JP6139364B2 - 人物特定装置、人物特定方法及びプログラム - Google Patents

Description

本発明の実施形態は、人物特定装置、人物特定方法及びプログラムに関する。

災害時等において、人物の安否や被災状態を確認する技術がある（例えば、特許文献１〜４を参照）。これらのシステムは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）機能を備える端末や入退室管理システムに基づいて人物の所在を確認するものである。また、カメラを用いて人物の移動軌跡を取得し、当該人物を特定する技術がある（例えば、特許文献５を参照）。

特開２００７−２１３２０７号公報 特開２００６−３２３７１９号公報 特開２００８−１４０２８４号公報 特開平１０−３３６３２９号公報 特開２００９−１５２７３３号公報

しかしながら、災害地など特定の場所に探索対象となる人物がいるか否かを判定するには、当該人物がＧＰＳ機能を備える端末を有してることや、入退室管理システムを利用しているなど、所定の条件を満たしている必要があった。つまり、所定の装置やシステムを利用していない人物の安否を確認することが困難であった。また、カメラを用いて人物の特定を行う場合、探索対象となる人物の数が多くなるほど顔検出処理の対象が増えるために処理時間がかかることが想定される。
本発明が解決しようとする課題は、所定の装置やシステムを利用しているか否かに関わらず効率的に人物の特定を行うことができる人物特定装置、人物特定方法及びプログラムを提供することである。

実施形態の人物特定装置は、特定対象画像に写った特定対象人物を特定する人物特定装置である。人物特定装置は、移動パターン推定部と、存在場所推定部と、存在人物推定部と、人物特定部とを備える。移動パターン推定部は、複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った人物の移動パターンを推定する。存在場所推定部は、撮像画像に写った人物の移動パターンと特定対象画像の撮像時刻とに基づいて特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定する。存在人物推定部は、存在場所推定部の推定結果に基づいて、特定対象画像の撮像時刻に特定対象画像の撮像場所に存在した蓋然性が高い人物を推定する。人物特定部は、存在人物推定部が推定した人物の情報に基づいて、撮像画像に写った人物と特定対象人物とを比較することで、特定対象人物を特定する。

少なくとも１つの実施形態に係る人物特定システムの一例を示すシステム図である。 第１の実施形態に係る人物特定装置の構成を示す概略ブロック図である。 画像データベースが記憶する情報の例を示す図である。 第１の実施形態に係る人物特定装置に画像データが入力された時の動作を示すフローチャートである。 第１の実施形態に係る人物特定装置に探索対象人物の情報が入力された時の動作を示すフローチャートである。 第１の実施形態に係る人物特定装置に特定開始指示が入力された時の動作を示すフローチャートである。 探索対象人物の移動軌跡の表示例を示す図である。 第２の実施形態に係る人物特定装置の構成を示す概略ブロック図である。 第３の実施形態に係る人物特定装置の構成を示す概略ブロック図である。 エリアの人員構成を示す情報の表示例を示す図である。 第４の実施形態に係る人物特定装置の構成を示す概略ブロック図である。 少なくとも１つの実施形態に係るコンピュータ０の構成を示す概略ブロック図である。

《第１の実施形態》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、少なくとも１つの実施形態に係る人物特定システムの一例を示すシステム図である。
第１の実施形態に係る人物特定システムは、複数の撮像装置１０と人物特定装置１１とを備える。複数の撮像装置１０は、地理的領域である複数のエリアに分散して配置される。図１によれば、複数の撮像装置１０は、ＭエリアとＫエリアに配置されている。Ｍエリアは、オフィスビルが立ち並ぶビル街を含むエリアである。Ｋエリアは、住宅街を含むエリアである。

複数の撮像装置１０は、それぞれ、視野に捉えた画像を撮像して画像データを生成する。なお、画像データは、静止画像であっても動画像であっても良い。複数の撮像装置１０は、それぞれ生成した画像データを人物特定装置１１に送信する。なお、本実施形態の人物特定システムが備える撮像装置１０は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ ／ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いたネットワークカメラである。なお、撮像装置１０が画像データをネットワークを介して人物特定装置１１に送信することで、ネットワークのトラフィックが増大する可能性がある。そのため、本実施形態では、撮像装置１０が内蔵するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により必要な処理を実施し、処理後の情報のみを人物特定装置１１に送信する。

人物特定装置１１は、複数の撮像装置１０から受信した画像データに基づいて各画像データに写った人物についての統計処理を行う。人物特定装置１１は、災害発生などにより管理者によって特定開始指示が入力されると、統計処理の結果を用いて、複数の撮像装置１０から受信した画像データに写った人物を、予め記憶していた探索対象人物の中から特定する。これにより、人物特定装置１１は、災害発生時などに、探索対象となる人物がどこにいるのか、及び画像データに写った特定対象の人物が何者であるのかを特定することができる。なお、人物特定装置１１は、クラウドコンピューティングリソースとして、人物特定機能を提供する装置であり、災害時にも稼働できるよう、遠隔に離れた複数のコンピュータによって二重化される。これにより、人物特定装置１１の冗長性を確保することができる。

図２は、第１の実施形態に係る人物特定装置１１の構成を示す概略ブロック図である。
人物特定装置１１は、画像取得部１０１と、人物検出部１０２と、特徴抽出部１０３と、人物情報データベース１０４と、人物情報入力部１０５と、人物特定部１０６と、画像記録部１０７と、画像データベース１０８と、指示入力部１０９と、統計処理部１１０と、統計情報データベース１１１と、存在場所推定部１１２と、存在人物推定部１１３と、読み出し部１１４と、通知部１１５とを備える。

画像取得部１０１は、複数の撮像装置１０から当該撮像装置１０が撮像した画像データと、当該画像データの撮像場所と、当該画像データの撮像時刻とを取得する。つまり、撮像装置１０は、撮像時の時刻と自装置の設置位置を画像データと共に記録する構成を有する。撮像時刻の記録については、撮像装置１０のタイムスタンプ機能を用いることなどによって実現することができる。他方、設置位置の記録については、撮像装置１０にＧＰＳ機能を搭載することや、撮像装置１０の設置位置を装置ＩＤに関連付けて手動でデータベースに記録しておくことなどによって、実現することができる。

当該画像データは、撮像装置１０からリアルタイムに送信されるものであっても良いし、図示しない画像蓄積装置に記録されたのち、当該画像蓄積装置から送信されるものであっても良い。画像蓄積装置は、撮像装置１０が撮像した画像をＭＰＥＧ２、ＭｏｔｉｏｎＪＰＥＧ、Ｈ．２６４などの映像フォーマットによりハードディスクドライブに記録されたもののように、画像データを記録する装置であれば、どのような手段であっても良い。

また、画像取得部１０１は、予め配置された撮像装置１０以外に、携帯電話端末や車載カメラなどの可動式の撮像装置１０からも、画像データ、撮像時刻及び撮像場所を取得する。つまり、画像取得部１０１は、ウェザーニュース形式でボトムアップの情報を取得することができる。これにより、人物特定装置１１は、網羅的に人物の特定をすることができる。また、画像取得部１０１は、無線・衛星通信を用いて撮像装置１０から情報を取得しても良い。これにより人物特定装置１１は、災害時など、停電や通信インフラが使えない状態であっても、情報を取得することができる。なお、画像取得部１０１と撮像装置１０との通信は、映像の流出や改ざんを防ぐために暗号化手段によって暗号化されても良い。なお、本実施形態において可動式の撮像装置１０は、移動中に画像データを蓄積しておき、移動が終了した時に当該画像データを人物特定装置１１に送信する。

また、複数の撮像装置１０が撮像した画像データを全てネットワークを通じて人物特定装置１１に入力される場合、計算量が膨大になる可能性がある。そのため、本実施形態では、クラウドコンピューティングにおけるスケールアウトやスケールダウンといった手法を用いることで、人物特定装置１１のパフォーマンスを動的に拡張する。

また、撮像装置１０から、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）やその他の規格のアナログ映像が入力された場合、画像取得部１０１は、当該アナログ映像を所定のデジタルフォーマットに変換することで、画像データを取得することができる。なお、画像蓄積装置が画像データのコピー伝送、磁気テープを利用するものであっても、画像取得部１０１は、同様にフォーマット変換を行うことで、対応することができる。

人物検出部１０２は、画像取得部１０１が取得した画像データから人物を検出する。本実施形態では、人物検出部１０２は顔認識技術を用いて人物の検出を行う。具体的には、人物検出部１０２は、画像データの輝度情報を用いて矩形の顔領域の座標を特定することで、人物の検出を行う。なお、本実施形態では、処理を簡単にするために、顔領域として矩形領域を用いるが、他の実施形態では、顔領域として任意の形状の領域を特定しても良い。人物検出部１０２は、画像取得部１０１が取得した画像データが動画像である場合、連続する複数のフレームに写った人物が同一の人物として検出する。本実施形態では、人物検出部１０２は、オプティカルフローに基づいて、連続する２つのフレームにおいて検出した顔領域の座標を対応付ける。なお、他の実施形態では、人物検出部１０２が、画像データの複数のフレームから検出された人物の顔領域について、座標や大きさなどの情報を統合して対応付けを行うことで、当該人物を同一の人物として検出する。なお、他の実施形態では、人物検出部１０２は、同一人物として対応付けられた複数フレームの顔領域の画像データの中から検索をするのに適切な少なくとも１枚の画像データを用いて人物を検出しても良い。また、他の実施形態では、人物検出部１０２は、同一人物として対応付けられた複数フレームの顔領域の画像データの中から任意の枚数の画像データを用いて人物を検出しても良い。

特徴抽出部１０３は、人物検出部１０２が検出した人物の画像情報から当該人物の特徴情報を抽出する。本実施形態では、特徴抽出部１０３は、人物検出部１０２が検出した人物の画像情報を３次元の顔モデルに反映させ、顔の向きや状態を変動させた画像を生成することで、顔特徴情報を取得する。また、特徴抽出部１０３は、人物検出部１０２が複数のフレームに写った人物を検出した場合、検出された複数の人物の画像情報を用いて計算を行うことで、精度よく特徴情報を抽出することができる。例えば、特徴抽出部１０３は、以下のような手法で、複数のフレームの画像データから人物の特徴情報を抽出することができる。まず、特徴抽出部１０３は、画像取得部１０１が連続して取得した複数の画像から顔領域を含む所定の大きさの画像を切り出す。次に、特徴抽出部１０３は、切り出したデータから特徴ベクトルの相関行列を求め、そのＫ−Ｌ展開による正規直交ベクトルを求めることで、部分空間を求める。部分空間は、固有値に対応する固有ベクトルを、固有値が大きい順に所定数選択し、当該選択した固有ベクトルを並べた行列によって表現される。なお、固有ベクトルの行列は、例えば、相関行列を特徴ベクトルから求め、当該相関行列を対角化することで求めることができる。相関行列をＣｄとおくと、Ｃｄ＝ΦｄΛｄΦｄ^ＴとしたときのΦｄが、固有ベクトルである。なお、上付きのＴは行列の転置を示す。

また、特徴抽出部１０３は、人物検出部１０２が検出した人物の画像情報からマスクや防止の着用の有無や年齢、性別などの属性情報を抽出する。具体的には、特徴抽出部１０３は、各属性の特徴情報を基準に類似度を計算することで、人物の特徴情報を抽出する。また、特徴抽出部１０３は、人物の画像情報とカメラの画角情報を用いることで、当該人物の身長を算出する。

人物情報データベース１０４は、探索対象となる人物（探索対象人物）ごとに、当該探索対象人物を識別する識別情報である個人ＩＤと、当該探索対象人物の特徴情報、属性情報、及び通知先を関連付けて記憶する。本実施形態に係る人物情報データベース１０４は、特徴情報として、特徴抽出部１０３が画像情報から抽出した特徴情報を記憶する。本実施形態に係る人物情報データベース１０４は、属性情報として探索対象人物の顔を含む画像、名前、性別、年齢、身長等の情報を記憶する。本実施形態に係る人物情報データベース１０４は、通知先として探索対象人物または当該人物を探索する利用者の住所、電話番号、電子メールアドレスの情報を記憶する。

人物情報入力部１０５は、人物特定装置１１の利用者から探索対象人物の情報が入力されると、当該情報を人物情報データベース１０４に記録する。探索対象人物の情報の入力は、例えば、利用者による手入力、自治体や行政で管理する住民基本台帳、旅券や免許証等の読み取り、ソーシャルネットワーキングサービスのアカウントへのアクセスなどによって行われる。手入力される画像は、例えば、携帯電話端末を用いて撮像した画像や、捜索依頼と共に提供される写真をスキャンして得られる画像などが挙げられる。人物特定装置１１は、これらの情報を用いて人物の探索を行うことで、人物特定の精度を向上することができる。

人物特定部１０６は、特徴抽出部１０３が抽出した特徴情報と、人物情報データベース１０４に記録された人物の特徴情報との比較により、人物検出部１０２が検出した人物の個人ＩＤを特定する。具体的には、人物特定部１０６は、人物情報データベース１０４に記録された特徴情報の中から、人物検出部１０２が検出した人物の特徴情報との類似度が最も高い人物の個人ＩＤを、人物検出部１０２が検出した人物の個人ＩＤとする。人物特定部１０６は、特徴情報が示す行列の距離を求めることで、類似度を計算する。つまり、距離が短いほど類似度が高いことが分かる。行列の距離としては、コサイン距離、ユークリッド距離、マハラノビス距離などを用いることができる。

画像記録部１０７は、特徴抽出部１０３が抽出した特徴情報を、画像取得部１０１が取得した画像データ、撮像場所及び撮像時刻と、撮像装置１０の装置ＩＤとに関連付けて、画像データベース１０８に記録する。画像記録部１０７は、人物特定部１０６が個人ＩＤを特定した場合、当該個人ＩＤ及び当該個人ＩＤに関連付けて人物情報データベース１０４が記憶する属性情報及び通知先を、さらに画像データベース１０８に記録する。他方、画像記録部１０７は、人物特定部１０６が個人ＩＤを特定しなかった場合、特徴抽出部１０３が抽出した属性情報を、さらに画像データベース１０８に記録する。

図３は、画像データベース１０８が記憶する情報の例を示す図である。
画像データベース１０８は、図３に示すように、撮像装置１０が撮像した画像データに関連付けて、当該画像データに含まれる人物の個人ＩＤ、特徴情報、属性情報及び通知先、並びに当該画像データを撮像した撮像装置１０の装置ＩＤ、撮像場所及び撮像時刻を、関連付けて記憶する。なお、本実施形態では、画像データベース１０が記憶する特徴情報は特徴ベクトルであるが、これに限られず、他の実施形態では、特徴情報として、部分空間やＫ−Ｌ展開前の相関行列、顔画像データそのものであっても良い。なお、本実施形態では、画像データベース１０８は、撮像時刻として、人物が検出されたフレームの時刻を記憶する。しかしながら、これに限られず、他の実施形態では画像データベース１０８は、撮像時刻として、人物の検出が終了したフレームの時刻、その中間の時刻などを記憶しても良い。なお、本実施形態では、検出された人物が探索対象人物でない場合、個人ＩＤを「ＵＮＫＮＯＷＮ」とする。また、本実施形態では、画像データベース１０８が属性情報として記憶する顔画像は、画像データから複数検出された顔画像のうち最も顔向きが正面に近いものである。他方、他の実施形態では、画像データベース１０８が属性情報として記憶する顔画像は、最も解像度が高いものであっても良い。なお、画像データが動画像である場合、画像データベース１０８は、顔画像に代えて、最も顔向きが正面に近いときのタイムスタンプを記憶しても良い。また、画像データベース１０８が、属性情報として自由記述の文字列を記憶することで、テキストベースの検索を行えるようにしても良い。

指示入力部１０９は、管理者などから入力された指示に基づいて、図示しない記憶部に当該指示を示す情報を記録する。指示入力部１０９は、管理者などから特定開始指示が入力された場合、画像データに含まれる人物の特定を開始することを示す情報を、図示しない記憶部に記録する。これにより、人物特定装置１１は、撮像装置１０が撮像した画像データに含まれる人物の特定の開始を受け付ける。つまり、本実施形態における特定対象画像は、特定開始指示が入力された以降に撮像された画像データである。また、本実施形態における特定対象人物は、特定開始指示が入力された以降に撮像された画像データに写った人物である。
なお、特定開始指示は、災害の発生時などに管理者から入力される情報である。他方、指示入力部１０９は、管理者などから特定終了指示が入力された場合、画像データに含まれる人物の特定を開始することを示す情報を、図示しない記憶部から削除する。これにより、人物特定装置１１は、撮像装置１０が撮像した画像データに含まれる人物の特定の終了を受け付ける。

統計処理部１１０は、指示入力部１０９に特定開始指示が入力されると、画像データベース１０８が記憶する過去の撮像画像に基づいて統計処理を行う。統計処理部１１０は、少なくとも人物の移動軌跡を推定する移動軌跡推定部１２１と、人物の移動パターンを推定する移動パターン推定部１２２とを備える。

移動軌跡推定部１２１は、画像データベース１０８が記憶する複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、人物の移動軌跡を推定する。具体的には、移動軌跡推定部１２１は、画像データベース１０８が同一の個人ＩＤに関連付けて記憶する撮像時刻及び撮像場所を読み出し、当該撮像場所を時系列に並べることで、当該個人ＩＤが示す人物の移動軌跡を推定する。

移動パターン推定部１２２は、画像データベース１０８が記憶する複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、人物の移動パターンを推定する。具体的には、移動パターン推定部１２２は、画像データベース１０８が同一の個人ＩＤに関連付けて記憶する撮像時刻及び撮像場所を読み出し、当該撮像場所を日付単位で時系列に並べることで、当該個人ＩＤが示す人物の各日付における移動軌跡を推定する。移動パターン推定部１２２は、複数の移動軌跡を曜日及び天候で分類し、当該分類において最頻の移動軌跡を、当該人物の移動パターンとして推定する。

統計情報データベース１１１は、統計処理部１１０による統計処理の結果を記憶する。統計情報データベース１１１は、人物の移動軌跡を格納する移動軌跡テーブルと人物の移動パターンを格納する移動パターンテーブルとを記憶する。移動軌跡テーブルは、個人ＩＤに関連付けて当該個人ＩＤが示す人物の移動軌跡を記憶する。移動パターンテーブルは、個人ＩＤと曜日及び天候に関連付けて、当該曜日及び天候の日における当該個人ＩＤが示す人物の移動パターンを記憶する。

存在場所推定部１１２は、統計情報データベース１１１が各個人ＩＤに関連付けて記憶する移動軌跡及び移動パターンに基づいて、特定開始指示の入力以降に撮像装置１０が撮像した画像データ（特定対象画像）の撮像時刻に当該個人ＩＤが示す人物が存在する蓋然性が高い場所を推定する。

存在人物推定部１１３は、存在場所推定部１１２の推定結果に基づいて、特定対象画像の撮像時刻にその撮像場所に存在した蓋然性が高い人物を推定する。具体的には、本実施形態に係る存在人物推定部１１３は、各個人ＩＤについて、存在場所推定部１１２が推定した場所と特定対象画像の撮像場所との距離が所定の距離以内である場合に、当該個人ＩＤが示す人物が、特定対象画像の撮像時刻にその撮像場所に存在した蓋然性が高いと推定する。なお、距離以外の尺度として、特徴情報が部分空間を示す場合、部分空間間類似度を類似の尺度に用いても良い。また、予め同一人物と分かる複数の人物画像をまとめて部分空間へ射影して本人であるかを識別しておくことで、存在人物推定部１１３による推定の精度を向上させることができる。
なお、存在人物推定部１１３は、所定の属性情報（例えば、性別）で絞り込んで探索対象人物を検索しても良い。

読み出し部１１４は、人物特定部１０６が特定した人物の個人ＩＤに関連付けられた属性情報及び通知先を、人物情報データベース１０４から読み出す。
通知部１１５は、読み出し部１１４が読み出した通知先に、探索の依頼があること及び本システムにより探索されたことを通知する。なお、通知部１１５は、通知先として人物情報データベース１０４に電話番号が記録されている場合、当該電話番号に発呼して音声合成機能により合成された音声を出力することで通知を行う。また、通知部１１５は、通知先として人物情報データベース１０４に電子メールアドレスが記録されている場合、当該電子メールアドレスに所定の文書を送信することで通知を行う。また、通知部１１５は、ソケット通信によって通知を行っても良い。

まず、特定開始指示の入力がなされるまでの人物特定装置１１の動作について説明する。
図４は、第１の実施形態に係る人物特定装置１１に画像データが入力された時の動作を示すフローチャートである。
人物特定装置１１の画像取得部１０１が、撮像装置１０から画像データを取得すると（ステップＳ１）、人物検出部１０２は、当該画像データに人物が写っているか否かを判定する（ステップＳ２）。人物検出部１０２は、画像データに人物が写っていないと判定した場合（ステップＳ２：ＮＯ）、処理を終了する。

他方、人物検出部１０２は、画像データに人物が写っていると判定した場合（ステップＳ２：ＹＥＳ）、当該人物の領域を特定する（ステップＳ３）。人物検出部１０２が人物の領域を特定すると、特徴抽出部１０３は、人物検出部１０２が検出した領域から人物の特徴情報及び属性情報を抽出する（ステップＳ４）。

特徴抽出部１０３が特徴情報及び属性情報を抽出すると、人物特定部１０６は、人物情報データベース１０４が記憶する各探索対象人物の特徴情報と、特徴抽出部１０３が抽出した特徴情報との類似度を算出する（ステップＳ５）。次に、人物特定部１０６は、算出した類似度のうち最も高いものが、所定の閾値以上であるか否かを判定する（ステップＳ６）。当該閾値は、特徴情報同士が類似しているか否かを判定するための閾値である。なお、類似度が閾値以上であるということは、行列間の距離が対応する閾値以下であるということと等価である。人物特定部１０６は、最も高い類似度が所定の閾値以上であると判定した場合（ステップＳ６：ＹＥＳ）、最も高い類似度の算出に用いた特徴情報に関連付けられた個人ＩＤ、属性情報及び通知先を、人物情報データベース１０４から読み出す（ステップＳ７）。次に、画像記録部１０７は、画像取得部１０１が取得した画像データと、特徴抽出部１０３が抽出した特徴情報と、人物特定部１０６が特定した個人ＩＤ、属性情報及び通知先を、関連付けて画像データベース１０８に記録し、処理を終了する（ステップＳ８）。

他方、ステップＳ６において、人物特定部１０６によって、最も高い類似度が所定の閾値未満であると判定された場合（ステップＳ６：ＮＯ）、画像記録部１０７は、画像取得部１０１が取得した画像データと、特徴抽出部１０３が抽出した特徴情報及び属性情報を、関連付けて画像データベース１０８に記録し、処理を終了する（ステップＳ９）。

上述した処理により、人物特定装置１１は、撮像装置１０が撮像した画像データごとに、当該画像データに写った人物の情報が、画像データベース１０８に記録することができる。

図５は、第１の実施形態に係る人物特定装置１１に探索対象人物の情報が入力された時の動作を示すフローチャートである。
人物特定装置１１の人物情報入力部１０５は、人物特定システムの利用者から新たな探索対象人物の情報が入力されると（ステップＳ１１）、当該情報を人物情報データベース１０４に記録する（ステップＳ１２）。具体的には、利用者は、探索対象人物の情報として、当該人物の顔が含まれた画像データ、当該人物の属性情報、及び当該人物または当該利用者の通知先を人物特定装置１１に入力する。

人物情報データベース１０４に新たな探索対象人物の情報が記録されると、特徴抽出部１０３は、当該探索対象人物の画像データから特徴情報を抽出する（ステップＳ１３）。次に、人物特定部１０６は、特徴抽出部１０３が抽出した特徴情報に基づいて、入力された探索対象人物が既に人物情報データベース１０４に記録されているか否かを判定する（ステップＳ１４）。具体的には、人物特定部１０６は、特徴情報同士の類似度及び属性情報同士の類似度が高いする場合に、入力された探索対象人物が既に人物情報データベース１０４に記録されていると判定する。

人物特定部１０６は、入力された探索対象人物が人物情報データベース１０４に記録されていると判定した場合（ステップＳ１４：ＹＥＳ）、ステップＳ１２で記録した情報を、人物情報データベース１０４から削除し（ステップＳ１５）、処理を終了する。このとき、人物特定装置１１は、利用者に対し、当該人物が既に探索対象となっている旨を通知しても良い。

他方、人物特定部１０６は、入力された探索対象人物が人物情報データベース１０４に記録されていると判定した場合（ステップＳ１４：ＮＯ）、特徴抽出部１０３が抽出した特徴情報と画像データベース１０８に記録された各特徴情報との類似度を算出する（ステップＳ１６）。次に、人物特定部１０６は、特徴情報との類似度が所定の閾値以上である特徴情報に関連付けられた個人ＩＤ及び属性情報を、新たな探索対象人物の個人ＩＤ及び属性情報に書き換えて画像データベース１０８に記録する（ステップＳ１７）。

上述した処理により、人物特定装置１１は、探索対象人物が追加されるたびに、画像データベース１０８が記憶する情報を更新することができる。

次に、特定開始指示の入力がなされたときの人物特定装置１１の動作について説明する。
図６は、第１の実施形態に係る人物特定装置１１に特定開始指示が入力された時の動作を示すフローチャートである。
人物特定装置１１の指示入力部１０９に、特定開始指示が入力されると（ステップＳ２１）、移動軌跡推定部１２１は、画像データベース１０８が記憶する複数の撮像画像の撮像時刻及び撮像場所と個人ＩＤとに基づいて、各探索対象人物の移動軌跡を推定する（ステップＳ２２）。次に、移動軌跡推定部１２１は、各探索対象人物の移動軌跡を統計情報データベース１１１の移動軌跡テーブルに記録する。また、移動パターン推定部１２２は、画像データベース１０８が記憶する複数の撮像画像の撮像時刻及び撮像場所と個人ＩＤとに基づいて、人物の移動パターンを推定する（ステップＳ２３）。次に、移動パターン推定部１２２は、各探索対象人物の移動パターンを統計情報データベース１１１の移動パターンテーブルに記録する。

次に、画像取得部１０１が、撮像装置１０から画像データ（特定対象画像）を取得すると（ステップＳ２４）、人物検出部１０２は、当該画像データに人物が写っているか否かを判定する（ステップＳ２５）。人物検出部１０２は、画像データに人物が写っていると判定した場合（ステップＳ２５：ＹＥＳ）、当該人物の領域を特定する（ステップＳ２６）。人物検出部１０２が人物の領域を特定すると、特徴抽出部１０３は、人物検出部１０２が検出した領域から人物の特徴情報及び属性情報を抽出する（ステップＳ２７）。

他方、画像取得部１０１が画像データを取得すると、存在場所推定部１１２は、探索対象人物を１人ずつ選択し、選択した探索対象人物について以下に示すステップＳ２９〜ステップＳ３１の処理を実行する（ステップＳ２８）。
まず、存在場所推定部１１２は、選択した探索対象人物に関連付けられた移動軌跡を統計情報データベース１１１の移動軌跡テーブルから読み出す。次に、存在場所推定部１１２は、読み出した移動軌跡の終点位置に探索対象人物が存在した時刻を特定する（ステップＳ２９）。次に、存在場所推定部１１２は、特定対象画像の撮像時刻と特定した時刻との差が所定の時間（例えば、３時間）以上であるか否かを判定する（ステップＳ３０）。存在場所推定部１１２は、時刻の差が所定の時間未満であると判定した場合（ステップＳ３０：ＮＯ）、移動軌跡の終点位置が、ステップＳ２８で選択した探索対象人物が特定対象画像の撮像時刻に存在する蓋然性が高い場所であると推定する（ステップＳ３１）。

なお、ステップＳ２４で取得される画像データは、特定開始指示の入力後に撮像されたものである。また、統計情報データベース１１１が記憶する移動軌跡は、特定開始指示の入力前に撮像された画像データに基づいて計算されたものである。したがって、探索対象人物が移動軌跡の終点位置に存在した時刻と特定対象画像の撮像時刻との差が小さい場合、当該終点位置は、特定対象画像の撮像時刻に当該探索対象人物が存在する蓋然性が高い場所であるといえる。

存在場所推定部１１２は、時刻の差が所定の時間以上であると判定した場合（ステップＳ３０：ＹＥＳ）、特定対象画像が撮像された日の曜日及び天候と、ステップＳ２８で選択した探索対象人物とに関連付けられた移動パターンを、統計情報データベース１１１の移動パターンテーブルから読み出す。次に、存在場所推定部１１２は、読み出した移動パターンから、特定対象画像の撮像時刻に、探索対象人物が存在する蓋然性が高い場所を推定する（ステップＳ３２）。移動パターンは、１日の各時刻における探索対象人物の位置を示す情報である。そのため、存在場所推定部１１２は、特定対象画像が撮像された時刻に関連付けられた位置を移動パターンから読み出すことで、探索対象人物が存在する蓋然性が高い場所を推定することができる。

存在場所推定部１１２が、ステップＳ２８〜ステップＳ３２の処理により、探索対象人物それぞれについて存在する蓋然性が高い場所を推定すると、存在人物推定部１１３は、探索対象人物のうち、特定対象画像の撮像時刻に特定対象画像の撮像場所に存在した蓋然性が高い人物を推定する（ステップＳ３３）。具体的には、存在人物推定部１１３は、存在場所推定部１１２が推定した場所と特定対象画像の撮像場所との距離が所定の距離以内となる人物を、特定対象画像の撮像時刻に特定対象画像の撮像場所に存在した蓋然性が高い人物として推定する。なお、存在人物推定部１１３は、撮像場所に存在した蓋然性が高い人物として複数の人物を推定しても良いし、撮像場所に存在した蓋然性が高い人物がいないと推定しても良い。

次に、人物特定部１０６は、存在人物推定部１１３が推定した各人物の特徴情報とステップＳ２７で特徴抽出部１０３が抽出した特徴情報との類似度を算出する（ステップＳ３４）。次に、人物特定部１０６は、算出した類似度のうち最も高いものが、第１の閾値以上であるか否かを判定する（ステップＳ３５）。第１の閾値は、探索対象人物が撮像場所に存在した蓋然性が高い場合に、特徴情報同士が類似しているか否かを判定するための閾値である。第１の閾値は、探索対象人物が撮像場所に存在した蓋然性が高くない場合に用いる閾値である第２の閾値より低い値である。

人物特定部１０６は、最も高い類似度が第１の閾値未満であると判定した場合（ステップＳ３５：ＮＯ）、人物情報データベース１０４に記録された探索対象人物のうち、存在人物推定部１１３によって推定されなかった各人物の特徴情報とステップＳ２７で特徴抽出部１０３が抽出した特徴情報との類似度を算出する（ステップＳ３６）。次に、人物特定部１０６は、算出した類似度のうち最も高いものが、第２の閾値以上であるか否かを判定する（ステップＳ３７）。

人物特定部１０６が、ステップＳ３５またはステップＳ３７において、類似度が閾値以上のものがあると判定した場合（ステップＳ３５：ＹＥＳ、ステップＳ３７：ＹＥＳ）、読み出し部１１４は、最も高い類似度の算出に用いた特徴情報に関連付けられた情報を、人物情報データベース１０４から読み出す（ステップＳ３８）。つまり、読み出し部１１４は、特定対象人物である蓋然性が高い人物の情報を、人物情報データベース１０４から読み出す。次に、通知部１１５は、読み出し部１１４が読み出した情報に含まれる通知先に、当該探索対象人物の探索の依頼があること、及び当該探索対象人物が本システムにより探索されたことを通知する（ステップＳ３９）。

なお、ステップＳ２５において、人物検出部１０２が、画像データに人物が写っていないと判定した場合（ステップＳ２５：ＮＯ）、またはステップＳ３４及びステップＳ３６において、人物特定部１０６が、類似度が閾値以上のものがないと判定した場合（ステップＳ３６：ＮＯ）、画像データに探索対象人物が写っていないため、通知部１１５による通知は行われない。

ステップＳ３８で通知部１１５が通知を行った場合、または画像データに探索対象人物が写っていないために通知部１１５が通知を行わなかった場合、人物特定装置１１は、指示入力部１０９に特定終了指示が入力されたか否かを判定する（ステップＳ４０）。人物特定装置１１は、特定終了指示が入力されていないと判定した場合（ステップＳ４０：ＮＯ）、ステップＳ２４に戻り、画像取得部１０１が次に取得する画像データについての処理を行う。他方、人物特定装置１１は、特定終了指示が入力されたと判定した場合（ステップＳ４０：ＹＥＳ）、処理を終了する。

上述したように、人物検出部１０２は、撮像場所に存在した蓋然性が高い人物と特定対象人物とを比較した後に、撮像場所に存在した蓋然性が高くない人物と特定対象人物とを比較する。撮像場所に存在した蓋然性が高い人物が特定対象人物である蓋然性は、撮像場所に存在した蓋然性が高くない人物が特定対象人物である蓋然性より高い。そのため、人物検出部１０２は、特定対象人物を特定する速度を速めることができる。

また、上述したように、撮像場所に存在した蓋然性が高い人物と特定対象人物との比較に用いる第１の閾値は、撮像場所に存在した蓋然性が高くない人物と特定対象人物との比較に用いる第２の閾値より低い値である。これは、撮像場所に存在した蓋然性が高い人物を特定対象人物とする蓋然性が、撮像場所に存在した蓋然性が高くない人物が特定対象人物である蓋然性より高いためである。これにより、人物検出部１０２は、特定対象人物である蓋然性が高い人物を、確実に特定対象人物として特定することができる。

このように、本実施形態に係る人物特定装置１１は、撮像場所に存在した蓋然性が高い人物の情報を用いて人物の特定を行う。これにより、人物特定装置１１は、効率よく人物の特定を行うことができる。
また、本実施形態に係る人物特定装置１１は、撮像装置１０が撮像した画像データに基づいて人物の特定を行う。これにより、人物特定装置１１は、網羅的に人物の特定を行うことができる。

本実施形態に係る人物特定システムの利用者は、統計処理部１１０が記憶する情報を参照することができる。具体的には、利用者は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）や携帯電話端末などの端末装置を用いてネットワークを介して人物特定装置１１にアクセスすることで、当該端末装置のディスプレイに統計情報を表示させることができる。なお、探索対象人物の統計情報を閲覧する場合、利用者は、探索対象人物の個人ＩＤや顔画像を人物特定装置１１に入力することで、統計情報の表示の対象となる探索対象人物を指定することができる。

図７は、探索対象人物の移動軌跡の表示例を示す図である。
人物特定装置１１は、探索対象人物の移動軌跡をディスプレイに表示させる場合、図７に示すように、探索対象人物の属性情報と、移動軌跡を時系列に並べた表と、移動軌跡を描画した地図情報と、移動軌跡の終点で撮像された画像データとを、ディスプレイに表示させる。これにより、人物特定システムの利用者は、探索対象人物の情報を把握することができる。なお、統計処理部１１０が記憶する情報の出力は、これに限られない。他の実施形態では、端末装置に内蔵されるスピーカーから音声により情報を出力しても良い。また、これにより、利用者は任意の時刻における探索対象人物の居場所を把握することができる。

なお、本実施形態では、人物検出部１０２が、画像上の輝度情報を利用して顔領域を特定する場合について説明したが、これに限られない。例えば、他の実施形態では、人物検出部１０２が、人物の顔のテンプレート画像と画像部が取得した画像データの部分画像との相関度が所定の閾値以上である領域を顔領域として特定しても良い。また、他の実施形態では、人物検出部１０２が、固有空間法や部分空間法を用いて顔領域を特定しても良い。

また、本実施形態では、人物特定部１０６が、顔領域の特定により人物を抽出する場合について説明したが、これに限られない。他の実施形態では、人物検出部１０２は、画像の中から共起率が高い２つの画素範囲の組を検出し、当該画素範囲の組の特徴量と人物の特徴量とを比較することで、人物の全身を検出しても良い。

また、本実施形態では、人物特定装置１１が画像データに基づいて人物の特定及び探索を行う場合について説明したが、これに限られない。例えば、画像データに基づく特定に加え、携帯電話端末の位置情報やクレジットカードの利用情報、入退室管理システムの出入り記録情報等の他の情報を併せて利用することより、さらに精度よく人物の特定及び探索を行うことができる。これらの情報を、画像データベース１０８に画像データに記録しておくことで、統計処理部１１０は、これらの情報を用いて統計処理を行うことができる。また、他の実施形態では、人物特定装置１１は、探索対象人物の洋服の特徴などを活用して人物を特定しても良い。この場合、特徴抽出部１０３は、顔認識処理によって検出された顔座標の位置から、相対的に洋服や帽子などの着用物、把持している所有物、かばんや腕時計などの身に着けた所有物を、事前に学習した辞書との判別により特定することで、これらの特徴を抽出しておく。

また、本実施形態では、人物情報が入力されたときに、画像データベース１０８の更新を行う場合について説明したが、これに限られない。他の実施形態では、人物特定装置１１の負荷が小さいときに画像データベース１０８の更新を行っても良い。

《第２の実施形態》
次に、第２の実施形態について説明する。
図８は、第２の実施形態に係る人物特定装置１２の構成を示す概略ブロック図である。
第２の実施形態に係る人物特定装置１２は、第１の実施形態の構成に加え、統計処理部２１０がグループ特定部２２３を備える。また、第２の実施形態に係る統計情報データベース２１１は、第１の実施形態と記憶する情報が異なる。また、第２の実施形態に係る人物特定装置１２は、第１の実施形態と存在場所推定部２１２の動作が異なる。

グループ特定部２２３は、画像データベース１０８に記録されている情報に基づいて、探索対象人物が属するグループを特定する。本実施形態におけるグループとは、撮像装置１０よって同時に撮像される確率が高い探索対象人物のまとまりである。具体的には、グループ特定部２２３は、同一の撮像場所において撮像された画像データのうち、撮像時刻の差が所定の閾値以内の画像データの組に、複数の個人ＩＤが関連付けられているか否かを判定する。次に、グループ特定部２２３は、当該複数の個人ＩＤ同士の関連性に所定の評価値を加算する。そして、グループ特定部２２３は、評価値が所定の閾値以上となった場合に、当該複数の個人ＩＤが同一のグループに属していると判定する。グループ特定部２２３は、グループのＩＤと当該グループに属する人物を示す個人ＩＤとを関連付けて、統計情報データベース２１１のグループテーブルに記録する。

存在場所推定部２１２は、上述したステップＳ３０において、特定対象画像の撮像時刻と特定した時刻との差が所定の時間以上であると判定した場合に、ステップＳ２８で選択した探索対象人物と同一のグループに属する他の人物がいるか否かを判定する。そして、存在場所推定部２１２は、同一のグループに属する他の人物がいる場合、当該人物が撮像時刻に存在した蓋然性が高い場所を、探索対象人物が存在した蓋然性が高い場所として特定する。

このように、本実施形態に係る存在場所推定部２１２は、探索対象人物が撮像装置１０によって撮像されなかった場合にも、当該探索対象人物と行動を共にする蓋然性が高い人物が存在した場所を、当該探索対象人物が存在した場所と推定する。これにより、人物特定装置１２は、網羅的に人物の特定を行うことができる。

《第３の実施形態》
次に、第３の実施形態について説明する。
図９は、第３の実施形態に係る人物特定装置１３の構成を示す概略ブロック図である。
第３の実施形態に係る人物特定装置１３は、第１の実施形態の構成に加え、統計処理部３１０が人員構成推定部３２４を備える。また、第３の実施形態に係る統計情報データベース３１１は、第１の実施形態と記憶する情報が異なる。

人員構成推定部３２４は、撮像装置１０が配置されたエリアの人員構成を推定し、エリアごとの人員構成を示す情報を、統計情報データベース３１１の人員構成テーブルに記録する。具体的には、人員構成推定部３２４は、同一のエリアに配置された撮像装置１０に関連付けられた属性情報及び撮像時刻を画像データベース１０８から読み出す。そして、人員構成推定部３２４は、単位時間毎に、属性情報ごとの人数を算出する。例えば、人員構成推定部３２４は、１月１日１２時０分から１月１日１３時０分までの時刻に関連付けられた属性情報から、年齢と性別の組み合わせ別に人数を算出する。そして、利用者は、ＰＣや携帯電話端末などの端末装置を用いて人物特定装置１３にアクセスすることにより、人員構成を示す情報を閲覧することができる。これにより、利用者は、例えば災害発生時に避難所となるエリアの人数や、性別、年齢の構成を把握することができる。このように、本実施形態によれば、個人特定に必要な顔画像の登録がない場合にも、特定のエリアにいる人員の構成を利用者に把握させることができる。

図１０は、エリアの人員構成を示す情報の表示例を示す図である。
人物特定装置１３は、エリアの人員構成を示す情報を端末装置のディスプレイに表示させる場合、図１０に示すように、対象となるエリアの時系列の人員構成を示すグラフと、エリアの場所及び撮像装置１０の配置場所を示す地図情報と、撮像装置１０が最後に撮像した画像データと、当該撮像装置１０の情報とを、ディスプレイに表示させる。また、当該エリアに探索対象人物が存在する場合、当該探索対象人物の個人名のリストも、ディスプレイに表示させる。これにより、人物特定システムの利用者は、所定のエリアの情報を把握することができる。

また、人員構成推定部３２４は、エリアに出入りして同一人物を重複して集計してしまうことを防ぐため、特徴情報を用いることで、既に集計したか否かを判定することができる。また、エリアの入口と出口とにそれぞれ撮像装置１０が配置されている場合、人員構成推定部３２４は、出入りにあわせて集計値を増減させることで、より精度よく人員構成の推定を行うことができる。具体的には、人員構成推定部３２４は、過去にエリアに入ったＮ名の人物の特徴情報を保存しておき、Ｎ＋１人目が検知されたときに、過去のＮ個の特徴情報との類似度計算を行い、類似度が所定の閾値以上の場合には、同一人物を重複カウントしているとしてカウントを行わないようにする。

また、人員構成推定部３２４が推定した人員構成の情報は、災害発生時以外にも活用することができる。人員構成推定部３２４が推定した人員構成の情報に基づいて、曜日や時間等によってそのエリアにどのぐらいの人数がいるのか、その人数のうち男女はどのぐらいの割合か、年齢構成の調査を行うことができるため、この情報を、マーケティングなどに利用することができる。すなわち、人員構成推定部３２４が推定した情報に基づいて、店内の来客人数の集計や、来客人数に対する年代や性別の割合の調査、来客の動線の情報を収集することができる。また、人員構成推定部３２４が推定した情報を、不審者の検索、迷子の創作、ＶＩＰの検知、万引き犯の移動軌跡の推定などに利用することもできる。
また、統計情報データベース３１１に、災害の発生がない平常時における人員構成の情報を収集しておくことで、当該情報を非常食や防災グッズの配置計画にも用いることができる。

《第４の実施形態》
次に、第４の実施形態について説明する。
図１１は、第４の実施形態に係る人物特定装置１４の構成を示す概略ブロック図である。
第４の実施形態に係る人物特定装置１４は、第１の実施形態の構成に加え、文字列抽出部４１６と、音声認識部４１７とを備える。また、第４の実施形態に係る人物特定装置１４は、第１の実施形態と人物情報入力部４０５の動作が異なる。なお、本実施形態における人物情報入力部４０５は、人物記録部の一例である。

文字列抽出部４１６は、画像取得部１０１が取得した画像データから文字列を抽出する。また、文字列抽出部４１６は、抽出した文字列が存在する画像データ上の座標を特定する。文字列抽出部４１６は、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）などの文字列認識技術により、文字列の抽出及び座標の特定を行う。
音声認識部４１７は、撮像装置１０に内蔵されたマイクまたは撮像装置１０と共に設けられたマイクから取得した音声データから、音声認識処理により文字列を生成する。

人物情報入力部４０５は、文字列抽出部４１６が抽出した文字列及び音声認識部４１７が生成した文字列を解析し、当該文字列が人名を示すか否かを判定する。人物情報入力部４０５は、文字列抽出部４１６が抽出した文字列が人名を示すと判定した場合、当該文字列の座標と人物検出部１０２が検出した人物が存在する領域の座標との距離が所定の距離以内であるか否かを判定する。人物情報入力部４０５は、人名を示す文字列の座標と人物が存在する領域の座標との距離が所定の距離以内である場合に、当該画像データから生成された特徴情報と文字列とを人物情報データベース１０４に記録する。これにより、人物情報入力部４０５は、被災などにより端末装置の利用ができない環境下にあっても、利用者の名前を記載した紙などを撮像装置１０に撮像させることで、人物情報データベース１０４へに利用者自身を探索対象人物として登録することができる。

また、人物情報入力部４０５は、音声認識部４１７が生成した文字列が人名を示すと判定した場合、当該人名が含まれる音声の取得時刻に撮像された画像データから生成された特徴情報と文字列とを人物情報データベース１０４に記録する。これにより、人物情報入力部４０５は、被災などにより端末装置の利用ができない環境下にあっても、マイクに利用者の名前を発音することで、人物情報データベース１０４へに利用者自身を探索対象人物として登録することができる。

また、人物情報入力部４０５は、人物検出部１０２によって検出された人物が所定のジェスチャをしている場合に、当該人物の情報を人物情報データベース１０４に記録しても良い。

以上述べた少なくとも１つの実施形態の人物特定装置１４によれば、人物特定部１０６は、ある画像データに写った人物を特定する際に、当該画像データの撮像時刻に、当該画像データの撮像場所に存在した蓋然性が高い人物の情報を用いる。これにより、人物特定装置１４は、所定の装置やシステムを利用しているか否かに関わらず効率的に人物の特定を行うことができる。

以上、いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

図１２は、少なくとも１つの実施形態に係るコンピュータ９０の構成を示す概略ブロック図である。
コンピュータ９０は、ＣＰＵ９０１、主記憶装置９０２、補助記憶装置９０３、インタフェース９０４を備える。
上述の人物特定装置１４は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式で補助記憶装置９０３に記憶されている。ＣＰＵ９０１は、プログラムを補助記憶装置９０３から読み出して主記憶装置９０２に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ９０１は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置９０２に確保する。

なお、少なくとも１つの実施形態において、補助記憶装置９０３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース９０４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムを主記憶装置９０２に展開し、上記処理を実行しても良い。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置９０３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１０…撮像装置 １１…人物特定装置 １０１…画像取得部 １０２…人物検出部 １０３…特徴抽出部 １０４…人物情報データベース １０５…人物情報入力部 １０６…人物特定部 １０７…画像記録部 １０８…画像データベース １０９…指示入力部 １１０…統計処理部 １１１…統計情報データベース １１２…存在場所推定部 １１３…存在人物推定部 １１４…読み出し部 １１５…通知部 １２１…移動軌跡推定部 １２２…移動パターン推定部 １２…人物特定装置 ２１０…統計処理部 ２２３…グループ特定部 ２１１…統計情報データベース ２１２…存在場所推定部 １３…人物特定装置 ３１０…統計処理部 ３２４…人員構成推定部 ３１１…統計情報データベース １４…人物特定装置 ４０５…人物情報入力部 ４１６…文字列抽出部 ４１７…音声認識部 ９０…コンピュータ ９０１…ＣＰＵ ９０２…主記憶装置 ９０３…補助記憶装置 ９０４…インタフェース

Claims (13)

1. 特定対象画像に写った特定対象人物を特定する人物特定装置であって、
   複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った人物の移動パターンを推定する移動パターン推定部と、
   前記撮像画像に写った人物の移動パターンと前記特定対象画像の撮像時刻とに基づいて前記特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定する存在場所推定部と、
   前記存在場所推定部の推定結果に基づいて、前記特定対象画像の撮像時刻に前記特定対象画像の撮像場所に存在した蓋然性が高い人物を推定する存在人物推定部と、
   前記存在人物推定部が推定した人物の情報に基づいて、前記撮像画像に写った人物と前記特定対象人物とを比較することで、前記特定対象人物を特定する人物特定部と
   を備えることを特徴とする人物特定装置。
2. 特定対象画像に写った特定対象人物を特定する人物特定装置であって、
   複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った人物の移動軌跡を推定する移動軌跡推定部と、
   前記撮像画像に写った人物の移動軌跡と前記特定対象画像の撮像時刻とに基づいて前記特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定する存在場所推定部と、
   前記存在場所推定部の推定結果に基づいて、前記特定対象画像の撮像時刻に前記特定対象画像の撮像場所に存在した蓋然性が高い人物を推定する存在人物推定部と、
   前記存在人物推定部が推定した人物の情報に基づいて、前記撮像画像に写った人物と前記特定対象人物とを比較することで、前記特定対象人物を特定する人物特定部と
   を備えることを特徴とする人物特定装置。
3. 前記複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った人物の移動軌跡を推定する移動軌跡推定部を備え、
   前記存在場所推定部は、前記撮像画像に写った人物の移動軌跡と前記特定対象画像の撮像時刻とに基づいて前記特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定し、前記移動軌跡に基づいて存在する蓋然性が高い場所を推定できなかった人物について、当該人物の移動パターンと前記特定対象画像の撮像時刻とに基づいて前記特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定する
   ことを特徴とする請求項１に記載の人物特定装置。
4. 前記人物特定部は、前記存在人物推定部が推定した人物と前記特定対象人物との比較を行った後に、前記撮像画像に写った他の人物と前記特定対象人物との比較を行う
   ことを特徴とする請求項１から請求項３の何れか１項に記載の人物特定装置。
5. 前記人物特定部は、前記存在人物推定部が推定した人物の特徴情報と前記特定対象人物の特徴情報との比較により得られる類似度が第１の閾値より高い場合に、前記特定対象人物が当該人物であると特定し、前記撮像画像に写った他の人物の特徴情報と前記特定対象人物の特徴情報との比較により得られる類似度が第１の閾値より高い第２の閾値より高い場合に、前記特定対象人物が当該人物であると特定する
   ことを特徴とする請求項１から請求項４の何れか１項に記載の人物特定装置。
6. 前記撮像画像に写った人物の特徴情報と当該人物を識別する識別情報とを関連付けて記憶する記憶装置の中から、前記人物特定部が特定した人物に関連付けられた識別情報を読み出す読み出し部を備える
   ことを特徴とする請求項１から請求項５の何れか１項に記載の人物特定装置。
7. 前記識別情報は、通知先を示す情報を含み、
   前記読み出し部が読み出した前記識別情報に含まれる通知先への通知を行う通知部
   を備えることを特徴とする請求項６に記載の人物特定装置。
8. 前記撮像画像から人物を検出する人物検出部と、
   前記撮像画像から文字列を抽出する文字列抽出部と、
   前記撮像画像において、前記人物検出部が検出した人物が存在する座標と前記文字列抽出部が抽出した文字列が存在する座標との距離が所定の距離以下である場合に、当該文字列を当該人物の識別情報として、前記記憶装置に記録する人物記録部と
   を備えることを特徴とする請求項６または請求項７に記載の人物特定装置。
9. 前記撮像画像から人物を検出する人物検出部と、
   前記撮像画像の撮像場所の音声を収集する音声収集装置が収集した音声を文字列に変換する音声認識部と、
   前記撮像画像において、前記人物検出部が抽出した人物が所定のジェスチャをしたときに前記音声認識部が認識した文字列を、当該人物の識別情報として、前記記憶装置に記録する人物記録部と
   を備えることを特徴とする請求項６または請求項７に記載の人物特定装置。
10. 複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った複数の人物を含むグループを特定するグループ特定部と、
    前記存在場所推定部は、前記グループ特定部が特定したグループのある人物が存在する蓋然性が高い場所、を当該グループに含まれる他の人物が存在する蓋然性が高い場所に基づいて推定する
    ことを特徴とする請求項１から請求項９の何れか１項に記載の人物特定装置。
11. 前記存在場所推定部の推定結果に基づいて、前記特定対象画像の撮像時刻における前記撮像画像の撮像場所の人員構成を推定する人員構成推定部
    を備えることを特徴とする請求項１から請求項１０の何れか１項に記載の人物特定装置。
12. 特定対象画像に写った特定対象人物を特定する人物特定方法であって、
    人物特定装置が、複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った人物の移動パターンを推定し、
    前記人物特定装置が、前記撮像画像に写った人物の移動パターンと前記特定対象画像の撮像時刻とに基づいて前記特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定し、
    前記人物特定装置が、推定結果に基づいて、前記特定対象画像の撮像時刻に前記特定対象画像の撮像場所に存在した蓋然性が高い人物を推定し、
    前記人物特定装置が、推定した前記人物の情報に基づいて、前記撮像画像に写った人物と前記特定対象人物とを比較することで、前記特定対象人物を特定する
    ことを特徴とする人物特定方法。
13. コンピュータを、
    複数の撮像画像と当該撮像画像の撮像時刻及び撮像場所とに基づいて、当該撮像画像に写った人物の移動パターンを推定する移動パターン推定部、
    前記撮像画像に写った人物の移動パターンと前記特定対象画像の撮像時刻とに基づいて特定対象画像の撮像時刻に当該人物が存在する蓋然性が高い場所を推定する存在場所推定部、
    前記存在場所推定部の推定結果に基づいて、前記特定対象画像の撮像時刻に前記特定対象画像の撮像場所に存在した蓋然性が高い人物を推定する存在人物推定部、
    前記存在人物推定部が推定した人物の情報に基づいて、前記撮像画像に写った人物と特定対象画像に写った特定対象人物とを比較することで、前記特定対象人物を特定する人物特定部
    として機能させるためのプログラム。

Images