JP4866754B2 - 行動履歴検索装置及び行動履歴検索方法 - Google Patents

Description

本発明は、複数のカメラ夫々のカメラ映像から抽出した顔、色、形状等の人物特徴を用いて、不審者や迷子等の特定人物の行動履歴を抽出する行動履歴検索装置及び行動履歴検索方法に関する。

近年、ピッキング、強盗、放火等に代表される犯罪の増加と共に、カメラ、センサ及び蓄積装置等を設置し、犯罪を未然に防止する映像監視システムの普及が大幅に進んでいる。また、監視カメラのＩＰ（Internet Protocol）化やハードディスク装置等の蓄積装置の大容量化に伴い、数百規模の広域監視、長時間記録を行なうシステムも増加してきた。このような状況において、監視者の業務軽減を目指し、万引き犯、迷子者、落し物者等の特定人物の洗出しを効率的に行なうための技術が要望されてきている。

特定人物（検索対象人物）の洗出しを高速に行なう従来技術として、各カメラ映像から抽出した不特定多数の人物の特徴データ（顔、色、形状等）をデータベースに格納しておき、検索対象人物の特徴データとマッチした人物をデータベースから抽出し表示する方法がある。しかし、撮像条件（照明、画角、人物向きや大きさ）によって抽出した人物の特徴データの傾向が変動するため、検索時、各カメラの撮影条件を加味して、マッチング処理の閾値（本人と他人の境界値）の調整を行なわなければならず、所望の結果を得るまでに時間がかかると言う問題がある。すなわち、閾値を低く設定すると誤検出が多くなり、閾値を高く設定すると未検出が多くなると言った繰返し操作をユーザが行なわなければならず、非常に効率が悪い。

一方、上記問題を解決するための従来技術として、複数の特徴量を組合せて検索精度を向上する提案がある（例えば、特許文献１、特許文献２又は特許文献３参考）。特許文献１では、静止画単位ではなく動画単位（時系列データ単位）で人物の特徴データを管理することで、人物の特徴データの一時的な変動を抑制して検索精度向上を図る手法が記載されており、特許文献２では、手動で付与したキーワードと自動で付与した人物特徴データを組合せて、検索条件を自動修正する手法が記載されている。また、特許文献３では、ＲＦＩＤ（Radio Frequency Identification）と人物特徴データを組合せることで不正通行者の検知／検索精度の向上を図る手法が記載されている。

特開２００６−１７８５１６号公報 特開２００５−１０００９０号公報 特開２００６−２３６１８３号公報

しかしながら、上述した特許文献で開示された従来技術では、時系列情報や信頼性の高いキーワード／ＲＦＩＤと人物特徴データを併用することで検索精度／絞込速度を向上することが可能となるが、検索対象人物が死角や他人の陰に一部隠れた時間帯に対して行動履歴を抽出することができないという問題がある。

本発明は、係る事情に鑑みてなされたものであり、不特定多数の人物が行動する環境の中で、検索対象人物が死角や他人の陰に一部隠れた時間帯に対しても行動履歴を洗い出すことが可能な行動履歴検索装置及び行動履歴検索方法を提供することを目的とする。

本発明の行動履歴検索装置は、人物の特徴を抽出する複数のカメラと、人物の通過を検知する複数の読取装置と、を備え、前記複数のカメラと前記複数の読取装置により人物の行動履歴を抽出する行動履歴検索装置において、個人を識別できる確度の高さの違いに応じて用意した複数のデータベースと、前記複数のカメラ夫々で抽出された人物の特徴情報及び前記複数の読取装置夫々で検出された人物の通過情報に対して個人を識別できる確度を付与し、前記複数のデータベースのうち、付与した確度の高さに対応するデータベースに格納するメタ分類手段と、検索対象人物を識別する識別子を少なくとも検索キーとして受信する検索要求受信手段と、前記検索要求受信手段で受信された検索キーに対応する人物を、前記複数のデータベースのうち、確度の高いデータベースを対象に検索する離散検索手段と、前記離散検索手段でヒットした複数の検索結果と確度の高い前記データベースとを用いて検索対象人物と依存関係にある人物を判定する依存関係判定手段と、前記依存関係判定手段で判定された依存関係にある人物の識別子及び検索対象人物の識別子から検索キーを生成するクエリ生成手段と、前記クエリ生成手段で生成された検索キーに対応する人物を、前記複数のデータベースのうち、確度の低いデータベースを対象に検索する離散候補間検索手段と、を備える。

この構成により、検索対象人物と依存関係にある人物を自動的に特定し、検索クエリに付与して検索を実行することができるため、検索対象人物が死角や他人の陰に一部隠れた時間帯に対しても行動履歴を洗い出すことができる。

また、上記構成において、前記メタ分類手段は、人物特徴情報と人物通過情報のメタデータを、本人拒否率と他人受入率の認証精度の高い順に複数の確度に分類し、確度毎にメタデータを生成する。

この構成により、カメラ設置条件や読取装置の有無に応じて、確度の高いメタデータを設定することができ、例えば読取装置を使用しないシステムの場合、顔の人物特徴データを確度の高いメタデータに設定して離散検索を行なったり、或いは、読取装置を使用する場合でも、顔の人物特徴データと人物通過情報を確度の高いメタデータに設定して離散検索でヒットする候補を多くしたりすることができる。

また、上記構成において、前記メタ分類手段は、確度の高いデータベースに分類したメタデータのレベルを、その他メタデータとの関連に応じて細分化し、離散候補間検索の検索条件指定時に細分化したレベルに対応したメタデータを指定する。

この構成により、離散候補検索時の検索ヒット率を高め、全体の処理時間を短縮することができる。

また、上記構成において、前記離散候補間検索手段は、確度の高いデータベースから順に繰返し離散候補間検索を行なう。

この構成により、検索処理を速めることができる。

また、上記構成において、前記依存関係判定手段は、検索対象人物と同時刻に通過した人物を確度の高いデータベースから抽出し、検索対象人物と一定時間ペアとして移動している人物を依存関係人物と判定する。

この構成により、検索対象人物が客、同行者、親等と一緒にいる時間帯に対して、検索対象人物が死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことができる。

また、上記構成において、前記依存関係判定手段は、検索対象人物と所定の時間差で通過した人物を確度の高いデータベースから抽出し、検索対象人物と一定時間同じ移動傾向にある人物を依存関係人物と判定する。

この構成により、検索対象人物が一人でいるが追従者がいる時間帯に対して、検索対象人物が死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことができる。

また、本発明の行動履歴検索方法は、プログラムされたコンピュータによって行動履歴を検索する行動履歴検索方法であって、人物特徴情報及び人物通過情報に個人を識別できる確度を付与し、確度毎に人物特徴データ及び人物通過情報のメタデータを保管するメタ分類ステップと、前記メタ分類ステップで保管した確度の高いメタデータを対象に、検索対象人物を検索する離散検索ステップと、前記離散検索ステップでヒットした複数の検索結果と確度の高いメタデータを用いて、検索対象人物と依存関係にある人物を判定する依存関係判定ステップと、前記依存関係判定ステップで判定した依存関係にある人物の識別子及び検索対象人物の識別子から検索キーを生成するクエリ生成ステップと、前記クエリ生成ステップで生成した検索キーに対応する人物を、確度の低いメタデータを対象に検索する離散候補間検索ステップと、を備える。

この方法により、検索対象人物と依存関係にある人物を自動的に特定し、検索クエリに付与して検索を実行することができるため、検索対象人物が死角や他人の陰に一部隠れた時間帯に対しても行動履歴を洗い出すことができる。

また、上記方法において、前記メタ分類ステップでは、人物特徴情報と人物通過情報のメタデータを本人拒否率と他人受入率の認証精度の高い順に複数の確度に分類し、確度毎にメタデータを生成する。

この方法により、顔、色、形状を含む人物特徴情報を得るためのカメラ設置条件や人物通過情報を得るための読取装置の有無に応じて、確度の高いメタデータを設定することができ、例えば読取装置を使用しないシステムの場合、顔の人物特徴データを確度の高いメタデータに設定して離散検索を行なったり、或いは、読取装置を使用する場合でも、顔の人物特徴データと人物通過情報を確度の高いメタデータに設定して離散検索でヒットする候補を多くしたりすることができる。

また、上記方法において、前記メタ分類ステップでは、高確度のメタデータのレベルを、その他のメタデータとの関連に応じて細分化し、離散候補間検索の検索条件指定時に細分化したレベルに対応したメタデータを指定する。

この方法により、離散候補検索時の検索ヒット率を高め、全体の処理時間を短縮することができる。

また、上記方法において、前記離散候補間検索ステップでは、確度の高いメタデータから順に繰返し離散候補間検索を行なう。

この方法により、検索処理を速めることができる。

また、上記方法において、前記依存関係判定ステップでは、検索対象人物と同時刻に通過した人物を確度のメタデータから抽出し、検索対象人物と一定時間ペアとして移動している人物を依存関係人物と判定する。

この方法により、検索対象人物が客、同行者、親等と一緒にいる時間帯に対して、検索対象人物が死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことができる。

また、上記方法において、前記依存関係判定ステップでは、検索対象人物と所定の時間差で通過した人物を確度の高いメタデータから抽出し、検索対象人物と一定時間同じ移動傾向にある人物を依存関係人物と判定する。

この方法により、検索対象人物が一人でいるが追従者がいる時間帯に対して、検索対象人物が死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことができる。

本発明は、不特定多数の人物が行動する環境の中で、検索対象人物が死角や他人の陰に一部隠れた時間帯に対しても行動履歴を洗い出すことができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る行動履歴検索装置の概略構成を示すブロック図である。図１において、本実施の形態に係る行動履歴検索装置は、人物を検知するための複数のカメラ１１と、人物の通過を検知するリーダ（読取装置）１２と、指定された検索条件に該当する人物を検索するメタ蓄積サーバ１３と、メタ蓄積サーバ１３に対して検索条件を指定して検索を実行する検索端末１４と、カメラ１１及びリーダ１２で検知した人物情報を保管するデータベース１５及び１６とを備えて構成される。

メタ蓄積サーバ１３は、メタ分類部１０１と、検索要求受信部１０２と、離散検索部１０３と、依存関係判定部１０４と、クエリ生成部１０５と、離散候補間検索部１０６とを備えている。メタ分類部１０１は、各カメラ１１のカメラ映像から抽出された人物の特徴データ（顔、色、形状等の人物特徴情報）及び各リーダ１２で検出された人物の通過情報に個人を識別できるレベル（確度）を付与し、確度毎に人物特徴データ及び人物通過情報をデータベース１５、１６に格納する。検索要求受信部１０２は、検索対象人物を識別する識別子を少なくとも検索キーとして受信する。この場合、検索対象人物を識別する識別子は、検索端末１４から送信される。離散検索部１０３は、検索要求受信部１０２で受信された検索キーに対応する人物を、確度の高いデータベース１５を対象に検索する。

依存関係判定部１０４は、離散検索部１０３でヒットした複数の検索結果と確度の高いデータベース１５を用いて、検索対象人物と依存関係にある人物（依存関係人物）を判定する。クエリ生成部１０５は、依存関係判定部１０４で判定された依存関係にある人物の識別子及び検索対象人物の識別子から検索キーを生成する。離散候補間検索部１０６は、クエリ生成部１０５で生成された検索キーに対応する人物を、確度の低いデータベース１６を対象に検索する。

各カメラ１１のカメラ映像から抽出する人物特徴データは、画像から切出した移動体の画像データであり、或いは、形状・色・大きさ、動きなどにより移動体を特定する情報であり、或いは、顔の目、鼻、口の形状や位置などを特定する情報である。これらの特徴情報の抽出分類方法は広く知られており、例えば「画像の処理と認識」（安居院猛・長尾智晴 共著、昭晃堂出版）に厳密に記されている。これらの既存技術を用いれば、カメラ映像から人物を識別し、人物の顔や服装色等の特徴を抽出することが可能となる。なお、カメラ１１で人物特徴データを抽出する構成で説明したが、複数のカメラ映像を蓄積・再配信するレコーダ装置等で人物特徴データを抽出する構成にしてもよい。

図２は、カメラ１１及びリーダ１２の設置例を模式的に表わしたものであり、居室エリアに、カメラ１１を５台（図２ではカメラ１１−１〜１１−５）、リーダ１２を３台（図２ではリーダ１２−１〜１２−３）設置した例を示している。人物（図２では山田さん）２０が通過すると、山田さんの人物特徴データ（顔、色、形状等）や人物移動情報のメタデータが検出され、メタ蓄積サーバ１３に送信される。図３は、山田さんの通過に伴って検出が作動した例を示しており、「リーダ１２−１→カメラ１１−１→カメラ１１−３→リーダ１２−３→カメラ１１−５」の順に検出が作動し、順次、メタ蓄積サーバ１３に検出したメタデータが送信される。

図４は、メタ分類部１０１の分類例を示したものであり、リーダ１２−１〜１２−３及びカメラ１１−１〜１１−５の出力するメタデータの内容によって、以下の分類パターンＡ、Ｂ、Ｃの方法で分類することができる。

＜メタ分類パターンＡ＞
リーダ１２−１〜１２−３は、ＲＦＩＤリーダ又はＩＣカードリーダ等を用いて、人物２０の通過を検出し、通過情報として「名前、時刻、リーダ名（場所）」をメタデータとして出力する。カメラ１１−１、１１−２、１１−５は、人物の顔特徴データ及び服装の色／形状特徴データを検出するためのカメラとして設置し、また、カメラ１１−３、１１−４は、人物の服装の色／形状を検出するためのカメラとして設置し、人物検出時、人物特徴データとして、「顔特徴データ（又は服装の色／形状特徴データ）、時刻、カメラ名（場所）」をメタデータとして出力する。

リーダ１２−１〜１２−３及びカメラ１１−１〜１１−５で検出した人物の紐付けは、リーダ１２−１〜１２−３間では「名前」で紐付けすることができる。また、カメラ１１−１〜１１−５間では、「顔特徴データ或いは服装の色／形状特徴データ」を用いた類似度計算により紐付けすることができる。また、「リーダ１２−１とカメラ１１−１」、「リーダ１２−２とカメラ１１−２」及び「リーダ１２−３とカメラ１１−５」間は、お互いの検出メタデータを時間／場所の相関を利用して紐付けすることができ、例えば、図３の場合、検出メタデータが時間的に重複するものを同一人物として紐付けすることができる。

メタ分類部１０１では、人物の通過情報及び人物の顔特徴データを受信した場合、高確度のメタデータとしてデータベース１５に蓄積し、また、人物の色／形状特徴データを受信した場合、低確度のメタデータとしてデータベース１６に蓄積する。このようにメタデータをデータベース１５、１６に分類して蓄積することで、まず離散検索部１０３において、人物の通過情報から検索対象人物の時間的に不連続な通過点を抽出すると同時に、抽出した通過点に紐付けした顔特徴データも抽出し、次に離散候補間検索部１０６において、抽出した顔特徴データに紐付けした色／形状特徴データをキーに、類似する人物をカメラ１１−１〜１１−５から抽出することが可能となり、複数のメタデータを切替えて検索対象人物の行動履歴を洗出すことが可能となる。

＜メタ分類パターンＢ＞
リーダ１２−１〜１２−３には、人物２０の名前に加え顔特徴データを保有しており、人物２０の通過を検出すると、通過情報として「名前、顔特徴データ、時刻、リーダ名（場所）」をメタデータとして出力する。また、カメラ１１−１〜１１−５は、人物２０の顔特徴データ、服装の色／形状特徴データの少なくとも１つは検出可能なカメラとして設置し、人物検出時、人物特徴データとして、「顔特徴データ（未検出の場合あり）、服装の色／形状特徴データ（未検出の場合あり）、時刻、カメラ名（場所）」をメタデータとして出力する。

メタ分類部１０１では、人物２０の通過情報を受信した場合、高確度のメタデータとしてデータベース１５に蓄積し、また人物２０の特徴データを受信した場合、低確度のメタデータとしてデータベース１６に蓄積する。データベース１５、１６間の紐付けは、通過情報に付与した顔特徴データを用いることで可能であり、離散検索部１０３は、リーダ１２−１〜１２−３を対象にした検索手段、また、離散候補間検索部１０６は、カメラ１１−１〜１１−５を対象にした検索手段と言うように、各検索手段とリーダ／カメラの各装置との関係を容易にすることが可能となる。

＜メタ分類パターンＣ＞
カメラ１１−１〜１１−５は、人物２０の顔特徴データ、服装の色／形状特徴データの少なくとも１つは検出可能なカメラとして設置し、人物検出時、人物特徴データとして、「顔特徴データ（未検出の場合あり）、服装の色／形状特徴データ（未検出の場合あり）、時刻、カメラ名（場所）」をメタデータとして出力する。なお、リーダ１２−１〜１２−３は使用しない。

メタ分類部１０１では、人物２０の顔特徴データを受信した場合、高確度のメタデータとしてデータベース１５に蓄積し、また、人物の色／形状特徴データを受信した場合、低確度のメタデータとしてデータベース１６に蓄積する。データベース１５、１６間の紐付けは、「時刻、カメラ名（場所）」が同一の顔特徴データと色／形状特徴データと言うように、「時刻、カメラ名（場所）」を用いることで可能であり、リーダ１２−１〜１２−３の装置がない場合、すなわち、カメラ１１−１〜１１−５の装置のみの場合でも、本発明の行動履歴検索装置を利用することができる。

図５は、検索要求受信部１０２、離散検索部１０３、依存関係判定部１０４、クエリ生成部１０５、離散候補間検索部１０６の処理手順を示すフローチャートである。以下、図５のフローチャートを参照して動作を説明する。

まず検索要求受信部１０２にて、検索対象人物の検索キーを受信する（ステップＳ５０１）。受信する検索キーは、確度の高いデータベース１５で保管しているメタデータを分類するための識別子であり、例えば、図４の「メタ分類パターンＡ、Ｂ」の場合、検索対象人物の「名前」であり、或いは、「メタ分類パターンＣ」の場合、検索対象人物の「顔特徴データ」である。

次いで、離散検索部１０３にて、確度の高いデータベース１５を対象に、検索対象人物の検索を実行し、該当する検索結果を取得する（ステップＳ５０２）。

次いで、依存関係判定部１０４にて、ステップＳ５０２で取得した複数の検索結果に対して、各検索結果に含まれる「時刻、リーダ名（場所）」の情報を用いて、検索対象人物と同時刻に通過した人物を確度の高いデータベース１５から抽出する（ステップＳ５０３）。例えば、図２において、「検索対象人物２０＝山田さん」の離散検索結果が、「時刻＝１５：００、リーダ名＝リーダ１２−１」及び「時刻=１５：１５、リーダ名＝リーダ１２−３」とした場合、山田さんと同時刻に通過した人は、「時刻＝１５：００、リーダ名＝リーダ１２−１、名前＝山本」、「時刻＝１５：００、リーダ名＝リーダ１２−１、名前＝山下」、「時刻＝１５：１５、リーダ名＝リーダ１２−１、名前＝山本」と言う情報が取得される。

次いで、依存関係判定部１０４にて、ステップ５０３で抽出した結果から、名前／顔特徴データなどの人物を分類する識別子を用いて、人物単位で移動軌跡情報（時間軸リスト）を作成する（ステップＳ５０４）。ステップＳ５０３の例の場合、「名前＝山本、（時刻＝１５：００、リーダ名＝リーダ１２−１）→（時刻＝１５：１５、リーダ名＝リーダ１２−１）」、「名前＝山下、（時刻＝１５：００、リーダ名＝リーダ１２−１）」の人物数＝２の時間軸リストが作成される。

次いで、依存関係判定部１０４にて、ステップＳ５０４で作成した人物数分の時間軸リストに対して、ステップＳ５０６〜ステップＳ５０７の処理を行なう（ステップＳ５０５）。

次いで、各人物の時間軸リストを、所定の時間間隔Ｔ秒以内の時間軸リストになるようにサブ時間軸リストを作成する（ステップＳ５０６）。例えば図６において、時間間隔Ｔ=３００秒とすると、人物Ｄの時間軸リストは、「第１通過情報及び第３通過情報」と「第７通過情報」の２つのサブ時間軸リストとして作成される。なお、人物Ｂ、人物Ｃは分割できないので、「サブ時間軸リスト＝時間軸リスト」となる。また、図６において、リーダ（０）、（１）、（２）、（３）、（５）及び（６）は、図２のリーダ１２−１〜１２０３と同様のものである。他も同様である。

次いで、分割したサブ時間軸リストの開始／終了時刻を抽出し、追加クエリリストに登録する（ステップＳ５０７）。例えば図７のように４つの追加クエリリストを作成する。次いで、クエリ生成部１０５にて、追加クエリリストからクエリを再生成する（ステップＳ５０８）。生成するクエリは、人物識別子＝「検索対象人物 ＯＲ 複数の依存関係人物（ステップＳ５０４で作成した人物）の識別子」、検索範囲＝「時刻、場所」となるが、実際には、図８のように追加クエリリストの要素間で重複する時間帯と依存関係人物を抽出し、前述の人物識別子及び検索範囲を設定する。

次いで、離散候補間検索部１０６にて、確度の低いデータベース１６を対象にして、検索対象人物の検索を実行する（ステップＳ５０９）。そして、ステップＳ５０２とステップＳ５０９で得られた結果をマージして検索結果を返信する（ステップＳ５１０）。

図９は、検索対象人物と一定時間ペアとして移動している人物や一定時間同じ移動傾向にある人物を依存関係人物として自動的に特定する依存関係判定部１０４の処理イメージを模式的に示したものである。図９において、検索対象者である山田さんと同じ移動傾向にある人物を検出した場合、「リーダ１２−１⇔リーダ１２−２」及び「リーダ１２−２⇔リーダ１２−３」共に山本さんが依存関係人物となるため、カメラを対象にした離散候補間検索時の検索クエリは、「山田さん ＯＲ 山本さんの顔特徴データ（或いは色特徴データ）」となる。このクエリを使用して検索を行なうことで、例えば山田さんが山本さんの陰になっている時間帯（図９の９１）、山田さんが障害物の陰になっている時間帯（図９の９２）の山田さんの行動履歴を抽出することが可能となる。

このように、本実施の形態に係る行動履歴検索装置によれば、各カメラ１１でカメラ映像から抽出した人物の特徴データ及び各リーダ１２で検出した人物の通過情報に個人を識別できる確度を付与し、まず確度の高い情報から検索対象人物と依存関係にある人物を自動的に特定し、次に確度の低い情報に対して依存関係人物の識別子を付与して検索を実行することで、検索対象人物が死角や他人の陰に一部隠れた時間帯に対しても行動履歴を洗い出すことできる。特に、検索対象人物と一定時間ペアとして移動している人物を依存関係人物と特定することで、検索対象人物が客、同行者、親等と一緒にいる時間帯に対して、検索対象人物が死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことできる。

なお、メタ分類部１０１の分類方法として、本装置で使用するメタデータ（人物通過情報、人物特徴データ）を認証精度（本人拒否率、他人受入率）の高い順に複数の確度に分類するようにしてもよい。このようにすることにより、カメラ設置条件やリーダの有無に応じて、確度の高いメタデータを自動設定することができ、例えばリーダを使用しないシステムの場合、顔の人物特徴データを確度の高いメタデータに設定して離散検索を行なったり、或いはリーダを使用する場合でも、顔の人物特徴データと人物通過情報を確度の高いメタデータに設定して離散検索でヒットする候補を多くしたりすることができる。

（実施の形態２）
本発明の実施の形態２に係る行動履歴検索装置は、検索対象人物が一人で移動中に死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことできるものである。実施の形態２に係る行動履歴検索装置の構成は、前述した実施の形態１に係る行動履歴検索装置の構成と略同じであるため、ここでは、追加・変更となる依存関係判定部１０４、クエリ生成部１０５、離散候補間検索部１０６の処理手順のみ記載し、他は省略する。

図１０は、依存関係判定部１０４、クエリ生成部１０５、離散候補間検索部１０６の処理手順を示すフローチャートである。以下、図１０のフローチャートを参照して動作を説明する。

まずステップＳ５０１と同様に検索対象人物の検索キーを受信する（ステップＳ１００１）。次いで、ステップＳ５０２と同様に、確度の高いデータベース１５を対象に、検索対象人物の検索を実行し、該当する検索結果を取得する（ステップＳ１００２）。

次いで、依存関係判定部１０４にて、ステップＳ１００２で取得した複数の検索結果に対して、各検索結果に含まれる「時刻ｔ、リーダ名（場所）」の情報を用いて、検索対象人物と所定の時間差で通過した人物を確度の高いデータベース１５から抽出する（ステップＳ１００３）。所定の時間差の時刻は、「ｔ±α」で設定（α：５秒、１０秒、１５秒・・・と複数設定）し、例えば図２において、「検索対象人物２０＝山田さん」の離散検索結果が、「時刻＝１５：００、リーダ名＝リーダ１２−１」及び「時刻=１５：１５、リーダ名＝リーダ１２−３」となった場合、ステップＳ１００３の検索条件は、「（時刻＝１５：００＋５秒 ａｎｄ リーダ名＝リーダ１２−１）ａｎｄ （時刻＝１５：１５＋５秒 ａｎｄ リーダ名＝リーダ１２−３）」ｏｒ「（時刻＝１５：００−５秒 ａｎｄ リーダ名＝リーダ１２−１）ａｎｄ （時刻＝１５：１５−５秒 ａｎｄ リーダ名＝リーダ１２−３）」ｏｒ「（時刻＝１５：００＋１０秒 ａｎｄ リーダ名＝リーダ１２−１）ａｎｄ （時刻＝１５：１５＋１０秒 ａｎｄ リーダ名＝リーダ１２−３）」ｏｒ・・・となり、この検索条件に該当する人物を抽出することになる。

次いで、依存関係判定部１０４にて、確度の低いデータベース１６を用いて、ステップＳ１００３で抽出した人物群（所定の時間差で通過した人物群）の移動軌跡を夫々検索する（ステップＳ１００４）。各人物の検索条件は、人物識別子＝「所定の時間差で通過した人物」、検索範囲＝「時刻、場所」であり、「時刻、場所」の条件として、ステップＳ１００２で抽出した検索結果群（離散候補群）の離散候補間の「時間範囲、場所」の“ＯＲ”を指定する。

次いで、クエリ生成部１０５にて、確度の低いデータベース１６から検索対象人物２０を検索するための条件（基本条件）、及び、所定の時間差で通過した人物群の移動軌跡情報（補間条件）、をクエリとして設定する（ステップＳ１００５）。なお、基本条件として、人物識別子＝「検索対象人物」、検索範囲＝「時刻、場所」（時刻、場所の詳細はステップＳ１００４と同様）を指定する。

次いで、離散候補間検索部１０６にて、基本条件を用いて検索対象人物の検索を実行する（ステップＳ１００６）。次いで、離散候補間検索部１０６にて、「ステップＳ１００６で得られた検索対象人物の移動軌跡」と「補間条件である所定の時間差で通過した人物（依存関係人物）の移動軌跡」を比較し、検索対象人物の移動軌跡に最も似ている依存関係人物（人物Ａとする）を選択する（ステップＳ１００７）。そして、検索対象人物の移動軌跡で途切れている時間帯に関しては、人物Ａの移動軌跡から補間する処理を行ない、その結果を検索結果として返信する。

このように、本実施の形態に係る行動履歴検索装置によれば、検索対象人物と所定の時間差で通過した人物を確度の高いデータベースから抽出し、検索対象人物と一定時間同じ移動傾向にある人物を依存関係人物と判定することで、検索対象人物が一人で移動中に死角や他人の陰に一部隠れた場合でも行動履歴を洗い出すことができる。

なお、図１０において、離散検索部１０３で得られた検索対象人物の全通過点を通過した人のみ補間条件に指定する方法で説明したが、全通過点ではなく、連続する部分的な通過点（部分通過点）を通過した人も補間条件に追加し、部分通過点での補間処理を行なうことで、さらに検索対象人物の行動履歴抽出精度を向上することができる。

（実施の形態３）
本発明の実施の形態３に係る行動履歴検索装置は、離散候補検索時の検索ヒット率を高め、全体の処理時間を短縮することができるものである。実施の形態３に係る行動履歴検索装置の構成は、前述した実施の形態１に係る行動履歴検索装置と略同じであるため、ここでは、追加・変更となるメタ分類部１０１、離散候補間検索部１０６の処理手順のみ記載し、他は省略する。

図１１〜図１３は、メタ分類部１０１において、確度の高いデータベース１５に格納したメタデータのレベルを、確度の低いデータベース１６に格納したその他のメタデータとの関連に応じて細分化する方法について示したものである。図１１のように、高確度のメタデータのレベル（１、２、３）は予めシステムで定義されており、例えば「高確度のメタデータ＝入退室用のリーダ」の場合、「入室Ｔ秒間後に顔検出されたリーダのレベル＝１」、「入室Ｔ秒間後に色検出されたリーダのレベル＝２」、「入室Ｔ秒間後に何も検出されないリーダのレベル＝３」と高確度にレベルが付与されている。

図１２は、検出された高確度のメタデータをどのレベルに分類するかを示したものである。例えばゲートＡにあるリーダ（１）が作動後、所定時間内にゲートＡ近辺にあるカメラ（１）、（２）から人物特徴データが出力されなければ、リーダ（１）から出力された人物通過情報のレベルは高確度−３と設定され、データベース１５に登録される。また、ゲートＡにあるリーダ（１）が作動後、所定時間内にゲートＡ近辺にあるカメラ（１）、（２）から人物特徴データとして顔特徴データ及び色特徴データが出力された場合、リーダ（１）から出力された人物通過情報のレベルは高確度−１（顔・色のより高いレベル）と設定され、データベース１５に登録される。

図１３は、各リーダ（１）〜（４）で検出したメタデータの高確度レベルと、リーダ間のカメラ群の検出情報を模式的に示したものである。この場合の離散候補検索時の検索手順は、高確度レベルに応じて、「リーダ（１）−（２）間：顔特徴データを対象に検索を実行後、色特徴データを対象に検索を実行する」、「リーダ（２）−（３）間：色特徴データを対象に検索を実行する」、「リーダ（３）−（４）間：何も検索しない」と言った、高確度レベル以下の人物特徴データに対して検索を行なう。このように、高確度レベルを付与し、レベルに応じて検索処理内容を変更することで、検索処理を速めることができ、特にマッチング・照合演算量の大きいメタデータから高レベルに割当てることで全体の検索処理を向上させることができる。

このように、本実施の形態に係る行動履歴検索装置によれば、高確度のメタデータのレベルを、その他のメタデータとの関連に応じて細分化し、離散候補間検索の検索条件指定時に細分化したレベルに対応したメタデータを指定することで、離散候補検索時の検索ヒット率を高め、全体の処理時間を短縮することができる。

本発明は、検索対象人物と依存関係にある人物を自動的に特定し検索クエリに付与して検索を実行することができるため、検索対象人物が死角や他人の陰に一部隠れた時間帯に対しても行動履歴を洗い出すことできるといった効果を有し、複数カメラを対象にした万引き犯・迷子・落し物者の全行動把握を行なう監視用途に加えて、旅行・運動会等の個人で撮影したコンテンツ（静止画・動画）に対する閲覧・検索・編集の用途にも応用することができる。

本発明の実施の形態１に係る行動履歴検索装置の概略構成を示すブロック図 実施の形態１に係る行動履歴検索装置のカメラ及びリーダの設置イメージ図 実施の形態１に係る行動履歴検索装置のメタデータ検出を説明するための図 実施の形態１に係る行動履歴検索装置のメタ分類を説明するための図 実施の形態１に係る行動履歴検索装置の検索動作を説明するためのフローチャート 実施の形態１に係る行動履歴検索装置の検索動作の詳細を説明するための図 実施の形態１に係る行動履歴検索装置の検索動作の詳細を説明するための図 実施の形態１に係る行動履歴検索装置の検索動作の詳細を説明するための図 実施の形態１に係る行動履歴検索装置の検索実行例を示したイメージ図 本発明の実施の形態２に係る行動履歴検索装置の検索動作を説明するためのフローチャート 本発明の実施の形態３に係る行動履歴検索装置のメタ分類を説明するための図 実施の形態３に係る行動履歴検索装置のメタ分類を説明するための図 実施の形態３に係る行動履歴検索装置のメタ分類を説明するための図

符号の説明

１１ カメラ
１２ リーダ
１３ メタ蓄積サーバ
１４ 検索端末
１５、１６ データベース
１０１ メタ分類部
１０２ 検索要求受信部
１０３ 離散検索部
１０４ 依存関係判定部
１０５ クエリ生成部
１０６ 離散候補間検索部

Claims (12)

1. 人物の特徴を抽出する複数のカメラと、
   人物の通過を検知する複数の読取装置と、
   を備え、前記複数のカメラと前記複数の読取装置により人物の行動履歴を抽出する行動履歴検索装置において、
   個人を識別できる確度の高さの違いに応じて用意した複数のデータベースと、
   前記複数のカメラ夫々で抽出された人物の特徴情報及び前記複数の読取装置夫々で検出された人物の通過情報に対して個人を識別できる確度を付与し、前記複数のデータベースのうち、付与した確度の高さに対応するデータベースに格納するメタ分類手段と、
   検索対象人物を識別する識別子を少なくとも検索キーとして受信する検索要求受信手段と、
   前記検索要求受信手段で受信された検索キーに対応する人物を、前記複数のデータベースのうち、確度の高いデータベースを対象に検索する離散検索手段と、
   前記離散検索手段でヒットした複数の検索結果と確度の高い前記データベースとを用いて検索対象人物と依存関係にある人物を判定する依存関係判定手段と、
   前記依存関係判定手段で判定された依存関係にある人物の識別子及び検索対象人物の識別子から検索キーを生成するクエリ生成手段と、
   前記クエリ生成手段で生成された検索キーに対応する人物を、前記複数のデータベースのうち、確度の低いデータベースを対象に検索する離散候補間検索手段と、
   を備える行動履歴検索装置。
2. 前記メタ分類手段は、人物特徴情報と人物通過情報のメタデータを本人拒否率と他人受入率の認証精度の高い順に複数の確度に分類し、確度毎にメタデータを生成する請求項１に記載の行動履歴検索装置。
3. 前記メタ分類手段は、確度の高いデータベースに分類したメタデータのレベルを、その他メタデータとの関連に応じて細分化し、離散候補間検索の検索条件指定時に細分化したレベルに対応したメタデータを指定する請求項２に記載の行動履歴検索装置。
4. 前記離散候補間検索手段は、確度の高いデータベースから順に繰返し離散候補間検索を行なうことを特徴とする請求項２に記載の行動履歴検索装置。
5. 前記依存関係判定手段は、検索対象人物と同時刻に通過した人物を確度の高いデータベースから抽出し、検索対象人物と一定時間ペアとして移動している人物を依存関係人物と判定する請求項１乃至請求項４のいずれか一項に記載の行動履歴検索装置。
6. 前記依存関係判定手段は、検索対象人物と所定の時間差で通過した人物を確度の高いデータベースから抽出し、検索対象人物と一定時間同じ移動傾向にある人物を依存関係人物と判定する請求項１乃至請求項４のいずれか一項に記載の行動履歴検索装置。
7. プログラムされたコンピュータによって行動履歴を検索する行動履歴検索方法であって、
   人物特徴情報及び人物通過情報に個人を識別できる確度を付与し、確度毎に人物特徴データ及び人物通過情報のメタデータを保管するメタ分類ステップと、
   前記メタ分類ステップで保管した確度の高いメタデータを対象に、検索対象人物を検索する離散検索ステップと、
   前記離散検索ステップでヒットした複数の検索結果と確度の高いメタデータを用いて、検索対象人物と依存関係にある人物を判定する依存関係判定ステップと、
   前記依存関係判定ステップで判定した依存関係にある人物の識別子及び検索対象人物の識別子から検索キーを生成するクエリ生成ステップと、
   前記クエリ生成ステップで生成した検索キーに対応する人物を、確度の低いメタデータを対象に検索する離散候補間検索ステップと、
   を備える行動履歴検索方法。
8. 前記メタ分類ステップでは、人物特徴情報と人物通過情報のメタデータを本人拒否率と他人受入率の認証精度の高い順に複数の確度に分類し、確度毎にメタデータを生成する請求項７に記載の行動履歴検索方法。
9. 前記メタ分類ステップでは、高確度のメタデータのレベルを、その他のメタデータとの関連に応じて細分化し、離散候補間検索の検索条件指定時に細分化したレベルに対応したメタデータを指定する請求項８に記載の行動履歴検索方法。
10. 前記離散候補間検索ステップでは、確度の高いメタデータから順に繰返し離散候補間検索を行なう請求項８に記載の行動履歴検索方法。
11. 前記依存関係判定ステップでは、検索対象人物と同時刻に通過した人物を確度のメタデータから抽出し、検索対象人物と一定時間ペアとして移動している人物を依存関係人物と判定する請求項７乃至請求項１０のいずれか一項に記載の行動履歴検索方法。
12. 前記依存関係判定ステップでは、検索対象人物と所定の時間差で通過した人物を確度の高いメタデータから抽出し、検索対象人物と一定時間同じ移動傾向にある人物を依存関係人物と判定する請求項７乃至請求項１０のいずれか一項に記載の行動履歴検索方法。

Images