JP6433928B2 - 検索装置、検索方法および検索システム - Google Patents

Description

本発明の実施形態は、検索装置、検索方法および検索システムに関する。

街中等に設置された監視映像群等を活用した、迷子および容疑者などの行方不明者の捜索ソリューションが実用化されつつある。例えば、行方不明者の顔や全身像などの画像を手掛かりとして、蓄積された監視映像群の中から、類似画像パタンを探し出す技術が提案されている。

特開２００６−２２１３５５号公報

しかしながら、従来技術では、例えば、行方不明者自身ではない、事案や事件に関与した関係者を捜索することができなかった。

実施形態の検索装置は、検索部と取得部と選択部とを含む。検索部は、オブジェクトを特定する特定情報と、時刻および位置の少なくとも一方である属性情報と、を対応づけたオブジェクトデータを記憶する記憶部から、指定された特定情報と一致または類似する特定情報を含む第１オブジェクトデータを検索する。取得部は、第１オブジェクトデータに含まれる属性情報と一致または類似する属性情報を含み、第１オブジェクトデータに含まれる特定情報と異なる特定情報を含む１以上の第２オブジェクトデータを記憶部から取得する。選択部は、第２オブジェクトデータのうち１つを選択する。検索部は、選択された第２オブジェクトデータに含まれる特定情報を指定された特定情報として、第１オブジェクトデータをさらに検索する。

図１は、第１の実施形態にかかる検索システムの構成例を示すブロック図である。 図２は、第１の実施形態のオブジェクトデータの例を示す図である。 図３は、第１の実施形態のオブジェクトデータの例を示す図である。 図４は、第１の実施形態のオブジェクトデータの例を示す図である。 図５は、第１の実施形態における連想検索処理の一例を示すフローチャートである。 図６は、第１の実施形態の検索処理の一例を示すフローチャートである。 図７は、第１の実施形態のクエリ候補取得処理の一例を示すフローチャートである。 図８は、第１の実施形態のフィルタ処理の一例を示すフローチャートである。 図９は、第１の実施形態の地図表示処理の一例を示すフローチャートである。 図１０は、第１の実施形態の表示画面の一例を示す図である。 図１１は、第１の実施形態のオブジェクト関係図の例を示す図である。 図１２は、第１の実施形態の生成処理の一例を示すフローチャートである。 図１３は、第２の実施形態にかかる検索装置の構成の一例を示すブロック図である。 図１４は、第２の実施形態のオブジェクトデータの例を示す図である。 図１５は、第２の実施形態における検索処理の一例を示すフローチャートである。 図１６は、第２の実施形態におけるクエリ候補取得処理の一例を示すフローチャートである。 図１７は、第２の実施形態におけるフィルタ処理の一例を示すフローチャートである。 図１８は、第２の実施形態のフィルタ処理の他の例を示すフローチャートである。 図１９は、第２の実施形態の表示画面の一例を示す図である。 図２０は、第２の実施形態のオブジェクト関係図の一例を示す図である。 図２１は、第１または第２の実施形態にかかる装置のハードウェア構成例を示す説明図である。

以下に添付図面を参照して、この発明にかかる検索システムの好適な実施形態を詳細に説明する。

上記のように、従来の技術では、行方不明者自身ではない、関係者を捜索することができなかった。例えば、迷子の事案が児童誘拐事件だった場合、誘拐犯が児童をフードなどで覆い隠すなどの処置を施すと、犯人接触後の児童の足取りは追跡困難となる。この場合、児童に接触した誘拐犯自身の足取りを追跡する必要がある。別の例として、事件発生直後の容疑者の足取り追跡においては、グループや組織による犯罪の可能性を想定し、関与している人物の存在確認および追跡を行うニーズがある。

以下の各実施形態にかかる検索システムは、位置（位置情報）および時刻（時刻情報）の少なくとも一方である属性情報が対応づけられるデータ群を対象とした連想検索を可能とする。検索対象とするデータをオブジェクトデータという場合がある。連想検索は、通常検索機能、連想的クエリ提示機能、および、芋づる検索機能を含む。各機能の詳細は後述する。連想検索により、行方不明者自身ではない関係者を捜索することが可能となる。

次に、連想検索の各機能の例について説明する。以下では、画像パタンとは、検索対象となる画像領域を示す。顔画像検索の場合、画像中に含まれる顔領域が画像パタンとなる。画像パタンは、１画像中に複数含まれていてもよい。

（１）通常検索機能
ユーザなどにより外部から与えられた画像パタンをクエリとして、位置情報が付与されている画像群に対し類似画像検索を行う。検索結果として得られた各画像パタンについて、その画像パタンと、その画像パタンが属する画像とを、画像に付与されている位置情報に基づいて地図に配置する。

（２）連想的クエリ提示機能
（２−１）検索結果の各画像パタンを含む画像（第１画像）群に含まれる各画像について、位置的に近傍となる画像（第２画像）群を検索する。
（２−２）第２画像群を、画像に付与されている位置情報に基づいて地図に配置する。
（２−３）第１画像群および第２画像群に含まれる画像パタン群を検出して得られた画像パタン群のうち、通常検索結果の画像パタンでないものを、ユーザが選択できる連想的クエリとして提示する。
（２−４）手順（２−３）で提示した画像パタンのいずれかに対するユーザ選択操作（例えばクリックなど）を受け取り、選択操作で選択された画像パタンを連想的クエリとする。
（３）芋づる検索機能
処理（２）で指定された連想的クエリを入力として処理（１）に戻る。これにより、ユーザが所望する回数だけ反復的な芋づる検索を行うことが可能となる。

上記例では、位置情報に基づいて位置的に近傍となる画像群を検索した。すなわち、位置情報を属性情報として、位置情報が示す位置が一致または類似する画像群を検索した。属性情報は位置情報のみに限られず、例えば、時刻を示す時刻情報を属性情報としてもよいし、時刻情報と位置情報とを属性情報としてもよい。

属性情報が一致または類似とは、例えば、複数の属性情報間の差分が閾値より小さいことを示す。属性情報が位置情報の場合であれば、位置が一致または類似するとは、複数の位置間の差分（距離）が閾値より小さいことを示す。属性情報が時刻情報の場合は、時刻が一致または類似するとは、複数の時刻間の差分が閾値より小さいことを示す。位置情報と時刻情報の両者を用いる場合は、属性情報が一致または類似とは、両者それぞれで差分が閾値より小さいことを示す。

属性情報に含まれる時刻情報と位置情報のそれぞれの類似度の重み付け加算した値を属性情報の類似度としてもよい。この場合、時刻情報と位置情報のうち一方の重みを０にすれば、他方のみを属性情報として考慮させることができる。

また各実施形態では、上記の連想検索の各機能に加えた発展的機能として、芋づる検索の履歴（例えば誰を元にさらに誰を探したか）を用いて、人間関係ネットワークを構築し、当該ネットワークを可視化する機能を提供する。

検索システムの適用範囲は人物捜索に限られない。例えば車および犬など任意の移動オブジェクトの追跡にも応用可能である。検索対象となるデータ（オブジェクトデータ）群は、例えば監視カメラにより撮像された画像データ群（静止画、動画など）であるが、これに限られるものではない。例えば、ジオタグなどの位置情報が付与されたツイートデータなどをオブジェクトデータ群として用いてもよい。オブジェクトデータは、例えば随時記録される画像データまたはツイートデータなどのログデータであるが、これに限られるものではない。

上記のように、属性情報は、時刻および位置の少なくとも一方でよい。時刻のみを属性情報として用いる場合は、時間軸上で近傍となるデータ群を検索するように構成すればよい。位置のみを属性情報として用いる場合は、特定の空間上で近傍となるデータ群を検索するように構成すればよい。特定の空間は、例えば緯度および経度などで表される現実の空間（ユークリッド空間など）であるが、これに限られるものではない。例えば、道路網を示す空間、鉄道網を示す空間、コンピュータネットワークを示す空間、および、コンピュータ等を用いて構成された仮想空間などを用いてもよい。

以上のように、実施形態の検索システムは、オブジェクトデータの検索により、空間を移動するオブジェクトを追跡可能とするシステムである。実施形態の検索システムは、さらに時空間上の近傍性をヒントに関連性の高いオブジェクトをインタラクティブかつ芋づる的に発見する機能を備える。仕組みの汎用性については、実施形態の中で具体的に説明する。

以下では、ラベルありオブジェクトを対象とした検索システム（第１の実施形態）と、ラベルなしオブジェクトを対象とした検索システム（第２の実施形態）との２種類に分けて説明する。ラベルとはオブジェクトを識別するための名前およびＩＤなどの識別情報である。

（第１の実施形態）
本実施形態は、ラベルありオブジェクトを対象とした検索システムである。追跡対象がラベルありオブジェクトとなる応用例として以下が挙げられる。
・テーマパークおよび工場などの、入場者が管理されたエリアでの監視画像による人物追跡
・位置情報が付与されたユーザ発信情報（例：ジオタグ付ツイート、位置情報ゲームのプレイログ情報）に基づく人物追跡
・カーナンバー認識などを伴う高速道路等での車の追跡

以下では、監視画像による人物追跡の例を中心に説明し、他の応用例については補足的に説明する。

図１は、本実施形態にかかる検索システムの構成例を示すブロック図である。図１に示すように、本実施形態の検索システムは、検索装置１００と、カメラ２０１、２０２と、携帯電話２０３と、ＰＣ（パーソナルコンピュータ）２０４と、サーバ装置３００と、ＰＣ５００と、ネットワーク６０１、６０２と、を備えている。

ネットワーク６０１は、検索装置１００と、カメラ２０１、２０２と、携帯電話２０３と、ＰＣ２０４と、サーバ装置３００と、を接続する。ネットワーク６０２は、検索装置１００と、ＰＣ５００とを接続する。図１のネットワーク構成は一例であり、これに限られるものではない。例えば、ネットワーク６０１、６０２を統合してもよいし、これらの少なくとも一方をさらに複数のネットワークに分割してもよい。ネットワーク６０１、６０２は、インターネット、および、ＬＡＮ（ローカルエリアネットワーク）などの任意のネットワーク形態により構成できる。

カメラ２０１、２０２は、人物１１、１２などを撮像する、例えば監視カメラなどの撮像装置である。カメラ２０１、２０２は、それぞれ送信部２０１ａ、２０２ａを備えている。送信部２０１ａ、２０２ａは、撮像した画像などのオブジェクトデータをネットワーク６０１に向けて送信する。カメラ２０２のように、撮像した画像を一時的に記憶する記憶部２２１が備えられていてもよい。送信されたオブジェクトデータは、監視システムなどに送信されて記憶されてもよい。

携帯電話２０３、および、ＰＣ２０４は、例えばツイートデータなどのオブジェクトデータをサーバ装置３００などに送信する情報処理装置である。オブジェクトデータを送信する装置であれば、携帯電話やＰＣ以外の情報処理装置を適用してもよい。携帯電話２０３、および、ＰＣ２０４は、オブジェクトデータを送信する送信部２０３ａ、２０４ａをそれぞれ備えている。

サーバ装置３００は、例えばツイートデータを共有するサービスを提供する装置である。サーバ装置３００は、記憶部３２１を備えている。記憶部３２１は、サービスのユーザ（例えば人物１３、１４）が使用する情報処理装置（携帯電話２０３、ＰＣ２０４等）から送信されたツイートデータなどを記憶する。

ＰＣ５００は、検索装置１００の連想検索を利用するための情報処理装置の例である。例えばＰＣ５００は、ユーザである人物１５により入力された、検索するオブジェクト（追跡する人物など）の特定情報を検索装置１００に送信し、特定情報に基づく検索結果を検索装置１００から受け取る。検索結果は、ＰＣ５００の表示装置などに表示されてもよい。

特定情報は、オブジェクトを特定する情報である。本実施形態のようにラベルありの場合は、ラベル（オブジェクトを識別する識別情報）を特定情報としてもよい。なおラベルなしの場合は、例えば、オブジェクトの特徴を表す特徴情報を特定情報とすることができる。

検索装置１００は、記憶部１２１と、表示部１２２と、検索部１０１と、取得部１０２と、分類部１０３と、選択部１０４と、表示制御部１０５と、生成部１０６と、を備えている。

記憶部１２１は、検索装置１００による各種処理で用いる各種データを記憶する。例えば記憶部１２１は、オブジェクトの特定情報と属性情報とを対応づけたオブジェクトデータを記憶する。

図２〜図４は、オブジェクトデータの例を示す図である。図２〜図４では、時刻と、緯度および経度である位置情報と、を属性情報とする例が示されている。図２、図３、および、図４は、それぞれ氏名、ログインＩＤ、および、カーナンバーをラベル（特定情報）とする例である。

図２は、テーマパークおよび工場内など、入場者が管理されたエリアでの監視画像による人物追跡を行う応用でのログデータの例を示している。例えば、敷地内などに設置された各監視カメラによって撮影された画像の中から、人物の顔が検出および認識される。撮影時刻、撮影位置（緯度、経度）、顔認識の結果得られた氏名、および、抽出された顔画像を含むログデータが、テーブルのレコードとして蓄積される。

図３は、位置情報が付与されたユーザ発信情報（例：ジオタグ付ツイート、位置情報ゲームのプレイログ情報）に基づく人物追跡を行う応用でのログデータの例を示している。例えば、ツイートデータを共有するサービスに投稿されたジオタグ付のメッセージ群を元に、メッセージの投稿時刻、投稿位置（緯度、経度）、投稿ユーザのログインＩＤ、および、投稿メッセージを含むログデータが、テーブルのレコードとして蓄積される。

図４は、カーナンバー認識などを伴う高速道路等での車の追跡を行う応用でのログデータの例を示している。例えば、ゲートなどに設置された各監視カメラによって撮影された画像の中から、ナンバープレートが検出および認識される。撮影時刻、撮影位置（緯度、経度）、ナンバープレート認識結果として得られたカーナンバー、および、抽出された車両画像を含むログデータが、テーブルのレコードとして蓄積される。

図２〜図４に示すように、オブジェクトデータは、ラベルとして利用できる氏名、ログインＩＤ、および、カーナンバーなどを含む。またオブジェクトデータは、抽出された顔画像、メッセージ、および、抽出された車両画像などをオブジェクトのコンテンツとして含む。本実施形態の検索ステムは、時刻、位置、および、ラベルを用いたアルゴリズムを用いるため、いずれのオブジェクトデータであっても処理可能である。以下では、主に図２に示すような顔認識のログデータを用いた人物追跡への応用を例に説明する。

記憶部１２１は、例えば、管理者などの指定に応じて、または、定期的にサーバ装置３００の記憶部３２１などから収集されたオブジェクトデータを記憶してもよい。

なお、記憶部１２１、３２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

表示部１２２は、検索装置１００による各種処理で用いる各種データを表示する。表示部１２２は、例えば、液晶ディスプレイなどにより構成できる。なお、検索結果などを例えばＰＣ５００の表示装置に表示させるように構成する場合などであれば、表示部１２２を検索装置１００に備えなくてもよい。

検索部１０１は、上記の通常検索機能を実現する。すなわち検索部１０１は、記憶部１２１から、指定されたラベルと一致するラベルのオブジェクトデータ（第１オブジェクトデータ）を検索する。通常検索に用いるクエリ（通常クエリ）は、ラベルの他に、基準時刻および基準位置を含んでもよい。基準時刻は、基準となる時刻を意味する。基準位置は、基準となる位置を意味する。

通常クエリは、ＰＣ５００のユーザ（人物１５など）により指定され検索装置１００に送信されてもよいし、検索装置１００の入力インタフェースなどから入力されてもよい。

検索部１０１は、入力された通常クエリにより記憶部１２１内のログデータを検索する。検索部１０１は、検索の結果得られる検索結果データを表示制御部１０５に渡す。

表示制御部１０５は、表示部１２２に対する各種データの表示を制御する。例えば表示制御部１０５は、検索部１０１から受け取った検索結果データを地図上に配置して表示部１２２に表示する。

取得部１０２は、検索部１０１による検索結果データを元に、時空間上で近く、別のラベルを持つオブジェクト群を取得する。すなわち取得部１０２は、第１オブジェクトデータに含まれる属性情報と一致する属性情報を含み、第１オブジェクトデータに含まれるラベルと異なるラベルを含む１以上のオブジェクトデータ（第２オブジェクトデータ）を記憶部１２１から取得する。取得部１０２は、取得した第２オブジェクトデータを連想クエリ候補群として出力する。

連想クエリ候補群には、例えば通常クエリのオブジェクトへの接近が一時的であったオブジェクトも含まれる。そこで、このようなオブジェクトを排除して連想クエリ候補群を絞り込む処理（フィルタ処理）を行ってもよい。フィルタ処理は必須ではなく、処理を行わない場合は、取得部１０２により取得された連想クエリ候補群をそのまま後段処理で用いればよい。

分類部１０３は、フィルタ処理のために、連想クエリ候補を、属性情報が一致または類似する連想クエリ候補ごとに１以上のグループに分類する。例えば分類部１０３は、連想クエリ候補を、ラベルが一致する連想クエリ候補ごとにグループに分類する。

フィルタ処理が行われた場合、取得部１０２は、さらに、分類された連想クエリ候補の個数に基づいて選択されたグループ（個数が他のグループより多いグループなど）に含まれる連想クエリ候補を取得してもよい。例えば取得部１０２は、連想クエリ候補の個数が閾値以上であるグループ、または、連想クエリ候補の個数が多い順に所定数のグループを選択し、選択したグループに含まれる連想クエリ候補を取得してもよい。これにより、連想クエリ候補群を、通常クエリのオブジェクトに接近した頻度が高いオブジェクトのみに絞り込むことができる。このような処理により、通常クエリのオブジェクトに関連する可能性が高いオブジェクトに絞り込むことが可能となる。

なお、例えば動画像から特定された人物を追跡する場合は、連想クエリ候補の個数が多いことは、動画像を構成するフレームの個数が多いこと、言い換えると通常クエリのオブジェクトに接近した時間の合計（合計時間）が大きいことに相当する。すなわち、フィルタ処理により、連想クエリ候補群を、通常クエリのオブジェクトに接近した時間の合計が大きいオブジェクトに絞り込むことが可能となる。

表示制御部１０５は、取得部１０２により取得された連想クエリ候補群を地図上に配置して表示部１２２に表示する。

選択部１０４は、連想クエリ候補のうち１つを選択する。例えば選択部１０４は、表示部１２２に表示された地図上で、ユーザにより指示された連想クエリ候補を選択し、連想クエリとする。

この後、検索部１０１は、連想クエリとして選択されたオブジェクトのラベルを指定して、再度、記憶部１２１内のログデータを検索する。このようにして、連想的クエリ提示機能および芋づる検索機能が実現される。以上の手順はユーザの望む限り繰り返すことができる。

生成部１０６は、一連のユーザ検索操作における通常クエリおよび連想クエリの履歴を元に、各クエリが示すオブジェクト同士の関係性を示す情報を生成する。すなわち生成部１０６は、通常クエリで指定されたオブジェクト（第１オブジェクト）を示す情報と、連想クエリとして選択されたオブジェクト（第２オブジェクト）を示す情報と、両者を関連づける情報を生成する。例えば生成部１０６は、通常クエリで指定されるオブジェクトを依存元とし、連想クエリとして選択されたオブジェクトを依存先としたオブジェクト間の関係ネットワークを示す情報を生成する。生成された情報は、表示制御部１０５により表示部１２２に表示されてもよい。

なお、上記各部（検索部１０１、取得部１０２、分類部１０３、選択部１０４、表示制御部１０５、および、生成部１０６）は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

次に、このように構成された第１の実施形態にかかる検索装置１００による連想検索処理について図５を用いて説明する。図５は、第１の実施形態における連想検索処理の一例を示すフローチャートである。

まず、検索部１０１等による検索処理（通常検索）が実行される（ステップＳ１０１）。次に取得部１０２等によるクエリ候補取得処理が実行される（ステップＳ１０２）。次に分類部１０３等によるフィルタ処理が実行される（ステップＳ１０３）。次に表示制御部１０５等による地図表示処理が実行される（ステップＳ１０４）。

次に、検索部１０１は、例えば地図上でオブジェクトが選択されたか否かを判断する（ステップＳ１０５）。選択されていない場合（ステップＳ１０５：Ｎｏ）、選択されるまで処理が繰り返される。選択された場合（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０１に戻り、通常検索が再度実行され、処理が繰り返される。

次に、図５の各処理（ステップＳ１０１〜ステップＳ１０４）の詳細について説明する。図６は、ステップＳ１０１の検索処理の一例を示すフローチャートである。

検索部１０１は、ラベル、基準時刻および基準位置を含む通常クエリを受け取る（ステップＳ３０１）。検索部１０１は、記憶部１２１に記憶されたログデータから、通常クエリに含まれるラベルが一致し、通常クエリに含まれる基準時刻および基準位置に近いレコード群を検索し、検索結果データとして出力する（ステップＳ３０２）。

例えば検索部１０１は、時間差が閾値以下かつ位置的距離が閾値以下かなどにより、時刻および位置が近いか否かを判定する。通常の地図のようなユークリッド空間であればユークリッド距離や測地線距離を位置的距離として用いればよい。高速道路やコンピュータネットワークなどのネットワーク空間であれば最短パスの距離やホップ数を位置的距離として用いればよい。

表示制御部１０５は、得られた検索結果データを地図上に表示する（ステップＳ３０３）。表示画面の例および表示処理の具体例は後述する。

図７は、ステップＳ１０２のクエリ候補取得処理の一例を示すフローチャートである。

取得部１０２は、空の出力用バッファを作成する（ステップＳ４０１）。出力用バッファは、例えば検索装置１００が備えるＲＡＭおよび記憶部１２１などの記憶媒体の中に設けられる。

取得部１０２は、検索部１０１から、検索結果データを入力として受け取る（ステップＳ４０２）。取得部１０２は、検索結果データから順に１つのレコードを取り出す（ステップＳ４０３）。取得部１０２は、取り出したレコードに含まれる基準時刻と基準位置を取り出す（ステップＳ４０４）。取得部１０２は、取り出した基準時刻および基準位置に近く、かつ、通常クエリと異なるラベルを持つレコード群を、記憶部１２１に記憶されたログデータから取得し、出力用バッファに追加する（ステップＳ４０５）。

取得部１０２は、すべての検索結果データを取り出したか否かを判断する（ステップＳ４０６）。すべての検索結果データを取り出していない場合（ステップＳ４０６：Ｎｏ）、取得部１０２は、ステップＳ４０３に戻り処理を繰り返す。

すべての検索結果データを取り出した場合（ステップＳ４０６：Ｙｅｓ）、取得部１０２は、出力用バッファ内のレコード群を連想クエリ候補群として出力し（ステップＳ４０７）、クエリ候補取得処理を終了する。

なおステップＳ４０５で、取り出した基準時刻および基準位置と一致するログデータ、すなわち、同一時間かつ同一場所のオブジェクトのみを連想クエリ候補として取得してもよい。この場合、通常クエリのオブジェクトと同じ監視画像内に映っている別ラベルを持つオブジェクト群が取り出される。

図８は、ステップＳ１０３のフィルタ処理の一例を示すフローチャートである。

分類部１０３は、連想クエリ候補群を、同じラベルを持つレコード同士が同じクラスタ（グループの一例）に属するように分類する（ステップＳ５０１）。取得部１０２は、得られたクラスタ群のうち、サイズが閾値以下のクラスタ群に属するレコードを破棄する（ステップＳ５０２）。取得部１０２は、残ったレコード群を連想クエリ候補群として出力する（ステップＳ５０３）。表示制御部１０５は、得られた連想クエリ候補群を地図上に配置し、表示部１２２に表示する（ステップＳ５０４）。表示画面の例および表示処理の具体例は後述する。

図９は、ステップＳ１０４の地図表示処理の一例を示すフローチャートである。

表示制御部１０５は、レコード群（連想クエリ候補群）を入力として受け取る（ステップＳ６０１）。表示制御部１０５は、レコードを順に１つずつ取り出す（ステップＳ６０２）。表示制御部１０５は、レコードに含まれる緯度および経度の情報を元に、レコードを配置すべき地図上の位置を決定する（ステップＳ６０３）。表示制御部１０５は、決定した位置に当該レコードのラベル、時刻、および、オブジェクトのコンテンツ（人物追跡の場合は抽出された顔画像等）を含むレコード情報（ピン、吹出等）を表示する（ステップＳ６０４）。

表示制御部１０５は、オブジェクトの種類などに応じてレコード情報の表示態様（形状、大きさ、色、輝度、点滅の有無、など）を異ならせてもよい。例えば表示制御部１０５は、通常検索により検索された検索結果データであるか、連想クエリ候補群であるかを区別できるように、レコード情報の表現を変えて表示する。また表示制御部１０５は、より新しい時刻のレコード情報をより明るい色で表示させてもよい。

表示制御部１０５は、すべてのレコード群を取り出したか否かを判断する（ステップＳ６０５）。すべてのレコード群を取り出していない場合（ステップＳ６０５：Ｎｏ）、ステップＳ６０２に戻り処理を繰り返す。すべてのレコード群を取り出した場合（ステップＳ６０５：Ｙｅｓ）、地図表示処理を終了する。

表示制御部１０５は、配置されたレコード情報群の情報を元に移動の流れを矢印などで示してもよい。例えば表示制御部１０５は、レコード情報群を時間帯ごとに分類し、各時間帯に属するレコード情報の位置の中心を算出し、算出した中心群を結ぶスプライン曲線などを表示してもよい。

同一時間および同一場所のオブジェクトが複数存在する場合、すなわち同一画像上のオブジェクトを表示する場合は、表示制御部１０５は、レコード情報を共有して１枚の画像で２つのオブジェクトを表示してもよい。

図１０は、第１の実施形態の表示画面の一例を示す図である。図１０の表示画面では、地図上に、「長田太郎」についての３つのレコード情報、「古畑太郎」のレコード情報、および、「湯浅花子」のレコード情報が表示されている。「長田太郎」のレコード情報は通常クエリによる検索結果であり、それ以外は連想クエリ候補群である。図１０に示すように、連想クエリ候補群のレコード情報は、破線で囲んで表示されている。連想クエリ候補群のレコード情報の背景色など、その他の表示態様を、通常クエリの検索結果のレコード情報と異ならせてもよい。

例えば図１０のような表示画面上で、レコード情報群のいずれかをユーザがクリックした場合、選択部１０４は、クリックされたレコード情報に対応する連想クエリ候補を、連想クエリとして選択して出力する。出力された連想クエリは、検索部１０１に送信される。生成部１０６には、出力された連想クエリとその元となった通常クエリのペアが送信される。

生成部１０６は、送信された情報を基に、各クエリが示すオブジェクト同士の関係性を示す情報（オブジェクト関係図など）を生成する。図１１は、生成部１０６が生成するオブジェクト関係図の例を示す図である。

最初に「長田太郎」で通常検索が行われ、その連想クエリとして得られた「湯浅花子」で通常検索が行われ、さらに「湯浅花子」の連想クエリとして得られた「小野太郎」および「古畑太郎」で通常検索が行われた場合に、図１１に示す図が生成される。

図１１の関係図は、単に検索履歴から生成された図であるが、オブジェクト間の近接の有無を示す図としての意味を持つ。この例では、他のいずれの人間とも近接した登場人物は、「湯浅花子」である。この関係図の解釈はユーザ等に依存するが、例えば「湯浅花子」が当該人間ネットワークにおける中核人物であると解釈できる。このような視点でオブジェクト関係図を活用することで、例えば犯罪組織の全容解明などの一助とすることができる。

図１２は、生成部１０６による生成処理の一例を示すフローチャートである。

生成部１０６は、既存のオブジェクト関係ネットワーク（オブジェクト関係図の一例）を取り出す（ステップＳ９０１）。オブジェクト関係ネットワークは、例えば、オブジェクトのラベルを持つノードからなる有向グラフである。

生成部１０６は、通常クエリのオブジェクトを示すノードがオブジェクト関係ネットワークに含まれていればそのノードを取り出し、含まれていなければ、新規にノードを追加してそのノードを取り出す（ステップＳ９０２）。

生成部１０６は、連想クエリのオブジェクトを示すノードがオブジェクト関係ネットワークに含まれていればそのノードを取り出し、含まれていなければ、新規にノードを追加してそのノードを取り出す（ステップＳ９０３）。

生成部１０６は、ステップＳ９０２で取り出された通常クエリのオブジェクトのノードから、ステップＳ９０３で取り出された連想クエリのオブジェクトのノードに対して、矢印を描画する（ステップＳ９０４）。

表示制御部１０５は、更新されたオブジェクト関係ネットワークを表示部１２２上の画面に表示する（ステップＳ９０５）。

（第２の実施形態）
第２の実施形態にかかる検索システムは、ラベルなしオブジェクトを対象とした検索システムである。追跡対象がラベルなしオブジェクトとなる応用例として以下の例が挙げられる。
・街中および駅構内など、自由に移動可能なエリアでの監視画像による人物や動物などの追跡
・カーナンバー認識などを伴わない一般道路等での車の追跡

以下では、監視画像による人物追跡の例を中心に説明する。第２の実施形態では、ラベルの一致を用いていた判定条件が、特徴ベクトル（特徴情報の一例）の距離の近さに変更され、検索結果等の表示にラベルが用いられない点などが第１の実施形態と異なる。上記のようにラベルなしの場合は、オブジェクトの特徴を表す特徴情報を特定情報として用いることができる。

図１３は、第２の実施形態にかかる検索装置１００−２の構成の一例を示すブロック図である。なお、検索装置１００−２以外の装置は第１の実施形態（図１）と同様であるため図１３には記載せず、説明を省略する。

図１３に示すように、検索装置１００−２は、記憶部１２１と、表示部１２２と、検索部１０１−２と、取得部１０２−２と、分類部１０３−２と、選択部１０４と、表示制御部１０５と、生成部１０６−２と、を備えている。

第２の実施形態では、記憶部１２１に記憶されるオブジェクトデータのデータ構造、検索部１０１−２、取得部１０２−２、分類部１０３−２、および、生成部１０６−２が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる検索装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

図１４は、本実施形態のオブジェクトデータの例を示す図である。図１４は、街中および駅構内など、自由に移動可能なエリアでの監視画像による人物や動物などの追跡を行う応用でのログデータを示している。例えば、街中などに設置された各監視カメラによって撮影された画像の中から、人物の顔が検出および認識される。撮影時刻、撮影位置（緯度、経度）、顔認識の結果得た特徴ベクトル、および、抽出された顔画像を含むログデータが、テーブルのレコードとして蓄積される。第１の実施形態のログデータとの違いは、ラベル（氏名など）の列がない代わりに、特徴ベクトルの列が加わっている点である。

図１３に戻り、検索部１０１−２は、指定されたラベルと一致するラベルのオブジェクトデータを検索する代わりに、指定された特徴情報（特定情報の例）と一致または類似する特徴情報のオブジェクトデータを検索する点が、第１の実施形態の検索部１０１と異なる。

取得部１０２−２は、検索部１０１−２による検索結果データを元に、時空間上で近く、検索結果データに含まれないオブジェクト群を取得する。すなわち取得部１０２−２は、第１オブジェクトデータに含まれる属性情報と一致または類似する属性情報を含み、第１オブジェクトデータ以外のオブジェクトデータ（第２オブジェクトデータ）を記憶部１２１から取得する。取得部１０２−２は、取得した第２オブジェクトデータを連想クエリ候補群として出力する。

分類部１０３−２は、ラベルの代わりに特徴情報（特徴ベクトルなど）の類似性を用いて分類する点が、第１の実施形態の分類部１０３と異なる。例えば分類部１０３−２は、相互に類似する特徴ベクトルを持つオブジェクト同士は同一オブジェクト（例：同一人物）であると解釈する。特徴ベクトル間の類似度は、例えば、特徴ベクトル間の距離の小ささにより判定できる。特徴ベクトルの類似度の判定方法はこれに限られるものではなく、従来から用いられているあらゆる方法を適用できる。例えば、特徴ベクトルの内積などを判定に用いてもよい。

生成部１０６−２は、ラベルの代わりにオブジェクトのコンテンツなどを用いてオブジェクト同士の関係性を示す情報を生成する点が、第１の実施形態の生成部１０６と異なっている。例えば画像データがログデータの場合、画像（顔画像、車両画像など）がラベルの代わりに用いられる。ツイートデータがログデータの場合、メッセージがラベルの代わりに用いられる。

次に、このように構成された第２の実施形態にかかる検索装置１００−２による連想検索処理について説明する。連想検索処理の全体の流れは、第１の実施形態の連想検索処理（図５）と同様である。第２の実施形態では、ステップＳ１０１の検索処理、ステップＳ１０２のクエリ候補取得処理、および、ステップＳ１０３のフィルタ処理が第１の実施形態と異なる。以下、これらの各処理について説明する。

図１５は、第２の実施形態における検索処理の一例を示すフローチャートである。

ユーザなどにより顔画像、基準時刻、および、基準位置が入力されると、検索部１０１−２は、顔画像を元に特徴ベクトルを生成し、特徴ベクトル、基準時刻、および、基準位置を含む通常クエリを生成する（ステップＳ１００１）。特徴ベクトルは、ＣｏＨＯＧ（Co−occurrence Histograms of Oriented Gradients）、ＳＩＦＴ（Scale−Invariant Feature Transform）、および、Ｓｕｒｆ（Speeded Up Robust Features）などの従来から用いられているあらゆる特徴量を用いることができる。

検索部１０１−２は、記憶部１２１に記憶されたログデータから、通常クエリに含まれる特徴ベクトルと一致または類似する特徴ベクトルを含み、通常クエリに含まれる基準時刻および基準位置に近いレコード群を検索し、検索結果データとして出力する（ステップＳ１００２）。

例えば検索部１０１−２は、ユークリッド距離が閾値以下かなどにより、特徴ベクトルが類似するか否かを判定する。また検索部１０１−２は、時間差が閾値以下かつ位置的距離が閾値以下かなどにより、時刻および位置が近いか否かを判定する。

表示制御部１０５は、得られた検索結果データを地図上に表示する（ステップＳ１００３）。表示画面の例は後述する。

なおステップＳ１００１では、ユーザ等によりクエリの生成元となる顔画像が入力されるものとしたが、顔画像の代わりに特徴ベクトルが入力されてもよい。またステップＳ１００２で扱う位置的距離モデルには、通常の地図のようなユークリッド空間であればユークリッド距離を用い、道路網や鉄道網などの位相空間であれば最短の道のりなどを用いてもよい。

図１６は、第２の実施形態におけるクエリ候補取得処理の一例を示すフローチャートである。ステップＳ１１０１〜ステップＳ１１０４は、図７のステップＳ４０１〜ステップＳ４０４までと同様であるため説明を省略する。

取得部１０２−２は、取り出した基準時刻および基準位置に近く、かつ、検索結果データに含まれていないレコード群を、記憶部１２１に記憶されたログデータから取得し、出力用バッファに追加する（ステップＳ１１０５）。

ステップＳ１１０６〜ステップＳ１１０７は、図７のステップＳ４０６〜ステップＳ４０７までと同様であるため説明を省略する。

なおステップＳ１１０５で、取り出した基準時刻および基準位置と一致するログデータ、すなわち、同一時間かつ同一場所のオブジェクトのみを連想クエリ候補として取得してもよい。この場合、通常クエリのオブジェクトと同じ監視画像内に映っている他のオブジェクト群が取り出される。

図１７は、第２の実施形態におけるフィルタ処理の一例を示すフローチャートである。

分類部１０３−２は、連想クエリ候補群を、特徴ベクトルを元に、階層型クラスタリングなどの手法を用いて１以上のクラスタ（グループの一例）にクラスタリングする（ステップＳ１２０１）。

ステップＳ１２０２〜ステップＳ１２０４は、図８のステップＳ５０２〜ステップＳ５０４までと同様であるため説明を省略する。

階層型クラスタリングを用いる場合、各オブジェクトは高々１つのクラスタに属する結果となる。しかし特徴ベクトルの類似性によるオブジェクトの同一性の判定は確率的であり、誤分類を含む可能性がある。この問題を解決するため、オブジェクトが複数クラスタに所属可能とする分類方法を適用してもよい。図１８は、オブジェクトを複数クラスタに所属可能とする分類方法を適用する場合のフィルタ処理の一例を示すフローチャートである。

分類部１０３−２は、各連想クエリ候補について、距離が閾値以下となる他の連想クエリ候補群数（以下、近傍オブジェクト数と呼ぶ）を数える（ステップＳ１３０１）。取得部１０２−２は、近傍オブジェクト数が閾値以下の各連想クエリ候補を、連想クエリ候補群から破棄する（ステップＳ１３０２）。

ステップＳ１３０３〜ステップＳ１３０４は、図８のステップＳ５０３〜ステップＳ５０４までと同様であるため説明を省略する。

図１９は、第２の実施形態の表示画面の一例を示す図である。図１９の表示画面は、ラベルを表示しない点以外は、第１の実施形態の表示画面を示す図１０と同様である。地図表示処理の全体の流れは図９と同様であるため説明を省略する。

図２０は、第２の実施形態のオブジェクト関係図の一例を示す図である。図２０の表示画面は、ラベルの代わりにオブジェクトのコンテンツなどを含む点が、第１の実施形態のオブジェクト関係図を示す図１１と異なっている。例えば図２０では、特徴ベクトルを生成する元となった顔画像がラベルの代わりに用いられている。オブジェクト関係図の生成処理の全体の流れは図１１と同様であるため説明を省略する。

以上説明したとおり、第１から第２の実施形態によれば、位置（位置情報）および時刻（時刻情報）の少なくとも一方である属性情報が対応づけられるデータ群を対象とした連想検索が可能となる。

次に、第１または第２の実施形態にかかる各装置（検索装置、サーバ装置、ＰＣなど）のハードウェア構成について図２１を用いて説明する。図２１は、第１または第２の実施形態にかかる装置のハードウェア構成例を示す説明図である。

第１または第２の実施形態にかかる装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

第１または第２の実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

第１または第２の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１または第２の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１または第２の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 検索装置
１０１ 検索部
１０２ 取得部
１０３ 分類部
１０４ 選択部
１０５ 表示制御部
１０６ 生成部
１２１ 記憶部
１２２ 表示部
２０１、２０２ カメラ
２０３ 携帯電話
２０４ ＰＣ
３００ サーバ装置
３２１ 記憶部
５００ ＰＣ
６０１、６０２ ネットワーク

Claims (15)

1. オブジェクトを特定する特定情報と、時刻および位置の少なくとも一方である属性情報と、を対応づけたオブジェクトデータを記憶する記憶部から、指定された特定情報と一致または類似する特定情報を含む第１オブジェクトデータを検索する検索部と、
   前記第１オブジェクトデータに含まれる前記属性情報と一致または類似する属性情報を含み、前記第１オブジェクトデータに含まれる特定情報と異なる特定情報を含む１以上の第２オブジェクトデータを前記記憶部から取得する取得部と、
   前記第２オブジェクトデータのうち１つを選択する選択部と、
   取得された前記第２オブジェクトデータを、前記属性情報が一致または類似する前記第２オブジェクトデータごとにグループに分類する分類部と、を備え、
   前記取得部は、さらに、分類された前記第２オブジェクトデータの個数に基づいて選択されたグループに含まれる前記第２オブジェクトデータを取得し、
   前記検索部は、選択された前記第２オブジェクトデータに含まれる前記特定情報を指定された特定情報として、前記第１オブジェクトデータをさらに検索する、
   検索装置。
2. 前記特定情報は、前記オブジェクトを識別する識別情報であり、
   前記検索部は、指定された識別情報と一致する識別情報を含む第１オブジェクトデータを検索する、
   請求項１に記載の検索装置。
3. 前記特定情報は、前記オブジェクトの特徴を表す特徴情報であり、
   前記検索部は、指定された特徴情報と一致または類似する特徴情報を含む第１オブジェクトデータを検索する、
   請求項１に記載の検索装置。
4. 前記取得部は、分類された前記第２オブジェクトデータの個数が他のグループより多いグループに含まれる前記第２オブジェクトデータを取得する、
   請求項１に記載の検索装置。
5. 前記取得部は、分類された前記第２オブジェクトデータの個数が閾値より多いグループ、または、分類された前記第２オブジェクトデータの個数が多い順に所定数のグループに含まれる前記第２オブジェクトデータを取得する、
   請求項４に記載の検索装置。
6. 前記特定情報は、前記オブジェクトを識別する識別情報であり、
   前記分類部は、前記識別情報が一致する前記第２オブジェクトデータごとにグループに分類する、
   請求項１に記載の検索装置。
7. 前記特定情報は、前記オブジェクトの特徴を表す特徴情報であり、
   前記分類部は、前記特徴情報が一致または類似する前記第２オブジェクトデータごとにグループに分類する、
   請求項１に記載の検索装置。
8. 前記第１オブジェクトデータに含まれる特定情報により特定される第１オブジェクトを示す情報と、前記第２オブジェクトデータに含まれる特定情報により特定される第２オブジェクトを示す情報と、前記第１オブジェクトおよび前記第２オブジェクトを関連づける情報を生成する生成部と、
   生成された情報を表示部に表示させる表示制御部と、をさらに備える、
   請求項１に記載の検索装置。
9. 前記特定情報は、前記オブジェクトを識別する識別情報であり、
   前記第１オブジェクトを示す情報は、前記第１オブジェクトの識別情報であり、
   前記第２オブジェクトを示す情報は、前記第２オブジェクトの識別情報である、
   請求項８に記載の検索装置。
10. 前記特定情報は、前記オブジェクトの特徴を表す特徴情報であり、
    前記第１オブジェクトを示す情報は、前記第１オブジェクトの特徴情報を生成する元となる情報であり、
    前記第２オブジェクトを示す情報は、前記第２オブジェクトの特徴情報を生成する元となる情報である、
    請求項８に記載の検索装置。
11. 前記属性情報は、オブジェクトの位置を含み、
    前記第１オブジェクトデータに含まれる前記位置に対応する地図上の位置に、前記第１オブジェクトデータに含まれる特定情報により特定される第１オブジェクトを示す情報を表示し、前記第２オブジェクトデータに含まれる前記位置に対応する地図上の位置に、前記第２オブジェクトデータに含まれる特定情報により特定される第２オブジェクトを示す情報を表示する表示制御部をさらに備える、
    請求項１に記載の検索装置。
12. 前記特定情報は、前記オブジェクトを撮像した画像から生成される、
    請求項１に記載の検索装置。
13. 前記選択部は、前記第２オブジェクトデータのうち指定された１つの前記第２オブジェクトデータを選択する、
    請求項１に記載の検索装置。
14. オブジェクトを特定する特定情報と、時刻および位置の少なくとも一方である属性情報と、を対応づけたオブジェクトデータを記憶する記憶部から、指定された特定情報と一致または類似する特定情報を含む第１オブジェクトデータを検索する第１検索ステップと、
    前記第１オブジェクトデータに含まれる前記属性情報と一致または類似する属性情報を含み、前記第１オブジェクトデータに含まれる特定情報と異なる特定情報を含む１以上の第２オブジェクトデータを前記記憶部から取得する第１取得ステップと、
    取得された前記第２オブジェクトデータを、前記属性情報が一致または類似する前記第２オブジェクトデータごとにグループに分類する分類ステップと、
    分類された前記第２オブジェクトデータの個数に基づいて選択されたグループに含まれる前記第２オブジェクトデータを取得する第２取得ステップと、
    前記第２取得ステップにより取得された前記第２オブジェクトデータのうち１つを選択する選択ステップと、
    選択された前記第２オブジェクトデータに含まれる前記特定情報を指定された特定情報として、前記第１オブジェクトデータを検索する第２検索ステップと、
    を含む検索方法。
15. 情報処理装置と、検索装置と、を備える検索システムであって、
    前記情報処理装置は、
    オブジェクトを特定する特定情報と、時刻および位置の少なくとも一方である属性情報と、を対応づけたオブジェクトデータを送信する送信部を備え、
    前記検索装置は、
    前記オブジェクトデータを記憶する記憶部から、指定された特定情報と一致または類似する特定情報を含む第１オブジェクトデータを検索する検索部と、
    前記第１オブジェクトデータに含まれる前記属性情報と一致または類似する属性情報を含み、前記第１オブジェクトデータに含まれる特定情報と異なる特定情報を含む１以上の第２オブジェクトデータを前記記憶部から取得する取得部と、
    前記第２オブジェクトデータのうち１つを選択する選択部と、
    取得された前記第２オブジェクトデータを、前記属性情報が一致または類似する前記第２オブジェクトデータごとにグループに分類する分類部と、を備え、
    前記取得部は、さらに、分類された前記第２オブジェクトデータの個数に基づいて選択されたグループに含まれる前記第２オブジェクトデータを取得し、
    前記検索部は、選択された前記第２オブジェクトデータに含まれる前記特定情報を指定された特定情報として、前記第１オブジェクトデータをさらに検索する、
    検索システム。

Images