JP5586736B2 - 類似画像検索の結果表示装置及び類似画像検索の結果表示方法 - Google Patents

Description

本発明は、複数のカメラ映像から抽出した人物特徴データ（顔，色，形状等）を対象に、特定人物の類似画像検索（行動履歴検索）を効率よく行なうための類似画像検索の結果表示装置及び類似画像検索の結果表示方法に関する。

近年、ピッキング・強盗・放火等に代表される犯罪の増加と共に、カメラ・センサ・蓄積装置等を設置し、犯罪を未然に防止する映像監視システムの普及が大幅に進んでいる。また、監視カメラのＩＰ化・蓄積装置の大容量化に伴い、数百規模の広域監視・長時間記録を行なうシステムも増加してきた。このような状況において、監視者の業務軽減を目指し、万引き犯・迷子者・落し物者等の特定人物の洗出しを効率的に行なうための技術が要望されてきている。

特定人物（検索対象人物）の洗出しを高速に行なう従来技術として、各カメラ映像から抽出した不特定多数の人物の特徴データ（顔，色，形状等）をデータベースに格納しておき、検索対象人物の特徴データとマッチした人物をデータベースから抽出し表示する方法がある。また、特許文献１には、所望の人物が取得できない場合、検索画面上で「表情、年齢、性別など」を変更して再検索する方法が示されている。

特開２００２−１８３２０５号公報

しかしながら、従来手法では、撮像条件（照明，画角，人物向き／大きさ）によって人物の特徴データの傾向が変動するため、検索時、各カメラの撮影条件を加味して、マッチング処理の閾値（本人／他人の境界値）の調整を行なわなければならず、所望の結果を得るまでに時間がかかると言う問題があった。例えば、図１０のように、カメラ１〜３の撮像環境に３人の人物Ａ〜Ｃが登場し、人物特徴空間に各人物の特徴データがマッピングされた場合、カメラ３の人物Ａに近い画像で検索を行なっても、カメラ１の人物Ａよりカメラ３の人物Ｂが先にヒットしてしまう現象が発生し、ユーザは誤検索を容認した検索操作をしなければならず、非常に効率が悪いと言う問題があった。

本発明は、かかる事情に鑑みてなされたものであり、様々なカメラ環境の中でも、検索対象人物の行動履歴を簡単にかつ的確に把握可能な類似画像検索の結果表示装置及び類似画像検索の結果表示方法を提供することを目的とする。

本発明の類似画像検索の結果表示装置は、複数のカメラから抽出した少なくとも顔、色、形状のいずれか一つの特徴を含む人物特徴データを保管する人物特徴データベースと、検索対象人物の画像を検索キーとして受信する検索要求受信手段と、前記検索要求受信手段が受信した検索キーに対応する人物を前記人物特徴データベースから検索し、所定の方法により算出した類似度の値が大きい順に検索結果を出力する特徴検索手段と、前記特徴検索手段の検索結果に含まれる検索順位、類似度、日時または場所を用いて前記検索結果に対応する人物の画像を撮影したカメラが同一環境にあるかを推定する為の分類評価値をカメラ毎に算出し、前記分類評価値の値を基にほぼ同一環境にあると推定される、分類評価値の近いカメラを同一グループとして分類し、前記グループにより前記検索結果を同一環境と推定する単位に再分類する検索結果グループ化手段と、前記検索結果グループ化手段がグループ化した結果を表示する際にグループ毎の表示件数を決定して表示する検索結果表示手段と、を備えた。

上記構成において、前記特徴検索手段は、カメラ毎に前記人物特徴データベースから前記類似度の高い順に検索し、前記各カメラの検索結果を統合して検索結果を生成する。

上記構成において、前記検索結果グループ化手段は、検索結果を場所単位に分割し、場所単位での検索順位、スコアの平均または分散値から同一環境の場所を推定する。

上記構成において、前記検索結果グループ化手段は、検索結果に含まれる人物の向き情報を用いて、同一環境の場所を推定する。

上記構成において、前記検索結果グループ化手段は、検索結果に含まれる人物の大きさ情報を用いて、同一環境の場所を推定する。

上記構成において、前記検索結果グループ化手段は、検索結果に含まれる人物の濃淡パターン情報を用いて、同一環境の場所を推定する。

上記構成において、前記検索結果グループ化手段は、検索結果に含まれる日時情報を用いて、同一環境の場所を推定する。

上記構成において、前記検索結果グループ化手段は、過去にグループ化した結果であるグループ化履歴情報を用いて、同一環境の場所を推定する。

上記構成において、前記検索結果表示手段は、グループ単位で代表結果を選択し、選択した代表結果の一覧を表示する。

上記構成において、前記検索結果表示手段は、前記検索キーに対する類似度が所定の閾値以上のグループは代表結果を複数選択し、選択した代表結果の一覧を表示する。

本発明の類似画像検索の結果表示方法は、検索サーバにより類似画像検索の結果を表示する類似画像検索の結果表示方法であって、複数のカメラから抽出した少なくとも顔、色、形状のいずれか一つの特徴を含む人物特徴データを人物特徴データベースに保管する人物特徴データ保管工程と、検索対象人物の画像を検索キーとして検索端末から受信する検索要求受信工程と、前記検索要求受信工程で受信した検索キーに対応する人物を前記人物特徴データベースから検索し、所定の方法により算出した類似度の値が大きい順に検索結果を出力する特徴検索工程と、前記特徴検索工程で検索した結果に含まれる検索順位、類似度、日時または場所を用いて前記検索結果に対応する人物の画像を撮影したカメラが同一環境にあるかを推定する為の分類評価値をカメラ毎に算出し、前記分類評価値の値を基にほぼ同一環境にあると推定される、分類評価値の近いカメラを同一グループとして分類し、前記グループにより前記検索結果を同一環境と推定する単位に再分類する検索結果グループ化工程と、前記検索結果グループ化工程によりグループ化した結果を表示する際にグループ毎の表示件数を決定して前記検索端末に表示する検索結果表示工程と、を実行する。

本発明は、様々なカメラ環境の中でも、検索対象人物の行動履歴を簡単にかつ的確に把握できるという効果を有する類似画像検索の結果表示装置及び類似画像検索の結果表示方法を提供することができる。

本発明の実施の形態１に係る類似画像検索の結果表示装置の概略構成を示すブロック図 本発明の実施の形態１に係る類似画像検索の結果表示装置におけるカメラの配置及び利用イメージを示す図 本発明の実施の形態１に係る類似画像検索の結果表示装置の特徴検索部の処理に関する説明図 本発明の実施の形態１に係る類似画像検索の結果表示装置の処理を示すフロー図 本発明の実施の形態１に係る類似画像検索の結果表示装置の検索結果グループ化部の処理イメージを示す図 本発明の実施の形態２に係る類似画像検索の結果表示装置の検索結果グループ化部の撮影条件・照明条件を考慮したグループ化に関する説明図 本発明の実施の形態２に係る類似画像検索の結果表示装置のグループ化履歴情報を用いた検索結果グループ化に関する説明図 本発明の実施の形態３に係る類似画像検索の結果表示装置の検索表示画面に関する説明図 本発明の実施の形態３に係る類似画像検索の結果表示装置の検索操作を示すフロー図 従来の課題を説明するための人物特徴空間の説明図

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る類似画像検索の結果表示装置の概略構成を示すブロック図である。図１において、本実施の形態の類似画像検索の結果表示装置は、人物を検知する複数のカメラ１１と、指定された検索条件に該当する人物を検索する人物検索サーバ１２と、人物検索サーバ１２に対して検索条件を指定して検索を実行する検索端末１３とを備える。

人物検索サーバ１２は、複数のカメラ１１で検知した人物の特徴データ（顔，色，形状等）を保管する人物特徴データベース１４と、検索対象人物を識別する識別子を少なくとも検索キーとして受信する検索要求受信部１０１と、検索要求受信部１０１で受信された検索キーに対応する人物を人物特徴データベース１４から類似度の高い順に検索する特徴検索部１０２と、特徴検索部１０２で検索された結果（検索順位／類似度／日時／場所などのリスト）を同一環境と推定する単位に再分類する検索結果グループ化部１０３と、検索結果グループ化部１０３によりグループ化された結果を表示する検索結果表示部１０４と、を備える。

各カメラ１１で抽出する人物特徴データは、画像から切出した移動体の画像データであり、或いは、形状・色・大きさ、動きなどにより移動体を特定する情報であり、或いは、顔の目・鼻・口の形状や位置などを特定する情報である。これらの特徴情報の抽出分類方法は広く知られており、例えば、「画像の処理と認識」（安居院猛・長尾智晴 共著、昭晃堂出版）に厳密に記されている。これらの既存技術を用いれば、カメラ映像から人物を識別し、人物の顔・服装色等の特徴を抽出することが可能である。なお、カメラ１１で人物特徴データを抽出する構成で説明したが、複数のカメラ映像を蓄積・再配信するレコーダ装置等で人物特徴データを抽出する構成にしてもよい。

図２は、工場・ショッピングモール等の敷地内に複数のカメラ１１を設置した例を示している。人物がカメラ１１の前を通過すると、その人物の特徴データ（顔、色、形状など）が検出され、人物検索サーバ１２の人物特徴データベース１４へ随時保管される。人物Ａのように「走って出て行った人物」を警備員が目撃した場合、警備員は人物検索サーバ１２に対して検索を行ない、その人物Ａの過去の行動履歴を把握する。図２の場合、建物Ａの近辺で異常な行動をしていたことが検索により分かるため、警備員は建物Ａの近辺で異常がないかの詳細確認を行なう。このように本システムを用いることにより異常を早期に発見することができる。なお、「走って逃げた人物」から原因を特定する例で説明したが、迷子の居場所確認（または、過去の接触者の把握）、さらに不審人物が敷地内にいないかの確認等で、本システムを適用することができる。

図３は、特徴検索部１０２の検索イメージを示したものである。一般的な特徴検索は、検索端末１３から、「日時・場所」「検索対象者の顔」などの検索条件及び検索結果数（Ｋ：整数）を指定すると、人物特徴データベース１４に保管した全ての人物特徴データを対象として、検索条件にマッチする人物を「人物の類似度順」にＫ件取得するものである。従って、図３＜ａ＞のように、人物Ａを検索条件（クエリー）として上位１０件の検索を行なっても、人物Ａ以外の結果を取得する可能性があり、２０位や５０位の人物Ａの結果をすぐに取得することができない。一方、本発明の特徴検索部１０２は、図３＜ｂ＞のように、指定された検索結果数（Ｋ）を、より大きい結果数（Ｌ）に変更して、人物特徴データベース１４の特徴検索を実行し、得られたＬ件の結果から、検索結果グループ化部１０３においてグループ化処理を施し上位Ｋ件の結果を決定する方法のため、特定カメラの結果がヒットしない現象をなくすことができる。なお、Ｌ件の検索結果数に変更する方法及び検索結果のグループ化方法については後で説明する。

図４は、特徴検索部１０２、検索結果グループ化部１０３、検索結果表示部１０４の処理手順を示したもので、以下その動作について説明する。なお、以下の動作説明において、各カメラ１１をカメラ番号で呼ぶこととする。例えば、１番目のカメラ１１をカメラ１、２番目のカメラ１１をカメラ２、３番目のカメラ１１をカメラ３、…と呼ぶ。

＜ステップＳ４０１＞特徴検索部１０２にて、検索要求で指定された検索結果数（Ｋ）をＬに変更する。Ｌの値は、単純にＫの整数倍とする方法や、検索要求の場所を示すカメラ番号の個数（ＴｏｔａｌＣａｍＮｕｍ）から、「Ｌ＝（Ｋ×整数１）＋（ＴｏｔａｌＣａｍＮｕｍ×整数２）」とする方法がある。前者は、検索要求で指定された全てのカメラを対象に、類似度順に上位Ｌ件取得し、取得したＬ件からグループ化をして最終の上位Ｋ件を決定するもので、検索実行時間が速いという利点がある。一方、後者は、「検索要求で指定された全てのカメラを対象に類似度順に検索する処理」と「カメラ毎に類似度の高い順に検索する処理」を行ない、取得した検索結果をグループ化して最終の上位Ｋ件を決定するもので、類似度の低いカメラの結果も必ず取得できる（特定カメラの結果がヒットしない現象をなくすことができる）という利点がある。

＜ステップＳ４０２＞特徴検索部１０２にて、検索条件を変更する。すなわち、ステップＳ４０１の前者の方法では、取得する検索結果数をＬ件に検索条件を変更する。また、後者の方法では、（「場所＝指定された全カメラ、検索結果数＝（Ｋ×整数１）」ｏｒ「場所＝指定されたカメラその１、検索結果数＝整数２」ｏｒ「場所＝指定されたカメラその２、検索結果数＝整数２」．．．）に検索条件を変更する。

＜ステップＳ４０３＞特徴検索部１０２にて、ステップＳ４０２で設定した検索条件で、人物特徴データベース１４に対して類似検索を行ない、検索結果Ｌ件を取得する。なお、ステップＳ４０１の後者の方法で検索実行した場合、全カメラを対象にした結果と、各カメラ個別の結果が重複する可能性があるため、常に検索結果数＝Ｌとなる訳ではない。

＜ステップＳ４０４＞検索結果グループ化部１０３にて、ステップＳ４０３で取得した検索結果Ｌ件を同一環境と推定する単位に再分類して、複数のグループを作成する。各検索結果には、「検索順位／類似度／日時／場所など」の情報が含まれるため、同一環境と推定する単位にグループ化する方法として、以下の手順１〜３を用いる。

（手順１）検索結果をカメラ単位に分割し、カメラ毎に「検索結果数」「検索順位の平均・分散」「類似度の平均・分散」を算出する。

（手順２）カメラ毎に分類評価値（Ｅｖ）を式１を用いて算出する。なお、式１は検索順位を用いているが、類似度を用いてもよい。
［式１］Ｅｖ＝ｗ１×検索結果数＋ｗ２×順位平均＋ｗ３×順位分散［ｗ：重み係数］

（手順３）各カメラのＥｖを比較し、Ｅｖの近いカメラを同一グループとして分類する。例えば、図５のように、各カメラの検索結果を「横軸：検索要求で指定された全カメラ内での検索順位、縦軸：一定の順位幅内でのヒット件数」でグラフ表示した場合、カメラ１とカメラ２のＥｖは値が近くなりグループ１へ分類、カメラ６とカメラ９はグループ２へ分類される。なお、ステップＳ４０１の後者の方法では、カメラ毎に類似度の高い順に検索する必要があるが、この場合、全カメラ内での検索順位は取得できないため、分類評価値（Ｅｖ）は、検索順位ではなく、類似度を用いて算出する。

＜ステップＳ４０５＞検索結果表示部１０４にて、類似度の高いグループから検索結果を順に取得する。
＜ステップＳ４０６＞検索結果表示部１０４にて、全グループに対してステップＳ４０７〜Ｓ４１０の処理を実行したかチェックし、全グループ処理した場合、処理を終了する。
＜ステップＳ４０７＞検索結果表示部１０４にて、ステップＳ４０５で取得したグループの全検索結果を出力するかチェックする。チェックは、取得したグループの全検索結果の類似度が閾値以上であるかどうか、或いは、最終的に出力する検索結果が、（Ｋ―α）件［α＝代表結果数（整数）］を満たしているかどうかで判定する。

＜ステップＳ４０８＞検索結果表示部１０４にて、ステップＳ４０７で閾値以上、或いは、（Ｋ―α）件未満と判定した場合、現グループの全ての結果を最終結果リストへ登録し、ステップＳ４０５へ戻る。
＜ステップＳ４０９＞検索結果表示部１０４にて、ステップＳ４０７で全ての検索結果を出力しないと判定した場合、グループの代表結果を出力するかチェックする。チェックは、最終的に出力する代表結果数がα件未満かどうかで判定する。α件以上であれば、ステップＳ４０６に戻る。

＜ステップＳ４１０＞検索結果表示部１０４にて、ステップＳ４０９で代表結果を出力すると判定した場合、グループの代表結果を最終結果リストへ登録し、ステップＳ４０５へ戻る。なお、グループの代表結果は、グループ内で類似度の高い結果、或いは、最終結果リストに登録されていないカメラの検索結果とする方法がある。

以上のように、同一環境と推定する単位にグループ化して検索結果を表示することにより、限られた表示件数の中でも、様々なカメラ環境下の検索対象人物を簡単に把握することができる。特に、類似度の低いカメラの結果も必ずどこかのグループに属するため、特定カメラの結果がヒットしない現象をなくすことができる。また、検索結果として、類似度の高いグループは全ての検索結果を表示し、類似度の低いグループは代表結果を表示することで、検索者は、低類似度のグループの結果を次の検索画像に指定して、最初の検索画像とは違う撮影環境を中心として詳細検索（検索対象人物の全抽出）をすると言った検索条件の切替えを簡単にかつ的確に行なうことができる。

（実施の形態２）
本発明の実施の形態２では、同一環境と推定する単位に検索結果をグループ化する精度を向上できる類似画像検索の結果表示装置について述べる。実施の形態２で述べる構成は実施の形態１とほぼ同じであるため、ここでは、検索結果グループ化部１０３の処理についてのみ記載し、他は省略する。

図６は、カメラの設置条件（画角／高さ）や照明条件（光源の向き／強さ）も含めた同一環境の推定を行なう方法について述べたものである。特徴検索部１０２で取得する検索結果は、類似度が同じであっても、人物の向き、大きさ、さらに照明条件が違う場合がある。この現象は、カメラの設置条件や照明条件が異なる２つのカメラを用意し、複数の人物を撮影しても、全ての人物で２つのカメラの類似度が同じになる訳ではなく、特定の人物の特定の時間帯で類似度が同じになるというものであり、本発明の同一環境の推定精度を低下する要因となる。

図６＜ａ＞は、カメラの撮影環境が異なる事例を挙げたものである。撮影環境が異なるパターンとして、（１）カメラの設置位置（人物の撮影角度（正面、斜め、横など））、（２）光源の違い（均一な光源、光源が人物の横にある等）、（３）カメラの画角の違い（ズーム率の違い）、（４）撮影画質の違い（レンズや信号処理の違い）がある。

上記（１）〜（４）の情報は、図６＜ｂ＞に示すように、人物検出時に〔１〕人物の向き情報（顔向き推定や歩行方向推定を用いて生成可能）、〔２〕人物画像の濃淡パターン情報（輝度変化を用いて生成可能）、〔３〕検出サイズ、〔４〕人物の確からしさ情報（人物と判定した評価値から生成可能）として、人物のサムネイル画像、人物特徴データと併せて出力することができる。従って、特徴検索部１０２で検索した各検索結果に、「検索順位／類似度／日時／場所」に加えて、上記〔１〕〜〔４〕の情報を付与することができるため、検索結果グループ化部１０３の検索結果グループ化処理（ステップＳ４０４）の分類評価値（Ｅｖ）を、上記〔１〕〜〔４〕の指標を加味して算出することができる。なお、Ｅｖの算出は、（式１）に各〔１〕〜〔４〕の値に重みを加えてさらに加算する方法や、〔１〕〜〔４〕の値からまず各カメラを大分類し（Ｅｖの基本値を設定し）、次に、大分類した中で（式１）の値を加算する方法がある。このように、カメラの設置条件（画角／高さ）や照明条件（光源の向き／強さ）も含めて同一環境の推定を行なうことで、検索結果グループ化の精度を向上することができる。

次に、同一環境と推定する精度を向上する別の方法について述べる。図１の検索結果グループ化部１０３は、過去にグループ化した結果をグループ化履歴情報１５として保存する機能を備え、同一環境の推定処理において、このグループ化履歴情報１５も使用するようにする。図７は、グループ化履歴情報１５の利用例を模式的に表わしたもので、過去にカメラ５とカメラ７をグループ化した頻度が高い場合、現在のグループ化において、カメラ５とカメラ７の分類評価値（Ｅｖ）に差がでてもグループ化することで、同一環境の推定精度低下の要因（カメラ毎の検索結果数等のばらつき等）を排除したグループ化処理を実現することができる。また、同一環境と推定する精度を向上する別の方法として、分類評価値（Ｅｖ）を場所単位（カメラ毎）で算出していたが、各カメラを複数の時間帯に分割し、分割した単位でＥｖを算出するようにする。この方法により、例えば、朝・昼・晩と日照条件が異なるカメラを対象とした場合でも、同一環境の推定精度を維持することができる。

以上のように、検索結果グループ化部１０３において、「人物の向き情報」「人物画像の濃淡パターン情報」「人物の大きさ情報（検出サイズ）」「人物の確からしさ情報」、或いは「過去のグループ化情報」或いは「日時情報」を用いて同一環境の推定を行なうことにより、カメラの設置条件（画角／高さ）や照明条件（光源の向き／強さ）も含めた同一環境の推定ができ、検索結果グループ化の精度を向上することができる。

（実施の形態３）
本発明の実施の形態３では、様々なカメラ環境での検索対象人物を一覧表示する機能と、検索対象人物の全行動履歴を把握する機能を備えた検索画面について述べる。実施の形態３で述べる構成は実施の形態１とほぼ同じであるため、ここでは、検索結果表示部１０４とユーザの検索操作についてのみ記載し、他は省略する。

図８＜ａ＞、図８＜ｂ＞は、ユーザの検索画面例を表わしたものである。８１ａ，８１ｂは、検索条件の日時・場所を設定する画面、８２ａ，８２ｂは、検索条件の顔画像（色画像としてもよい）を設定する画面、８３ａは、８２ａで指定した顔画像に類似している人物を類似度順に表示する検索結果表示画面、８４ａは、類似度の低いグループの代表画像を、次検索候補として表示する画面、８３ｂは、検索結果をグループ化し、グループ単位で代表画像を一覧表示する画面である。また、８２ａ，８２ｂの顔画像設定画面は、デジカメや携帯で撮影した顔写真を指定する方法と、検索結果から顔画像を再指定する方法があり、最初は顔写真を用いて検索を行ない、ヒットしない場合は、８４ａの次検索候補の検索結果等を用いて再検索を行なう使い方をする。なお、実施の形態１では、８４ａの次検索候補数は検索結果表示部１０４のステップＳ４０２で設定するようにしていたが、図８の検索画面から設定できるようにしてもよい。

図９は、図８の検索画面を用いて、ユーザが検索対象人物の全行動履歴を把握する手順について述べたもので、以下その手順について説明する。

＜ステップＳ９０１＞検索条件の「日時・場所及び顔画像」を指定する。
＜ステップＳ９０２＞ユーザが全行動履歴を把握する手順として、（１）検索結果を全てグループ単位で表示した後（検索対象人物の一覧を簡単に把握した後）、グループ毎に検索条件を再設定して、行動履歴の詳細検索を行なう方法と、（２）行動履歴の詳細検索を行ないながら、次検索候補を用いて未ヒット部分の詳細検索をさらに行なう方法の２通りある。前者の方法で検索を行なう場合、ステップＳ９０３に進み、後者の方法で検索を行なう場合、ステップＳ９０４に進む。

＜ステップＳ９０３＞グループ単位で検索を行なうため、図８＜ｂ＞の画面を選択し、検索を実行する。
＜ステップＳ９０４＞行動履歴の詳細検索（網羅的検索）を行なうため、図８＜ａ＞の画面を選択し、検索を実行する。
＜ステップＳ９０５＞検索結果を閲覧して、再検索を行なうか判断する。再検索を行なう場合、ステップＳ９０６に進み、再検索をしない場合、処理を終了する。

＜ステップＳ９０６＞ステップＳ９０２の（１）の検索方法の場合、グループ毎に行動履歴の詳細検索を行なうので、該当グループの代表結果を次検索の顔画像として指定する。また、ステップＳ９０２の（２）の検索方法の場合、最初の検索画像とは違う撮影環境を中心とした詳細検索を行ないたいので、次検索候補の顔画像を検索条件として指定し、再検索を行なう。

以上のように、様々なカメラ環境の検索対象人物を一覧表示する機能と、検索対象人物の全行動履歴を把握する機能を用いることで、検索対象人物の行動履歴を簡単にかつ的確に把握することができる。特に、高類似度の結果は詳細表示し、低類似度の結果は代表表示すると言う表示形態とすることで、検索者は、高類似度の部分から全行動履歴を把握し、類似度が低くなった時点（他人が混入した時点）で、検索対象人物が映っている低類似度の結果を次の検索条件に指定して再検索する、すなわち、低類似度となった撮影環境を中心として詳細検索を実行すると言った、様々なカメラ環境での全行動履歴検索を簡単な切替え操作で実現することができる。

本発明は、様々なカメラ環境の中でも、検索対象人物の全行動履歴を簡単にかつ的確に把握できる（特定カメラの検索結果がヒットしない現象をなくすことができる）といった効果を有し、複数カメラを対象にした万引き犯・迷子・落し物者の全行動把握を行なう監視用途に加えて、旅行・運動会等の個人で撮影したコンテンツ（静止画・動画）に対する閲覧・検索・編集の用途にも応用することができる。

１１ カメラ
１２ 人物検索サーバ
１３ 検索端末
１４ 人物特徴データベース
１５ グループ化履歴情報
１０１ 検索要求受信部
１０２ 特徴検索部
１０３ 検索結果グループ化部
１０４ 検索結果表示部

Claims (11)

1. 複数のカメラから抽出した少なくとも顔、色、形状のいずれか一つの特徴を含む人物特徴データを保管する人物特徴データベースと、
   検索対象人物の画像を検索キーとして受信する検索要求受信手段と、
   前記検索要求受信手段が受信した検索キーに対応する人物を前記人物特徴データベースから検索し、所定の方法により算出した類似度の値が大きい順に検索結果を出力する特徴検索手段と、
   前記特徴検索手段の検索結果に含まれる検索順位、類似度、日時または場所を用いて前記検索結果に対応する人物の画像を撮影したカメラが同一環境にあるかを推定する為の分類評価値をカメラ毎に算出し、前記分類評価値の値を基にほぼ同一環境にあると推定される、分類評価値の近いカメラを同一グループとして分類し、前記グループにより前記検索結果を同一環境と推定する単位に再分類する検索結果グループ化手段と、
   前記検索結果グループ化手段がグループ化した結果を表示する際にグループ毎の表示件数を決定して表示する検索結果表示手段と、
   を備えた類似画像検索の結果表示装置。
2. 前記特徴検索手段は、カメラ毎に前記人物特徴データベースから前記類似度の高い順に検索し、前記各カメラの検索結果を統合して検索結果を生成する請求項１に記載の類似画像検索の結果表示装置。
3. 前記検索結果グループ化手段は、検索結果を場所単位に分割し、場所単位での検索順位、スコアの平均または分散値から同一環境の場所を推定する請求項１又は請求項２に記載の類似画像検索の結果表示装置。
4. 前記検索結果グループ化手段は、検索結果に含まれる人物の向き情報を用いて、同一環境の場所を推定する請求項３に記載の類似画像検索の結果表示装置。
5. 前記検索結果グループ化手段は、検索結果に含まれる人物の大きさ情報を用いて、同一環境の場所を推定する請求項３に記載の類似画像検索の結果表示装置。
6. 前記検索結果グループ化手段は、検索結果に含まれる人物の濃淡パターン情報を用いて、同一環境の場所を推定する請求項３に記載の類似画像検索の結果表示装置。
7. 前記検索結果グループ化手段は、検索結果に含まれる日時情報を用いて、同一環境の場所を推定する請求項３に記載の類似画像検索の結果表示装置。
8. 前記検索結果グループ化手段は、過去にグループ化した結果であるグループ化履歴情報を用いて、同一環境の場所を推定する請求項３に記載の類似画像検索の結果表示装置。
9. 前記検索結果表示手段は、グループ単位で代表結果を選択し、選択した代表結果の一覧を表示する請求項１乃至請求項８のいずれか一項に記載の類似画像検索の結果表示装置。
10. 前記検索結果表示手段は、前記検索キーに対する類似度が所定の閾値以上のグループは代表結果を複数選択し、選択した代表結果の一覧を表示する請求項９に記載の類似画像検索の結果表示装置。
11. 検索サーバにより類似画像検索の結果を表示する類似画像検索の結果表示方法であって、
    複数のカメラから抽出した少なくとも顔、色、形状のいずれか一つの特徴を含む人物特徴データを人物特徴データベースに保管する人物特徴データ保管工程と、
    検索対象人物の画像を検索キーとして検索端末から受信する検索要求受信工程と、
    前記検索要求受信工程で受信した検索キーに対応する人物を前記人物特徴データベースから検索し、所定の方法により算出した類似度の値が大きい順に検索結果を出力する特徴検索工程と、
    前記特徴検索工程で検索した結果に含まれる検索順位、類似度、日時または場所を用いて前記検索結果に対応する人物の画像を撮影したカメラが同一環境にあるかを推定する為の分類評価値をカメラ毎に算出し、前記分類評価値の値を基にほぼ同一環境にあると推定される、分類評価値の近いカメラを同一グループとして分類し、前記グループにより前記検索結果を同一環境と推定する単位に再分類する検索結果グループ化工程と、
    前記検索結果グループ化工程によりグループ化した結果を表示する際にグループ毎の表示件数を決定して前記検索端末に表示する検索結果表示工程と、
    を実行する類似画像検索の結果表示方法。

Images