JP6822484B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。特に、データの検索を実行する、情報処理装置、情報処理方法及びプログラムに関する。

情報取得手段と記憶技術の進展に伴い、ユーザが利用できる情報は膨大かつ多様化してきている。例えば、インターネット上の文書、画像データ、防犯カメラで撮影した映像データ、ＧＰＳ（Global Positioning System；全地球測位システム）センサーから取得した位置情報等、様々なデータが容易に入手でき、活用できる状況下にある。

さらに、これらのデータから複数種類の情報（複数種類の特徴、特徴量）が利用できる、又は、抽出できる。例えば、メタデータとしての文書情報や撮影場所としての位置情報、撮影時刻としての時間情報などが付随している画像データから、複数種類の情報が利用等できる。具体的には、メタデータから直接位置情報等を抽出するだけでなく、画像データからＲＧＢ（Red Green Blue）等の画素情報を抽出でき、顔画像認識等に利用できる（顔などの属性情報も認識できる）。

このように、情報量の増大に伴い、それらの情報を管理する機能（とりわけ、検索機能）が非常に重要となってきた。そのため、多種多様な情報が混在したマルチメディアデータを対象とした様々な検索方法と装置が提案されている。例えば、特許文献１には、侵入者検知などの映像監視のために、映像データの画像から同一人物の異なる特徴量を取得し、ユーザ指定または人物追跡の方法により人物特徴を複数指定し、指定した条件に合致する画像を検索する技術が開示されている。

大規模な複数種類の情報を含むデータから、ユーザが望んでいる情報を効率的に取り出すために、ユーザに分かりやすく簡潔に結果情報を提示することも重要である。つまり、ユーザからの検索要求を処理する際に、検索条件に合致する、又は、類似する結果を並べるだけでは不十分である。重複又は類似している結果同士を整理して、代表的な結果を提示することで、ユーザが検索結果を確認する又は検索結果から所望の情報を得る時間を短縮することが望まれる。

特許文献２には、表示パターン候補を設定し、検索条件に基づき検索結果として得られたマルチメディアデータを、ユーザが選択した表示パターンに基づき分類し、分類されたグループ間の関係に従って、検索結果をユーザに提示する技術が開示されている。

特許文献３には、番組などのメタデータが含まれる画像に対し、検索文とメタデータに含まれる文との文書間距離に基づき画像のグループ分け行う技術が開示されている。さらに、当該技術では、各グループから画像特徴量の統計的ばらつきに基づき代表画像を選択し、距離の近いメタデータに対応づけられた代表画像を候補として選出して表示する。

特許文献４には、電子アルバム等の画像集合において、ユーザが画像集合の全体内容を迅速に把握するために、各画像の文書特徴または視覚特徴に基づき、全画像の内容を代表する１つまたは複数の代表画像を表示する技術が開示されている。

特許文献５には、入力手段を介して選択された情報と記憶手段に蓄積されている情報との類似度に基づいて算出される適応度に基づいて、次回提示する候補情報を決定する技術が開示されている。

また、検索結果の候補に対し特徴量を抽出してクラスタリングを行い、各クラスタから代表的な結果を選択するような方法も存在する（非特許文献１を参照）。あるいは、文書データや位置データなど、単一種類の情報があるデータを対象に、検索結果の多様化手法で代表的な結果を選択する方法も存在する（非特許文献２、３を参照）。

特開２００９−２７３９３号公報 特開２００６−１３９３８２号公報 特開２０１３−１１４５０７号公報 特開２０１１−１９２２７３号公報 特開２００４−２５９０６１号公報

Reinier H. van Leuken, Lluis Garcia, Ximena Olivares and Roelof van Zwol, "Visual Diversification of Image Search Results", Proceedings of the 18th International Conference on World Wide Web (WWW), pp. 341-350, 2009 Gabriele Capannini, Franco Maria Nardini, Raffaele Perego and Fabrizio Silvestri, "Efficient Diversification of Web Search Results", Proceedings of the 37th International Conference on Very Large Data Bases (VLDB), Vol. 4, No. 7, pp. 451-459, 2011 Marina Drosou and Evaggelia Pitoura, "DisC Diversity: Result Diversification based on Dissimilarity and Coverage", Proceedings of the 39th International Conference on Very Large Data Bases (VLDB), Vol. 6, No. 1, pp. 13-24, 2013

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

特許文献１のような手法により、複数種類の情報（複数種類の特徴量）があるデータを扱うことができる。しかし、当該手法は、検索条件との適合性に基づき検索結果を一覧表示するので、検索結果が重複又は類似することがある。ユーザが、これらの検索結果を把握する場合、頭の中で重複又は類似している結果の差異を整理し、大量な結果を一つずつ確認することで、望んでいる情報を見つけ出す必要がある。そのため、ユーザには大きな負担（労力、時間）がかかる。

さらに、ユーザが対象データを把握していないときに問題が生じ得る。具体的には、ユーザによる検索条件の設定が不適切又は間違いがある場合に、結果が少ない又は結果が得られない場合がある。その他、マルチメディアデータから複数種類の情報又は特徴量を抽出して検索処理を行う場合、上記手法では、抽出方法の精度が低い又はデータに欠損があるなどにより、抽出した特徴量の質が低くなる問題がある。このような場合も、ユーザが望んでいる検索結果が得られないこととなる。例えば、動画データから人物の顔や服の色、場所などの特徴量を抽出する場合を考える。この場合、ユーザは、それぞれ顔と服の色と場所に関する条件を指定して検索することになる。指定した服の色と場所に合う人物の顔が首尾良く取得又は抽出しできなかった場合、ユーザが指定した条件に合う結果が得られないことになる。これらの場合、ユーザは何度も検索条件を調整する必要がある。このような検索条件の再調整も、ユーザには大きな負担となる。例えば、上記問題は、特許文献５の技術にて生じ得る。特許文献５では、情報検索装置から提示される候補情報のなかにユーザが要求情報を発見できない場合には、ユーザからの検索要求が実質的に存在ないことと等価であり、ユーザは何度も検索条件を調整する必要がある。

一方、特許文献２、３の手法では、単一種類の情報があるデータが対象であり、且つ、その種類の情報に特有の性質に基づくため、他の種類の情報と複数種類の情報があるデータに適用できないという問題がある。具体的には、特許文献２では、ユーザが選択した表示パターンに基づき検索結果を分類するため、表示パターンの候補が設定されていない場合には適用できない。特許文献３では、入力された検索文と画像のメタデータに含まれる文との類似度に基づき画像を選択するため、検索条件に文書がない場合や対象データに文書情報がない場合には適用できない。さらに、特許文献４では、文書情報や視覚情報も考慮し、文書情報は多様性を確保する情報として、視覚情報はその中での頻度により代表を選択する情報として利用している。情報の種類ごとに予め分類や選択の軸が決められているため、文書情報では多様性が低く、視覚情報では頻度が同程度である場合、効果的な結果をユーザに提示することができないという問題がある。

また、クラスタリング方法には、検索を処理する際に必要となる計算量が多いため、検索要求に対応するのが困難であるのと、代表的な結果の選定はクラスタリングのパラメータ設定に依存するため調整が困難であるという２つの問題点がある。

本発明は、多種多様な情報が含まれるオブジェクトにおいて、ユーザが望んでいる情報を効率的に検索し、提供できる、情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の第１の視点によれば、複数のオブジェクトそれぞれから抽出された複数の特徴量に対し、ユーザからの検索条件により指定される第１の特徴量と前記検索条件により指定されない第２の特徴量に基づいて、前記複数のオブジェクトのうち前記検索条件に適合する代表的な結果オブジェクトを選択する、検索処理部と、少なくとも前記代表的な結果オブジェクトをユーザに提示する、結果提示部と、を備える、情報処理装置が提供される。

本発明の第２の視点によれば、複数のオブジェクトそれぞれから抽出された複数の特徴量に対し、前記抽出された特徴量それぞれの重要度を示す表現力と特徴量間の相関により別の特徴量からある特徴量を推定できないことを示す独立力を計算する、表現力及び独立力計算部と、ユーザからの検索条件に基づいて、前記複数のオブジェクトそれぞれについて前記検索条件を満たす度合を示す類似性スコアの計算と、前記表現力と前記独立力と前記類似性スコアに基づき他のオブジェクトとの差異度を示す多様性スコアの計算と、を行う検索結果多様化部と、を備え、前記検索結果多様化部は、前記多様性スコアに基づき、前記複数のオブジェクトから代表的な結果を選択する、情報処理装置が提供される。

本発明の第３の視点によれば、複数のオブジェクトそれぞれから抽出された複数の特徴量に対し、ユーザからの検索条件により指定される第１の特徴量と前記検索条件により指定されない第２の特徴量に基づいて、前記複数のオブジェクトのうち前記検索条件に適合する代表的な結果オブジェクトを選択するステップと、少なくとも前記代表的な結果オブジェクトをユーザに提示するステップと、を含む、情報処理方法が提供される。

本発明の第４の視点によれば、複数のオブジェクトそれぞれから抽出された複数の特徴量に対し、ユーザからの検索条件により指定される第１の特徴量と前記検索条件により指定されない第２の特徴量に基づいて、前記複数のオブジェクトのうち前記検索条件に適合する代表的な結果オブジェクトを選択する処理と、少なくとも前記代表的な結果オブジェクトをユーザに提示する処理と、をコンピュータに実行させるプログラムが提供される。
なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、多種多様な情報が含まれるオブジェクトにおいて、ユーザが望んでいる情報を効率的に検索し、提供できることに寄与する、情報処理装置、情報処理方法及びプログラムが提供される。

一実施形態の概要を説明するための図である。 第１の実施形態に係る情報処理装置の処理構成の一例を示す図である。 検索処理部の内部構成の一例を示す図である。 検索結果の多様化と要約の詳細を説明するためのフローチャートである。 第１の実施形態に係る具体例を説明するための図である。 第１の実施形態に係る具体例を説明するための図である。 第１の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 検索処理部の内部構成の他の一例を示す図である。

初めに、一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、この概要の記載はなんらの限定を意図するものではない。

上述のように、ユーザが大量の検索結果を一つずつ確認して、望んでいる情報を見つける労力と時間の増加を解消する装置（システム）が望まれている。また、検索条件の設定が不適切又は間違いがあった際に、検索結果が少ない又は検出結果が得られない場合等が生じた際の手間を削減する装置が望まれている。

一実施形態に係る情報処理装置１００は、検索処理部１０１と、結果提示部１０２と、を備える。検索処理部１０１は、ユーザからの検索条件により指定される第１の特徴量と検索条件により指定されない第２の特徴量に基づいて、複数のオブジェクトのうち検索条件に適合する代表的な結果オブジェクトを選択する。結果提示部１０２は、少なくとも代表的な結果オブジェクトをユーザに提示する。

情報処理装置１００は、例えば、画像データ等のデータであって、顔情報（顔画像）や服の色に関する情報を含むマルチメディアデータ等を処理対象（オブジェクト）として扱う。情報処理装置１００は、ユーザが検索を希望する内容を「検索条件」として入力する。例えば、ユーザは、検索したい顔画像や人物画像（服を着ている人物の画像）等の画像や検索したい服の色、あるいは、検索結果として取得したいオブジェクトの数等を「検索条件」として入力する。情報処理装置１００は、複数の特徴量のうち、検索条件として指定される特徴量だけでなく、指定されない特徴量も使用して検索条件に適合するオブジェクトをユーザに提示する代表的なオブジェクト（結果オブジェクト）として選択する。

その結果、複数種類の情報が含まれるオブジェクト（例えば、マルチメディアデータ）において、ユーザからの検索条件に対し、オブジェクトから多様化した代表的な結果を選択可能ととなり、重複又は類似している検索結果をまとめて代表的な結果に従属させ、代表的な結果と従属結果を、ユーザに理解しやすく、簡潔に提示することができる。さらに、ユーザからの指定される検索条件だけではなく、オブジェクトに内在する各種情報（検索条件により指定されない情報）を利用して検索処理を行うことで、ユーザが検索条件を調整する手間を削減できる。以上により、ユーザが検索結果を確認する又は検索結果から所望の情報を得られる時間を短縮できる。このように、情報処理装置１００は、多種多様な情報が含まれるマルチメディアデータ等に対する検索結果の多様化と要約の機能を実現する。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。なお、各実施形態において同一構成要素には同一の符号を付し、その説明を省略する。また、各図におけるブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、第１の実施形態に係る情報処理装置１０の処理構成の一例を示す図である。図２を参照得すると、情報処理装置１０は、データ取得部１１と、特徴量抽出部１２と、記憶部１３と、検索受信部１４と、検索変換部１５と、検索処理部１６と、結果提示部１７と、を含んで構成される。

データ取得部１１は、文書、音声、時間、位置、画素、属性等の複数種類の情報を含むオブジェクト（例えば、画像データや動画像データ等のマルチメディアデータ）を取得する手段である。

特徴量抽出部１２は、複数のオブジェクト（検索対象及び被検索対象のオブジェクト；例えば、マルチメディアデータ）それぞれから複数の特徴量を抽出する手段である。具体的には、特徴量抽出部１２は、情報処理装置１０が取得したオブジェクトを対象として、種々の情報抽出方法又は認識エンジン等を使って、特徴量を計算する。例えば、特徴量抽出部１２は、画像データの各画像に対して、撮影場所から位置情報である座標を計算したり、顔認識エンジンにより顔の特徴量を抽出したりする。

記憶部１３は、抽出された特徴量を記憶する手段である。

検索受信部１４は、ユーザからの検索要求を受け取る手段である。検索条件には、例示情報や指定条件、パターンなどが考えられる。例えば、ユーザがサンプル画像又は音声を入力する、撮影場所と撮影時間を指定する、顔画像を入力し顔の類似度の閾値を指定する、指定文書が現れた回数を指定する等が例示される。

検索変換部１５は、受け取った検索要求を特徴量と各特徴量に関する検索条件に変換する手段である。例えば、ユーザから検索対象として顔画像を受け取った場合には、検索変換部１５は、当該取得した画像から顔を抽出し、その特徴量を計算する。なお、検索変換部１５を省略し、ユーザから検索条件が直接入力されてもよい。

検索処理部１６は、変換した検索要求を処理し、検索結果を計算する手段である。より具体的には、検索処理部１６は、ユーザからの検索条件により指定される第１の特徴量と検索条件により指定されない第２の特徴量に基づいて、複数のオブジェクトのうち検索条件に適合する代表的な結果オブジェクトを選択する。例えば、ユーザが「顔」に関する情報に限り情報処理装置１０に入力したとしても、検索処理部１６は、「顔」以外の情報（例えば、服の色）も加味して、ユーザに提示するのに適切な（ユーザの要求に適合する）代表的な結果を選択する。

結果提示部１７は、少なくとも上記代表的な結果（結果オブジェクト）をユーザに提示する手段である。

［検索処理部及び結果提示部］
続いて、第１の実施形態に係る検索処理部１６と結果提示部の詳細について説明する。

図３は、検索処理部１６の内部構成の一例を示す図である。図３を参照すると、検索処理部１６は、表現力＆独立力計算部２０１と、検索結果多様化部２０２と、検索結果要約部２０３と、からなるサブモジュールを含む。

表現力＆独立力計算部２０１は、特徴量の表現力と独立力を計算する手段である。

検索結果多様化部２０２は、代表的な検索結果の検出と検索結果の多様化を行う手段である。

検索結果要約部２０３は、検索結果の要約を行う手段である。検索結果要約部２０３により、代表的な結果に従属する従属オブジェクトが算出される。

多様化された代表的な結果と要約された従属オブジェクトは、結果提示部１７によりユーザに提示される（代表的な結果と従属オブジェクトが表示される）。なお、代表的な結果、従属オブジェクト等の詳細は後述する。

特徴量の表現力は、特徴量の重要度を示す指標である。換言すると、特徴量の表現力は、データからデータを構成するオブジェクトを特定する際の当該特徴量の重要度を示す。特徴量の表現力は、オブジェクトから抽出される複数の特徴量それぞれに関して計算される。また、特徴量の表現力とは、「特徴量でオブジェクトを表現できる可能性」と捉えることもできる。例えば、世の中に顔が似ている人は少ないのに対し、年齢が近い人は多いという事実がある。このことから、年齢より顔で人を識別する方が容易である、又は、人を表現できる可能性が高いと言うことができる。つまり、年齢より顔の表現力の方が高いと言える。

従って、画像データから指定した顔と年齢の人に関する画像を検索する場合、年齢よりも表現力が高い顔を優先して、指定した顔と類似している画像を検索結果の上位に提示する方がよい。このような提示により、ユーザは、検索結果から望んでいる画像を発見する可能性が高く、より早く必要な情報を見つけ出せる。表現力＆独立力計算部２０１は、上記状況を加味して、各特徴量の表現力を計算する。なお、表現力の具体的計算例は後述する。

特徴量の独立力は、特徴量間の相関により別の特徴量からある特徴量を推定できないことを示す指標である。特徴量の独立力とは、「ある特徴量は他の特徴量に相関されない可能性」と捉えることもできる。例えば、顔が似ている人の年齢と性別も似ている可能性は高いのに対し、年齢と性別が似ている人の顔が似ているとは限らないという事実がある。当該事実は、年齢、性別は顔から推定できる、又は、年齢、性別は顔に相関される可能性が高いと言うことができる。つまり、顔に対して、年齢と性別の独立力は低い。逆に、年齢と性別に対して、顔の独立力は高い。似ている顔同士は、お互いの独立力が低い。

画像データから指定した年齢と性別を持つ人に関する画像を検索する場合、年齢と性別が近い異なる顔を持つ画像を検索結果として提示する方がよい。このような提示により、ユーザが検索結果から望んでいる画像を発見できる可能性が高くなり、より早く必要な情報を見つけ出せる。さらに、検索結果にある画像と重複又は類似している画像の各特徴量（例えば、年齢、性別及び顔）は、既存の結果画像の各特徴量に対する独立力が低いので、代表的な結果とする優先度が低い。

表現力＆独立力計算部２０１は、上記状況を加味して、各特徴量の独立力を計算する。例えば、詳細については後述するが、特徴量Ａに対する特徴量Ｂの独立力は、特徴量Ａとの類似度が閾値以上である画像のうち、特徴量Ｂとの類似度が閾値以下である画像の割合により計算する。

なお、上記特徴量の表現力と独立力は、一般の常識ではなく対象のデータ集合により変化する。例えば、顔が似ている人の画像データ集合の場合、顔よりも年齢や性別などの表現力と独立力が高い。

その後、検索結果多様化部２０２は、各画像の特徴量に関し、公知の類似度定義により各特徴量間の類似度（特徴量の類似性スコア）を計算する。つまり、複数種類の特徴量が１つのオブジェクト（検索対象データ、被検索対象データ）から得られる場合に、検索結果多様化部２０２は、同種の特徴量間の類似度を類似性スコアとして計算する。

特徴量の類似性スコアが計算されると、検索結果多様化部２０２は、各オブジェクト（例えば、画像データ）間の類似度を（オブジェクトの類似性スコア）を計算する。例えば、オブジェクトの類似性スコアは、各オブジェクトそれぞれから抽出される各特徴量の類似性スコアの合計として計算される。その後、検索結果多様化部２０２は、特徴量の類似性スコアと表現力と独立力を多様性スコアの計算に利用する。なお、特徴量とオブジェクトの２つの類似性スコアと多様性スコアの具体的計算例は後述する。

第１の実施形態に係る情報処理装置１０は、データ集合の統計的な情報など隠れた知識を利用し、各特徴量の表現力と独立力を計算して、できるだけユーザが望んでいる情報を含むように多様化した代表的な結果をユーザに提示する。その結果、ユーザの情報検索が加速する。

ここで、既存の技術では、ユーザからの検索要求を変換した各特徴量に対応する検索条件に対して、指定した特徴量との適合性を示す類似性スコアに基づき検索結果を計算する。本願開示では、類似性スコアだけではなく、指定した特徴量の表現力と独立力も考慮し、類似性スコアが高く、且つ、表現力と独立力が高い特徴量を持つ結果を優先する（代表的な検索結果とする）。その結果、重複又は類似している結果が排除され、代表的な結果が選択される。

さらに、本願開示では、指定されていない特徴量の表現力と独立力も考慮することで、検索条件に柔軟に対応でき、ユーザが検索条件を調整する労力を省略することができる。例えば、ユーザによる検索条件の設定が不適切又は間違いである場合や、抽出方法の精度が低い又はデータに欠損があるなどにより、抽出した特徴量の質が低い場合などがある。このような場合であっても、データ集合の隠れた知識である特徴量の表現力と独立力を考慮することで、自動的に検索条件が調整される。さらに、指定しない特徴量の表現力と独立力を考慮することで、検索条件が調整されるだけではなく、指定しない特徴量を持つ探索的な結果を提示することで、検索条件に対する誘導も可能となる。つまり、検索処理部１６は、ユーザからの検索条件により指定されない第２の特徴量であって、代表的な結果オブジェクトの選択に使用された特徴量を結果提示部１７に出力してもよい。そして、結果提示部１７は、出力された第２の特徴量をユーザに提示すればよい。例えば、ユーザが検索条件として「服の色」を指定したが、特徴量の表現力と独立力を考慮した結果、「服の色」とは異なる「顔」に係る特徴量を結果オブジェクトの選択に使用する場合には、「顔」や「顔の特徴量」をユーザに提示してもよい。

さらに、検索処理部１６は、ユーザから検索条件として特徴量が指定されない場合には、特徴量抽出部１２により抽出された複数の特徴量の全てに基づき、代表的な結果オブジェクトを選択してもよい。例えば、ユーザから画像データだけが検索条件として入力され、「顔」や「服の色」等が指定されていなくとも、当該画像データから「顔」や「服の色」に係る特徴量が抽出できる場合には、これらの特徴量を用いて代表的な結果オブジェクトを選択してもよい。

また、本願開示では、各特徴量の類似性スコアと表現力と独立力に基づき、オブジェクトの代表性と他のオブジェクトとの相違度（差異度）を示す多様性スコアを定義する。その上で、各オブジェクトの多様性スコアにより、検索結果の多様化と要約が行われる。

なお、特徴量の類似性スコアについて、指定特徴量との類似度や指定特徴量に関する閾値が存在する場合、閾値を重みとして類似度に付与したものなどが考えられる。オブジェクトの類似性スコアは、各特徴量の類似性スコアの集約（例えば、和、最大、最小、平均など）で定義できる。

特徴量の表現力について、特徴量が稀であるほど重要であるとする場合、この特徴量を持つオブジェクトの数の逆数により定義できる。特徴量の独立力について、特徴量Ａに対する特徴量Ｂの独立力は、特徴量Ａを持つオブジェクトのうち、特徴量Ｂを持たないオブジェクトの割合で定義することが例示される。

オブジェクトの多様性スコアの定義例としては、指定した各特徴量における類似度と表現力と独立力の掛け算を集約し、さらに、指定しない各特徴量における表現力と独立力の掛け算を集約して、それらを合計することが例示される。

特に、本願開示では、指定されていない特徴量を利用し、それらの特徴量を持つ結果を提示することで、代表的な結果を選択する。つまり、ユーザが把握していない情報を利用し、類似性スコアが高い類似オブジェクトと多様性スコアが高い多様オブジェクトが代表的な結果オブジェクトとして選択される。

さらに、本願開示では、多様性スコアが低いオブジェクトをまとめて、代表的な結果に従属させ要約する。具体的には、情報処理装置１０は、代表的な結果に従属するオブジェクト（従属オブジェクト）を生成し、ユーザに提示する。

[動作の説明]
次に、図４を参照しつつ、検索結果の多様化と要約の詳細を説明する。

ステップＳ０１において、検索処理部１６は、スコア変数Ｓと、オブジェクトＯ_ｓと、候補オブジェクト集合Ｃと、オブジェクト集合Ｔと、結果オブジェクト集合Ｒの初期化を行う。なお、上記初期化されるスコア変数Ｓ等は、検索結果を計算するために使用する変数（中間変数）等である。

上記初期化の後、検索処理部１６は、類似オブジェクトの計算と、多様オブジェクトの計算と、オブジェクトの要約と、を順番に行う。また、検索処理部１６は、ｋ件の結果を計算することとする。

検索結果多様化部２０２は、類似オブジェクトを計算する。類似オブジェクトの計算では、検索対象となるオブジェクト（例えば、画像等のデータ）に対して類似性スコアが最大のオブジェクトが計算される。

初めに、記憶部１３からオブジェクトＯ_ｉ（ｉはサフィックスであり、以下同様）が取得（ステップＳ１０１）され、オブジェクトＯ_ｉが取得できた場合には（ステップＳ１０２、Ｎｏ分岐）、変換した検索条件に対する類似性スコアＳＩＭ_ｉが計算される（ステップＳ１０３）。

スコア変数ＳとオブジェクトＯ_ｓで最大の類似性スコアＳＩＭ_ｉと対応するオブジェクトＯ_ｓが保持される。具体的には、計算された類似性スコアＳＩＭ_ｉがスコア変数Ｓより大きい場合（ステップＳ１０４、Ｙｅｓ分岐）、スコア変数Ｓは類似性スコアＳＩＭ_ｉに、オブジェクトＯ_ｓはオブジェクトＯ_ｉに、それぞれ更新される（ステップＳ１０５）。

類似性スコアＳＩＭ_ｉがスコア変数Ｓ以下の場合（ステップＳ１０４、Ｎｏ分岐）には、オブジェクトＯ_ｉは候補オブジェクト集合Ｃに挿入され保持される（ステップＳ１０６）。

上記処理は、類似性スコアＳＩＭ_ｉが最大のオブジェクトが発見されるまで繰り返される。つまり、記憶部１３の全てのオブジェクトに関する類似性スコアの計算が終了すると（ステップＳ１０２、Ｙｅｓ分岐）、類似性スコアの計算は終了する。また、類似オブジェクトが発見された時点で反復は終了し、記憶部１３の全てのオブジェクトに対する計算は省略できる。

類似性スコアの計算が終了すると（ステップＳ１０２、Ｙｅｓ分岐）、計算された類似オブジェクトが結果オブジェクト集合Ｒに挿入され保持される（ステップＳ１０７）。また、その際、次の計算に用いるため、スコア変数ＳとオブジェクトＯ_ｓが初期化される。

なお、第１の実施形態では、類似性スコアＳＩＭ_ｉが最大のオブジェクトを１件計算するが、複数の類似オブジェクトが計算され、結果オブジェクト集合Ｒに保持されても良い。例えば、複数の類似性スコアを定義し、複数の類似オブジェクトを計算してもよい。

検索結果多様化部２０２は、多様オブジェクトを計算する。多様オブジェクトの計算では、多様性スコアが最大のオブジェクトが計算される。

候補オブジェクトＣ集合又は記憶部１３からオブジェクトＯ_ｉが取得され（ステップＳ２０１）、オブジェクトＯ_ｉが取得できた場合には（ステップＳ２０２、Ｎｏ分岐）、結果オブジェクト集合Ｒのオブジェクトに対する多様性スコアＤＩＶ_ｉが計算される（ステップＳ２０３）。

スコア変数ＳとオブジェクトＯ_ｓで最大の多様性スコアと対応するオブジェクトが保持される。計算した多様性スコアＤＩＶ_ｉがスコア変数Ｓよりも大きい場合（ステップＳ２０４、Ｙｅｓ分岐）、スコア変数Ｓは多様性スコアＤＩＶ_ｉに、オブジェクトＯ_ｓはオブジェクトＯ_ｉに、それぞれ更新される（ステップＳ２０５）。多様性スコアＤＩＶ_ｉがスコア変数Ｓ以下の場合（ステップＳ２０４、Ｎｏ分岐）、オブジェクトＯ_ｉはオブジェクト集合Ｔに挿入され保持される（ステップＳ２０６）。

上記処理は、多様性スコアＤＩＶ_ｉが最大のオブジェクトが発見されるまで繰り返される。つまり、候補オブジェクトＣ又は記憶部１３の全てのオブジェクトに関する多様性スコアの計算が終了すると（ステップＳ２０２、Ｙｅｓ分岐）、多様性スコアの計算は終了する。また、多様オブジェクトが発見された時点で反復は終了し、候補オブジェクト集合Ｃ又は記憶部１３の全てのオブジェクトに対する計算は省略できる。

多様性スコアの計算が終了すると（ステップＳ２０２、Ｙｅｓ分岐）、計算された多様オブジェクトは、結果オブジェクト集合Ｒに挿入され、保持される（ステップＳ２０７）。

結果オブジェクト集合Ｒの件数がｋ件に達し（ステップＳ２０８、Ｙｅｓ分岐）、検索結果の要約を行わない場合には、検索処理部１６から結果オブジェクト集合Ｒが出力（ステップＳ０２）され、処理が終了する。また、結果オブジェクト集合Ｒの件数がｋ件に達し、検索結果の要約を行う場合、スコア変数ＳとオブジェクトＯ_ｓが初期化され、オブジェクトの要約に処理が移る。

結果オブジェクト集合Ｒの件数がｋ件に達しない場合（ステップＳ２０８、Ｎｏ分岐）には、候補オブジェクト集合Ｃはオブジェクト集合Ｔに更新され、スコア変数ＳとオブジェクトＯ_ｓとオブジェクト集合Ｔは初期化（ステップＳ２０９）され、次の多様オブジェクトの計算が実行される。

検索結果要約部２０３は、オブジェクトの要約（代表的な結果に対する従属オブジェクトの生成）を行う。オブジェクトの要約では、オブジェクト集合Ｔ又は記憶部１３に残ったオブジェクトを結果オブジェクト集合Ｒの結果オブジェクトに対する多様化性スコアが最小の結果オブジェクトに割り当てる。

初めに、オブジェクト集合Ｔ又は記憶部１３からオブジェクトＯ_ｉが取得される（ステップＳ３０１）。

その後、オブジェクトＯ_ｉが取得できた場合には（ステップＳ３０２、Ｎｏ分岐）、スコア変数ＳとオブジェクトＯ_ｓが初期化され（ステップＳ３０３）、結果オブジェクト集合Ｒの結果オブジェクトＲ_ｊ（ｊはサフィックス、以下同様）が取得される（ステップＳ３０４）。なお、ステップＳ３０１においてオブジェクトＯ_ｉが取得できない場合（ステップＳ３０２、Ｙｅｓ分岐）には、オブジェクトの要約処理が終了する。

結果オブジェクトＲ_ｊが取得できた場合には（ステップＳ３０５、Ｎｏ分岐）、結果オブジェクトＲ_ｊに対する多様性スコアＤＩＶ_ｉが計算される（ステップＳ３０６）。結果オブジェクトＲ_ｊが取得できない場合には（ステップＳ３０５、Ｙｅｓ分岐）、オブジェクトＯ_ｉがオブジェクトＯ_ｓに割り当てられ（ステップＳ３０７）、次のオブジェクトの要約が実行される。

スコア変数ＳとオブジェクトＯ_ｓで最小の多様性スコアＤＩＶ_ｉと対応するオブジェクトが保持される。計算された多様性スコアＤＩＶ_ｉがスコア変数Ｓよりも小さい場合（ステップＳ３０８、Ｙｅｓ分岐）、スコア変数Ｓは多様性スコアＤＩＶ_ｉに、オブジェクトＯ_ｓは結果オブジェクトＲ_ｊにそれぞれ更新される（ステップＳ３０９）。

計算された多様性スコアＤＩＶ_ｉがスコア変数Ｓ以上の場合（ステップＳ３０８、Ｎｏ分岐）、結果オブジェクト集合Ｒの次のオブジェクトに計算対象が移る。

上記処理は、多様性スコアＤＩＶ_ｉが最小の結果オブジェクトが発見されるまで繰り返される。また、多様性スコアＤＩＶ_ｉが最小の結果オブジェクトが発見された時点で反復を終了し、結果オブジェクト集合Ｒの全てのオブジェクトに対して計算しなくともよい。場合によっては、オブジェクト集合Ｔや記憶部１３に残る全てのオブジェクトを要約しなくともよい。

オブジェクトの要約が終了すると、検索処理部１６は、結果オブジェクト集合Ｒを結果提示部１７に出力する（ステップＳ０２）。

以上のように、検索処理部１６は、複数のオブジェクト（例えば、検索対象の画像データ及び被検索対象の画像データ）それぞれについて検索条件（例えば、顔や服の色）に対する類似度を示す類似性スコアを計算する。その後、検索処理部１６は、複数のオブジェクトから、検索条件により指定される検索対象のオブジェクトに類似する類似オブジェクトを類似性スコアに基づき選択する（例えば、被検索対象の画像データから検索条件に似ている画像データを選択する）。さらに、検索処理部１６は、複数のオブジェクトのうち類似オブジェクト以外のオブジェクトの類似オブジェクトに対する相違度を示す多様性スコアを計算し、多様性スコアに基づき代表的な結果オブジェクトを選択する。つまり、検索処理部１６は、代表的な結果オブジェクトを、抽出された特徴量における多様性スコアに基づき選択し、その際の多様性スコアの計算は、表現力と独立力と類似性スコアに基づき行われる。また、検索処理部１６による従属オブジェクトの選択は、代表的な結果オブジェクトに対する他のオブジェクトの多様性スコアに基づき行われる。つまり、複数のオブジェクトのなかから代表的な結果オブジェクトに従属する従属オブジェクトが決定される。

結果提示部１７による検索結果の提示には種々の形態が考えられる。例えば、結果提示部１７は、代表的な結果オブジェクトと従属オブジェクトが視覚的に区別可能な態様にて、代表的な結果オブジェクトと従属オブジェクトをユーザに提示する。その際、結果提示部１７は、多様化した代表的な結果と要約した従属オブジェクトを表示してもよいし、多様化した代表的な結果に限り表示してもよい。前者の場合、代表的な結果と従属オブジェクトを視覚的に分かるように提示するのが好ましい。例えば、代表的な結果を大きく表示し、従属オブジェクトを小さく表示しつつ、代表的な結果の周りに従属オブジェクトを表示してもよい。あるいは、代表的な結果に従属オブジェクトの数などに関する情報を提示し、代表的な結果がクリックされた場合に従属オブジェクトを表示してもよい。さらに、代表的な結果の提示について、結果を表示するとともに、類似性スコアが高い特徴量や多様性スコアが高い特徴量など、検索結果につながる情報（関連情報）を表示してもよい。

［具体例］
次に、具体例１、２により第１の実施形態の動作を説明する。

本具体例では、情報処理装置１０が画像データから顔と服の色の特徴量を抽出し、ユーザは例示画像を入力し、特徴量に関する閾値と結果件数ｋを指定することとする。

図５ａ〜図５ｄは対象データ（被検索データ）である画像４件（画像１、２、３、４）であり、図５ｅは、検索入力（検索対象）である画像Ｑを示す。

情報処理装置１０は、各画像から顔と服の色の認識エンジンを用いて、顔及び服の色の特徴量をそれぞれ抽出する。情報処理装置１０は、各画像の特徴量に関し、コサイン（cosine）など公知の類似度定義により顔と服の色の類似度を計算する。例えば、図６に示すような画像間の顔（ｆａｃｅ）と服の色（ｃｏｌｏｒ）に関する類似度が計算される。

図６において、画像ｉと画像ｊにおける顔の類似度と服の色の類似度はそれぞれＳＩＭ_ｉ、ｊ（ｆａｃｅ）とＳＩＭ_ｉ、ｊ（ｃｏｌｏｒ）により表記されている。例えば、画像１と画像Ｑにおける顔の類似度はＳＩＭ_１、Ｑ（ｆａｃｅ）により表され、その値は０．９５である。

本具体例では、顔に関する閾値ＳＩＭ_τ（ｆａｃｅ）＝０．８、服の色に関する閾値ＳＩＭτ（ｃｏｌｏｒ）＝０．６、結果件数ｋ＝３と、ユーザにより指定されるものとする。

特徴量の類似性スコアは、指定された特徴量（指定特徴量）に関する閾値を重みとし、指定特徴量と類似度の掛け算により定義する。画像の類似性スコアＳＩＭは、各指定特徴量の類似性スコアの合計により定義する。例えば、入力画像Ｑに対して、顔と服の色を指定した場合、画像１の類似性スコアは、
ＳＩＭ_１、Ｑ
＝ＳＩＭ_τ（ｆａｃｅ）＊ＳＩＭ_１、Ｑ（ｆａｃｅ）＋ＳＩＭ_τ（ｃｏｌｏｒ）＊ＳＩＭ_１、Ｑ（ｃｏｌｏｒ）
＝０．８＊０．９５＋０．６＊０．９８＝１．３４８
となる。

特徴量の表現力（ＲＰ:Representation Power）について、当該特徴量との類似度が閾値以上である画像の数の逆数により定義する。例えば、画像１の顔ｆａｃｅ_１との間の類似度が閾値以上である画像は３件（画像１、２、３）あるため、画像１の顔の表現力はＲＰ（ｆａｃｅ）＝１／３となる。

特徴量の独立力（ＩＰ:Independence Power）について、特徴量Ａに対する特徴量Ｂの独立力ＩＰ（Ｂ；Ａ）は、特徴量Ａとの類似度が閾値以上である画像のうち、特徴量Ｂとの類似度が閾値以下である画像の割合により定義する。例えば、画像１の服の色との間の類似度が閾値以上である画像３件（画像１、２、４）のうち、画像２の顔との類似度が閾値以下である画像は１件（画像４）ある。従って、画像１の服色ｃｏｌｏｒ_１に対して、画像２の顔ｆａｃｅ_２の独立力は、ＩＰ（ｆａｃｅ_２；ｃｏｌｏｒ_１）＝１／３となる。

また、同じ特徴量間の独立力は、画像同士間の当該特徴量における非類似度で定義する。例えば、画像１の顔ｆａｃｅ_１に対して、画像２の顔ｆａｃｅ_２の独立力は、ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１）＝１−０．９２＝０．０８となる。

さらに、複数種類の特徴量に対する特徴量の独立力は、各特徴量に対する特徴量の独立力の掛け算により定義する。例えば、画像１の顔ｆａｃｅ_１と服の色ｃｏｌｏｒ_１に対して、画像２の顔ｆａｃｅ_２の独立力は、
ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１、ｃｏｌｏｒ_１）
＝ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１）＊ＩＰ（ｆａｃｅ_２；ｃｏｌｏｒ_１）
＝０．０８＊１／３≒０．０２７
となる。

さらに、複数画像の特徴量に対する特徴量の独立力は、各画像の特徴量に対する特徴量の独立力の最小値で定義する。例えば、画像１の顔ｆａｃｅ_１と服の色ｃｏｌｏｒ_１と、画像３の顔ｆａｃｅ_３と服の色ｃｏｌｏｒ_３に対して、画像２の顔ｆａｃｅ_２の独立力は、
ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_３，ｃｏｌｏｒ_３）
＝ｍｉｎ｛ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１），ＩＰ（ｆａｃｅ_２；ｆａｃｅ_３，ｃｏｌｏｒ_３）｝
＝ｍｉｎ｛０．０８＊１／３，０．１８＊０／３｝＝０
となる。

画像の多様性スコアＤＩＶは、指定した各特徴量における類似度と表現力と独立力の掛け算の合計と、指定しない各特徴量における表現力と独立力の掛け算の合計と、の和（総和）と定める。また、指定しない各特徴量における類似度を１とし、画像の多様性スコアＤＩＶは、各特徴量における類似度と表現力と独立力の掛け算を合計したものとしてもよい。

例えば、顔を指定した場合、画像１に対して、画像２の多様性スコアＤＩＶ（２；１）は、
ＤＩＶ（２；１）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．９＊１／３＊０．０８＊１／３＋１／３＊１／３＊０．０２≒０．０１
となる。

［具体例１］
具体例１は顔を指定した場合である。

具体例１では、入力画像Ｑの顔ｆａｃｅＱと顔に関する閾値ＳＩＭ_τ（ｆａｃｅ）＝０．８という検索条件に基づき、結果ｋ＝３件を出力する。なお、具体例１では、入力画像Ｑに関する服の色は指定されていない。

初めに、図４のフローチャートに示すように、各画像間の類似性スコアが計算され、類似性スコアが最大となる類似画像が選択される。

類似性スコアを計算すると以下のとおりとなる。
ＳＩＭ_１，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_１，Ｑ（ｆａｃｅ）
＝０．８＊０．９５＝０．７６
ＳＩＭ_２，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_２，Ｑ（ｆａｃｅ）
＝０．８＊０．９＝０．７２
ＳＩＭ_３，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_３，Ｑ（ｆａｃｅ）
＝０．８＊０．８＝０．６４
ＳＩＭ_４，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_４，Ｑ（ｆａｃｅ）
＝０．８＊０．６＝０．４８

従って、画像１が類似画像として選択される。

次に、画像１に対して、他の画像の多様性スコアが計算され、多様性スコアが最大である多様画像が選択される。多様性スコアを計算すると以下のとおりとなる。
ＤＩＶ（２；１）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．９＊１／３＊０．０８＊１／３＋１／３＊１／３＊０．０２≒０．０１
ＤＩＶ（３；１）＝Ｓｉｍ_３，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_３）＊ＩＰ（ｆａｃｅ_３；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋ＲＰ（ｃｏｌｏｒ_３）＊ＩＰ（ｃｏｌｏｒ_３；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．８＊１／３＊０．１９＊１／３＋１／１＊２／３＊０．９≒０．６２
ＤＩＶ（４；１）＝Ｓｉｍ_４，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_４）＊ＩＰ（ｆａｃｅ_４；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋ＲＰ（ｃｏｌｏｒ_４）＊ＩＰ（ｃｏｌｏｒ_４；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．６＊１／１＊０．４２＊２／３＋１／３＊１／３＊０．１１≒０．１８

従って、画像３が多様画像として選択される。

続いて、画像１と３に対して、他の画像の多様性スコアが計算され、多様性スコアが最大である多様画像が選択される。多様性スコアを計算すると以下のとおりとなる。
ＤＩＶ（２；１，３）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_３，ｃｏｌｏｒ_３）＋ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_３，ｃｏｌｏｒ_３）
＝０．９＊１／３＊ｍｉｎ｛０．０８＊１／３，０．１８＊０／３｝＋１／３＊ｍｉｎ｛１／３＊０．０２，１／３＊０．９｝≒０．００２
ＤＩＶ（４；１，３）＝Ｓｉｍ_４，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_４）＊ＩＰ（ｆａｃｅ_４；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_３，ｃｏｌｏｒ_３）＋ＲＰ（ｃｏｌｏｒ_４）＊ＩＰ（ｃｏｌｏｒ_４；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_３，ｃｏｌｏｒ_３）
＝０．６＊１／１＊ｍｉｎ｛０．４２＊２／３，０．５＊１／１｝＋１／３＊ｍｉｎ｛１／３＊０．１１，１／３＊０．９｝≒０．１８

従って、画像４が多様画像として選択される。

以上のように結果画像３件が計算される。つまり、類似画像である画像１と、多様画像である画像３、４が代表的な結果画像（結果オブジェクト）として選択される。

最後に、結果画像１、３、４に対する画像２の多様性スコアを比較し、画像２は多様性スコアが最小である結果画像（結果オブジェクト）に要約される。多様性スコアを計算すると以下のとおりとなる。
ＤＩＶ（２；３）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_３，ｃｏｌｏｒ_３）＋ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_３，ｃｏｌｏｒ_３）
＝０．９＊１／３＊０．１８＊０／３＋１／３＊１／３＊０．９
＝０．１＞ＤＩＶ（２；１）
ＤＩＶ（２；４）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_４，ｃｏｌｏｒ_４）＋ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_４，ｃｏｌｏｒ_４）
＝０．９＊１／３＊０．４４＊１／３＋１／３＊１／１＊０．１
≒０．０８＞ＤＩＶ（２；１）

従って、画像２は結果画像１に要約される。

［具体例２］
具体例２は顔と服の色を指定した場合である。

具体例２では、入力画像Ｑの顔と服の色であるｆａｃｅ_Ｑ、ｃｏｌｏｒ_Ｑと、顔と服の色に関する閾値であるＳＩＭ_τ（ｆａｃｅ）＝０．８、ＳＩＭ_τ（ｃｏｌｏｒ）＝０．６という検索条件に基づき、結果ｋ＝３を出力する。

初めに、図４のフローチャートに示すように、各画像の類似性スコアが計算される。

類似性スコアを計算すると以下のとおりとなる。
ＳＩＭ_１，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_１，Ｑ（ｆａｃｅ）＋Ｓｉｍ_τ（ｃｏｌｏｒ）＊Ｓｉｍ_１，Ｑ（ｃｏｌｏｒ）
＝０．８＊０．９５＋０．６＊０．９８＝１．３４８
ＳＩＭ_２，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_２，Ｑ（ｆａｃｅ）＋Ｓｉｍ_τ（ｃｏｌｏｒ）＊Ｓｉｍ_２，Ｑ（ｃｏｌｏｒ）
＝０．８＊０．９＋０．６＊０．９６＝１．２９６
ＳＩＭ_３，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_３，Ｑ（ｆａｃｅ）＋Ｓｉｍ_τ（ｃｏｌｏｒ）＊Ｓｉｍ_３，Ｑ（ｃｏｌｏｒ）
＝０．８＊０．８＋０．６＊０．１＝０．７
ＳＩＭ_４，Ｑ＝Ｓｉｍ_τ（ｆａｃｅ）＊Ｓｉｍ_４，Ｑ（ｆａｃｅ）＋Ｓｉｍ_τ（ｃｏｌｏｒ）＊Ｓｉｍ_４，Ｑ（ｃｏｌｏｒ）
＝０．８＊０．６＋０．６＊０．９＝１．０２

従って、画像１が類似画像として選択される。

次に、画像１に対して、他の画像の多様性スコアが計算され、多様性スコアが最大である多様画像が選択される。多様性スコアを計算すると以下のとおりとなる。
ＤＩＶ（２；１）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋Ｓｉｍ_２，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．９＊１／３＊０．０８＊１／３＋０．９６＊１／３＊１／３＊０．０２
≒０．０１
ＤＩＶ（３；１）＝Ｓｉｍ_３，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_３）＊ＩＰ（ｆａｃｅ_３；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋Ｓｉｍ_３，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_３）＊ＩＰ（ｃｏｌｏｒ_３；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．８＊１／３＊０．１９＊１／３＋０．１＊１／１＊２／３＊０．９
≒０．０８
ＤＩＶ（４；１）＝Ｓｉｍ_４，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_４）＊ＩＰ（ｆａｃｅ_４；ｆａｃｅ_１，ｃｏｌｏｒ_１）＋Ｓｉｍ_４，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_４）＊ＩＰ（ｃｏｌｏｒ_４；ｆａｃｅ_１，ｃｏｌｏｒ_１）
＝０．６＊１／１＊０．４２＊２／３＋０．９＊１／３＊１／３＊０．１１
≒０．１８

従って、画像４が多様画像として選択される。

次に、画像１、４に対して、他の画像の多様性スコアが計算され、多様性スコアが最大である多様画像が選択される。多様性スコアを計算すると以下のとおりとなる。
ＤＩＶ（２；１，４）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_４，ｃｏｌｏｒ_４）＋Ｓｉｍ_２，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_４，ｃｏｌｏｒ_４）
＝０．９＊１／３＊ｍｉｎ｛０．０８＊１／３，０．４４＊１／３｝＋０．９６＊１／３＊ｍｉｎ｛１／３＊０．０２，１／１＊０．９｝≒０．０１
ＤＩＶ（３；１，４）＝Ｓｉｍ_３，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_３）＊ＩＰ（ｆａｃｅ_３；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_４，ｃｏｌｏｒ_４）＋Ｓｉｍ_３，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_３）＊ＩＰ（ｃｏｌｏｒ_３；ｆａｃｅ_１，ｃｏｌｏｒ_１，ｆａｃｅ_４，ｃｏｌｏｒ_４）
＝０．８＊１／３＊ｍｉｎ｛０．１９＊１／３，０．５＊１／３｝＋０．１＊１／１＊ ｍｉｎ｛２／３＊０．９，１／１＊０．９｝≒０．０８

従って、画像３が多様画像として選択される。

以上のように結果画像３件が計算される。

最後に、結果画像１、４、３に対する画像２の多様性スコアを比較し、画像２は多様性スコアが最小である結果画像に要約される。多様性スコアを計算すると以下のとおりとなる。
ＤＩＶ（２；３）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_３，ｃｏｌｏｒ_３）＋Ｓｉｍ_２，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_３，ｃｏｌｏｒ_３）
＝０．９＊１／３＊０．１８＊０／３＋０．９６＊１／３＊１／３＊０．９
＝０．０９６＞ＤＩＶ（２；１）
ＤＩＶ（２；４）＝Ｓｉｍ_２，Ｑ（ｆａｃｅ）＊ＲＰ（ｆａｃｅ_２）＊ＩＰ（ｆａｃｅ_２；ｆａｃｅ_４，ｃｏｌｏｒ_４）＋Ｓｉｍ_２，Ｑ（ｃｏｌｏｒ）＊ＲＰ（ｃｏｌｏｒ_２）＊ＩＰ（ｃｏｌｏｒ_２；ｆａｃｅ_４，ｃｏｌｏｒ_４）
＝０．９＊１／３＊０．４４＊１／３＋０．９６＊１／３＊１／１＊０．１
＝０．０７６＞ＤＩＶ（２；１）

従って、画像２は結果画像１に要約される。

［ハードウェア構成］
続いて、第１の実施形態に係る情報処理装置１０のハードウェア構成について説明する。

図７は、第１の実施形態に係る情報処理装置１０のハードウェア構成の一例を示すブロック図である。情報処理装置１０は、所謂、コンピュータであり、図７に例示する構成を備える。例えば、情報処理装置１０は、内部バスにより相互に接続される、ＣＰＵ（Central Processing Unit）２１、メモリ２２、入出力インターフェイス２３及び通信手段であるＮＩＣ（Network Interface Card）２４等を備える。

なお、図７に示す構成は、情報処理装置１０のハードウェア構成を限定する趣旨ではない。情報処理装置１０は、図示しないハードウェアを含んでもよい。あるいは、情報処理装置１０に含まれるＣＰＵ等の数も図７の例示に限定する趣旨ではなく、例えば、複数のＣＰＵが含まれていてもよい。

メモリ２２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

入出力インターフェイス２３は、図示しない表示装置や入力装置のインターフェイスとなる手段である。表示装置は、例えば、液晶ディスプレイ等である。入力装置は、例えば、キーボードやマウス等のユーザ操作を受け付ける装置である。

第１の実施形態に係る情報処理装置１０の各種機能（上述の処理モジュール）は、例えば、メモリ２２に格納されたプログラムをＣＰＵ２１が実行することで実現される。また、そのプログラムは、ネットワークを介してダウンロードするか、あるいは、プログラムを記憶した記憶媒体を用いて、更新することができる。さらに、上記処理モジュールは、半導体チップにより実現されてもよい。即ち、上記処理モジュールが行う機能を何らかのハードウェア、及び／又は、ソフトウェアで実行する手段があればよい。

さらに、情報処理装置１０の全ての構成要素が、一つのクライアントコンピュータにより実装されてもよいし、一つのサーバコンピュータに実装されてもよい。あるいは、情報処理装置１０の構成要素を複数のクライアント又はサーバに実装してもよいし、一部の要素をクライアントに実装し、他の要素をサーバに実装してもよい。例えば、検索処理部１６の検索結果多様化部２０２を一つのサーバに、検索結果要約部２０３を他のサーバに、結果提示部１７をクライアントに実装してもよい。あるいは、検索処理部１６をサーバに、結果提示部１７をクライアントに実装してもよい。このように、本願開示の実施形態は、様々なコンピュータ環境に対応できる。

なお、上記実施形態にて説明した情報処理装置１０の構成及び動作は例示であって、種々の変形が可能である。例えば、図８に示すように、検索結果要約部を省略してもよい。つまり、検索処理部１６は、表現力と独立力を計算し、検索結果の多様化を行い、結果提示部は多様化された代表的な結果を表示してもよい。

また、本願開示の実施形態は、内容が相反しない範囲で組み合わせることができる。つまり、図３、図８の処理モジュール構成と当該処理モジュールの実装形式を種々組み合わせることができる。

また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、実施形態で実行される工程の実行順序は、その記載の順番に制限されない。実施形態では、例えば各処理を並行して実行する等、図示される工程の順番を内容的に支障のない範囲で変更することができる。

以上のように、第１の実施形態では、特徴量の表現力と独立力を定義し、検索条件により指定された特徴量の類似性スコアだけではなく、特徴量の表現力と独立力に基づき定義された多様性スコアに基づき検索結果の多様化と要約を行う。その結果、代表的な結果が選択されると、重複又は類似している結果はまとめられる。さらに、指定されていない特徴量の表現力と独立力も考慮することで、検索条件に柔軟に対応でき、ユーザが検索条件を調整する労力を低減することができる。さらに、結果提示部１７が検索結果をユーザに提示する際、視覚的に分り易く、且つ、簡潔に提示することができるので、ユーザが検索結果を確認する、又は、検索結果から所望の情報を得るための時間を短縮できる。さらに、特徴量に関する検索条件がない場合、全ての特徴量を考慮し、データ集合に対するクラスタリングもできる。

上記の説明により、本発明の産業上の利用可能性は明らかであるが、本発明は、文書や音声、時間、位置、画素、属性など複数種類の情報があるマルチメディアデータに対する情報検索などに好適に適用可能である。また、マルチメディアデータに対するクラスタリングにも好適に適用可能である。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
上述の第１の視点に係る情報処理装置のとおりである。
［付記２］
前記検索処理部は、前記複数のオブジェクトのなかから前記代表的な結果オブジェクトに従属する従属オブジェクトを決定し、
前記結果提示部は、前記代表的な結果オブジェクトと前記従属オブジェクトが視覚的に区別可能な態様にて、前記代表的な結果オブジェクトと前記従属オブジェクトをユーザに提示する、付記１の情報処理装置。
［付記３］
前記検索処理部は、前記検索条件により指定されない第２の特徴量であって、前記代表的な結果オブジェクトの選択に使用された特徴量を前記結果提示部に出力し、
前記結果提示部は、前記出力された第２の特徴量をユーザに提示する、付記１又は２の情報処理装置。
［付記４］
前記検索処理部は、ユーザから前記検索条件として特徴量が指定されない場合には、前記複数の特徴量に基づき、前記代表的な結果オブジェクトを選択する、付記１乃至３のいずれか一に記載の情報処理装置。
［付記５］
前記検索処理部は、
前記複数のオブジェクトそれぞれについて前記検索条件に対する類似度を示す類似性スコアを計算し、前記複数のオブジェクトから、前記検索条件により指定される検索対象のオブジェクトに類似する類似オブジェクトを前記類似性スコアに基づき選択し、
さらに、前記複数のオブジェクトのうち前記類似オブジェクト以外のオブジェクトの前記類似オブジェクトに対する相違度を示す多様性スコアを計算し、前記多様性スコアに基づき前記代表的な結果オブジェクトを選択する、付記２乃至４のいずれか一に記載の情報処理装置。
［付記６］
前記検索処理部は、
前記複数の特徴量それぞれに関し、特徴量の重要度を示す表現力と特徴量間の相関により別の特徴量からある特徴量を推定できないことを示す独立力を計算し、
さらに、前記表現力と前記独立力と前記類似性スコアに基づき、前記多様性スコアを計算する、付記５の情報処理装置。
［付記７］
前記検索処理部は、
前記代表的な結果オブジェクトを、前記抽出された特徴量における前記多様性スコアに基づき選択する、付記５又は６の情報処理装置。
［付記８］
前記検索処理部は、前記代表的な結果オブジェクトに対する他のオブジェクトの前記多様性スコアに基づき、前記従属オブジェクトを選択する、付記５乃至７のいずれか一に記載の情報処理装置。
［付記９］
前記オブジェクトは、画像データ又は動画像データである、付記１乃至８のいずれか一に記載の情報処理装置。
［付記１０］
上述の第２の視点に係る情報処理装置のとおりである。
［付記１１］
上述の第３の視点に係る情報処理方法のとおりである。
［付記１２］
上述の第４の視点に係るプログラムのとおりである。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１００ 情報処理装置
１１ データ取得部
１２ 特徴量抽出部
１３ 記憶部
１４ 検索受信部
１５ 検索変換部
１６、１０１ 検索処理部
１７、１０２ 結果提示部
２１ ＣＰＵ（Central Processing Unit）
２２ メモリ
２３ 入出力インターフェイス
２４ ＮＩＣ（Network Interface Card）
２０１ 表現力＆独立力計算部
２０２ 検索結果多様化部
２０３ 検索結果要約部

Claims (10)

1. 複数のオブジェクトからそれぞれ抽出された特徴量それぞれの重要度を示す表現力と特徴量間の相関により別の特徴量からある特徴量を推定できないことを示す独立力を計算する、表現力及び独立力計算部と、
   ユーザからの検索条件に基づいて、前記複数のオブジェクトそれぞれについて前記検索条件を満たす度合を示す類似性スコアの計算と、前記表現力と前記独立力と前記類似性スコアに基づき他のオブジェクトとの差異度を示す多様性スコアの計算と、を行う検索結果多様化部と、
   を備え、
   前記検索結果多様化部は、前記多様性スコアに基づき、前記複数のオブジェクトから代表的な結果を選択する、情報処理装置。
2. 前記特徴量は、ユーザからの検索条件により指定される第１の特徴量と前記検索条件により指定されない第２の特徴量とを含み、
   少なくとも前記代表的な結果オブジェクトをユーザに提示する、請求項１の情報処理装置。
3. 前記複数のオブジェクトのなかから前記代表的な結果オブジェクトに従属する従属オブジェクトを決定し、
   前記代表的な結果オブジェクトと前記従属オブジェクトが視覚的に区別可能な態様にて、前記代表的な結果オブジェクトと前記従属オブジェクトをユーザに提示する、請求項２の情報処理装置。
4. 前記検索条件により指定されない第２の特徴量であって、前記代表的な結果オブジェクトの選択に使用された特徴量を前記代表的な結果オブジェクトに併せてユーザに提示する、請求項２又は３の情報処理装置。
5. 複数のオブジェクトからそれぞれ抽出された特徴量それぞれの重要度を示す表現力と特徴量間の相関により別の特徴量からある特徴量を推定できないことを示す独立力を計算するステップと、
   ユーザからの検索条件に基づいて、前記複数のオブジェクトそれぞれについて前記検索条件を満たす度合を示す類似性スコアの計算と、前記表現力と前記独立力と前記類似性スコアに基づき他のオブジェクトとの差異度を示す多様性スコアの計算と、を行うステップと、
   前記多様性スコアに基づき、前記複数のオブジェクトから代表的な結果を選択するステップと、
   を含む、情報処理方法。
6. 前記特徴量は、ユーザからの検索条件により指定される第１の特徴量と前記検索条件により指定されない第２の特徴量とを含む、請求項５の情報処理方法。
7. 前記複数のオブジェクトのなかから前記代表的な結果オブジェクトに従属する従属オブジェクトを決定するステップと、
   前記代表的な結果オブジェクトと前記従属オブジェクトが視覚的に区別可能な態様にて、前記代表的な結果オブジェクトと前記従属オブジェクトをユーザに提示するステップと、
   を含む、請求項６の情報処理方法。
8. 複数のオブジェクトからそれぞれ抽出された特徴量それぞれの重要度を示す表現力と特徴量間の相関により別の特徴量からある特徴量を推定できないことを示す独立力を計算する処理と、
   ユーザからの検索条件に基づいて、前記複数のオブジェクトそれぞれについて前記検索条件を満たす度合を示す類似性スコアの計算と、前記表現力と前記独立力と前記類似性スコアに基づき他のオブジェクトとの差異度を示す多様性スコアの計算と、を行う処理と、
   前記多様性スコアに基づき、前記複数のオブジェクトから代表的な結果を選択する処理と、
   をコンピュータに実行させるプログラム。
9. 前記特徴量は、ユーザからの検索条件により指定される第１の特徴量と前記検索条件により指定されない第２の特徴量とを含む、請求項８のプログラム。
10. 前記複数のオブジェクトのなかから前記代表的な結果オブジェクトに従属する従属オブジェクトを決定する処理と、
    前記代表的な結果オブジェクトと前記従属オブジェクトが視覚的に区別可能な態様にて、前記代表的な結果オブジェクトと前記従属オブジェクトをユーザに提示する処理と、
    をコンピュータに実行させることをさらに含む、請求項９のプログラム。

Images