JP5404290B2 - 情報処理装置及び情報処理方法 - Google Patents

Description

本発明は情報処理装置及び情報処理方法に関し、特に、写真に地名や被写体のメタデータを付与するために用いて好適な技術に関する。

写真に撮影地名や被写体名などのメタデータを付与して管理する方法が一般化し始めている。例えば、Ｗｅｂ上の写真共通サイトには、ユーザがメタデータを付与した写真が公開されている。Ｗｅｂで公開するような少数の写真だけを対象とするならば手作業でメタデータを付与することも可能であるが、例えば大量の旅行写真の全てに手作業でメタデータを付与するといった事はユーザの大きな負担となっている。

こうした状況に対し、類似した画像に付与されているメタデータを利用する手法が提案されている。例えば、特許文献１ではメタデータを付与したい写真をクエリとして写真共有サイトで類似画像検索を行い、検索結果の写真から複数のメタデータを抽出して、どのメタデータを付与するかをユーザに選択させる方法が提案されている。
また特許文献２では、メタデータを付与したい写真をクエリとして類似画像検索を行い、検索結果の画像が似ているとユーザが判断した場合に検索結果と同じメタデータを付与する方法が提案されている。

特開２００２−０２４２６５号公報 特開平１１−１３４３４４号公報

写真共有サイトなどで付与されているメタデータは、基本的にはユーザが手動で付与したものであり、ユーザの主観に基づくものである。そのため、地名や被写体名を表すメタデータが付与されていなかったり、あるいは撮影地や被写体に対する代表性に乏しい名称がメタデータとして付与されてしまったりすることが避けられない。したがって、画像の類似性に基づいてメタデータを付与する従来技術では、仮に類似度が非常に高い画像が見付かっても、撮影地名や被写体名として適切なメタデータが付与されることは期待できない場合があった。

同様の課題は、ＧＰＳデータに基づいて撮影地を判別して撮影地が近い写真に付与されているメタデータを利用する方法にも存在し、ＧＰＳにより正確に撮影地が判別できても適切なメタデータが付与されるとは限らない点に問題があった。
本発明は前述の問題点に鑑み、メタデータが付与されている写真との画像特徴量的な類似度を利用して写真にメタデータを付与する際に、画像を代表する適切なメタデータを付与できるようにすることを目的とする。

本発明の情報処理装置は、コンテンツにメタデータを付与する情報処理装置であって、メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積手段と、メタデータを付与する対象コンテンツから、第１のメタデータのメタデータ値を取得する第１の取得手段と、前記第１の取得手段により取得した第１のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第１のメタデータで第１の検索を行う第１の検索手段と、前記第１の検索の結果集合に含まれる１または複数のコンテンツから、第１のメタデータとは異なる種類の第２のメタデータのメタデータ値を取得する第２の取得手段と、前記第２の取得手段により取得した第２のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第２のメタデータで第２の検索を行う第２の検索手段と、前記第１の検索の結果集合と、前記第２の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第２のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与手段とを備えることを特徴とする。

本発明によれば、類似画像検索やＧＰＳデータの類似度を比較して得られるコンテンツ集合とメタデータ検索で得られるコンテンツ集合の近さを比較し、両者が近くなるメタデータを選択するようにした。これにより、代表性のあるメタデータ値を画像に対して付与することができる。

写真管理システム及び写真管理アプリケーションの構成例を示す図である。 写真サーバのモジュール構成を示す図である。 コンピュータシステムの構成例を示す図である。 データ構造の一例を説明する図である。 メタデータ付与処理の手順の第１の例を説明するフローチャートである。 メタデータ付与処理の手順の第２の例を説明するフローチャートである。 検索結果数と集合重複率の一例を説明する図である。 写真管理アプリケーションのモジュール構成の第２の例を示す図である。 メタデータ付与処理の手順の第３の例を説明するフローチャートである。 集合の近さの判定方法の一例を説明する図である。

（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態を説明する。
図１（ａ）は、本発明を実施する写真管理システムの全体構成を説明する図である。図１（ａ）にて、１０１はユーザ端末で、ＰＣや携帯機器などが用いられる。ユーザ端末１０１は、ユーザが撮影した写真データをコンテンツとして保存するための記憶装置を有する。また、保存した写真を管理するための写真管理アプリケーションが実行可能にインストールされている。

１０３は写真サーバである。写真サーバ１０３には、ネットワーク１０２を介して接続したユーザ端末１０１から写真データをアップロードすることができる。アップロードされた写真はコンテンツとして記憶装置１０４に蓄積され、写真サーバ１０３で利用される。また、写真サーバ１０３は本実施形態のメタデータ付与機能を有し、ユーザは写真管理アプリケーションを介してサーバのメタデータ付与機能を利用することができる。

図１（ｂ）は、ユーザ端末１０１にインストールされている写真管理アプリケーションの機能モジュール構成を示す図である。
表示部１１１は、写真や各種ユーザインタフェースの表示を制御する。操作制御部１１２は、ユーザからの操作に応じた制御を行い、各機能を呼び出す。メタデータ管理部１１３は、写真に付与されるメタデータを管理し、記憶装置管理部１１５を介してメタデータの保管と読み出しを行う。

データ管理部１１４は写真データ本体を管理し、記憶装置管理部１１５を介して写真データの保管と読み出しを行う。記憶装置管理部１１５は、ユーザ端末１０１上の記憶装置１０４にアクセスしてデータの読書きを行う。ここで、記憶装置については本実施形態が規定するものではなく、ファイルシステムやデータベースなど任意の手段を利用することができる。通信部１１６はネットワークを介して写真サーバ１０３にアクセスする。なお、通信手段についても本実施形態が規定するものではない。

図２は、写真サーバ１０３のモジュール構成例を示す図である。メタデータ管理部２０１は、写真に付与されるメタデータの管理を行う。具体的には、写真からのメタデータ取得と写真へのメタデータ付与、及び記憶装置管理部２０７を介してメタデータの保管と読み出しを行う。データ管理部２０２は、写真データ本体を管理し、記憶装置管理部２０７を介して、写真データの保管と読み出しを行う。

類似画像検索部２０３は、第１の検索を行うモジュールであり、写真の画像特徴量に基づいて類似画像の検索を行う。また、類似画像検索に必要なインデクスの作成を行う。メタデータ検索部２０４は、第２の検索を行うモジュールであり、写真に付与されているメタデータの検索を行う。また、メタデータ検索に必要なインデクスの作成を行う。

検索結果比較部２０５は、メタデータ検索部２０４によるメタデータ検索の結果と、類似画像検索部２０３による類似画像検索の結果との比較を行う。操作制御部２０６は、ユーザ端末１０１上の写真管理アプリケーションから送信されたコマンドを解析し、コマンド処理に必要なモジュールの起動を制御する。記憶装置管理部２０７は、記憶装置１０４にアクセスしてデータの読書きを行う。通信部２０８は、ユーザ端末１０１上の写真管理アプリケーションとの通信を行う。

図３は、写真サーバ１０３に用いられるコンピュータシステムの構成例を示す図である。ＣＰＵ３０１は、ＯＳ(Operating System)及び各種アプリケーションプログラムを実行し、コンピュータ装置各部の制御を行う。ＲＯＭ３０２は、ＣＰＵ３０１が実行するプログラムや演算用のパラメタのうちの固定的なデータを格納する。ＲＡＭ３０３は、ＣＰＵ３０１の作業領域やデータの一時記憶領域を提供する。ＲＯＭ３０２及びＲＡＭ３０３は、バス３０４を介してＣＰＵ３０１に接続される。

また、キーボードなどの入力装置３０５、ＣＲＴ、液晶ディスプレイなどの表示装置３０６、ハードディスク装置、ＭＯ、ＣＤ−ＲＯＭ等の外部記憶装置３０７は、インタフェース３０８を介してバス３０４に接続されている。また、バス３０４は通信部３０９を介してネットワークと接続される。

図４（ａ）は、本実施形態で用いる写真データ４００のデータ構造例を示す図である。写真データ４００の構成は任意であるが、ここでは簡単のため被写体のメタデータのみ利用するものとする。また、ユーザ端末１０１上の写真管理アプリケーションと写真サーバ１０３で共通のデータ構造を用いるものとする。データＩＤ４０１はデータを一意に識別する識別子、メタデータ４０２は被写体のメタデータ、データ実体４０３は写真データの実体ファイルへのポインタである。

次に、図５、図６のフローチャートを参照して、写真にメタデータを付与する処理を説明する。ここでは、ユーザ端末１０１に保存されているメタデータが付与されていない画像にメタデータを付与する手順を説明する。
始めに、ユーザ端末１０１上の写真管理アプリケーションに対し、写真サーバ１０３を利用した写真へのメタデータ付与を指示する操作がユーザにより行われたか否かを判定する(Ｓ５０１)。この判定の結果、指示が行われた場合にはＳ５０２に進み、操作制御部１１２はメタデータを付与する写真データの入力を要求する。指示が行われない場合には、指示が行われるまで待機状態となる。

次に、Ｓ５０３に進み、ユーザ端末１０１に保存している写真データからメタデータを付与する写真データがユーザにより指定されるまで待機する。ここでは、写真データはデータ毎にファイルで保存されており、写真データのファイルパスを指定するものとする。Ｓ５０３の待機状態において、写真データが指定されたら、Ｓ５０４に進み、操作制御部１１２はメタデータ管理部１１３に対して写真サーバ１０３からのメタデータ付与を指示する。

メタデータ管理部１１３は、まず記憶装置管理部１１５に対して指定された写真データの取得を指示する。記憶装置管理部１１５は、指定されたファイルパスから写真データを読込む(Ｓ５０５)。次に、メタデータ管理部１１３は、通信部１１６に対して写真サーバ１０３への接続を指示する(Ｓ５０６)。ここで、接続先の写真サーバ１０３は、予め写真管理アプリケーションに登録されているものとする。また、写真サーバ１０３へのアクセスにユーザ認証を用いる場合などは、それに必要な認証情報も事前に写真管理アプリケーションに登録されているものとする。通信部１１６が写真サーバ１０３に接続すると、メタデータ管理部１１３は写真サーバ１０３に対してメタデータ付与コマンドを、通信部１１６を介して送信する(Ｓ５０７)。

図４（ｂ）に、メタデータ付与コマンドのデータ構造例を示す。送信元識別子４００１は、このコマンドを送信した写真管理アプリケーションの識別子である。操作種別４１２は写真サーバ１０３側で実行する操作を指定する識別子であり、ここでは「メタデータ付与」が設定されている。なお、操作種別には他にも「写真アップロード」や「検索」などのコマンドが設定可能であり、例えば「写真アップロード」コマンドではアップロードされた写真のインデクスが作成される。コマンドデータ４１３は操作を実行する際に必要となるデータで、ここではメタデータを付与する写真データが設定されている。

写真サーバ１０３でメタデータが付与されると、メタデータ付与コマンドへの応答メッセージが通信部１１６で受信される(Ｓ５０８)。通信部１１６は、応答メッセージからリターンコードとメタデータ値を抽出して、メタデータ管理部１１３にこれを返す(Ｓ５０９)。メタデータ管理部１１３は、通信部１１６から返されたメタデータ値を、第１のメタデータのメタデータ値として取得する処理（第１のメタデータ値を取得する第１の取得処理）を行う。そして、取得した第１のメタデータのメタデータ値を写真データ４００のメタデータ４０２に設定し(Ｓ５１０)、記憶装置管理部１１５にメタデータの保存を指示する。記憶装置管理部１１５は、指定されたメタデータを記憶装置１０４に保存する(Ｓ５１１)。なお、付与されたメタデータ値を表示部１１１で表示するようにしてもよい。
以上が、ユーザ端末１０１におけるメタデータ付与処理の手順である。

続いて、図６、図７を参照して写真サーバ１０３側の処理について説明する。本処理は、Ｓ５０６及びＳ５０７によって起動される。
まず、Ｓ６０１において、通信部２０８が写真管理アプリケーションからの接続要求を受信したか判定する。受信していない場合には、受信するまで待機する。Ｓ６０１において、接続要求を受信すると、次に、通信部２０８が写真管理アプリケーションからメタデータ付与コマンドを受信したか判定する。この判定の結果、受信した場合にはＳ６０３に進み、受信していない場合には、受信するまで待機する(Ｓ６０２)。

Ｓ６０３においては、通信部２０８は受信したコマンドを操作制御部２０６に送る。操作制御部２０６は、通信部２０８から取得したコマンドを解析して、操作種別とコマンドデータとしてそれぞれ「メタデータ付与」と写真データとを抽出する(Ｓ６０４)。次に、メタデータ管理部２０１に対して復元した写真データへのメタデータ付与を指示する(Ｓ６０５)。

メタデータ付与の指示を受けたメタデータ管理部２０１は、まず操作制御部２０６から指定された写真データの類似画像検索を行う。類似画像検索部２０３に対し、指定された写真データをクエリ画像とした検索条件を生成し、類似画像検索を指示して、検索結果を取得する第１の取得処理を行う(Ｓ６０６)。類似画像検索部２０３は、指定されたクエリ画像から画像特徴量を抽出して(Ｓ６０７)、インデクスから類似画像検索を実行し(Ｓ６０８)、検索結果としてデータＩＤの集合をメタデータ管理部２０１に返す(Ｓ６０９)。

本実施形態においては、類似画像検索からメタデータ値の出現回数を集計している。ここでは、図７において、類似画像検索結果件数７０１に示すように、１００件の検索結果が返されたものとする。なお、本実施形態の類似画像検索部２０３は、画像特徴量の類似度が所定の閾値を超える画像のみを検索結果として返すものとする。類似画像検索部２０３による類似画像検索の結果を取得したメタデータ管理部２０１は、次にメタデータ検索を実行する。

メタデータ管理部２０１は、まず、類似画像検索の検索結果のデータＩＤが示す各写真データから被写体のメタデータ値７０２を取得してメタデータ値の出現回数７０３を集計する(Ｓ６１０)。次に、出現回数の多かった順に取得したメタデータ値を一致条件とする検索クエリ（第２のメタデータのメタデータ値）を生成し、メタデータ検索部２０４に検索の実行を指示する(Ｓ６１１)。メタデータ検索部２０４は、写真サーバ１０３に蓄積されている全写真データのインデクスから、指定された検索クエリ（第２のメタデータ値）で検索を実行し(Ｓ６１２)、検索結果としてデータＩＤの集合をメタデータ管理部２０１に返す(Ｓ６１３)。

メタデータ管理部２０１は、メタデータ検索の検索結果を取得する第２の取得処理を行い、先に取得している類似画像検索の検索結果とメタデータ検索の検索結果との比較を検索結果比較部２０５に指示する(Ｓ６１４)。検索結果比較部２０５は、メタデータ管理部から指定された２つの検索結果の「近さ」を検証する。ここでは、検索結果としてデータＩＤの集合が得られているので、データＩＤの重複率を以って結果の近さを評価する。類似画像検索の検索結果件数をＭ（７０１）、メタデータ検索の検索結果件数をＮ（７０４）、両方の検索結果に重複して含まれるデータＩＤの件数をＲ（７０５）、重複率（７０６）の閾値をｒとして、以下の式（１）
Ｒ／（Ｍ＋Ｎ−Ｒ）＞ ｒ・・・式（１）
を満たす場合に、メタデータ検索と類似画像検索の検索結果は「近い」と判定する。

検索結果比較部２０５は、判定結果と計算した重複率とをメタデータ管理部２０１に返す(Ｓ６１５)。メタデータ管理部２０１は、判定結果が「近い」であったら、そのメタデータ検索結果を得たメタデータ値を写真データのメタデータとして付与することを決定する。

次に、Ｓ６１６に進み、Ｓ６１０で出現回数を集計した際に、複数のメタデータ値が出現していた場合は、その取得したメタデータ値を全て処理したか判定する。この判定の結果、処理していない場合にはＳ６１０に戻って前述した処理を繰り返し実行する。複数のメタデータ値が出現していた場合は、それぞれのメタデータ値の検索結果に対して検索結果比較部２０５で比較を行う。そして、「近い」と判定されたものの中で重複率が最も高かったメタデータ値を写真データのメタデータとして付与することを決定する(Ｓ６１７)。

図７に、メタデータ値と結果件数、重複率の例を示す。この例では、メタデータ値の出現回数では“皇居”が最多であるが、重複率では“二重橋”が最高であるため、“二重橋”を付与するメタデータ値に決定する場合を示している。

写真データに付与するメタデータ値が決定したら、メタデータ管理部２０１は操作制御部２０６にメタデータ値を返す(Ｓ６１８)。メタデータ値を取得した操作制御部２０６は、写真管理アプリケーションから受信したメタデータ付与コマンドへの応答メッセージとしてこのメタデータ値とメタデータ付与成功を示すリターンコードの送信を通信部２０８に指示する(Ｓ６１９)。図４（ｃ）に応答メッセージの構成例を示す。リターンコード４２１４１１には成功／失敗のいずれかが設定される。メッセージボディ４２２にはメタデータ値が設定される。

次に、Ｓ６２０において、メタデータ付与に成功したか否かを判定する。この判定の結果、成功した場合には、通信部２０８は、指定されたメタデータ値とリターンコードとを写真管理アプリケーションに送信する(Ｓ６２１)。また、Ｓ６２０の判定の結果、メタデータ付与に成功しなかった場合、すなわち、検索結果比較部２０５で近いと判定されたものが無かった場合は、付与できるメタデータが存在しない。この場合、応答メッセージとしてメタデータ付与失敗を示すリターンコードの送信を指示する(Ｓ６２２)。

以上が、写真サーバ１０３側でのメタデータ付与処理の手順である。なお、本実施形態ではＳ６１０においてメタデータ値の出現回数を集計し、出現回数の多かった順にメタデータ検索を行うとしたが、類似画像検索の適合度が高い写真に付与されているメタデータ値から順にメタデータ検索を行うとしてもよい。

前述した実施形態によれば、既に被写体のメタデータが付与されている写真を利用して、被写体として代表性のあるメタデータをユーザの写真に自動で付与することが可能であり、ユーザの写真管理の手間を削減することが可能である。

（第２の実施形態）
引き続いて、第２の実施形態の説明を行う。
前述した第１の実施形態においては、メタデータを付与するための機能ならびに装置は写真サーバ１０３が保持するとした。本実施形態においては、ユーザ端末１０１上の写真管理アプリケーションがこの機能を有する。

本実施形態における写真管理アプリケーションの機能モジュール構成図を図８に示す。
図８において、符号１１１〜１１６の各モジュールは図１（ｂ）に示すモジュールと同じなので説明は省略する。
検索呼び出し部８０７は、写真サーバ１０３上の検索機能を、通信部１１６を介して実行する。検索結果比較部８０８は、写真サーバ１０３上の検索結果比較部２０５と同等の機能モジュールである。

続いて、図９のフローチャートを参照して、本実施形態におけるメタデータ付与の処理手順の一例を説明する。
まず、ユーザが写真管理アプリケーションにメタデータを付与する写真データを指定し、写真管理アプリケーションが写真データを記憶装置から読み込む処理(Ｓ９０１〜Ｓ９０５)は、第１の実施形態のＳ５０１〜Ｓ５０５と同等なのでここでの説明は省略する。

次に、メタデータ管理部１１３は、類似画像検索を行う。本実施形態においては、メタデータ管理部１１３は、検索呼び出し部８０７に対して指定された写真データをクエリ画像とした検索条件を生成し、類似画像検索を指示する(Ｓ９０６)。検索呼び出し部８０７は通信部１１６に写真サーバ１０３への接続を指示し(Ｓ９０７)、写真サーバ１０３に対して類似画像検索コマンドを通信部１１６を介して送信する(Ｓ９０８)。

写真サーバ１０３は、写真管理アプリケーションから受信した類似画像検索コマンドに従って類似画像検索を実行し、検索結果として写真データの集合を写真管理アプリケーションに返信する(Ｓ９０９)。ここで、類似画像検索の機能は第１の実施形態と同じである。類似画像検索の検索結果を取得したメタデータ管理部１１３は、続いてメタデータ検索を行う。取得した写真データの集合からメタデータ４０２を取得して検索の結果集合内でのメタデータ値の出現回数を集計する(Ｓ９１０)。ここで、メタデータ検索の機能は第１の実施形態と同じである。

次に、出現回数の多い順にメタデータ値を用いてメタデータ検索の検索クエリを生成し、 検索呼び出し部に対してメタデータ検索を指示する(Ｓ９１１)。検索呼び出し部８０７は、写真サーバ１０３に対してメタデータ検索コマンドを通信部を介して送信する。写真サーバ１０３は、写真管理アプリケーションから受信したメタデータ検索コマンドに従ってメタデータ検索を実行し、検索結果として写真データ４００の集合を写真管理アプリケーションに返信する(Ｓ９１２)。

メタデータ検索の検索結果を取得したメタデータ管理部１１３は、先に取得している類似画像検索の検索結果とメタデータ検索の検索結果との比較を検索結果比較部８０８に指示する(Ｓ９１３)。これ以降、検索結果の重複率に応じて付与するメタデータ値を決定する処理手順(Ｓ９１４〜Ｓ９１６)は、基本的に第１の実施形態の手順に準じるのでここでの説明は省略する。

付与するメタデータ値が決定したら、メタデータ管理部１１３はこれを写真データに付与し(Ｓ９１７)、記憶装置管理部１１５にメタデータの保存を指示すると、記憶装置管理部１１５はメタデータを保存する(Ｓ９１８)。
以上が第２の実施形態におけるメタデータ付与手順の説明である。

（第３の実施形態）
前述した実施形態では、第１の検索を類似画像検索とし、また第２の検索をメタデータ検索としたが、本発明を実施可能な形態はこれに限定されるものではない。例えば、第１の検索をＧＰＳデータを用いたメタデータ検索としてもよい。その場合、第１の検索のための検索クエリはＧＰＳデータの値に対する範囲条件などを用いることが可能であり、そのクエリ生成手段を含む実施形態も本発明に含まれる。さらには、第１の検索を行うメタデータ検索と、第２の検索を行うメタデータ検索とは共通の手段であってもよい。

本実施形態によれば、撮影地と被写体の関連性が強い場合に、代表性のある被写体のメタデータを付与することが可能である。例えば、撮影可能なポイントが限られている風景写真へのメタデータ付与において特に有効である。

（第４の実施形態）
前述した実施形態では、メタデータを付与する写真をユーザが１枚選択する場合を説明したが、本発明を実施可能な形態はこれに限定されるものではない。複数枚の写真を一括で選択する方法や、あるいは写真データの保存されているフォルダを指定し、フォルダ内の写真に一括でメタデータを付与する方法を用いることもできる。

さらに、メタデータ付与の開始はユーザの指示によるものとして説明したが、例えばデジタルカメラとユーザ端末を接続してデジタルカメラから新しい写真を読み込んだ際に自動的にメタデータ付与を行うとしてもよい。

（第５の実施形態）
前述した実施形態では、メタデータ値を付与する処理の最初で類似画像検索を行うとしていたが、類似画像検索を行う前に、他の検索手段を用いて写真データを予め絞り込んでおくようにしても本発明は実施可能である。例えば、メタデータを付与する写真がＧＰＳデータ付きの写真であり、さらに写真サーバに蓄積されている写真にもＧＰＳデータが付いている場合、初めにＧＰＳデータで絞り込みを行った上で類似画像検索を行うとしてもよい。

本実施形態によれば、類似画像検索の検索対象を予め撮影場所で絞り込んでおくことにより、類似画像検索の精度が低い場合にも検索結果として妥当な写真が得られることが期待でき、従って被写体として妥当なメタデータが付与されることが期待される。

また、類似画像検索の結果から明らかに適合度が低いものをユーザが取得除外対象に指定し、取得除外対象に指定された写真はメタデータ値の出現回数の集計から除外するとしてもよく、そのための手段を含む実施形態も本発明に含まれる。同様に、ユーザが取得対象に指定した写真のみからメタデータ値の出現回数を集計するようにしてもよい。

（第６の実施形態）
前述した実施形態では、付与するメタデータ値をシステムが１つに決定するとしたが、システムは複数のメタデータ値の候補リストを作成するとしてもよい。さらには、候補リストをユーザに提示し、ユーザが付与するメタデータを選択する方法や、メタデータ値に優先順位や信頼度をつけて複数のメタデータ値を付与するとしてもよい。その場合、例えば類似画像検索とメタデータ検索の結果集合の「近さ」に応じて、メタデータ値の順位や信頼度を算出することが可能である。

（第７の実施形態）
前述した実施形態では、検索の結果集合間の「近さ」を判定するのにデータＩＤの重複率を用いたが、本実施形態では別の指標に基づいて「近さ」を判定する。
図１０（ａ）は、Ｍ個の画像特徴量とＮ個のメタデータ値が張る（Ｍ＋Ｎ）次元パラメタ空間内で、類似画像検索の結果集合Ｇ１の分布の重心Ｒ１へのベクトルｒ１と、メタデータ検索の結果集合Ｇ２の分布の重心Ｒ２へのベクトルｒ２を求める。そして、重心間の距離Ｌを、以下の式（２）
Ｌ＝｜ｒ１−ｒ２｜・・・式（２）
が所定の閾値よりも小さかった場合にＧ１とＧ２は「近い」と判定するものである。

また、図１０（ｂ）は、同じくＭ個の画像特徴量とＮ個のメタデータ値が張る（Ｍ＋Ｎ）次元パラメタ空間内で、類似画像検索の結果集合Ｇ１の分布とメタデータ検索の結果集合Ｇ２の分布が正円にとなるようにパラメタを正規化する。その上で、一方の集合の重心が、他方の集合の分布内に含まれる場合に両者は「近い」と判定するものである。
なお、上記以外の任意の方法を用いて検索の結果集合間の「近さ」を判定する実施形態も本発明の範疇に含まれる。

（第８の実施形態）
前述した実施形態では、ユーザ端末と写真サーバとが、それぞれの側でメタデータを付与する方法と構成について説明したが、本発明を実施可能な方法及び構成はこれに限定されるものではない。例えば、写真サーバにアップロードされた写真データに対してメタデータを付与する形態によっても本発明は実施可能である。

また、ユーザ端末上に写真管理アプリケーションが実行可能にインストールされているものとしたが、本発明を実施可能なシステム構成はこれに限定されるものではない。例えば、ユーザ端末上ではＷｅｂブラウザを実行し、写真サーバをＷｅｂサーバとして動作させるとする方法も本発明の範疇に含まれる。

（第９の実施形態）
前述した実施形態は写真管理システムに関するものであったが、本発明を実施可能な形態はこれに限定されるものではない。
本実施形態は、被写体の名称を調べる写真図鑑システムとしても実施する場合である。本システムにおいてユーザは、例えば旅行先で撮影した名前の分らない動物や植物の名前を調べる。ユーザが写真を指定すると、本実施形態の写真図鑑システムは、指定された写真をクエリ画像として、前述の実施形態と同様に類似画像検索とメタデータ検索とを行い、両者の検索の結果集合が近くなるメタデータ値を名称（の候補）として提示する。

本実施形態によれば、検索の結果集合の「近さ」を評価することにより画像にとって代表的なメタデータ値を提示することが可能である。したがって、例えば犬の写真であればペットの名前のような固有名のメタデータ値を排して犬種のメタデータ値を提示することができる。あるいは、昆虫の写真であれば「蝶」や「カブトムシ」といった一般的すぎるメタデータ値を排して、「ツマムラサキマダラ」「オキナワコカブトムシ」といった品種名を提示することができる。なお、提示したメタデータ値を写真に付与するとしてもよい。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２０１ メタデータ管理部、２０２ データ管理部、２０３ 類似画像検索部、２０４ メタデータ検索部、２０５ 検索結果比較部、２０６ 操作制御部、２０７ 記憶装置管理部、２０８ 通信部

Claims (9)

1. コンテンツにメタデータを付与する情報処理装置であって、
   メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積手段と、
   メタデータを付与する対象コンテンツから、第１のメタデータのメタデータ値を取得する第１の取得手段と、
   前記第１の取得手段により取得した第１のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第１のメタデータで第１の検索を行う第１の検索手段と、
   前記第１の検索の結果集合に含まれる１または複数のコンテンツから、第１のメタデータとは異なる種類の第２のメタデータのメタデータ値を取得する第２の取得手段と、
   前記第２の取得手段により取得した第２のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第２のメタデータで第２の検索を行う第２の検索手段と、
   前記第１の検索の結果集合と、前記第２の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第２のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１のメタデータが画像特徴量であり、
   前記第１の検索を行う第１の検索手段は類似画像検索を行うことを特徴とする請求項１に記載の情報処理装置。
3. 第１の検索手段が、類似画像検索を行い、
   前記第２の検索手段は、前記類似画像検索の適合度が高いコンテンツに付与されているメタデータ値を用いて第２の検索を行うことを特徴とする請求項２に記載の情報処理装置。
4. 前記第２のメタデータ値の出現回数を集計する集計手段を更に備え、
   前記第２の検索手段は、前記出現回数を集計する集計手段において集計した出現回数が高いものを用いて第２の検索を行うことを特徴とする請求項１に記載の情報処理装置。
5. 前記付与手段は、前記検索の結果集合の間の重複度に基づく情報を前記第２のメタデータ値に付与するとともに、複数のメタデータ値を第２のメタデータに付与することを特徴とする請求項１に記載の情報処理装置。
6. 前記検索の結果集合の間の重複度に基づく情報は、メタデータ値の信頼度であることを特徴とする請求項５に記載の情報処理装置。
7. 前記第１の検索の結果集合の中から、前記第２のメタデータ値の取得対象または取得除外対象とするコンテンツを指定する指定手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
8. コンテンツにメタデータを付与する情報処理方法であって、
   メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積工程と、
   メタデータを付与する対象コンテンツから、第１のメタデータのメタデータ値を取得する第１の取得工程と、
   前記第１の取得工程において取得した第１のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第１のメタデータで第１の検索を行う第１の検索工程と、
   前記第１の検索の結果集合に含まれる１または複数のコンテンツから、第１のメタデータとは異なる種類の第２のメタデータのメタデータ値を取得する第２の取得工程と、
   前記第２の取得工程において取得した第２のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第２のメタデータで第２の検索を行う第２の検索工程と、
   前記第１の検索の結果集合と、前記第２の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第２のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与工程と、
   を備えることを特徴とする情報処理方法。
9. コンテンツにメタデータを付与する情報処理方法の各工程をコンピュータに実行させるプログラムであって、
   メタデータが付与されているコンテンツを記憶装置に蓄積する蓄積工程と、
   メタデータを付与する対象コンテンツから、第１のメタデータのメタデータ値を取得する第１の取得工程と、
   前記第１の取得工程において取得した第１のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第１のメタデータで第１の検索を行う第１の検索工程と、
   前記第１の検索の結果集合に含まれる１または複数のコンテンツから、第１のメタデータとは異なる種類の第２のメタデータのメタデータ値を取得する第２の取得工程と、
   前記第２の取得工程において取得した第２のメタデータ値を検索条件として、前記記憶装置に蓄積しているコンテンツから第２のメタデータで第２の検索を行う第２の検索工程と、
   前記第１の検索の結果集合と、前記第２の検索の結果集合との間の重複度が所定の閾値を満たした場合、前記第２のメタデータ値を、前記メタデータを付与する対象のコンテンツのメタデータとして付与する付与工程と、
   をコンピュータに実行させることを特徴とするプログラム。

Images