JP5349004B2

JP5349004B2 - コンテンツ検索システムおよびコンテンツ検索プログラム

Info

Publication number: JP5349004B2
Application number: JP2008275514A
Authority: JP
Inventors: 啓一郎帆足; 俊晃上向; 一則松本
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2008-10-27
Filing date: 2008-10-27
Publication date: 2013-11-20
Anticipated expiration: 2028-10-27
Also published as: JP2010102629A

Description

本発明は、地図上の位置情報が付加されているコンテンツ群からコンテンツを検索する技術に関する。

従来から、位置情報付画像共有サービスが知られている。Ｗｅｂ上で提供されている写真共有サービスでは、写真にＧＰＳ測位などによって付与された位置情報が付いている場合、地図上に写真をプロットすることにより、Ｗｅｂ上で位置情報付写真を閲覧することができる。また、従来から知られている地図検索サービスには、位置情報（緯度・経度、住所）を検索クエリとして、その周辺にあるランドマークの情報を検索することができる。

また、従来から知られている画像検索技術として、下記のものが挙げられる。なお、以降の説明では、「画像」は「静止画」を示すものとする。

＜テキスト情報に基づく検索＞
従来から知られている写真共有サイト（例えば、Flickr（http://flickr.com/））では、コンテンツを公開するユーザが、公開するコンテンツを表す「タグ」を付与する機能がある。また、コンテンツの公開ユーザ以外のユーザが、それぞれコンテンツに対してタグ情報を付与する「ソーシャルタグ」という機能も備えている。これらの機能により、別のユーザがコンテンツを検索する場合、必要なコンテンツを表すキーワードを検索クエリとして入力すると、入力されたキーワードと同じタグが付与されているコンテンツを検索することができる。

また、従来から知られているイメージ検索（例えば、Googleイメージ検索（http://images.google.co.jp/））では、Ｗｅｂページに掲載されている画像ファイルを検索することができる。このイメージ検索では、検索対象画像が掲載されているＷｅｂページ上のテキスト情報を抽出し、検索のための情報としてインデキシングしている。

＜content-based検索＞
上記のテキスト情報に基づく検索手法では、コンテンツそのものではなく、コンテンツに紐付けられているテキスト情報に基づいて検索が行なわれている。しかし、コンテンツの周辺のテキスト情報が実際のコンテンツの中身と無関係である場合は、ユーザの意図に反した検索結果が出てしまう。これに対し、実際のコンテンツから特徴を抽出し、その特徴を利用して検索を行なうcontent-based検索手法が盛んに提案されている。

例えば、検索対象コンテンツが画像である場合、画像の中に出現する色情報などを抽出し、検索対象画像の配色の類似性に基づいて検索を行なうシステムなどがcontent-based検索に該当する。

また、非特許文献１には、位置情報付画像閲覧システムが開示されている。図５は、非特許文献１に開示されている位置情報付画像閲覧システムの概略構成を示す図である。位置情報付画像閲覧システム５０は、検索対象画像データを収集するモジュール（Image Fetcher）を有しており、Ｗｅｂ１００上から、ＡＰＩ（Application Program Interface）５１などを利用して、位置情報付画像データを集める。そして、位置情報付画像閲覧システムのユーザは、ＧＵＩ（Graphic User Interface）を利用することにより、興味がある画像の位置情報を指定すると共に、位置情報付画像閲覧システム５０が有するクラスタリングモジュールによって、表示されている画像を対象としたクラスタリング処理を実行することができる。

位置情報付画像閲覧システム５０では、画像の位置情報に基づいて、クラスタリングする手法と、色情報に基づいてクラスタリングを行なう手法の、２つのクラスタリング手法が、それぞれ別モジュールとして実装されている。クラスタリング処理実行時には、ユーザが好むクラスタリング手法を選択することができる。

位置情報付画像閲覧システム５０での検索対象画像データは、位置情報付写真共有サイトから入手する。例えば、Ｗｅｂ上で提供されている検索ＡＰＩを利用する。付与されている位置情報が、例えば、日本近傍である画像をダウンロードし、検索対象画像としてデータベースに格納する。さらに、検索対象画像の視覚的特徴量に基づくクラスタリングを実現するため、個々の画像から色情報を、特徴量として抽出する。具体的には、ＲＧＢ、ＨＳＶ、ＣＩＥＬａｂの各色空間に基づく２５６ｂｉｎのカラーヒストグラムを全ての画像から抽出し、位置情報付画像閲覧システム５０のデータベースに格納する。

位置情報付画像閲覧システム５０は、位置情報と色情報のそれぞれに基づく画像のクラスタリング手法を実装している。位置情報付画像閲覧システム５０に実装されているクラスタリングアルゴリズムは、ベクトル量子化（ＶＱ）、ＬＢＧ、およびＤＢＳＣＡＮの３種類である。また、クラスタリング時の個々の画像間の距離測定手法としては、ユークリッド距離を採用する。位置情報の場合は、画像に付与されている緯度経度情報に基づき、画像間の距離を算出する。カラーヒストグラムの場合も、比較対象画像のカラーヒストグラム間のユークリッド距離に基づいて画像間の距離を算出する。

ここで、位置情報付画像閲覧システム５０に実装されている３つのクラスタリング手法を比較すると、全てのクラスタリング対象画像をいずれかのクラスタに所属させるＶＱとＬＢＧに対し、ＤＢＳＣＡＮは、クラスタの密度を基準にクラスタリングを行なうため、高密度なクラスタのみが抽出される点を特徴とする。例えば、位置情報クラスタリングにおいてＤＢＳＣＡＮを適用すると、その結果として、高密度のクラスタ、すなわち、多くの画像が撮影された場所に分布する画像群を自動的に抽出することが可能になる。そして、多くの画像が撮影されている場所は、多くの撮影者が興味を示す場所、すなわち、ＰｏｉｎｔｏｆＩｎｔｅｒｅｓｔ（ＰＯＩ）であると推測される。こうして抽出されたＰＯＩ近傍の画像は、検索システムのユーザにとっても興味深い画像である可能性が高く、多くのユーザにとって有益な検索結果の提示につながると期待される。

位置情報付画像閲覧システム５０では、クラスタリング対象画像の分布位置範囲を指定し、クラスタリングを実行するためのＧＵＩが実装されている。位置情報付画像閲覧システム５０では、検索対象画像に付与されている位置情報を元に、検索対象画像をウィンドウ内に配置する。例えば、検索対象画像（日本付近の画像）を表示すると、位置情報に基づいて画像を配置するだけで、日本の地形が漠然と浮かびあがる。これにより、位置情報付画像閲覧システム５０によって収集された検索対象画像は、日本国内を幅広くカバーすることがわかる。

また、画像クラスタリング処理の実行は、位置情報付画像閲覧システム５０で表示されている画像のみを対象として実行する。上記の例では、検索対象となっているほぼ全ての画像を対象にクラスタリングを実行することとなる。しかし、対象画像の数が多い場合は、クラスタリング処理時間も膨大になるため、クラスタリング対象画像を限定した方が望ましい。そこで、位置情報付画像閲覧システム５０では、マウスのスクロールホイールを利用することにより、閲覧したい画像が配置されている領域にズームインする機能を実装している。本機能によって、ユーザが興味を示した場所にズームインした後に、表示対象範囲内の画像のみを対象としたクラスタリングを実行することができる。

次に、位置情報付画像閲覧システム５０で東京都心近傍に位置する画像群をクラスタリング対象とし、ＤＢＳＣＡＮ並びにＬＢＧの各手法によって位置情報クラスタリングを実行する。位置情報付画像閲覧システム５０では、位置情報クラスタリングのみならず、表示されている画像を対象とした色情報に基づくクラスタリングも、位置情報に実行することができる。また、クラスタリングを実行した後の結果に対し、別の手法で再度クラスタリングを実行することも可能である。例えば、位置情報クラスタリング実行後に色情報クラスタリングを実行する場合、位置情報クラスタリングによって得られた個々のクラスタごとに、色情報クラスタリングを実行することとなる。この処理によって、位置情報クラスタリングによって得られたクラスタの中から、さらに色情報が類似している画像のクラスタを抽出することが可能となる。
特開２００６−１５４９８５号公報帆足啓一郎、他４名、「位置情報メタデータを利用した画像検索手法の実装と評価」、信学技報、社団法人電子情報通信学会、ＤＥ２００８−１２、ｐｐ．６５−７０、２００８．

上記のように、従来の位置情報付画像共有サービスでは、画像に付与されている位置情報に基づいて、地図上で画像を閲覧することができる。しかし、予め検索したい地域が決まっている場合はこの利用形態で問題はないが、例えば、未知の土地に関する写真情報を得たい場合には、どの地域から写真を探すべきかが分かり難く、アプリケーションとしての利便性は低い。

位置情報からのランドマーク検索については、上記と同様の問題があるほか、検索条件によっては、不要なランドマーク情報が多数出力される可能性が高い。例えば、ランドマーク候補が密集している都会などでは、検索結果に不要なランドマーク情報が現れてしまう。このような場合、検索されたランドマーク情報の中から、有意なものを選択する方法がないため、有用性が低い。

また、従来の画像検索システムのうち、テキストに基づく画像検索では、画像に付与されているテキスト情報（タグなど）、若しくは画像周辺のテキストに基づいて検索を行なっている。しかし、タグベースの検索の場合、タグ自体の付与に手間がかかるため、画像共有サイトなどでは、大多数の画像に対して付与されているタグ情報が不十分であると考えられる。また、タグが付与されている場合でも、タグの曖昧性などの問題があり、高精度な検索は望みにくい。例えば、同じ写真でも人によって異なるタグが付与される場合があるため、検索制度を高くすることが難しい。また、Ｗｅｂ画像を対象とした検索の場合、画像周辺のテキスト情報に基づいた検索が行なわれるが、画像周辺のテキスト情報は必ずしも画像自体を正確に表していないため、検索精度が低い可能性がある。

一方、content-based画像検索の場合、以下の問題点があげられる。まず、画像や動画像といったコンテンツ自体の特徴に基づくcontent-based検索は、一般的に特徴抽出処理ならびに検索処理の計算負荷が高いという問題があげられる。特に、検索対象コンテンツが大規模になった場合、検索に必要な処理負荷は大きな問題となる。さらに、content-based検索における一般的な課題として、検索対象コンテンツの曖昧性に起因する検索精度の劣化があげられる。

例えば、content-based検索で使用する特徴として、色情報の分布を利用する場合、単純にある色（例：赤色）の分布が類似していれば、検索対象コンテンツ同士の類似度は高くなると考えられるが、同様の色分布であっても、コンテンツによっては（ユーザにとっての）類似度が低くなることも多いと考えられる。既存研究の中には、色分布等の基本的な特徴量から、コンテンツに写されている対象物を推測する高度なアルゴリズムに関するものも存在するが、こうした検索技術を実現するためには、より高度な特徴抽出・解析処理が必要となるため、上述の計算負荷の問題がさらに増大すると考えられる。さらに、高精度な対象物推測を行なうためには、学習データの整備が必須だが、撮影対象物となりえる全てのモノの画像をそろえることは現実的には不可能である。

本発明は、このような事情に鑑みてなされたものであり、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができるコンテンツ検索システムおよびコンテンツ検索プログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のコンテンツ検索システムは、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、少なくとも一つのコンテンツからなるクラスタを抽出するクラスタ抽出部と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集するコンテンツ収集部と、前記クラスタと、前記ランドマーク候補コンテンツとの類似度を算出する類似度算出部と、前記算出された類似度に基づいて、いずれかの前記ランドマーク候補コンテンツを前記抽出されたクラスタを表わすものとして選定する選定部と、を備えることを特徴としている。

このように、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、この収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集し、クラスタと、ランドマーク候補コンテンツとの類似度を算出し、算出された類似度に基づいて、いずれかのランドマーク候補コンテンツを、抽出されたクラスタを表わすものとして選定するので、抽出されたクラスタを特定することが可能となる。これにより、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。

（２）また、本発明のコンテンツ検索システムにおいて、前記クラスタ抽出部は、地図上の位置情報が付加されているコンテンツ群から、コンテンツの特徴に基づいて、少なくとも一つのコンテンツからなるクラスタを抽出することを特徴としている。

このように、地図上の位置情報が付加されているコンテンツ群から、コンテンツの特徴に基づいて、少なくとも一つのコンテンツからなるクラスタを抽出するので、高い精度で類似度を算出することが可能となる。

（３）また、本発明のコンテンツ検索システムにおいて、前記コンテンツ収集部は、インターネット上に掲載されているコンテンツから、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集することを特徴としている。

このように、インターネット上に掲載されているコンテンツから、収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集するので、インターネットの利便性を向上させることが可能となる。

（４）また、本発明のコンテンツ検索システムにおいて、前記選定部は、前記算出された類似度が、所定の閾値よりも高いランドマーク候補コンテンツを前記抽出されたクラスタを表わすものとして選定することを特徴としている。

このように、算出された類似度が、所定の閾値よりも高いランドマーク候補コンテンツを前記抽出されたクラスタを表わすものとして選定するので、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。

（５）また、本発明のコンテンツ検索システムにおいて、前記選定部は、前記算出された類似度が、所定の閾値よりも低いランドマーク候補コンテンツを除外することを特徴としている。

このように、算出された類似度が、所定の閾値よりも低いランドマーク候補コンテンツを除外するので、公開されているコンテンツの中から、ユーザにとって意味の無い可能性があるコンテンツを除外することができる。その結果、コンテンツ検索の利便性を向上させることができる。

（６）また、本発明のコンテンツ検索システムにおいて、前記コンテンツは、画像コンテンツであることを特徴としている。

このように、コンテンツは、画像コンテンツであるので、画像検索の利便性を向上させることが可能となる。

（７）また、本発明のコンテンツ検索システムにおいて、前記類似度算出部は、前記抽出されたクラスタとしての画像クラスタと、前記ランドマーク候補コンテンツとしてのランドマーク候補画像との類似度を、色情報を用いて算出することを特徴としている。

このように、抽出されたクラスタとしての画像クラスタと、前記ランドマーク候補コンテンツとしてのランドマーク候補画像との類似度を、色情報を用いて算出するので、高い精度で類似度を算出することが可能となる。

（８）また、本発明のコンテンツ検索システムにおいて、前記類似度算出部は、前記抽出されたクラスタとしての画像クラスタと、前記ランドマーク候補コンテンツとしてのランドマーク候補画像との類似度を、ＥＭＤ（Earth Mover's Distance）を用いて算出することを特徴としている。

このように、抽出されたクラスタとしての画像クラスタと、ランドマーク候補コンテンツとしてのランドマーク候補画像との類似度を、ＥＭＤを用いて算出するので、簡易かつ効率的に画像同士の類似を算出することができる。

（９）また、本発明のコンテンツ検索プログラムは、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、少なくとも一つのコンテンツからなるクラスタを抽出する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、前記クラスタと、前記ランドマーク候補コンテンツとの類似度を算出する処理と、前記算出された類似度に基づいて、いずれかの前記ランドマーク候補コンテンツを前記抽出されたクラスタを表わすものとして選定する処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴としている。

本発明によれば、抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集し、この収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集し、クラスタと、ランドマーク候補コンテンツとの類似度を算出し、算出された類似度に基づいて、いずれかのランドマーク候補コンテンツを、抽出されたクラスタを表わすものとして選定するので、抽出されたクラスタを特定することが可能となる。これにより、公開されているコンテンツの中から、ユーザにとって意味のあるコンテンツを抽出し、そのコンテンツに含まれている対象物を推測することができ、その結果、コンテンツ検索の利便性を向上させることができる。

次に、本発明に係る実施形態について、図面を参照しながら説明する。本実施形態では、大量の位置情報付画像コンテンツの中から、検索システムの多くのユーザが興味を示す画像群を検索対象として抽出した上で、抽出された画像群の撮影対象物を特定する。なお、本明細書において、「ランドマーク」とは、いわゆるランドマーク、すなわち、その場所を象徴する建造物や地理名称のみを表す語句ではなく、住所・番地以外に、地図上に記載される全ての情報をあらわす語句として用いることとする。

（第１の実施形態）
図１は、第１の実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。図１に示すように、第１の実施形態に係るコンテンツ検索システム１０は、位置情報クラスタリングモジュール１１、ランドマーク候補情報収集モジュール１２、ランドマーク関連画像収集モジュール１３、クラスタ・ランドマーク相関算出モジュール１４、ランドマーク関連結果提示モジュール１５の５つのモジュールから構成される。

位置情報クラスタリングモジュール１１は、本システムの分析対象データとなる位置情報付コンテンツＤＢ１１ａに含まれるコンテンツに付与されている位置情報に基づき、全てのデータをクラスタリングする処理を行なう。そして、クラスタリング処理後に得られた位置情報付コンテンツクラスタを、位置情報付コンテンツクラスタＤＢ１１ｂに格納する。クラスタリングの手法としては、例えば、非特許文献１に記載されている手法を用いることができる。

一般ユーザが、インターネット上に公開された画像データを検索する場合、特定の個人にしか分からないような被写体が写っている画像データよりも、一般に有名な被写体が写っている画像データを検索することの方が多いと考えられる。このため、第１の実施形態に係るクラスタリングでは、一般に有名な被写体が写っている画像データを含む確率が高い画像データ群を抽出することを目的とする。この目的達成のため、第１の実施形態に係るクラスタリング処理は、位置情報付コンテンツＤＢ１１ａ内の位置情報に基づいて、ある区域で撮影された画像データの個数の密度が近隣区域の中で比較的大きい場合に、当該区域で撮影された画像データ群を抽出する。

例えば、東京都心の六本木にある“六本木○○ビル”は観光地化しており、一般に有名な被写体であるとする。すると、“六本木○○ビル”が写っている画像データは非常に多くインターネット上に公開され得るが、その撮影場所は“六本木○○ビル”の周辺区域に特に集中すると考えられる。従って、“六本木○○ビル”の周辺区域が撮影場所となっている画像データは非常に多数存在するが、“六本木○○ビル”の周辺区域を外れた近隣区域が撮影場所となっている画像データは極端に減少すると思われる。つまり、“六本木○○ビル”の周辺区域で撮影された画像データの個数の密度は近隣区域と比較して大きい可能性が高い。

同様に、地方の観光地など、主な撮影場所が狭い区域に限定される場合においても、その撮影区域で撮影された画像データの個数の密度は近隣区域と比較して大きい可能性が高
い。また、撮影可能な場所が非常に広範囲にわたるような一般に有名な巨大な被写体（例えば、富士山など）の場合においても、その広範囲な撮影区域で撮影された画像データの個数の密度は近隣区域と比較して大きい可能性が高い。このような知見に基づいて、第１の実施形態に係るクラスタリング処理では、ある区域で撮影された画像データの個数の密度が近隣区域の中で比較的大きい場合に、当該区域で撮影された画像データ群を抽出する。なお、ある区域で撮影された画像データの個数の密度が近隣区域の中で比較的大きいとは判定されなかった場合には、当該区域で撮影された画像データ群は抽出されない。この抽出されなかった画像データ群は、検索対象から除外されることになる。これは、その抽出されなかった画像データ群は、一般に有名な被写体が写っている画像データを含む確率が低いと考えられるので、検索対象から除外することにより検索精度の向上が期待できるからである。

第１の実施形態では、位置情報付コンテンツＤＢ１１ａ内の位置情報間の距離を算出し、その距離が短い画像データ同士を同じ集合体（クラスタ）に含めるよう分類（クラスタリング）を行なっていく過程で、ある区域で撮影された画像データの個数の密度が近隣区域の中で比較的大きい場合に、当該区域で撮影された画像データ群を抽出する。そのクラスタリングアルゴリズムとしてＤＢＳＣＡＮアルゴリズムを利用する。ＤＢＳＣＡＮアルゴリズムは、クラスタ内のデータの個数の密度に基づいてクラスタリングを行なうことを特長としている。このＤＢＳＣＡＮアルゴリズムによれば、結果的に、データの個数の密度が高いクラスタのみが抽出される。従って、クラスタリング処理において、位置情報付コンテンツＤＢ１１ａ内の位置情報間の距離を算出し、その距離に基づいて、ＤＢＳＣＡＮアルゴリズムにより画像データのクラスタリングを行なうことで、結果的に、ある区域で撮影された画像データの個数の密度が近隣区域の中で比較的大きい場合に、当該区域で撮影された画像データ群が抽出される。ＤＢＳＣＡＮアルゴリズムは、「M. Ester, H.-P. Kriegel, J. Sander, and X. Xu,“A density-based algorithm for discovering clusters in large spatial databases with noise”, in Proceedings from 2nd International Conference on Knowledge Discovery and Data Mining, 1996, pp. 226−230.」に開示されている。なお、本発明は、他のクラスタリング手法の適用も可能である。

ランドマーク候補情報収集モジュール１２は、位置情報クラスタリングモジュール１１によって得られた個々のクラスタに関連するランドマーク候補の情報を収集する処理を行なう。ランドマーク候補の収集は、個別のクラスタの位置や領域の情報を元に、当該クラスタの範囲内に位置するランドマークの情報を収集することによって行なう。具体的な方法としては、地図情報を参照する他、Ｗｅｂ１００上で公開されている検索ＡＰＩ１０１を利用する方法が挙げられる。

ランドマーク関連画像収集モジュール１３は、ランドマーク候補情報収集モジュール１２によって得られた、個々のクラスタに対するランドマーク候補群に関連する画像のデータを収集する処理を行なう。具体的には、Ｗｅｂ１００上の画像検索ＡＰＩ１０２（Yahoo!, Googleなどが提供）を利用することができる。得られた画像のデータは、ランドマーク関連画像ＤＢ１３ａに格納する。

クラスタ・ランドマーク相関算出モジュール１４は、個々のクラスタに含まれる画像群と、当該クラスタに対する個々のランドマーク候補から得られた関連画像群との類似度を算出することにより、当該クラスタと個々のランドマークとの間の相関関係を算出する処理を行なう。本モジュールでの処理内容の詳細については、後述する。

ランドマーク関連結果提示モジュール１５は、本システムのユーザに対し、クラスタごとのランドマーク相関算出結果を提示する処理を行なう。具体的な提示方法の案については後述する。

次に、本発明の処理内容について説明する。図２は、第１の実施形態に係るコンテンツ検索システムの処理内容の概要を示すフローチャートである。この処理は、大きく分けると、位置情報付コンテンツのクラスタリングを行ない、各クラスタに関連する情報を収集する「クラスタ関連情報収集処理（ステップＳ１）」と、クラスタごとに収集されたランドマーク候補と当該クラスタとの相関関係を算出する「クラスタ・ランドマーク相関関係算出処理（ステップＳ２）」の２つの処理に大別される。

図３は、図２に示したクラスタ関連情報収集処理（ステップＳ１）の処理内容を示すフローチャートである。図３に示すように、クラスタ関連情報収集処理では、まず、位置情報付コンテンツクラスタリング処理において、位置情報付コンテンツＤＢ１１ａに格納されている全てのコンテンツを対象に、位置情報に基づくクラスタリング処理を行なう（ステップＳ３）。この処理の結果、複数個のクラスタが得られる。なお、ここの処理では、得られたクラスタを全て分析対象としても良いが、例えば、所属するコンテンツの数に基づいて、選択的に分析の対象とするクラスタを絞り込んでも良い。ステップＳ３の後、全てのクラスタについて処理が終わっているかどうかを判断し（ステップＳ４）、全てのクラスタについて処理が終わっていない場合は、ステップＳ５へ遷移し、全てのクラスタについて処理が終わった場合は、終了する。

次に、クラスタ関連ランドマーク候補収集処理（ステップＳ５）において、上記の処理によって得られた全てのクラスタの近辺に位置するランドマークの情報を収集する。本処理では、前述の通り、地図情報の参照や、Ｗｅｂ１００上で公開されている地図検索ＡＰＩ１０１などを利用するが、検索のために必要な条件、すなわち、位置情報と検索範囲は、例えば、クラスタの重心を算出し、同クラスタに属する画像のうち、最も重心から離れた位置に分布するコンテンツの距離を検索範囲（所定の領域）とする方法などを適用することができる。ステップＳ５の後、クラスタの全ランドマーク候補を収集したかどうかを判断し（ステップＳ６）、クラスタの全ランドマーク候補を収集していない場合は、ステップＳ７へ遷移し、クラスタの全ランドマーク候補を収集した場合は、ステップＳ４へ遷移する。

次に、ランドマーク関連画像収集処理（ステップＳ７）において、上記の処理で得られたクラスタに対するランドマーク候補のそれぞれに関連する画像を、Ｗｅｂ１００上から収集する。本処理では、前述の通り、Ｗｅｂ１００上に公開されている画像検索ＡＰＩ１０２を利用する。具体的には、各ランドマーク候補の名称を検索クエリとして、関連する画像を収集する。また、ランドマークの名称によっては、検索結果が発散する可能性があるため、例えば、当該クラスタの位置から得られる住所情報などを検索クエリに追加する方法などを採用することも可能とする。

上記の処理の結果として、各クラスタに対し、少なくとも１件のランドマーク候補が対応付けられ、さらに、各ランドマーク候補に対し、複数の画像データが得られることとなる。次のクラスタ・ランドマーク相関関係算出処理（図２におけるステップＳ２）では、各クラスタに対応付けられたランドマーク情報と、当該クラスタ間の相関関係を、当該クラスタに属する画像と、各ランドマーク情報に対応する画像のそれぞれから抽出された特徴を比較することによって算出する。以下、クラスタ・ランドマーク相関関係算出処理について具体的に説明する。

ここで、解析対象となる位置情報クラスタをＣとする。クラスタＣには、同クラスタに属する複数の画像データと、上記のクラスタ関連ランドマーク候補収集処理によって得られた複数のランドマーク候補がそれぞれ対応付けられている。以下、クラスタＣに属する画像群をCimage, クラスタCに対するランドマーク候補群をClandmarkと示す。

ICx（ICxのｘは１...ｋ）はCimageに属する画像、LCx（LCxのｘは１...ｎ）はClandmark に属するランドマーク候補をそれぞれ示す。

Clandmark に属する個々のランドマークLCxには、上記ランドマーク関連画像収集処理によって収集された画像群が対応付けられている。以下、ランドマークLCx に対する関連画像群をLimage,Cxと示す。

次に、Cimageと、Clandmark に属する個々のランドマークに対する関連画像群Limage,Cxのそれぞれに属する画像からの特徴抽出を行なう。画像から抽出する特徴は、カラーヒストグラムやテクスチャ情報など、ベクトル形式のものを想定する。画像ICiから抽出する特徴をベクトルICiと示す。

このようにして、クラスタＣと、同クラスタに対するランドマーク候補のそれぞれに対応付けされた画像群から抽出された特徴を元に、本処理では、クラスタＣに属する画像群Cimageと個々のランドマーク候補LCxとの間の類似度Sim（Cimage, LCx）を算出する。ここで、Cimageに属する画像数と、Limage,Cxに属する画像数が異なるため、Sim（Cimage, LCx）を算出する手法としては、下記の参考文献において提案されている Earth Mover’s Distance （EMD）を採用する。

[参考文献１］
Y. Rubner et al.: The Earth Mover’s Distance as a Metric for Image Retrieval, Int’l Journal of Computer Vision, 40（2）, 2000.
例えば、下記の参考文献２では、EMDを元に、ショット数が異なる動画像間の類似度を算出する方法が提案されている。

［参考文献２］
Y. Peng et al.: “EMD-based video clip retrieval by many-to-many matching”, Proc CIVR 2005, pp. 71-81, 2005.
上記の参考文献では、EMD算出時に利用する特徴として、個々のショットから、キーフレーム画像から抽出したカラーヒストグラム特徴と、重み係数としてのショット長を利用している。参考文献１では、この特徴ベクトルと重み係数の組み合わせによる特徴情報を”signature”としており、複数のsignatureから構成されるデータ同士の類似度を算出している。

本処理では、CimageならびにLimage,Cxのそれぞれから抽出するsignatureの特徴ベクトルとして、数式（４）に示す、画像の特徴ベクトルを利用する。一方、重み係数については、予め定めた定数を利用する方法の他、Limage,Cx については、関連画像をＷｅｂ１００から検索した際の順位などに基づいて算出された値を利用することが可能である。

以上の処理により、CimageとClandmarkに属する全てのランドマーク候補に対する関連画像群との類似度を算出する。

最後に、上記の処理によって算出されたクラスタＣと、個々のランドマーク候補との類似度を元に、クラスタＣを表すランドマークを決定する処理を行なう。この処理では、例えば、Sim（Cimage, LCx）が最も高いランドマーク候補LCxを、当該クラスタを表すランドマークとして選択する方法や、予め定めた閾値を越えるSim（Cimage, LCx）を得たランドマークを全て選択する方法などを採用することができる。また、これらの結果をユーザに提示する際に、Sim（Cimage, LCx）に応じて、ランドマークの表示順を変更する方法（類似度が高いランドマークを上位に表示するなど）や、類似度に応じてランドマーク情報を強調して表示する方法（ランドマーク名称を大きな文字で表示するなど）を採用することもできる。

さらに、Sim（Cimage, LCx）を利用することにより、当該クラスタを表すランドマーク情報として、不適切なランドマーク候補を取り除くことも可能である。例えば、遠方から富士山や東京タワーといった大きなランドマークが撮影されている画像の場合、その画像が属するクラスタの位置情報は撮影対象物を推測する上では参考にならない。しかし、このような状況下では、当該クラスタに対するランドマーク候補から得られた関連画像群と、Cimageとの類似度は低くなると思われる。従って、例えば、予め定められた閾値以下のSim（Cimage, LCx）が得られたランドマーク候補は、ランドマークとはみなさずに除去する処理を施すことができる。

（第２の実施形態）
第１の実施形態では、検索対象コンテンツを、位置情報に基づいてクラスタリングする処理が適用されているが、例えば、都内の繁華街などでは、狭い範囲内に多数のランドマークが分布している可能性がある。その場合、位置情報のみでクラスタリングしても、複数のランドマークとの類似度が高くなってしまうため、撮影されているランドマークを特定することが困難になる。

そこで、第２の実施形態では、位置情報付画像をクラスタリングする際に、位置情報に加え、画像の色情報に基づいてクラスタリングする処理を追加する。これにより、以降のランドマークとの相関関係算出処理の高精度化を図ることができる。

図４は、第２の実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。第２の実施形態に係るコンテンツ検索システム２０では、色情報クラスタリングモジュール１６が追加されている。この構成に基づくシステムでは、検索対象コンテンツに対し、まず、位置情報でクラスタリングを行なった後、得られた個々のクラスタごとに、色情報に基づくクラスタリングを行なった結果を、位置情報付コンテンツクラスタＤＢ１１ｂに格納する。

なお、色情報以外のcontent-based特徴（例えば、テクスチャ情報）などを利用してクラスタリングを行なうことも可能である。

以上のような本発明の特徴的な動作は、コンピュータにプログラムを実行させることにより行われる。すなわち、本発明のコンテンツ検索プログラムは、地図上の位置情報が付加されているコンテンツ群から、前記位置情報に基づいて、少なくとも一つのコンテンツからなるクラスタを抽出する処理と、前記抽出されたクラスタの地図上の位置情報を含む所定領域内のランドマーク情報をランドマーク候補情報として収集する処理と、前記収集されたランドマーク候補情報に関連するコンテンツをランドマーク候補コンテンツとして収集する処理と、前記クラスタと、前記ランドマーク候補コンテンツとの類似度を算出する処理と、前記算出された類似度に基づいて、いずれかの前記ランドマーク候補コンテンツを前記抽出されたクラスタを表わすものとして選定する処理と、を含む一連の処理を、コンピュータで読み取り、および実行可能にコマンド化したことを特徴としている。

以上説明したように、本実施形態によれば、既存の位置情報付写真共有サイトにおいて、公開されている写真の中から、多くの人にとって有意な写真を選択することが可能となる。また、その写真に撮影されている対象物を推測・提示することが可能となり、サイトの利便性が高まる。また、従来のcontent-basedな撮影対象物推測方法と異なり、学習データを整備せずに、撮影対象物を推測することが可能となる。

第１の実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。第１の実施形態に係るコンテンツ検索システムの処理内容の概要を示すフローチャートである。図２に示したクラスタ関連情報収集処理（ステップＳ１）の処理内容を示すフローチャートである。第２の実施形態に係るコンテンツ検索システムの概略構成を示すブロック図である。非特許文献１に開示されている位置情報付画像閲覧システムの概略構成を示す図である。

符号の説明

１０コンテンツ検索システム
１１位置情報クラスタリングモジュール
１１ａ位置情報付コンテンツＤＢ
１１ｂ位置情報付コンテンツクラスタＤＢ
１２ランドマーク候補情報収集モジュール
１３ランドマーク関連画像収集モジュール
１３ａランドマーク関連画像ＤＢ
１４クラスタ・ランドマーク相関算出モジュール
１５ランドマーク関連結果提示モジュール
１６色情報クラスタリングモジュール
２０コンテンツ検索システム

Claims

地図上の位置情報が付加されている画像コンテンツ群から、前記位置情報に基づいて、
複数の画像コンテンツから構成されるクラスタを抽出するクラスタ抽出部と、
前記抽出されたクラスタを構成する画像コンテンツの位置情報から特定される範囲内に位置するランドマークの情報をランドマーク候補情報として収集するランドマーク候補情報収集部と、
前記収集されたランドマーク候補情報に関連する画像コンテンツをランドマーク候補コンテンツとして収集するコンテンツ収集部と、
前記クラスタを構成する各画像コンテンツと、前記ランドマーク候補コンテンツとしての画像コンテンツとの類似度を算出する類似度算出部と、
前記算出された類似度が所定の閾値よりも高いランドマーク候補コンテンツとしての画像コンテンツに対応するランドマーク候補情報を、前記クラスタを表わすものとして選定する選定部と、を備えることを特徴とするコンテンツ検索システム。
前記コンテンツ収集部は、インターネット上に掲載されている画像コンテンツから、前記収集されたランドマーク候補情報に関連する画像コンテンツをランドマーク候補コンテンツとして収集することを特徴とする請求項１記載のコンテンツ検索システム。
前記選定部は、前記算出された類似度が、所定の閾値よりも低いランドマーク候補コンテンツを除外することを特徴とする請求項１または請求項２記載のコンテンツ検索システム。
前記類似度算出部は、前記クラスタを構成する画像コンテンツと、前記ランドマーク候補コンテンツとしての画像コンテンツとの類似度を、色情報を用いて算出することを特徴とする請求項３記載のコンテンツ検索システム。
前記類似度算出部は、前記クラスタを構成する画像コンテンツと、前記ランドマーク候補コンテンツとしての画像コンテンツとの類似度を、ＥＭＤ（Earth Mover's Distance）を用いて算出することを特徴とする請求項４記載のコンテンツ検索システム。
地図上の位置情報が付加されている画像コンテンツ群から、前記位置情報に基づいて、複数の画像コンテンツから構成されるクラスタを抽出する処理と、
前記抽出されたクラスタを構成する画像コンテンツの位置情報から特定される範囲内に位置するランドマーク情報をランドマーク候補情報として収集する処理と、
前記収集されたランドマーク候補情報に関連する画像コンテンツをランドマーク候補コンテンツとして収集する処理と、
前記クラスタを構成する各画像コンテンツと、前記ランドマーク候補コンテンツとしての画像コンテンツとの類似度を算出する処理と、
前記算出された類似度が所定の閾値よりも高いランドマーク候補コンテンツとしての画像コンテンツに対応するランドマーク候補情報を、前記クラスタを表わすものとして選定する処理と、を含む一連の処理を、コンピュータに実行させることを特徴とするコンテンツ検索プログラム。