JP5772908B2 - 情報処理装置、情報処理システム、その制御方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、その制御方法およびプログラムに関する。

インターネット上から文書情報を探し出すためのキーワード（文字情報）を元にした検索システム（全文検索システムと呼ばれる）は、既に広く一般的に使われており、その基本的な技術に関しては、確立、成熟しているといえる。しかし、文字列情報ではない画像情報に関しては、その検索手法は確立しておらず、様々な手法が研究されている段階にある。

現在普及している手法としては、画像に付帯させた文字列情報（キーワードやタグと呼ばれる）を元に全文検索システムと同じ手法で検索するものがある。しかし、文書情報と異なり、画像を利用者にとって有益な順にランク付けする際に、どのような指標によって画像を有益と判断するか決定することは困難であり、その手法はキーワードによる文書検索システムほど進んでいない。

このような課題を解決するために、例えば非特許文献１では、画像の局所的な特徴を表現するＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）と呼ばれる局所特徴量の対応点数によってランク付けを行い、利用者に有益な画像、すなわち、画像に付帯させた文字列情報を元に検索した際に取得される画像集合中のより代表的な画像を上位に提示するＶｉｓｕａｌＲａｎｋと呼ばれる技術が示されている。

また、特許文献１では、非特許文献１で示されるＶｉｓｕａｌＲａｎｋと、画像に付帯した位置情報（撮影場所などの緯度・経度情報）を組み合わせることで、利用者にとって関心があると思われる画像を上位に提示する画像ランキング手法が示されている。

Ｙｕｓｈｉ Ｊｉｎｇ ａｎｄ Ｓｈｕｍｅｅｔ Ｂａｌｕｊａ，"ＶｉｓｕａｌＲａｎｋ： Ａｐｐｌｙｉｎｇ ＰａｇｅＲａｎｋ ｔｏ Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｍａｇｅ Ｓｅａｒｃｈ" ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ， ＶＯＬ． ３０， ＮＯ． １１， ＮＯＶＥＭＢＥＲ ２００８

特開２０１１−２３８０５７

上記非特許文献１で示されるＶｉｓｕａｌＲａｎｋには、上位画像に提示される画像は同一エリアの画像であることが多く、画像検索結果の多様性が失われてしまうという課題がある。また、上記特許文献１で示される画像ランキング手法では、利用者は明示的に位置情報（地理情報）を指定しなければならない。

本発明の目的は、複数のキーを任意に入力可能な１つの画面においてユーザにより任意に入力される検索キーに地理を示すキーが含まれているか否かに応じて、画像データに対応する位置情報を用いて複数のエリアの画像を選出する手法と、当該キーの示す地理の位置を基準として画像を選出する手法とを切り替えて、ユーザが任意に入力した検索のキーによる検索結果を提示することができる仕組みを提供することである。

本発明の情報処理装置は、複数のキーを任意に入力可能な１つの画面において検索用のクエリのキーの入力を受け付ける入力受付機能と、入力を受け付けたキーを用いた検索の結果得られた画像データを表示する表示機能とを備える表示装置と通信可能な情報処理装置であって、前記入力受付機能により前記１つの画面において入力を受け付けたキーを含む、画像データの検索に用いられるクエリを受信する受信手段と、地理を特定するための情報により、前記受信手段で受信したクエリに地理を示すキーが含まれているか判定するクエリ判定手段と、前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、前記検索用のクエリにより検索された結果得られた画像データに対応する位置情報を用いて、当該画像データを、複数のエリアにグループ分けするグループ分け手段と、前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、画像データの前記グループ内順位決定手段で決定された前記グループ内の順位の情報を用いて、検索結果として表示する画像データを選出する第１の選出手段と、前記クエリ判定手段で、前記受信手段で受信したクエリに前記地理を示すキーが含まれていると判定された場合に、前記クエリによる検索結果として表示させる画像データを、当該キーの示す地理に対応する位置を基準として選出する第２の選出手段と、前記第１の選出手段で選出された画像データを検索結果として表示させるための情報、または前記第２の選出手段で選出された画像データを検索結果として表示させるための情報を送信する送信手段と、を備えることを特徴とする。

本発明によれば、複数のキーを任意に入力可能な１つの画面においてユーザにより任意に入力される検索キーに地理を示すキーが含まれているか否かに応じて、画像データに対応する位置情報を用いて複数のエリアの画像を選出する手法と、当該キーの示す地理の位置を基準として画像を選出する手法とを切り替えて、ユーザが任意に入力した検索のキーによる検索結果を提示することができる。

本発明の実施形態における情報処理システムの構成を示す図である。 本発明の実施形態における利用者端末，画像検索装置に適用可能な情報処理装置のハードウェア構成を示すブロック図である。 本発明の実施形態における各種装置の機能ブロックの構成を表す図である。 本発明の実施形態における特徴量抽出部の内部の機能ブロックを表す図である。 本発明の実施形態における特徴量データベースにおける特徴量テーブルの一例を示す図である。 本発明の実施形態における情報処理システムにおける検索対象画像の登録手順の一例を示すフローチャートである。 本発明の実施形態における情報処理システムにおける検索処理の手順を示すフローチャートである。 本発明の実施形態における情報処理システムにおけるバイアスベクトルの生成手順の詳細処理を示すフローチャートである。 本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理を示すフローチャートである。 本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例を示す図である。 本発明の実施形態における情報処理システムにおける類似度行列の定義を表す式の一例を示す図である。 本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理を示すフローチャートである。 本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例を示す図である。 本発明の実施形態における情報処理システムにおける画像間の距離を、緯度・経度情報を使って求める式の一例を示す図である。 本発明の実施形態における情報処理システムにおける要素が均一なバイアスベクトルを表す式の一例を示す図である。 本発明の実施形態における、画像のメタデータの構成の一例を示す図である。 本発明における情報処理システムにおける検索結果の利用者端末の結果表示部における表示画面の一例を示す図である。 位置情報データベースにおける地理情報と緯度経度情報を管理するテーブルの一例を示す図である。 本発明における情報処理システムにおける検索結果の利用者端末の結果表示部における表示画面の一例を示す図である。 本発明における情報処理システムにおけるランキングデータテーブルの構成の一例を示す図である。 本発明の実施形態における、画像のグループ分けの様子の一例を示す図である。 本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例を示す図である。 本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例を示す図である。 本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
＜第１の実施形態＞

まず、図１を参照して、本発明の実施形態における情報処理システムの構成について説明する。図１は、本発明の実施形態における情報処理システムの構成を示す図である。図１は、ひとつ又は複数の利用者端末１０１と、ひとつの画像検索装置１０２（情報処理装置）がローカルエリアネットワーク（ＬＡＮ）１０３を介して接続される構成となっている。

利用者端末１０１は、画像（画像データ）の検索を行う利用者が使用する情報処理装置であって、検索に用いる文字列の入力を受け付ける機能（クエリ入力受付手段に該当）と、検索要求を発信する機能（クエリ送信手段に該当）と、検索結果を受信して表示する機能を有する。

画像検索装置１０２は、検索の対象となる複数の画像を記憶しており、利用者端末１０１からの検索要求を受け付け、画像の検索処理を行い、検索結果を応答する機能を有する。また、外部から検索対象とする画像を入力する機能を備えている。以上が図１の、本発明の実施形態における情報処理システムの構成についての説明である。

以下、図２を用いて、本発明の実施形態における利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図の構成の一例について説明する。図２は、本発明の実施形態における利用者端末１０１，画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図である。

図２において、２０１はＣＰＵで、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２０２あるいは外部メモリ２１１には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＰＣの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

２０３はＲＡＭで、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、２０５は入力コントローラで、キーボード（ＫＢ）２０９や不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）２１０等の表示器への表示を制御する。なお、図２では、ＣＲＴ２１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

２０７はメモリコントローラで、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ２１１へのアクセスを制御する。

２０８は通信Ｉ／Ｆコントローラで、ネットワーク（例えば、図１に示したＬＡＮ４００）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ＣＲＴ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ２１１に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ２１１に格納されており、これらについての詳細な説明も後述する。以上が図２の、本発明の実施形態における利用者端末１０１、画像検索装置１０２に適用可能な情報処理装置のハードウェア構成を示すブロック図の構成の一例についての説明である。

次に、図３を用いて、本発明の実施形態における、各種装置の機能ブロックの構成について説明する。図３は、本発明の実施形態における、各種装置の機能ブロックの構成を示す図である。

図１の説明にて前述したように、本発明の実施形態における情報処理システムは、利用者端末１０１と画像検索装置１０２と画像ソース６００から構成される。利用者端末１０１と画像検索装置１０２と画像ソース６００とはそれぞれネットワークを介して相互に通信可能に接続されている。

利用者端末１０１は、画像検索装置１０２に対して、画像の検索要求を送り、また検索結果を受信し表示するための情報処理装置である。利用者端末１０１は、検索クエリー部３０１と、結果表示部３０２と、から構成される。

検索クエリー部３０１は、利用者から検索要求としてのクエリー画像（クエリ）を受け付ける入力機能を有し、当該クエリー画像を、ネットワークを通じて、画像検索装置１０２の検索処理部５０３へ送信する機能をもつ機能処理部である。

結果表示部３０２は、画像検索装置１０２から応答される検索結果を受信する機能と、該検索結果を表示する機能を有する機能処理部である。検索結果の表示については、図１７の説明にて後述する。（図１７に表示画面の例を示す。）

画像検索装置１０２は、利用者端末１０１から、画像の検索要求を受信し、蓄積された画像に対して要求された検索処理を実行し、検索結果情報を利用者端末１０１へ送信する情報処理装置である。画像検索装置１０２は、画像登録部５０１と、特徴量抽出部５０２と、検索処理部５０３と、バイアスベクトル生成部５０４と、類似度行列生成部５０５と、特徴量類似度計算部５０６と、画像ランキング生成部５０７と、画像検索結果生成部５０８と、特徴量データベース５０９と、画像データベース５１０と、位置情報データベース５１１と、から構成される。

画像登録部５０１は、検索対象となる画像を本システムへ登録する機能処理部である。画像ソース６００で指示されるシステムの外部のアクターから、検索対象とする画像データを受信または取得し、当該画像データの特徴量を特徴量データベース５０９へ保存し、当該画像データ自体と、画像に付帯する位置情報（例えば図１６の位置情報１６０２）、および、文字列情報（例えば、図１６のタグ１６０４）等の情報を画像データベース５１０へ保存する機能を有する。

ここで図１６を参照して、本発明の実施形態における、画像のメタデータの構成の一例について説明する。図１６は、本発明の実施形態における、画像のメタデータの構成の一例を示す図である。メタデータとは、例えば、画像のＥｘｉｆ情報のことをいう。

画像ＩＤ１６０１は、画像を一意に識別するための識別情報である。位置情報１６０２は、画像に対応付けて記憶された位置を示す座標の情報（ＧＰＳ情報）であり、例えば、画像の撮影された撮影場所の情報である。

撮影日時１６０３は、画像が撮影された日時を示す。タグ１６０４は、画像に付与されたタグ（キーワード）である。

尚、図１６の位置情報１６０２から特定される、画像に対応する位置情報が、いずれの地理情報上、いずれの場所を示すかについては、図１８を参照して特定可能である。以上が図１６の、本発明の実施形態における、画像のメタデータの構成の一例についての説明である。次に図１８を参照して、本発明の実施形態における、位置情報データベースにおける地理情報と緯度経度情報を管理するテーブルの一例について説明する。

図１８は、本発明の実施形態における、位置情報データベースにおける地理情報と緯度経度情報を管理するテーブルの一例を示す図である。図１８に示す通り、地理情報・緯度経度対応付けテーブル１８００は、地理情報（地理名）と、当該地理名の示す位置の座標である緯度・経度の情報を対応付けて記憶し、一意の識別情報である地理ＮＯを付与して管理するテーブルである。当該地理情報、緯度・経度情報は、例えば、インターネット上でマップの表示・検索サービスを提供するために用いられるような、不図示の外部のサーバ（地理情報サーバ）等から取得する。本実施形態においては、当該位置情報データベースにおける情報を用いて、画像に対応する位置情報の示す地理名を特定するものとする。

特徴量抽出部５０２は、画像データを入力として受け取り、該画像データの各種特徴量を抽出する機能処理部である。

ここで図４を参照して、本発明の実施形態における特徴量抽出部５０２の内部の機能について説明する。図４は、本発明の実施形態における特徴量抽出部５０２の内部の機能ブロックの一例を表す図である。

図４で示されるように、特徴量抽出部５０２は、複数の特徴量抽出部から構成される。図４の５０２１から５０２４で指示される特徴量抽出部は、各々異なる種類の画像特徴量を抽出する機能処理部である。

例えば、スケーラブルカラー特徴量（画像全体における色の分布状態を表す特徴量）、カラーレイアウト特徴量（画像の領域毎の色の分布状態を表す特徴量）、エッジヒストグラム特徴量（画像中の境界線に関する特徴量）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量（局所的な領域の濃度変化特徴を表す特徴量）などの局所特徴量から計算されるＢａｇ Ｏｆ Ｆｅａｔｕｒｅｓ特徴量（例えば、局所特徴量の集合をＫｍｅａｎｓ法によりクラスタリングし、代表的な局所特徴量を任意の個数見つけ出し、画像１枚における求めた代表的な局所特徴量の出現度合いを表した特徴量）などの特徴量を抽出する実装をそれぞれに当てはめる。

また、個別特徴量抽出部の個数は図４では４つであるが特に制限されるものではなく、利用する画像特徴量の数だけ実装されればよい。以上が図４の、本発明の実施形態における特徴量抽出部５０２の内部の機能についての説明である。

図３の説明に戻る。検索処理部５０３は、検索要求として文字列クエリー（クエリ）を受け付け、当該文字列クエリーより検索対象となる画像集合および各画像に付帯する位置情報を画像データベース５１０より取得し、当該文字列クエリーと当該画像集合と各画像に付帯する位置情報をバイアスベクトル生成部５０４へ渡し、バイアスベクトルの生成を指示する。ここでは、検索要求として文字列クエリーを用いたが、例えば画像データの入力を受け付けることで検索要求として画像クエリーを用いてもよい。

ここでいうバイアスベクトルとは、あるベクトル（ベクトルデータ／同じ型のデータを（縦または横の）1方向に一定の順にまとめデータ）に対して、バイアス（偏り）をかけるためのベクトルである。

そして、当該画像集合を類似度行列生成部５０５へ渡し、類似度行列の生成を指示し、受け取ったバイアスベクトルおよび類似度行列を画像ランキング生成部５０７へ渡し、検索対象となる画像集合の画像ランキング（全体順位）の計算を指示し、当該画像ランキングを画像検索結果生成部５０８へ渡し、利用者端末１０１の結果表示部３０２へ送信する画像検索結果の生成を指示する機能処理部である。ここでいう画像ランキングとは、検索により抽出された画像の、表示画面への表示の優先度（優先順位）のことである。ランキング１位の画像が優先して表示画面に表示される。

バイアスベクトル生成部５０４は、検索処理部５０３から文字列クエリーと検索対象となる画像集合および各画像に付帯する位置情報を受け取り、文字列クエリーに位置情報が含まれるか否かを判断して位置情報に基づいたバイアスベクトル（偏りデータ）を生成する機能処理部である。

類似度行列生成部５０５は、検索処理部５０３から検索対象となる画像集合を受け取り、当該画像集合より、全ての組み合わせを網羅する画像ペア群を生成し、当該画像ペア群を特徴量類似度計算部５０６へ渡し、各画像間（画像データ同士）の類似度の算出を指示し、その結果として受け取る各類似度より類似度行列（要素データ／ベクトルデータ）を生成する機能処理部である。

特徴量類似度計算部５０６は、類似度行列生成部５０５から検索対象となる画像集合を受け取り、各画像に対して、特徴量データベース５０９の中に保存されている特徴量データのそれぞれ（図５／特徴量データテーブル５０１０の特徴量１〜特徴量４）を比較してそれぞれとの類似度を計算する機能処理部である。

画像ランキング生成部５０７は、検索処理部５０３からバイアスベクトルと類似度行列を受け取り、検索対象となる画像集合の各画像のランキングを計算し、画像ランキングを生成する機能処理部である。

画像検索結果生成部５０８は、検索処理部５０３から画像ランキングを受け取り、ランキングの高い順に画像検索結果を生成し、利用者端末１０１の結果表示部３０２へ送信する機能処理部である。

特徴量データベース５０９は、検索対象となる画像データの各種特徴量のデータ（図５）を保存する記憶領域である。その特徴量データは図５で例示されるテーブル（特徴量データテーブル５０１０）で管理されている。

図５の特徴量データテーブル５０１０は、１行が画像データベース５１０に蓄えられている１つの画像データを表し、画像データのＩＤ（識別子／画像ＮＯとも言う）とともに特徴量１から特徴量４の列名で指示されるカラムに、当該画像のそれぞれの特徴量データが保存されていることを表している。

画像データベース５１０は、検索対象となる画像データ群、および各画像に付帯する文字列情報（キーワードやタグ）と位置情報（緯度・経度情報）を保存する記憶領域である。保存されたデータはＩＤ（識別子）によって直接アクセスできる機能を有する。位置情報データベース５１１は、地理情報（地理名）、および緯度・経度情報を保存する記憶領域である。

画像ソース６００は、本情報処理システムにおける検索対象画像の出所（入力ソース）を表す外部アクターである。例えば、インターネット上のＦｌｉｃｋｒ（登録商標）やＦａｃｅｂｏｏｋ（登録商標）等の写真共有機能を有するサイトや、直接写真データを提供する利用者そのもの、各種カメラやスキャナー等の映像入力機器なども考えられる。以上が図３の、本発明の実施形態における情報処理システムの機能ブロックの構成についての説明である。

次に図６を参照して、本発明の実施形態における情報処理システムにおける検索対象画像の登録手順について説明する。図６は、本発明の実施形態における情報処理システムにおける検索対象画像の登録手順の一例を示すフローチャートである。以下、図６以降に記載するフローチャートの各処理は、画像検索装置１０２のＣＰＵ２０１が、各制御部を介して実行するものとする。

尚、以下で説明する画像ソース６００（外部装置）は、上記で説明したようにいくつも種類が考えられるが、ここではシステムの管理者が操作する管理者端末とした場合の例で説明する。

ステップＳ６０１では、画像登録部５０１は、画像ソース６００で表わされるシステム管理者が操作する管理者端末から検索対象となる画像データと、画像のメタデータ（画像に付帯する文字列情報および位置情報（緯度・経度で表される撮影場所を含む））を受信する。

ステップＳ６０２では、画像登録部５０１は、前記受信した画像データを、特徴量抽出部５０２へ入力する。特徴量抽出部５０２は、前記画像データを、図４の５０２１から５０２４で例示される各個別の特徴量抽出部にかけて当該画像データの１から４の特徴量を算出する。通常これらの特徴量は一次元数値ベクトルとして表現される。特徴量抽出部５０２は、抽出した前記特徴量データ（１から４の４つ）を、画像登録部５０１へ入力する。

ステップＳ６０３では、画像登録部５０１は、ステップＳ６０２で取得した特徴量データを、特徴量データベース５０９へ登録する。前記特徴量データは、図５で例示されるようなテーブル構造で保存される。

ここで図５を用いて、本発明の実施形態における特徴量データベース５０９における特徴量テーブルの一例について説明する。図５は、本発明の実施形態における特徴量データベース５０９における特徴量テーブルの一例を示す図である。

既に説明したように、特徴量の抽出処理では、ある１つの画像に対して、複数種類の特徴量が抽出される。各種特徴量は数値（整数や浮動小数点）の多次元ベクトルで表現される。例えば、局所特徴量の１つであるＳＩＦＴ特徴量は、浮動小数点の１２８次元ベクトルとして表現されている。

この実施例で説明する情報処理システムでは、図４で示しているように特徴量１から特徴量４までの４つの種類の画像特徴量を取得するものとする。図５のテーブルは、１つの行が１つの検索対象画像に関する特徴量データを格納している。列名が特徴量１から特徴量４までの各々のカラムに各特徴量データが格納されている。

それぞれの特徴量は、次元数や数値の型が特徴量の種類によって異なっているが、基本的には数値の多次元ベクトルデータとして保存されている。以上が図５の、本発明の実施形態における特徴量データベース５０９における特徴量テーブルの一例についての説明である。

図６の説明に戻る。ステップＳ６０４では、画像登録部５０１は、前記受信した画像データと、画像のメタデータ（画像に付帯する文字列情報および位置情報（緯度・経度で表される撮影場所））を画像データベース５１０に保存する。つまり、画像検索装置１０２は、画像の記憶機能を有する。画像のメタデータは、図１６に示されるようなテーブルを用いて、画像ＩＤ（画像ＮＯ）とともに管理される。以上が図６の、本発明の実施形態における情報処理システムにおける検索対象画像の登録手順についての説明である。

尚、ここでは、画像のメタデータ（例えばＥｘｉｆ情報）を用いて、画像の位置情報を特定しているが、例えば、別途画像と位置情報の対応付けをしたデータテーブルを設け、画像検索装置１０２の外部メモリ２１１等の記憶領域に記憶し、当該画像と位置情報の対応付けをしたデータテーブルの情報を用いて、各画像の位置情報を特定するようにしてもよい。

次に、図７を用いて、本発明の実施形態における情報処理システムにおける検索処理の手順について説明する。図７は、本発明の実施形態における情報処理システムにおける検索処理の手順を示すフローチャートである。

ステップＳ７０１では、検索処理部５０３は、利用者端末１０１の検索クエリー部３０１から送信される（文字列送信手段に該当）検索クエリー文字列を受信する（文字列入力受付手段に該当）。尚、当該検索クエリー文字列は、利用者端末１０１の表示画面に表示される検索画面にて入力を受け付けた文字列である。

ステップＳ７０２では、検索処理部５０３は、位置情報データベース５１１を利用して、検索クエリー文字列が位置情報のみ（例えば、検索クエリー文字列は“パリ”、や“ロンドン”などの位置情報、地理の情報）であるか否かを判断する。位置情報のみでない場合（ステップＳ７０２でＮＯ）、ステップＳ７０３へ進む。位置情報のみの場合（ステップＳ７０２でＹＥＳ）、ステップＳ７０５へ進む。

ステップＳ７０３では、検索処理部５０３は、位置情報データベース５１１を利用して、検索クエリー文字列のうち、位置情報を表すクエリー以外（例えば、”富士山”、あるいは”富士山 静岡”とクエリー文字列に位置情報を含む場合なら、位置情報を除いた富士山のみ）を抽出し、抽出した位置情報以外の検索クエリー文字列をメタデータとして持っている画像群を、検索対象データとして画像データベース５１０より取得する（検索の結果得られた画像、に該当）。

ステップＳ７０４では、検索処理部５０３は、前記検索クエリー文字列と、ステップＳ７０３で取得した検索対象データを、バイアスベクトル生成部５０４へ入力する。バイアスベクトル生成部５０４は、受け取った検索クエリー文字列と検索対象データから、画像ランキング生成時に、各画像に位置情報に基づいて重みをつけるためのバイアスベクトルを生成する（ステップＳ７０４）。

バイアスベクトル生成部５０４は、生成したバイアスベクトルを検索処理部５０３へ応答する。ステップＳ７０４のバイアスベクトル生成の詳細処理は、図８を用いて後述する。

ステップＳ７０５では、検索処理部５０３は、位置情報のみを表す検索クエリー文字列から１００キロメートル以内の距離（所定の距離内）の画像群を、検索対象データとして、画像データベース５１０より取得する（検索の結果得られた画像、に該当）。この実施例では、１００キロメートル以内の距離の画像を検索対象としているが、これは特に固定的なものではなく、利用形態に合わせて設定すれば良い。

また、位置情報を表す検索クエリー文字列（パリやロンドンなど）は、画像間の距離を計算するために、地理情報と緯度・経度情報との対応を管理する位置情報データベース５１１を利用して緯度経度情報へ置き換えられる。

図１４に、画像間の距離を球面三角法により求める式を示す。画像の緯度・経度情報と地球の半径を利用して、画像間の距離を計算する。

ステップＳ７０６では、検索処理部５０３は、画像ランキングは画像間の類似度のみによって計算するため、位置情報に基づいた重みを与えないように、図１５に示されるような、要素が均一で次元数が検索対象データ数となるバイアスベクトルを生成する。

ステップＳ７０７では、検索処理部５０３は、ステップＳ７０３またはステップＳ７０５で取得した検索対象データを類似度行列生成部５０５へ入力する。類似度行列生成部５０５は、受け取った検索対象データそれぞれについて、全ての組み合わせを網羅するように画像ペア群を作成する。類似度行列生成部５０５は、前記作成した画像のペア群を特徴量類似度計算部５０６へ入力する。

特徴量類似度計算部５０６は、受け取った画像ペア群の各ペアについて、特徴量データベース５０９に保存されている特徴量データ同士を比較して、画像間の類似度を算出する。１つの特徴量に関する類似度は、画像間の類似度が高いほど、類似度の数値が高くなるよう、例えば数値ベクトル間のユークリッド距離で表現される場合はその逆数として、ヒストグラム間の類似度として表現される場合は、ヒストグラムインターセクションとして計算される。

画像間の類似度は、特徴量種類（この実施例では１から４）毎の類似度の足し合わせとして表現される。つまり、類似度は、画像Ａの特徴量１と画像Ｂの特徴量１の距離、画像Ａの特徴量２と画像Ｂの特徴量２の距離、画像Ａの特徴量３と画像Ｂの特徴量３の距離、画像Ａの特徴量４と画像Ｂの特徴量４の距離、の合計値となる。

特徴量類似度計算部５０６は、生成した各画像間の類似度群を類似度行列生成部５０５へ応答する。類似度行列生成部５０５は、図１１に示される、受け取った各画像間の類似度を要素に持つ類似度行列１１００を生成する。類似度行列生成部５０５は、生成した類似度行列１１００を検索処理部５０３へ応答する。

ステップＳ７０８では、検索処理部５０３は、ステップＳ７０７で生成した類似度行列１１００と、ステップＳ７０４またはステップＳ７０６で生成したバイアスベクトルと、を画像ランキング生成部５０７へ入力する。画像ランキング生成部５０７は受け取った類似度行列とバイアスベクトルを用いて、画像ランキングを生成する。画像ランキング生成部５０７は、生成した画像ランキングの情報を検索処理部５０３へ応答する。ステップＳ７０８の画像ランキング生成の詳細処理は、図１２を用いて後述する。

ステップＳ７０９では、ステップＳ７０８で取得した画像ランキングを画像検索結果生成部５０８へ入力する。画像検索結果生成部５０８は、受け取った画像ランキング値の昇順（表示順）に、対応する各画像のサムネイル群を、画像検索結果として生成する（検索結果表示画面生成手段に該当）。

ステップＳ７１０では、画像検索結果生成部５０８は、ステップＳ７０９で生成した画像検索結果（例えば図１７、図１９に示す検索結果画面の情報）を、利用者端末１０１の結果表示部３０２へ送信する。利用者端末１０１のＣＰＵ２０１は、当該画像検索結果の情報を受信し、当該検索結果画面（図１７、図１９に示す検索結果画面等）を表示画面に表示する（検索結果表示手段に該当）。

ここで図１７を参照して、本発明における情報処理システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例について説明する。図１７は、本発明における情報処理システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例を示す図である。

１７０１で指示される領域に、ステップＳ７０９で生成された各画像のサムネイルが、ランキング値の高い順に表示されている。ここでは、図１０及び図１３に記載の式を用いてランキング値の計算をしているため、つまり、各グループの画像の数量差によってランキング値に偏りが出難いように重みづけをした上でランキング値を算出しているため、１７０１で指示される領域には、各グループの画像の内、各グループの中で各代表画像（代表画像データ）に近い画像が表示されやすくなる。つまり、グループ内でのランキングの情報を用いて、より代表的な画像を表示する。代表画像は、画像のグループ分けの基準となる画像である。代表画像の抽出処理については、図９の説明にて後述する。

尚、画像の表示の形式は上記の方法に限るものではない。例えば、図１７においてＲ１のサムネイルの属する列、Ｒ２のサムネイルの属する列、Ｒ３のサムネイルの属する列、Ｒ４のサムネイルの属する列とで、それぞれ別の画像群から抽出した、ランキング値の上位４枚の画像データのサムネイルを、それぞれ上から、ランキング順に表示するようにしてもよい。つまり、グループ分けした結果を認識可能に表示する。

この場合、例えば、ランキング付けされた各画像データが、いずれの代表画像のグループに属するかを判定し、画像検索装置１０２に予め設定されている表示する画像の総枚数、グループ毎の画像の表示枚数の情報（ここでは、総枚数＝１６、グループ毎の表示枚数＝４とする）を取得し、当該表示枚数に達するまで、乃至、ランキング付けされた画像データが０になるまで、各グループの画像データを取得して、１７０１で指示されるグループ毎の画像表示のための領域に表示するものとする。

尚、いずれの画像データがいずれの代表画像の属するグループに属するかの情報は、図９のステップＳ９１２の説明にて後述するグループ分けの処理の結果の情報であって、画像検索装置１０２の外部メモリ２１１等の記憶領域に記憶されているものとする。また、当該表示する画像の総枚数、グループ毎の画像の表示枚数の情報は、画像検索装置１０２から利用者端末１０１に提供される、不図示の表示枚数設定画面から設定、変更可能であるものとする。

また、図１９に示されるように、利用者端末１０１の結果表示部３０２において、画像の緯度・経度情報を利用して地図上（マップ上）に各画像を配置することで画像検索結果を提示するようにしてもよい。位置情報を利用したバイアスベクトルを用い、また、各代表画像の属する各グループの画像の数量差によってランキング値に偏りが出ないように重みづけをした上でランキング値を算出しているため、各地の代表画像を偏りなく表示、つまり多様性を担保した画像検索結果の表示が可能になり、また、地図上で表示することで利用者に分かりやすい画像検索結果になることを示している。

図１９では、“Ｒ１〜Ｒ３、Ｒ１５”、“Ｒ６、Ｒ７、Ｒ１１”、“Ｒ４、Ｒ５、Ｒ１４”、“Ｒ８、Ｒ１０、Ｒ１６”、“Ｒ９、Ｒ１２、Ｒ１３”がそれぞれ同じグループであるものとして表示、プロットしている。つまり、グループ分けした結果を認識可能に表示している。

尚、図１７中では、類似画像検索結果の表示枚数は１６枚としているが、その枚数は特に制限されるものではなく、利用形態に合わせた枚数を表示すれば良い。以上が図１７の、本発明における情報処理システムにおける検索結果の利用者端末１０１の結果表示部３０２における表示画面の一例についての説明である。

次に、図８を用いて、本発明の実施形態における、情報処理システムにおけるバイアスベクトルの生成手順の詳細処理について説明する。図８は、本発明の実施形態における、情報処理システムにおけるバイアスベクトルの生成手順の詳細処理を示すフローチャートである。

ステップＳ８０１では、バイアスベクトル生成部５０４は、検索処理部５０３から、検索対象データと検索クエリー文字列を受信する。

ステップＳ８０２では、バイアスベクトル生成部５０４は、ステップＳ８０１で受信したクエリー文字列に位置情報が含まれているか否かを判断する。含まれている場合、ステップＳ８０３へ進む。含まれていない、キーワードのみによるクエリー文字列であった場合、ステップＳ８０４へ進む。

ステップＳ８０３では、検索クエリー文字列のうち、位置情報を表す（パリやロンドンなど）クエリーは、画像間の距離を計算するために、地理情報と緯度・経度情報との対応を管理する位置情報データベース５１１を利用して緯度経度情報へ置き換えられる。

バイアスベクトル生成部５０４は、キーワードによる文字列と緯度・経度情報よりなる検索クエリーを用いて、位置情報に基づいたバイアスベクトルを生成する。この時、利用者の注目する位置情報が検索クエリーとして入力されているので、バイアスベクトル生成部５０４は、前記特許文献１に開示されている技術を用いて、バイアスベクトルを生成する。

ステップＳ８０４では、バイアスベクトル生成部５０４は、利用者が位置情報を入力しなくても、画像ランキングに重みをつけ、画像検索結果の多様性を確保するために、検索対象データの位置情報を用いて、バイアスベクトルを生成する。

バイアスベクトル生成部５０４は、ステップＳ８０１で受信した検索対象データから、位置情報に基づいて、代表画像群同士の距離が大きくなるような代表画像を１０枚選択し、代表画像１０枚との距離によって検索対象画像ごとのバイアスベクトル要素を算出して、バイアスベクトルを生成する。

この実施例では、選択する代表画像は１０枚としているが、これは特に固定的なものではなく、利用形態に合わせて設定すれば良い。ステップＳ８０４のバイアスベクトル自動生成の詳細処理は、図９の説明にて後述する。

ステップＳ８０５では、バイアスベクトル生成部５０４は、ステップＳ８０３またはステップＳ８０４で生成したバイアスベクトルを、検索処理部５０３へ送信する。以上が図８の、本発明の実施形態における、情報処理システムにおけるバイアスベクトルの生成手順の詳細処理についての説明である。

ここで図９を参照して、本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理について説明する。図９は、本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理を示すフローチャートである。図９は、図８のステップＳ８０３（バイアスベクトル自動生成処理）の詳細処理を示す。

ステップＳ９０１では、バイアスベクトル生成部５０４は、検索対象データから画像１枚を代表画像として選択する（代表画像特定手段に該当）。代表画像は、画像のグループ分けの基準となる画像である。

ステップＳ９０２では、バイアスベクトル生成部５０４は、ｉ、ｎに１（初期値）を代入し、Ｎに選択する代表画像の総数（この実施例では１０）を代入し、Ｒに画像を代表画像として選択するか否かを判断する際の距離（この実施例では１０００キロメートル）を初期値として代入する。

ステップＳ９０３では、バイアスベクトル生成部５０４は、ｉの値を１増加させた後、ステップＳ９０４へ進む。

ステップＳ９０４では、バイアスベクトル生成部５０４は、検索対象データのｉ番目の画像ｉについて、既に代表画像に選択しているか否かを判断する。画像ｉが既に代表画像として選択済みの場合、ステップＳ９０３へ進む。そうでない場合、ステップＳ９０５へ進む。

ステップＳ９０５では、バイアスベクトル生成部５０４は、画像ｉと、既に代表画像として選択済みの画像それぞれについて、画像間の距離が、すべてＲキロメートル（この実施例では、１０００キロメートル）以上離れているか否かを判断する。２画像間の距離は、画像の緯度・経度情報と、図１４で示される式を用いて算出する。

画像ｉと既に選択済みのすべての代表画像との距離がＲキロメートル以上離れている場合、ステップＳ９０６へ進む。そうでない場合、ステップＳ９１０へ進む。ステップＳ９０６では、バイアスベクトル生成部５０４は、画像ｉを新たに代表画像ｎとして選択する。
ステップＳ９０７では、バイアスベクトル生成部５０４は、ｎの値を１増加させた後、ステップＳ９０８へ進む。

ステップＳ９０８では、バイアスベクトル生成部５０４は、ｎが代表画像として選択する総数Ｎ（この実施例では１０）以上であれば、代表画像の選択は終了しているため、ステップＳ９１２へ進む。そうでない場合、ステップＳ９０９へ進む。

ステップＳ９０９では、バイアスベクトル生成部５０４は、検索対象データの１番目の画像から、再び代表画像に選択するか否かを判断するために、ｉに１を代入し、ステップＳ９０３へ進む。

ステップＳ９１０では、バイアスベクトル生成部５０４は、ｉが検索対象データ数以上であれば、ステップＳ９１１へ進む。そうでない場合、ステップＳ９０３へ進む。

ステップＳ９１１では、バイアスベクトル生成部５０４は、検索対象データ中に、既に選択済みのすべての代表画像との距離がＲキロメートル以上離れている画像が存在しないため、距離の制約を緩和するために、距離Ｒの値を半分に減ずる。この実施例では、Ｒの値を半分にしているが、これは特に固定的なものではなく、利用形態に合わせてＲの値を減ずる処理を行えば良い。

ステップＳ９１２では、バイアスベクトル生成部５０４は、検索対象データの各画像を、代表画像の中で最も距離が近い画像に割り当てていき、代表画像数個（この実施例では１０枚）にグループ分けを行う。

この時、ある代表画像に割り当てられた（ある代表画像に対応付けてグループ分けされた）画像枚数が少ない（例えば、１枚）場合は、利用者の入力した検索クエリー文字列に対して、典型的ではない特異な画像である可能性がある。該代表画像に基づいてバイアスベクトルを生成した場合、利用者にとって有益でない画像のランキングが高くなる可能性があるため、該代表画像を破棄し、ステップＳ９０３へ戻り、新たに代表画像の選択を行なっても良い。つまり、新たな代表画像を削除、追加してもよい。

ステップＳ９１３では、バイアスベクトル生成部５０４は、前記選択した代表画像と、代表画像ごとにグループ分けされた検索対象データと、図１０に示される式を用いて、バイアスベクトルを生成する（バイアスベクトル算出手段、バイアスベクトル決定手段、に該当）。該バイアスベクトルによって、検索クエリー文字列に関する画像ランキングを、可能な限り各地の様々な画像が上位となるよう重み付けを行うことが可能となり、結果の多様性を担保した上で、利用者によって有益な画像検索結果を得ることができる。

ここで図１０を参照して、本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例について説明する。図１０は、本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例を示す図である。

図１０に示されるように、画像ｉのバイアスベクトル要素は、画像ｉの属するグループの代表画像との距離が近いほど大きい値をとる。また、画像ｉが属するグループ中での代表画像との近さの順位（グループ内順位）を決定して（順位付けして／グループ内順位決定手段に該当）、当該順位で除算することで、画像数が多いグループの画像だけがランキング上位とならず、地理的に分散した画像群をランキング上位として得ることができる。

つまり、図１０の式中のｒｉ（グループ内での、代表画像との近さの順位／グループ内順位）を用いて、当該代表画像の位置との近さにより算出される値を割る（除算する）ことにより、ｒｉの値が大きいほど画像ｉのバイアスベクトルの値が小さくなるよう補正する。

こうすることで、ランキング上位の画像の多くが、画像数が多いグループに属する画像になってしまう事態を防止する。つまり、“特定のグループに属する画像数が多い＝特定のグループ内において、代表画像に近い位置に存在する画像が多い”、“特定のグループ内において、代表画像に近い位置に存在する画像が多い＝バイアスベクトルの値が大きい画像が前記特定のグループに集中する”という結果を生じさせる可能性を低減する。

上記の方法であれば、例えば、グループ１の画像１（グループ内の代表画像との距離が０．１πラジアン／順位＝１位）、グループ１の画像２（グループ内の代表画像との距離が０．２πラジアン／順位＝２位）と、グループ２の画像３（グループ内の代表画像との距離が０．３πラジアン／順位＝１位）と、があった場合、バイアスベクトルＰｉは、それぞれ、画像１＝（π―０．１π）／π ÷ １、画像２＝（π―０．２π）／π ÷ ２、画像３＝（π―０．３π）／π ÷ １、となる。つまり、バイアスベクトルの大きさの順は、画像１、画像３、画像２の順になり、画像の母数が２であるグループ１と、画像の母数が１であるグループ２との間において、“代表画像に近い位置に存在する画像が多い＝バイアスベクトルの値が大きい画像が前記特定のグループに集中する”という事態を回避することができる。

尚、各グループの代表画像については、必然的に代表画像との距離＝０／順位＝１位となる、つまり、バイアスベクトルの値が大きくなるが、後述するランキング値算出の処理において、類似度に関する重みを、バイアスベクトルにかける重みより大きくすることで、代表画像＝高ランキング値という結果を回避（その可能性を低減）することが可能である。

したがって、画像の類似度と、前記位置情報に基づくバイアスベクトルを利用し、検索結果の多様性を担保した上で、利用者にとって有益な画像検索結果を提示することが可能となる。式中の、画像ｉと、自身が属するグループの代表画像との距離は、図１４に示される式を用いて計算する。

このように、バイアスベクトル生成部５０４は、代表画像と、代表画像ごとにグループ分けされた検索対象データと、図１０の式を用いて、各画像のランキングに重み付けを行う要素を計算し、該要素を持つ数値ベクトルをバイアスベクトルとして生成する。以上が図１０の、本発明の実施形態における情報処理システムにおける位置情報に基づいたバイアスベクトルを生成するための式の一例についての説明である。

図９の説明に戻る。ステップＳ９１４では、バイアスベクトル生成部５０４は、ステップＳ９１３で生成したバイアスベクトルを、検索処理部５０３へ送信する（ステップＳ９１４）。以上が図９の、本発明の実施形態における情報処理システムにおけるバイアスベクトルを自動生成する詳細処理についての説明である。

次に、図１２を参照して、本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理（ステップＳ７０８の詳細処理）について説明する。図１２は、本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理を示すフローチャートである。

ステップＳ１２０１では、画像ランキング生成部５０７は、検索処理部５０３から、類似度行列と、バイアスベクトルと、を受信する。ステップＳ１２０２では、画像ランキング生成部５０７は、ｔに初期値１を代入する。

ステップＳ１２０３では、画像ランキング生成部５０７は、類似度行列と、バイアスベクトルと、図１３に示される画像ランキング計算式を用いて、画像ランキングＲ（ｔ）を計算する（全体順位決定手段に該当）。

ステップＳ１２０４では、画像ランキング生成部５０７は、ステップＳ１２０３で計算（例えば、図１３に示す計算式を使用して計算）した画像ランキングＲ（ｔ）が収束したか否かを判断する。収束しているか否かの判断は、Ｒ（ｔ）とＲ（ｔ−１）の残差ベクトルのＬ２ノルムが１０のマイナス１２乗より小さい値をとるか否か（収束条件を満たすか否か）で行われる。この実施例では、収束しているか否かの条件（収束条件）に１０のマイナス１２乗という値を用いているが、これは特に固定的なものではなく、利用形態に合わせて設定すれば良い。

当該ランキング生成処理における各計算に用いる計算式は、当該ランキングを計算するための式の一例である。以下、非特許文献１に示される技術に基づき、類似度行列の固有ベクトルがランキング値となることに基づいて、図１３に示すようなべき乗法を用いて固有ベクトルを算出する処理を説明する。図１３の計算式を用いた計算は反復的に行われ、ランキング値は更新されていき、前記収束条件により反復計算を打ち切る。収束していれば、画像ランキングの計算を終了し、ステップＳ１２０６へ進む。そうでなければ、ステップＳ１２０５へ進む。

ステップＳ１２０５では、画像ランキング生成部５０７は、ｔの値を１増加させた後、ステップＳ１２０３へ進む。

ここで図１３を参照して、本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例について説明する。図１３は、本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例を示す図である。

画像ランキングＲ（ｔ）は、検索対象データすべての画像ランキングは等しいとした画像ランキング初期値Ｒ（０）と、類似度行列と掛け合わせた後、バイアスベクトルを足し合わせることで、画像間の類似度および位置情報に基づいた重み付けを考慮して計算される。

尚、図１３でいう重み（α）は、固定値である物とする。例えば、α＝０．７とした場合、類似度行列（Ｓ*）と画像ランキングＲ（０）とを掛け合わせた値の重み＝０．７、バイアスベクトルの重み＝０．３として、ランキング値が算出される。本実施例において、当該重み（α）は、画像検索装置１０２の外部メモリ２１１等に記憶されているものとする。

尚、検索オプションを設定するために、検索実行前等のタイミングで、利用者端末１０１の表示画面に表示される不図示の重み調整画面等において、当該重みの値を変更する指示を受け付けることにより、当該重みの固定値を変更可能にしてもよい。例えば、重み＝０．７：０．３ を、重み＝０．６：０．４ というように変更可能にしてもよい。

当該重みの値を変更する指示とは、例えば、重みを変更するために値を入力する入力欄への入力受付処理、及び、入力内容を決定、反映するためのボタンの押下指示等である。また、スクロールバー等を表示画面に表示して、ユーザから受け付けるバーの移動処理に応じて、重みの比率を変更可能にしてもよい。

画像ランキングＲ（ｔ）の計算は反復的に行われ、ランキング値は更新されていき、前記収束条件により反復計算を打ち切る。αは、バイアスベクトルを画像ランキングにどの程度反映させるかを決定する重みであり、０から１の値を取る。Ｓ*は、各列成分の合計が１となるよう正規化した類似度行列である。類似度行列の正規化は、画像ランキングＲ（ｔ）のノルムを一定に保つために行う。

ランキング値と画像の対応は、図２０に示すようなデータテーブルとして、画像検索装置１０２の一時記憶領域に記憶されるものとする。図２０におけるＲａｎｋ２００１は、対応する画像のランキングを示す。Ｒａｎｋ値２００２はランキング値である。画像ＮＯ２００３は画像を識別するための識別情報である。以上が図１３の、本発明の実施形態における情報処理システムにおける画像ランキングを計算するための式の一例についての説明である。

図１２の説明に戻る。ステップＳ１２０４では、画像ランキング生成部５０７は、前記計算された画像ランキングを、検索処理部５０３へ送信する。以上が図１２の、本発明の実施形態における情報処理システムにおける画像ランキング生成の詳細処理についての説明である。以上、利用者が検索要求を発信してから検索結果が応答されるまでの処理を説明した。

尚、上述した実施形態においては、図７のステップＳ７０７で、ステップＳ７０３またはステップＳ７０５で取得した検索対象データを類似度行列生成部５０５へ入力し、類似度を算出して、類似度行列とバイアスベクトルを用いて、画像ランキングを生成し、当該ランキング順に画像を検索結果画面に所定数表示するようにしたが、例えば、ある代表画像に対応付けてグループ分けされた画像枚数が所定数に達していない場合は、当該代表画像を破棄（画像枚数が所定数に達しないグループを削除）するようにしてもよい。

これは、“グループの画像枚数が所定数に達しない＝利用者の入力した検索クエリー文字列に対して、典型的ではない特異な画像である可能性がある”という思想に基づき、グループに含まれない画像を検索結果として表示させないように制御すべく（グループに含まれている画像を検索結果として表示すべく）、余分な画像をランキング付けの対象から削除するための処理である。

この場合、図７のステップＳ７０７では、図９のステップＳ９１２でグループ分けされた、つまり、グループに属する画像として記憶された画像を類似度行列生成部５０５へ入力し、類似度を算出して、類似度行列とバイアスベクトルを用いて、ステップＳ７０７で類似度行列生成部５０５へ入力した画像（＝グループ分けされている画像）の画像ランキングを生成し、当該ランキングに基づいて検索結果の画面を生成し、利用者端末１０１の表示画面に表示させるべく、利用者端末１０１に検索結果の画面の情報を送信するようにする。

所定数以上の画像を含むグループの生成（画像のグループ分け／グルーピング）は、例えば、図２１に示すようにして行われる。以下、図２１を参照して、本発明の実施形態における、画像のグループ分けの様子の一例について説明する。図２１は、本発明の実施形態における、画像のグループ分けの様子の一例を示す図である。図２１では、画像データをエリアごとに分ける様子を示している。

グループ２１０１、グループ２１０２、グループ２１０３、グループ２１０４は、それぞれ画像Ａ、画像Ｂ、画像Ｃ、画像Ｄを代表画像として生成された（グループ分けされた）画像のグループを示す。つまり、位置情報を用いて、エリアごとに生成されたグループを示す。

例えば、画像検索装置１０２のＣＰＵ２０１は、利用者端末１０１より受信したクエリーに基づいた検索処理により画像Ａを取得して代表画像とし、画像Ａの位置から所定範囲内（所定距離内）にある画像群（例えばグループ２１０１の示す円の中の画像）を画像Ａに対応するグループ２１０１の画像として画像グループテーブル（図２４に図示）に記憶する。

ここで図２４を参照して、本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例について説明する。図２４は、本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例を示す図である。図２４に示す各テーブルは、画像検索装置１０２の外部メモリ等の記憶領域に生成・記憶するものとする。

画像グループテーブル２４００は、グループＩＤ２４０１、代表画像ＮＯ２４０２、画像ＮＯ２４０３、グループ内枚数２４０４等から構成される。

グループＩＤ２４０１は、グループの識別情報であって、代表画像ＮＯ２４０２が選出された場合に（図９のステップＳ９０１）画像検索装置１０２のＣＰＵ２０１により生成され、当該代表画像の画像ＮＯと対応付けて記憶される。つまり、グループＩＤは、Ｎに代入される数（ここではＮ＝１０なので１０）の分だけ生成される。

代表画像ＮＯ２４０２は、グループの生成基準となる代表画像の画像ＮＯであり、グループＩＤ２４０１の示すグループの代表画像である。画像ＮＯ２４０３は、代表画像ＮＯ２４０２の示す代表画像のグループに属する画像の画像ＮＯであり、ステップＳ９１２において、各代表画像のグループに割り当てられた（グループ分けされた）画像の画像ＮＯである。当該画像ＮＯ２４０３の値は、ステップＳ９１２で、各画像が各グループにグルーピングされた時点で挿入、記憶される。

グループ内枚数２４０４は、各グループの画像の総数（母数）であり、グループに画像が割り当てられるたびに１カウントアップされる。

グループ条件テーブル２４１０は、距離２４１１、閾値枚数２４１２等から構成される。距離２４１１は、代表画像から何ｋｍ以内にある画像を（どれだけの距離範囲内にある画像を）当該代表画像のグループの画像としてグループ分けするかの判断基準となる距離の情報である。

つまり、画像検索装置１０２のＣＰＵ２０１は、ステップＳ９１２で、代表画像ＮＯ２４０２の示す各代表画像の位置から距離２４１１の示す距離内にある画像を、各代表画像のグループにグループ分けする。
例えば、画像Ａの位置から半径５００ｋｍ以内の位置情報を有する画像で、クエリーに基づいて検索された画像を画像ＡのグループであるＧ２１０１にグループ分けして、画像ＮＯ２４０３に記憶する。

そして、画像Ａのグループに割り当てる画像がなくなった場合に、画像Ｂのグループにグループ分け処理に移行し、画像Ｂの位置から半径５００ｋｍ以内の位置情報を有する画像で、クエリーに基づいて検索された画像を画像ＢのグループであるＧ２１０２にグループ分けして、画像ＮＯ２４０３に記憶する。以降、処理対象のグループが０になるまで、当該グループ分けの処理を繰り返す。

閾値枚数２４１２は、グループＩＤ２４０１の示すグループを、検索結果として表示する画像のグループとして成立させるか（削除せずに記憶したままにしておくか）、検索結果には表示しない画像のグループと判断して当該グループを削除するかを決定する基準となる枚数である。

つまり、画像検索装置１０２のＣＰＵ２０１は、ステップＳ９１２での画像のグルーピング後、グループ分けされたグループの内、グループ内枚数２４０４が、閾値枚数２４１２に達していない（ここではグループ内枚数２４０４＝３９枚以下）と判定したグループを、画像グループテーブル２４００から削除し、閾値枚数２４１２に達している（ここではグループ内枚数２４０４＝４０枚以上）と判定したグループを、画像グループテーブル２４００に記憶したまま残す処理を行う（所定数判定手段に該当）。尚、本実施形態の説明においては、「グループ内枚数２４０４が閾値枚数２４１２以上＝閾値枚数２４１２に達する」であるものとしたが、例えば、「グループ内枚数２４０４が閾値枚数を超える＝閾値枚数２４１２に達する」としてもよい。

利用者端末１０１のＣＰＵ２０１は、（例えば、検索処理部５０３は）図７のステップＳ７０７で、画像グループテーブル２４００に記憶されているグループの画像を類似度行列生成部５０５へ入力する。類似度行列生成部５０５は、受け取った画像それぞれについて、全ての組み合わせを網羅するように画像ペア群を作成する。類似度行列生成部５０５は、前記作成した画像のペア群を特徴量類似度計算部５０６へ入力する。

特徴量類似度計算部５０６は、受け取った画像ペア群の各ペアについて、特徴量データベース５０９に保存されている特徴量データ同士を比較して、画像間の類似度を算出する。１つの特徴量に関する類似度は、画像間の類似度が高いほど、類似度の数値が高くなるよう、例えば数値ベクトル間のユークリッド距離で表現される場合はその逆数として、ヒストグラム間の類似度として表現される場合は、ヒストグラムインターセクションとして計算される。

画像間の類似度は、特徴量種類（この実施例では１から４）毎の類似度の足し合わせとして表現される。

特徴量類似度計算部５０６は、生成した各画像間の類似度群を類似度行列生成部５０５へ応答する。類似度行列生成部５０５は、図１１に示される、受け取った各画像間の類似度を要素に持つ類似度行列１１００を生成する。類似度行列生成部５０５は、生成した類似度行列１１００を検索処理部５０３へ応答する。

ステップＳ７０８では、検索処理部５０３は、ステップＳ７０７で生成した類似度行列１１００と、ステップＳ７０４またはステップＳ７０６で生成したバイアスベクトルと、を画像ランキング生成部５０７へ入力する。画像ランキング生成部５０７は受け取った類似度行列とバイアスベクトルを用いて、ステップＳ７０７で類似度行列生成部５０５へ入力した画像（＝グループ分けされている画像）の画像ランキングを生成する。画像ランキング生成部５０７は、生成した画像ランキングの情報を検索処理部５０３へ応答する。

ステップＳ７０９では、ステップＳ７０８で取得した画像ランキングを画像検索結果生成部５０８へ入力し、画像検索結果生成部５０８が、受け取った画像ランキング値に基づいて各画像のサムネイル群を含む、検索結果画面を生成し、利用者端末１０１に送信する。

こうすることで、利用者端末１０１の表示画面（検索結果を表示する画面）に表示される画像は、グループ分けされた画像から抽出されるため、削除されたグループの画像（グループ分けされなかった画像＝ヒット件数が少なく、周囲の位置にある画像が少ない画像）は、検索結果として表示される画像から除かれる。

つまり、図２１に示す、グループ２１０１、グループ２１０２、グループ２１０３、グループ２１０４に属する画像が検索結果表示画面に表示される画像の候補となり、代表画像から半径５００ｋｍ以内の位置情報を持つ画像が少ないためにグループとして記憶されなかった（一時的にグループとして記憶されたが、その後画像グループテーブル２４００から削除された）画像Ｅ、画像Ｆ、画像Ｇ等の画像は、検索結果表示画面に表示される画像の候補から除かれる。

これにより、近隣位置にクエリーにヒットする情報を持つ画像が所定数以上ある（＝入力された検索クエリーとの関連性が高い）、位置情報に基づいた複数種類の画像（例：エジプトのピラミッドの画像、エジプトとは異なる場所にあるガラス製のピラミッドの画像、美術館に飾られたピラミッドの絵画の画像、等）をユーザに提示することができるようになる。

以上が図２１の、本発明の実施形態における、画像のグループ分けの様子の一例について説明、及び、図２４の、本発明の実施形態における、画像グループテーブル、及びグループ条件テーブルの構成の一例についての説明である。

次に、図２２及び図２３を参照して、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例について説明する。図２２及び図２３は、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例を示す図である。

上述した、グルーピングされた画像のみを検索結果表示画面に表示する画像の候補とする場合、画像検索装置１０２のＣＰＵ２０１は、図７のステップＳ７０９で、例えば、図２２に示すような検索結果表示画面２２００を生成して、ステップＳ７１０で当該検索結果表示画面２２００を利用者端末１０１に送信する。検索結果表示画面２２００は、画像検索装置１０２の外部メモリに予め記憶されている、不図示の、画面生成の設定情報が、検索結果表示画面２２００を生成するよう設定されている場合に、画像検索装置１０２のＣＰＵ２０１により生成される。

検索結果表示画面２２００は、グループ枠Ｇ２１０１、グループ枠Ｇ２０１２、グループ枠Ｇ２０１３、グループ枠Ｇ２１０４、グループ画像総数表示部２２０１、画像表示切替ボタン２２０２等から構成される。

グループ枠Ｇ２１０１、グループ枠Ｇ２０１２、グループ枠Ｇ２０１３、グループ枠Ｇ２１０４は、それぞれ、画像の属するグループを示している。例えば、画像検索装置１０２の外部メモリに記憶されている検索結果表示画面の生成ルール（不図示）に従って、ランキング上位の、異なるグループに属する画像を所定数取得し（ここでは画像Ａ、画像Ｂ、画像Ｃ、画像Ｄの４枚）、それぞれの画像をそれぞれの画像の属するグループを示すグループ枠の中に配置して、それぞれのグループ枠の中において、それぞれのグループ中のランキング（グループ内順位）が高い順に画像をソートして所定数配置した（画面検索結果表示画面２２００）を生成する。つまり、各グループの中でより代表的な画像を表示する。

これにより、ランキングの高い画像と、当該ランキングの画像と同じグループに属する画像をユーザに確認させることが出来る。

グループ画像総数表示部２２０１は、各グループ枠の示すグループ内の画像の総数を表示する表示部である。画像表示切替ボタン２２０２は、各グループ枠内の画像の表示を、同グループ内の別の画像の表示に切り替えるためのボタンである。以上が図２２の、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例についての説明である。

また、例えば、図２１に示す画面を、検索結果の画面として生成するようにしてもよい。この場合、２１０１〜２１０４に示す円を、図２２でいうグループ枠とするものとする。

続いて、図２３に示す、検索結果表示画面２３００について説明する。検索結果表示画面２３００は、図７のステップＳ７０９で生成される検索結果（検索結果表示画面）の一例である。図７のステップＳ７０９で、図２２に示す検索結果表示画面２２００が生成されるか、図２３の検索結果表示画面２３００が生成されるかの設定情報（不図示）は、予め、画像検索装置１０２の外部メモリに記憶されているものとする。検索結果表示画面２３００は、画像検索装置１０２の外部メモリに予め記憶されている、不図示の、画面生成の設定情報が、検索結果表示画面２３００を生成するよう設定されている場合に、画像検索装置１０２のＣＰＵ２０１により生成される。

検索結果表示画面２３００は、識別枠２３０１、識別枠２３０２、識別枠２３０３、識別枠２３０４等から構成される。それぞれの識別枠は、それぞれの識別枠で囲われた画像がいずれのグループに属するかを示している。

尚、ここでは検索結果表示画面２３００に表示される各画像を、異なる種別の線の識別枠で囲うことで、各画像がそれぞれいずれのグループの画像かを識別表示するものとして記載したが、画像のグループの識別表示の方法はこれに限るものではない。例えば、枠の色をグループ毎に変更してもよい。

検索結果表示画面２３００では、各画像は、ランキングが高い順に画面左上から右下へ向けて配置されており、例えば画像Ａ＝ランキング１位、画像Ｄ＝ランキング３位、画像Ｂ＝ランキング４位、画像Ｃ＝ランキング５位となっている。つまり、グループ内順位の情報を用いて、より代表的な画像を表示する画面を生成する。

こうすることにより、いずれのグループの画像が高いランキング（全体順位）にあるかをユーザに確認させることが出来る。

以上が図２３の、本発明の実施形態における、検索結果の利用者端末の結果表示部における表示画面の一例についての説明である。

また、上述した実施形態における図９のステップＳ９０１では、検索対象データからランダムに画像１枚取得して代表画像として選択するものとしたが、例えば、ステップＳ９０１の前に、全ての検索対象データに対して、図７のステップＳ７０６、Ｓ７０７を実行し、最も他の画像と共通点の多い画像（他の画像との類似度が最も高い画像＝最も一般的な画像）を特定し、ステップＳ９０１で取得して、１つめの代表画像とするようにしてもよい。

こうすることで、生成するグループの数（＝Ｎ）が限られている場合であって、検索対象データ内でグループが大量に生成可能である場合であっても、検索クエリーから特定される、最も一般的な画像のグループに属する画像を、確実に、検索結果の候補に設定することが出来る。

上述した通り、本発明によれば、画像データに対応する位置情報を用いて、容易に異なるエリアの検索結果を提示することができる。

つまり、例えば、特許文献１に記載されている技術を用いた場合は、複数のエリアの画像を検索しようとすると、ユーザから明示的に当該複数のエリア（位置）の指定を受け付けなければならないが、本発明によれば、ユーザから明示的な位置の指定を受け付けることなく（例えば地名の文字列の入力を受け付けることなく）、複数のエリアの画像データを検索結果として抽出してユーザに提示することができ、検索が容易になる。これにより、画像データの検索の利便性が向上する。

また、上記実施例に記載した処理により、利用者の要求する検索クエリーが位置情報のみの場合は、該地点周辺の代表画像を提示することができ、また、検索クエリーに位置情報を含まない場合でも、位置情報に基づいて自動で生成したバイアスベクトル利用して画像ランキングを生成することで、結果の多様性を担保した上で、利用者にとって有益な画像を提示できる。

以上、一実施形態について示したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記憶した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク、ソリッドステートドライブ等を用いることができる。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０１ 利用者端末
１０２ 画像検索装置
１０３ ＬＡＮ
３０１ 検索クエリー部
３０２ 結果表示部
３０３ 再検索指示部
５０１ 画像登録部
５０２ 特徴量抽出部
５０３ 検索処理部
５０４ バイアスベクトル生成部
５０５ 類似度行列生成部
５０６ 特徴量類似度計算部
５０７ 画像ランキング生成部
５０８ 類似画像検索結果生成部
５０９ 特徴量データベース
５１０ 画像データベース
５１１ 位置情報データベース
６００ 画像ソース

Claims (13)

1. 複数のキーを任意に入力可能な１つの画面において検索用のクエリのキーの入力を受け付ける入力受付機能と、入力を受け付けたキーを用いた検索の結果得られた画像データを表示する表示機能とを備える表示装置と通信可能な情報処理装置であって、
   前記入力受付機能により前記１つの画面において入力を受け付けたキーを含む、画像データの検索に用いられるクエリを受信する受信手段と、
   地理を特定するための情報により、前記受信手段で受信したクエリに地理を示すキーが含まれているか判定するクエリ判定手段と、
   前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、前記検索用のクエリにより検索された結果得られた画像データに対応する位置情報を用いて、当該画像データを、複数のエリアにグループ分けするグループ分け手段と、
   前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、
   前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、画像データの前記グループ内順位決定手段で決定された前記グループ内の順位の情報を用いて、検索結果として表示する画像データを選出する第１の選出手段と、
   前記クエリ判定手段で、前記受信手段で受信したクエリに前記地理を示すキーが含まれていると判定された場合に、前記クエリによる検索結果として表示させる画像データを、当該キーの示す地理に対応する位置を基準として選出する第２の選出手段と、
   前記第１の選出手段で選出された画像データを検索結果として表示させるための情報、または前記第２の選出手段で選出された画像データを検索結果として表示させるための情報を送信する送信手段と、
   を備えることを特徴とする情報処理装置。
2. 前記地理を示すキーは、地名情報を示す文字列であることを特徴とする請求項１に記載の情報処理装置。
3. 検索結果を表示する画面であって、前記グループ分け手段でグループ分けされた複数のグループの前記画像データを合わせて表示する画面である検索結果画面における前記画像データの表示順であって前記複数のグループ共通の順位である全体順位を、前記全体順位を決定するための要素のデータであって前記画像データ同士の類似度の情報である要素データに、当該要素データに偏りを持たせるためのデータであって、前記グループ分け手段でグループ分けされたグループにおける画像データの位置と当該グループにおけるグループ分けの基準となった画像データである代表画像データの位置との距離により特定される情報を当該グループにおける当該画像データのグループ内順位を用いて除算したデータである偏りデータを適用することで決定する全体順位決定手段と、
   を備え、
   前記第１の選出手段は、前記全体順位決定手段で決定された前記全体順位の上位から順に、前記検索結果として表示する画像データを選出し、
   前記送信手段は、前記第１の選出手段で選出された前記全体順位の上位から所定数の画像データを画面に表示するための情報を送信することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記送信手段は、前記第１の選出手段又は前記第２の選出手段で選出した画像データを当該画像データに対応する位置情報を用いてマップ上に配置して表示するための情報を送信することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記送信手段は、前記第１の選出手段で選出した画像データを、前記グループ分け手段でグループ分けした結果を認識可能に表示するための情報を送信することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記第１の選出手段で選出した画像データを、それぞれのグループ毎に分けて表示するための検索結果表示画面を生成する第１の検索結果表示画面生成手段と、
   を備え、
   前記送信手段は、前記グループ分け手段でグループ分けした結果を認識可能に表示させるべく、前記第１の検索結果表示画面生成手段で生成した第１の前記検索結果表示画面を送信することを前記表示装置に送信することを特徴とする請求項５に記載の情報処理装置。
7. 前記第１の選出手段で選出した画像データを、当該画像データがいずれのグループに属するか識別する枠で囲って表示するための検索結果表示画面を生成する第２の検索結果表示画面生成手段と、
   を備え、
   前記送信手段は、前記グループ分け手段でグループ分けした結果を認識可能に表示させるべく、前記第２の検索結果表示画面生成手段で生成した第２の前記検索結果表示画面を送信することを前記表示装置に送信することを特徴とする請求項５又は６に記載の情報処理装置。
8. 前記グループ分け手段でグループ分けを実行するための基準となる代表画像データを特定する代表画像特定手段と、
   を備え、
   前記グループ分け手段は、各画像データの位置と、前記代表画像特定手段で特定した代表画像データとの位置とが所定距離内に収まる場合に、所定距離内に収まる画像データを、前記代表画像データのグループに属する画像データとしてグループ分けすることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記代表画像特定手段は、既に特定された代表画像データと所定の距離、離れた画像データを新たな代表画像データとして追加して特定することを特徴とする請求項８に記載の情報処理装置。
10. 前記位置情報に従って、所定距離内の画像データが所定数に達するか否かを判定する所定数判定手段と、
    を備え、
    前記グループ分け手段は、前記所定距離内の画像データが所定数に達しないと判定した場合に、当該所定距離内の画像データが所定数に達しない画像データをグループに振り分けないよう制御し、前記所定数判定手段で、前記所定距離内の画像データが所定数に達すると判定した場合に、当該所定距離内の画像データ同士を１つのグループに振り分けるよう制御することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 複数のキーを任意に入力可能な１つの画面において検索用のクエリのキーの入力を受け付ける入力受付機能と、入力を受け付けたキーを用いた検索の結果得られた画像データを表示する表示機能とを備える表示装置と通信可能な情報処理装置の制御方法であって、
    受信手段が、前記入力受付機能により前記１つの画面において入力を受け付けたキーを含む、画像データの検索に用いられるクエリを受信する受信工程と、
    クエリ判定手段が、地理を特定するための情報により、前記受信工程で受信したクエリに地理を示すキーが含まれているか判定するクエリ判定工程と、
    グループ分け手段が、前記受信工程で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、前記検索用のクエリにより検索された結果得られた画像データに対応する位置情報を用いて、当該画像データを、複数のエリアにグループ分けするグループ分け工程と、
    グループ内順位決定手段が、前記グループ分け工程でグループ分けされた画像データを順位付けするグループ内順位決定工程と、
    第１の選出手段が、前記受信工程で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、画像データの前記グループ内順位決定工程で決定された前記グループ内の順位の情報を用いて、検索結果として表示する画像データを選出する第１の選出工程と、
    第２の選出手段が、前記クエリ判定工程で、前記受信工程で受信したクエリに前記地理を示すキーが含まれていると判定された場合に、前記クエリによる検索結果として表示させる画像データを、当該キーの示す地理に対応する位置を基準として選出する第２の選出工程と、
    送信手段が、前記第１の選出工程で選出された画像データを検索結果として表示させるための情報、または前記第２の選出工程で選出された画像データを検索結果として表示させるための情報を送信する送信工程と、
    を含むことを特徴とする情報処理装置の制御方法。
12. 複数のキーを任意に入力可能な１つの画面において検索用のクエリのキーの入力を受け付ける入力受付機能と、入力を受け付けたキーを用いた検索の結果得られた画像データを表示する表示機能とを備える表示装置と通信可能な情報処理装置で実行が可能なプログラムであって、
    前記情報処理装置を、
    前記入力受付機能により前記１つの画面において入力を受け付けたキーを含む、画像データの検索に用いられるクエリを受信する受信手段と、
    地理を特定するための情報により、前記受信手段で受信したクエリに地理を示すキーが含まれているか判定するクエリ判定手段と、
    前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、前記検索用のクエリにより検索された結果得られた画像データに対応する位置情報を用いて、当該画像データを、複数のエリアにグループ分けするグループ分け手段と、
    前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、
    前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、画像データの前記グループ内順位決定手段で決定された前記グループ内の順位の情報を用いて、検索結果として表示する画像データを選出する第１の選出手段と、
    前記クエリ判定手段で、前記受信手段で受信したクエリに前記地理を示すキーが含まれていると判定された場合に、前記クエリによる検索結果として表示させる画像データを、当該キーの示す地理に対応する位置を基準として選出する第２の選出手段と、
    前記第１の選出手段で選出された画像データを検索結果として表示させるための情報、または前記第２の選出手段で選出された画像データを検索結果として表示させるための情報を送信する送信手段として機能させることを特徴とする情報処理装置のプログラム。
13. 画像データの表示装置と、複数の画像データを記憶する記憶機能を有する情報処理装置とを含む情報処理システムであって、
    前記表示装置は、
    複数のキーを任意に入力可能な１つの画面において検索用のクエリのキーの入力を受け付ける入力受付手段と、
    前記入力受付手段で入力を受け付けたキーを含むクエリを、前記情報処理装置に送信するクエリ送信手段と、
    前記情報処理装置より受信した、表示画面に画像データを検索結果として表示するためのデータに応じて、画像データを表示画面に表示する検索結果表示手段と、
    を備え、
    前記情報処理装置は、
    前記クエリ送信手段で送信された、前記入力受付手段により前記１つの画面において入力を受け付けたキーを含む、画像データの検索に用いられるクエリを受信する受信手段と、
    地理を特定するための情報により、前記受信手段で受信したクエリに地理を示すキーが含まれているか判定するクエリ判定手段と、
    前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、前記検索用のクエリにより検索された結果得られた画像データに対応する位置情報を用いて、当該画像データを、複数のエリアにグループ分けするグループ分け手段と、
    前記グループ分け手段でグループ分けされた画像データを順位付けするグループ内順位決定手段と、
    前記受信手段で受信したクエリに前記地理を示すキーが含まれていないと判定された場合に、画像データの前記グループ内順位決定手段で決定された前記グループ内の順位の情報を用いて、検索結果として表示する画像データを選出する第１の選出手段と、
    前記クエリ判定手段で、前記受信手段で受信したクエリに前記地理を示すキーが含まれていると判定された場合に、前記クエリによる検索結果として表示させる画像データを、当該キーの示す地理に対応する位置を基準として選出する第２の選出手段と、
    前記第１の選出手段で選出された画像データを検索結果として表示させるための情報、または前記第２の選出手段で選出された画像データを検索結果として表示させるための情報を送信する送信手段と、
    を備えることを特徴とする情報処理装置システム。

Images