JP5237724B2 - 画像検索システム - Google Patents

Description

本発明は、画像検索システムに関し、詳しくは、類似の画像を幅広く検索し、広く楽しむことのできる画像検索システムに関する。

近年、デジタル画像の撮影、取り込みや、画像処理技術が向上してきており、デジタルカメラやビデオカメラの境界が喪失している。また、大量の画像を個人が扱うことが容易になってきている。さらに、デジタル化が進むにつれ、従来単なる撮影のための道具であったカメラは、カメラ同士や、パーソナルコンピュータや、テレビ等の多くの機器との間で画像データの受け渡しが簡単になり、再生装置として機能することも要求されている。

パーソナルコンピュータやインターネット上のサーバーでは、早くから画像等を検索し、これらの画像を再生し鑑賞することは一般的に行われてきた。このような状況下であっても、検索の主流は自然言語検索であり、画像等のデータに正しいキーワードが付与されている場合には、検索が可能であるが、正しいキーワードが付与されていない場合には、検索することが困難であった。特に、海外のサイトまで検索する場合には、言語の問題があり、相当困難であった。

そこで、例えば、特許文献１には、インターネット上で、情報の公開・共有するシステムにおいて、ユーザー間の使用言語・閲覧環境の違いを吸収し、幅広く情報の共有を行えるようにするようにした情報公開システムが開示されている。すなわち、この情報公開システムは、閲覧者から公開情報の閲覧要求が発生すると、閲覧者に適した翻訳データで閲覧ページを作成し、閲覧者に返送している。また、特許文献２には、ホームページ情報を効率的に収集するようにしたホームページ情報収集方法が開示されており、単に語句だけではなく、地理的情報等、属性でも検索するようにしている。
特開２００５−９２８３８号公報 特許３６２０９９６号公報

このように、言語が異なっても情報を収集できるようにするために、種々の提案がなされているが、言語そのものを対象としているものであった。すなわち、特許文献１に開示の情報開示システムでは、全言語の辞書データベースを持つのは困難である。また、特許文献２に開示のホームページ情報収集方法では、情報量の増大と正確さの向上に向けられており、言語数の増加に対応するものではない。したがって、言語そのもので画像を検索しようとする限り限界があり、外国のユーザーが撮影した写真画像を検索して楽しむには、充分ではなかった。

本発明は、このような事情を鑑みてなされたものであり、外国のユーザーが撮影した写真画像であっても容易に検索し、楽しむことのできる画像検索システムを提供することを目的とする。

第１の発明に係わる画像検索システムは、文字情報が付与された画像を画像群の中から検索する画像検索システムにおいて、上記文字情報の類似度を判定する文字情報類似度判定部と、上記文字情報の文字情報類似度が低く、かつ画像類似度の高い画像を、上記文字情報の類似度が高い画像よりも優先的に選択する選択部と、を具備する。

第２の発明に係わる画像検索システムは、画像に付与された文字情報の類似度に基づいて、画像群の中から画像を検索する画像検索システムにおいて、検索された画像に付与されている文字情報の類似度の一致度を判定する一致度判定部と、上記一致度判定部による上記一致度が高い画像を基に共通特徴を検出し、この共通特徴を用いて、上記文字情報の言語と異なる言語の文字情報が付与された画像で、かつ画像類似度の高い画像を選択する画像選択部と、を具備する。

請求項１に係る発明によれば、文字情報検索のみでは簡単には見つけられない稀少な画像を選択して楽しむことができる。また請求項２に係る発明によれば、世界中のサーバーに蓄積されている画像の中から、言語が相違していても、類似している画像を、精度よく、効率よく検索することができる。

以下、図面に従って本発明を適用した画像検索システムを用いて好ましい本発明に関連する技術及び実施形態について説明する。本発明に関連する技術は、本発明に関連する技術をカメラ１０に適用した例である。このカメラ１０は、通信部を介して、外部のサーバー等に記録されている画像の検索が可能である。画像検索にあたっては、まず、キーワード等によって画像を検索し、これによって検索された類似画像の共通の特徴情報を抽出し、抽出された特徴情報を用いてさらに類似画像の検索を行う。特徴情報を用いての類似画像の検索にあたっては、キーワード等を必要としないので、別言語が付与されている画像についても検索を行うことができる。

図１は、本発明に関連する技術に係わるカメラ１０の構成を示すブロック図である。カメラ１０は、制御部１、撮影部２、顔検出部２ｂ、記録部３、時間・位置判定部３ｃ、文字検索部４、画像検索部５、特徴量数値化部５ａ、通信部６、再生部７、液晶表示部８、操作部９、文字入力部９ａを有している。

制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、内蔵されたプログラムに従って全体制御を行う。操作部９は、レリーズ釦や、メニュー釦等の操作部材を含み、ユーザーが操作部９を操作すると、制御部１は操作に応じて各部に制御信号を出力する。

撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。なお、この撮影部２は静止画、動画（連写も含む）の画像データを出力可能である。

顔検出部２ｂは、撮影部２によって取得された画像データに基づき、その画像データ中に顔が含まれているか否かの検出を行い、また、顔が含まれている場合には、その位置を検出する。なお、顔の検出はパターンマッチング法等によって行う。ここで、検出された顔情報は、記録部３において画像データと共に記録される。

記録部３は、撮影部２から出力される静止画や動画の画像データを記録する。再生部７は、記録部３に記録された画像データを再生し、液晶表示部８は、再生部７によって再生された画像を表示する。液晶表示部８は、記録部３に記録された画像データの再生のほか、撮影時に観察用に被写体像を表示する、いわゆるライブビュー表示も行う。また、再生時には、画像検索結果も表示する。

時間・位置判定部３ｃは、日時を測るための時計部と位置を測定するためのＧＰＳ（Global Positioning System：全地球測位システム）等を有し、撮影時刻や撮影位置を判定する。前述の記録部３は、画像データを記録する際に、画像データに関連付けて撮影時刻や撮影位置を記録する。

文字入力部９ａは、液晶表示部８の表示面に配置されたタッチパネル等を有し、タッチパネル上に書かれた文字を読み取り、また、液晶表示部８に図２（ａ）に示すような電子キーボード２１を表示させ、この電子キーボード２１にタッチすることによって文字入力を行う。この文字入力部９ａによって、撮影写真にキーワードやタイトル等の付与を行う。文字入力部９ａによって文字等を入力すると、例えば、図２（ｂ）に示すように、入力表示部２５に画像のタイトルやコメントが入る。

記録部３内には文字情報記録部３ｂが設けてあり、この文字情報記録部３ｂは、文字の種類を記録する。すなわち、文字入力部９ａから、漢字、ひらがな、カタカナ、英数字等が選択され、文字が入力されるので、この選択された文字の種別が記録される。図２（ａ）に示す例では、電子キーボード２１に数字が０〜９が表示されているが、「切替」部２３をタッチすることにより、キーボード表示が数字やアルファベット等に切り替わる。また、「変換」部２４をタッチすることにより、漢字等に変換され、入力された文字等は、入力表示部２５に表示される。また、文字では分かり難い場合には、テーマを表すアイコン２６が表示される。また、このアイコン２６はカメラ１０が自動的にシーン分類した結果を表示するようにしても良い。図２（ｂ）の例では、ポートレートモードが選択された様子を示している。なお、ユーザーが撮影時に手動設定した撮影モードを反映するようにしても勿論かまわない。

特徴量数値化部５ａは、記録部３に記録された画像に含まれる色や輪郭などの特徴量を数値化する。ここで数値化された特徴情報は、画像データと一緒に記録される。通信部６は、外部に画像データ等を送信するための送受信部である。送受信の方式としては、無線通信、赤外通信、無線ＬＡＮ、ＵＳＢ端子等を利用した有線通信等である。この通信部６を介して、記録部３に記録されている画像データや、前述の撮影日時・撮影時刻情報や、画像の特徴を示す特徴情報等を、外部に送信する。

文字検索部４は、記録部３に記録されている画像に付与されている文字データ（キーワードとも称す）に基づいて画像検索を行う。前述したように、文字入力部９ａによって文字データが入力され、この文字データを画像データに関連付けて付与し、これを記録部３に記録する。文字検索部４は、この付与された文字データに基づいて画像を検索する。画像検索部５は、記録部３に記録されている画像に付与されている特徴情報に基づいて画像検索を行う。前述したように、特徴量数値化部５ａによって、画像の特徴が数値化され、画像データと共に記録されているので、この特徴情報を基づいて画像検索を行う。

検索エリア３ａは、文字検索部４および画像検索部５によって画像検索を行う際の検索エリアである。画像内の情報を画像ごとに検索していくと、非常に時間がかかるので、記録部３内に、検索エリア３ａを設け、ここに記憶されている一覧表形式のデータから検索を行うようにしている。

図３は、記録部３の内部のデータ構造を示し、記録部３内には、アドレス３１を割り振られた画像ファイル３２が記録されている。また、記録部３内には、検索エリア３ａと文字情報記録部３ｂの領域が設けられている。

検索エリア３ａには、記録部３内に記録されている画像データについて、画像アドレスとそこに記録されている画像の関連データ、例えば、タイトル、コメント、撮影時の日時や位置などの撮影情報、サムネイル画像、特徴量数値化部によって数値化された特徴情報等が表形式で記憶されている。この検索エリア３ａに表形式で記憶されている情報を用いて、画像との関連データを簡単に検索することができる。

上述の関連データは、検索などで利用できるので、タグデータと呼ぶ。タグとはモノに付する小さな札のことであり、画像等に付加情報を埋め込む特殊な文字列をタグと称している。

また、文字情報記録部３ｂには、文字情報が、例えば、電子キーボードに表示されたボタンの位置と、各文字の関係で記憶されている。制御部１は、何れのモードなら何れの文字を入力するかを、文字情報記録部３ｂに記録された情報に基づいて判定する。なお、文字に限らず、図２（ｂ）に示すようにアイコン２６を絵文字風に併用するようにしても良い。

本関連技術においては、後述するように、画像検索が可能であり、例えば、「ばら」というキーワード入力すると、図２（ｃ）に示すように、ばらに関連した画像が液晶表示部８に表示される。このとき、キーワード（文字データ）として「ばら」が付与されている画像２７ａ、２７ｂのみならず、キーワードとしては一致しない画像であっても、類似している画像２８を、特徴情報に基づいて検索し、参考画像として表示する。

このように、本関連技術においては、ユーザーが誤って撮影画像に合わないキーワードを付与してしまった場合や、また他のユーザーから受信した画像であって、キーワードが異なっていても、類似する画像なら検索される。このため、忘れてしまっていた記憶が蘇ったり、想定外の画像から更なる画像検索をおこなったり、他のユーザーに連絡をとったりと、様々な楽しみに発展させることができる。

次に、本関連技術におけるカメラ１０の動作について、図４に示すカメラ制御のフローチャートを用いて説明する。

カメラ制御のフローに入ると、まず、撮影モードか否かの判定を行う（Ｓ１０１）。このカメラ１０は、撮影モード、再生モード、受信モードの３つのモードが設定可能である。ステップＳ１０１の判定の結果、撮影モードであった場合には、撮影準備に移る。

撮影準備に移ると、まず、画像の取り込みを行う（Ｓ１０２）。このステップでは、撮影部２によって画像データを取り込み、この画像データに基づいて、液晶表示部８にライブビュー表示を行う。ライブビュー表示によって、ユーザーは、撮影範囲や構図を確かめることができる。また、顔検出部２ｂは、取り込まれた画像データを用い、顔の部分が存在するか否か、また存在する場合には画面中のどの位置にあるかについて検出する。ここで検出した顔に関する情報は撮影時に併せて記録する。

画像の取り込みを行うと、次に、レリーズ操作がなされたか否かの判定を行う（Ｓ１０３）。ユーザーはライブビュー表示を観察しながら、撮影者の意図する被写体像となった際に、操作部９内のレリーズ釦を操作する。したがって、このステップでは、レリーズ釦が操作されたか否かを判定する。ステップＳ１０３における判定の結果、レリーズでなかった場合には、ステップＳ１０１に戻り、前述の処理を行う。

一方、ステップＳ１０３における判定の結果、レリーズされた場合には、撮影を行う（Ｓ１０４）。ここで、レリーズ操作されたタイミングにおける撮影部２からの画像データを記録部３に記録する。続いて、画像の特徴を抽出する（Ｓ１０５）。このステップでは、特徴量数値化部５ａによって、画像の特徴を数値化し、この特徴情報を画像データに関連付けて記録部３に記録する。

続いて、コメントが入力され、またはアイコンが設定されているか否かの判定を行う（Ｓ１０６）。被写体を撮影し画像を記録する際に、画像に関するコメントを入力することができる。すなわち、レリーズされ撮影が終わると、図２（ａ）に示したような電子キーボード２１が、液晶表示部８に表示される。ユーザーはこの電子キーボード２１を用いて、コメントやキーワードを、あたかもワープロで書き込むように入力することができる。なお、アイコンは、シーン分類や撮影モード等に応じて自動的に設定されるが、手動で設定するようにしても良い。

また、電子キーボード２１上の切替部２３をタッチすることにより、アイコン画面に切り換えることができる。アイコンとしては、「人物」、「花」、「ペット」等、種々のテーマを用意しておけば、整理が簡単になる。特徴情報に基づいて、自動的にアイコンが選択されるようにしても良いが、選択されなかった場合には、手動入力とすれば良い。

ステップＳ１０６における判定の結果、コメントやアイコンの入力がなされていない場合には、ステップＳ１１８に進み、一方、入力がなされていた場合には、この操作状態に基づいてコメントやアイコンの入力を行う（Ｓ１０７）。続いて、サムネイル作成とコメント等の記録を行う（Ｓ１０８）。このステップでは、ステップＳ１０７において入力したコメント（キーワード含む）やアイコンを、画像データに関連付けて記録し、また、サムネイル表示のためのデータを作成し記録する。

サムネイル作成・記録を行うと、次に、送信モードか否かの判定を行う（Ｓ１１８）。送信は、通信部６を介して行い、このステップでは、カメラ１０が送信モードに手動設定され、送信ボタン等の操作部材が操作されたか否かを判定する。判定の結果、送信を行う場合であれば、送信を行う（Ｓ１１９）。このステップでは、通信部６を介して、記録部３に記録された画像データおよびこれに付随する関連情報を、外部のカメラや他の機器に送信する。ホットスポット等を介して、外部のサーバー等に送信しても勿論かまわない。

ステップＳ１１８における判定の結果、送信でなかった場合、または、ステップＳ１１９における送信を実行すると、このフローを終了し、再び、ステップＳ１０１から実行する。

ステップＳ１０１における判定の結果、撮影モードでなかった場合には、再生モードが否かの判定を行う（Ｓ１１１）。この判定の結果、再生モードであった場合には、画像再生を行う（Ｓ１１２）。このステップでは、選択されている画像を表示するが、この通常の再生表示以外にも、選択画像と類似の画像を、キーワードや特徴情報を用いて検索し、図２（ｃ）に示すように、液晶表示部８に表示する。この画像再生のサブルーチンについては、図５を用いて後述する。画像再生が終わると、このフローを終了し、ステップＳ１０１から再び実行する。

ステップＳ１１１における判定の結果、再生モードでなかった場合には、受信モードか否かの判定を行う（Ｓ１３１）。このカメラ１０は、通信部６を介して、他のカメラ等の機器より、画像データを取得することができる。このステップでは、他の機器より画像データを受けているか否かの判定を行う。

ステップＳ１３１における判定の結果、受信モードでなかった場合には、各種設定を行う（Ｓ１３４）。このステップでは、被写体をきれいに撮影するためのモード等、ユーザーが各種の撮影モード等を設定することができる。なお、撮影モード等を設定すると、選択されたモードに関連するアイコンをタグデータに記録できるようしても良いことは既に述べた通りである。設定を行うと、ステップＳ１０１に戻る。

ステップＳ１３１における判定の結果、受信モードであった場合には、画像の取得を行う（Ｓ１３２）。すなわち、通信部９にて受信した画像データを、記録部３に記録する。続いて、記録部３に記録した受信画像のデータについて、特徴抽出を行う（Ｓ１３３）。このステップでは、記録部３に記録した受信画像の画像データについて、特徴量数値化部５ａによって特徴情報を求める。

ステップＳ１３３における特徴抽出を行うと、ステップＳ１０６に進み、前述したように、コメント（キーワード含む）の入力やアイコンの選択を行い、画像データに関連付けて、記録部３に記録することができる。

このように、カメラ制御のフローでは、撮影画像や他のユーザーから入手した画像に対して、キーワード等を含むコメントを入力したり、アイコンの選択を行って、これらの情報を画像データに関連付けて記録することができる。また、画像の特徴情報を求め、この特徴情報も画像データに関連付けて記録することができる。

次に、ステップＳ１１２における画像再生のサブルーチンについて、図５に示すフローチャートを用いて説明する。

まず、撮影画像の表示を行う（Ｓ１５１）。このステップでは、他のユーザーから受信した画像も含め記録部３に記録されている画像をサムネイル形式で液晶表示部８に表示する。続いて、検索モードか否かの判定を行う（Ｓ１５２）。操作部９によるメニュー画面等かにおいて検索モード設定するので、このステップでは検索モードに設定されたか否かの判定を行う。

ステップＳ１５２における判定の結果、検索であった場合には、タグ検索表示を行う（Ｓ１７１）。このステップでは、図２（ａ）に示すように、タグに対応する言葉や数字、記号等を入力する入力画面を表示する。ユーザーはこの入力画面を用いて、検索したいキーワード、アイコン、特徴情報等を入力することができる。

タグ検索表示画面で検索用のキーワード等が入力されると、続いて、類似タグ有りか否かの判定を行う（Ｓ１７２）。このステップでは、文字検索部４によってキーワード等を用いて、類似タグが付された画像が有るか否か、また画像検索部５によって特徴情報を用いて類似画像が有るか否かを判定する。ステップＳ１７２における判定の結果、類似タグの付された画像が存在しなかった場合には、液晶表示部８に警告表示を行う（Ｓ１８１）。警告表示を行うと、元のフローに戻る。

ステップＳ１７２における判定の結果、類似タグが有った場合には、検索された画像を、図２（ｂ）に示すように表示する（Ｓ１７３）。続いて、検索された画像が複数あるか否かの判定を行う（Ｓ１７４）。この判定の結果、検索された画像が複数なかった場合には、ステップＳ１７６に進む。一方、類似画像があった場合には、元の画像も含めて複数の画像で共通する特徴の抽出を行う（Ｓ１７５）。

ステップＳ１７５において行う共通する特徴の抽出については、第１実施形態において、図１０ないし図１６を用いて詳細に説明するが、簡単に説明する。図１５（ａ）、図１６（ａ）のような画像が類似画像として検索された場合、図１５（ｂ）、図１６（ｂ）に示す特徴パターンがあり、画面上半分は両者、類似していることから、重ねた場合に一致度の高いパターン分布（図１４（ｂ）参照）を、共通特徴とする。このように、特徴パターンの一致度を判定することにより行う。

次に、液晶表示部８に検索の結果、所定数の画像を表示できか否かの判定を行う（Ｓ１７６）。この判定の結果、所定数の画像が表示されていた場合には、十分楽しむだけの画像が検索されたことから、ステップＳ１５３に進む。一方、所定数の画像が表示できない場合には、表示画像を増やすために、さらに画像を検索する。まず、検索された画像に、ステップＳ１７１において検索されたタグとは別のタグが付与されている否かの判定を行う（Ｓ１７７）。

ステップＳ１７７における判定の結果、別タグの付与された画像が存在しなかった場合には、前述のステップＳ１８１に進み、警告表示を行う。一方、別タグが有った場合には、別タグを用いて類似画像を検索する（Ｓ１７８）。このステップでは、ステップＳ１７５において、抽出された共通の特徴情報が存在する場合に、この特徴情報を用いて類似画像が存在するか否かを判定する。その他、ステップＳ１７４において検出された類似画像に共通するコメントやキーワード等のタグを用いて類似画像を検索しても良い。

このステップで検索されて類似画像は、液晶表示部８に表示される（Ｓ１７９）。表示を行うと、ステップＳ１７６に戻り、所定数に達するまで、ステップＳ１７７〜Ｓ１７９が繰り返される（但し、別タグが存在しなくなるとこれらのステップは終了する）。

ステップＳ１５２における判定の結果、検索でなかった場合には、通常の画像再生を行い、また、ステップＳ１７６において画像検索の結果、所定数の画像を検索し図２（ｃ）に示すように検索画像を表示すると、次に検索された画像の再生を行う。まず、液晶表示部８に表示されている複数の画像の内の何れかが選択されているか否かの判定を行う（Ｓ１５３）。

ステップＳ１５３における判定の結果、タッチパネルがタッチされ、何れかの画像が選択された場合には、その画像の拡大表示を行う（Ｓ１５４）。続いて、画像を再度タッチされる等の操作により、戻し操作がなされたかを判定する（Ｓ１５５）。戻し操作がなされた場合には、画像のサイズを元に戻す（Ｓ１５６）。元のサイズに戻し、サムネイル表示にしてから、ステップＳ１５３に戻る。

ステップＳ１５３における判定の結果、何れかの画像が選択されていなかった場合には、次に、ユーザーが別画像を見たいか否かの判定を行う（Ｓ１６１）。この場合には、ユーザーは、次候補のアイコンをタッチする。この判定の結果、別画像（次候補）が選択された場合には、次の候補をサムネイル表示で一覧表示する（Ｓ１６２）。すでに表示された画像の次の候補を表示し、ステップＳ１５１に戻り、前述の動作を実行する。

以上、説明したように、本関連技術においては、ユーザーが探したい画像を画像に付与されているタグを用いて、文字検索部４や画像検索部５において検索し（Ｓ１７１）、また、検索された複数の画像から共通する特徴を抽出している（Ｓ１７５）。ここで抽出された特徴情報を用いて再度、ユーザーが探したい画像の検索を行っている（Ｓ１７８）。このように、ユーザーが探したい画像をキーワード以外でも検索して表示可能としており、多数の画像が検索され表示され、表示画面は賑やかになる。カメラを利用するのが楽しくなり、また、思わぬ画像も表示され、思い手の喚起やコミュニケーションの促進に寄与することができる。

なお、本関連技術においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも構わない。

また、本関連技術においては、カメラ１０内に、撮影機能と再生・検索表示機能の両方を兼ね備えていた。しかし、このうち、再生・検索表示機能のみをパーソナルコンピュータ等の機器で実行するようにしてもよい。この場合には、カメラ１０の記録部３に記録された画像データや関連データを、パーソナルコンピュータ等の機器にインストールし、再生や検索を行えば良い。また、特徴情報の抽出もパーソナルコンピュータ等の機器で行うようにしても良い。

次に、本発明の第１実施形態について、図６ないし図１７を用いて説明する。本発明に関連する技術に係る画像検索システムは、カメラ１０に適用した例であった。第１実施形態に係る画像検索装置は、インターネットを介して複数のサーバーが連携するシステムによって構成される。文化や言語が異なると、同じキーワードでも簡単に画像検索を行うことができないが、本実施形態の画像検索システムを世界的な規模で構成すると、大きな効果を発揮する。

図６は、本実施形態の構成を示し、インターネットによって互いにアクセス可能な複数のサーバー９０、１００、１１０から構成されている。サーバー１００は、その内部に、制御部１０１、ネットアクセス部１０２、画像記録部１０３、および翻訳部１０４を有する。

制御部１０１は、サーバー１００内の各部に接続され、サーバー１００の全体の制御を行う。ネットアクセス部１０２は、インターネットを介して外部のサーバー９０、１１０等にアクセス可能である。画像記録部１０３は、ユーザー４１等のパーソナルコンピュータ等から送信されてきた画像を記録する。翻訳部１０４は、画像記録部１０３や外部のサーバーに記録されている画像の検索を行う際に、タグ等に付与されているキーワードを翻訳する。

サーバー１１０は、その内部に、制御部１１１、ネットアクセス部１１２、および画像記録部１１３を有する。制御部１１１は制御部１０１と同様、サーバー１１０内の制御を行い、ネットアクセス部１１２はネットアクセス部１０２と同様、インターネットを介して他のサーバー等にアクセスする。また、画像記録部１１３は、ユーザー４２のパーソナルコンピュータ等から送信されてきた画像を記録する。

サーバー９０は、本実施形態において中核的なサーバーであり、その内部に、制御部９１、ネットアクセス部９２、タグ検索部９３、特徴抽出部９４、類似画像検索部９５、地域／言語判定部９６、および表示画像決定部９７を有している。

制御部９１は、制御部１０１、１１１と同様、サーバー９０の全体を制御し、ネットアクセス部９２は、ネットアクセス部１０２、１１２と同様に、インターネットを通じて外部のサーバー等にアクセスし、また、外部のサーバー等からアクセスされた際に通信を行う。なお、画像記録部は図中、明示されていないが、サーバー９０内に設けてあり、外部からアクセスしてきた画像データの記録を行う。

タグ検索部９３は、サーバー９０内の画像記録部に記録された画像について、画像データに付与されているタグの検索を行う。なお、本発明に関連する技術と同様に検索エリアを設け、一覧表形式でタグデータを整理し、これを検索するようにしても良い。特徴抽出部９４は、画像記録部に記録されている画像について特徴を抽出する。類似画像検索部９５は、特徴抽出部９４によって抽出された特徴に基づいて、類似の画像を検索する。

表示画像決定部９７は、タグ検索部９３、特徴抽出部９４、および類似画像検索部９５等によって検索された画像等の表示画像を決定する。地域／言語判定部９６は、他のサーバー１００、１１０が、主に使用している言語や設置地域を判定する。本実施形態においては、地域／言語判定部９６によって言葉による検索ができないと判定された場合には、画像の特徴情報に基づいて類似画像検索部９５によって類似画像を検索することができる。

サーバー１００、１１０は、ローカルなサーバーであり、その設置国の言語によりサーバー内の画像の検索は可能であるが、外国語での検索は基本的には対応していない。サーバー９０は、外部サーバーにある画像について、各種言語で検索することが可能であり、また、特徴抽出部９４や類似画像検索部９５によって画像自体での検索が可能である。例えば、外国のユーザー４２が自国語で画像検索を行い、パーソナルコンピュータに検索画像４３を表示する際に、日本のユーザー４１がウェブ上に公開した画像４４も検索し、表示することができる。この画像４４は、勿論、外国のユーザー４２の使用言語ではキーワードが付与されておらず（場合によっては、何らキーワードが付与されていない）、このことが分かるようにするために、日の丸（国旗）を画像４４の脇に表示するようにしても良い。

図７は、サーバー９０で検索された画像表示の例である。世界地図がバックになっており、いずれのサーバーによって記録された画像であるかによって、世界地図上における画像の表示位置を決定している。世界各地域の画像を見ることができると楽しいことから、各地域ごとに少なくとも１枚ずつ画像が表示できるように表示枠を設けておき、そこに順次検索画像を表示する。

例えば、日本において薔薇の画像を見たいユーザーが、「薔薇」でキーワード検索を行う。近年、翻訳技術も発達していることから、「Ｒｏｓｅ」と英訳し、アメリカやオーストラリア等における画像を、キーワードの翻訳によって検索することができる。その他の地域では、言語が錯綜していたり、言語の数も多いことから、サーバーに記録されている画像を、画像の特徴を抽出して検索する。日米豪で検索され表示された画像と、類似の特徴を持つ画像を探すことにより、間違いがなく画面にマッチした画像を表示することが可能となる。

次に、本発明の第１実施形態における画像検出と表示を行うためのサーバー９０の動作を、図８および図９に示すフローチャートを用いて説明する。

図８に示す画像表示のフローに入ると、まず、一覧表示か否かの判定を行う（Ｓ２０１）。画像表示のフローにおいては、ユーザー自身が撮影した画像を、保管一覧表から探すか、キーワード等により検索するかのいずれかを選択できる。この判定の結果、一覧表示であった場合には、次に記録場所の指定を行う（Ｓ２０２）。このステップでは、ユーザーの画像を保管した場所のアドレス等を指定する。

続いて、画像の記録場所の指定がなされたか否かを判定する（Ｓ２０３）。この判定の結果、指定がなされていなければ、ステップＳ２０２に戻り、一方、指定がなされた場合には、指定の新しい順に画像を順次表示する（Ｓ２０４）。次いで、一覧表示が終了か否かの判定を行い（Ｓ２０５）、この判定の結果、終了でなければ、１枚画像表示を行う（Ｓ２３１）。続いて、画像が人物以外か否かの判定を行い（Ｓ２３２）、判定の結果、人物であれば、そのままステップＳ２０４に戻り、一方、判定の結果、人物以外であれば、参考画像の表示を行い（Ｓ２３３）、ステップＳ２０４に戻る。

すなわち、ステップＳ２０２において指定された場所に保管されている画像は、所定の数で画面内を満たすまでは、１枚ずつ表示され（Ｓ２３１）、人物以外の画像であれば、この画像に類似する参考画像を検索し表示する（Ｓ２３３）。参考画像は、花や風景など、類似殿高い画像であり、図６の画像４４に示すように、同一画面上にユーザーの撮影した画像４３と並置して表示する。

このステップＳ２３３の参考画像表示のサブルーチンについては、図９を用いて後述する。なお、人物の画像の場合には、表示された人物と似た人物を表示することは、表示された人物からみて面白いことではないので、人物の場合には、類似画像検索は行っていない。

ステップＳ２０５における判定の結果、表示画像の数が所定数に達すると、一覧表示を終了する。一覧表示を終了すると、次に、拡大を行うか否かの判定を行う（Ｓ２０６）。このステップでは、ユーザーによってパーソナルコンピュータで拡大操作がなされてか否かを判定する。この判定の結果、拡大操作がなければ、ステップＳ２０２に戻る。一方、判定の結果、拡大操作がなされていれば、選択された画像の拡大表示を行う（Ｓ２０７）。

続いて、画像表示を終了するか否かの判定を行う（Ｓ２０８）。このステップでは、ユーザーによって終了操作がなれたか否かの判定を行う。この判定の結果、終了であれば終了処理を行い、一方、終了でなかった場合には、別候補の表示を行うか、または拡大表示された画像を縮小するかの判定を行う。この判定の結果、縮小することが選択された場合には、画像の縮小を行い（Ｓ２１３）、一方、別候補の選択であれば、別候補の画像の表示を行う（Ｓ２１２）。これらのステップを処理すると、ステップＳ２０１に戻る。

ステップＳ２０１における判定の結果、一覧表示でなかった場合には、次に、検索入力を行う（Ｓ２２１）。このステップで、ユーザーはキーワード等を入力する。この検索入力に基づいて、次に、ステップＳ２３３と同様に、参考画像を検索し、表示する（Ｓ２２２）。ここでのサブルーチンは図９を用いて後述する。参考画像の表示を行うと、ステップＳ２０１に戻る。

次に、ステップＳ２２２およびＳ２３３における参考画像表示のサブルーチンについて、図９を用いて説明する。

まず、文字情報の読出しを行う（Ｓ２５１）。このステップでは、ステップＳ２２１において入力されたキーワード等の文字情報の読出しを行う。この検索にあたっては、図３に示したように、検索用の画像とキーワード等の関係を一覧にした表示を別に有し、この一覧表を用いて検索するようにしても勿論かまわない。次に、このキーワード等の文字情報に基づいて類似画像の選択を行う（Ｓ２５２）。このステップでは、文字データを用いて、画像に添付されているタグ情報を検索し、類似画像を選択する。

続いて、ステップＳ２５２において、類似画像が選択されたか否かを判定する（Ｓ２５３）。この判定の結果、１枚も画像を選択することができなかった場合には、警告表示を行い（Ｓ２５９）、元のフローに戻る。一方、１枚でも類似画像を選択することができた場合には、その類似画像を表示する（Ｓ２５４）。ここでは、入力キーワードと同様のキーワードやコメントを有する画像を表示する。なお、本実施形態においては、キーワード等でヒットした画像のみならず、これに類似する画像を表示することにより、画面を楽しくするために、画面上に予め定められた数の類似画像が表示されるまで、類似画像の表示を繰り返す。

ステップＳ２５４において画像を表示すると、次に、所定数再生を行ったかを判定する（Ｓ２５５）。これは、前述したように、所定数まで類似画像が表示されたかを判定するためである。この判定の結果、所定数の表示が終わっていなかった場合には、次に、複数の類似画像があるか否かの判定を行う（Ｓ２６１）。このステップは、ステップＳ２５４で複数の類似画像を表示することができたか否かの判定を行うものである。

このステップＳ２６１における判定の結果、複数の類似画像がなかった場合には、ステップＳ２６３に進み、一方、判定の結果、複数の類似画像があれば、次に共通特徴の抽出を行う（Ｓ２６２）。この共通特徴の抽出については、図９ないし図１７を用いて後述する。共通特徴の抽出を行うと、次に、別言語サーバーを選択できるか否かの判定を行う（Ｓ２６３）。

ここで、別言語サーバーを選択するのは、キーワード等の文字データで検索する場合には、同じ言語であるなら既に検索されている可能性があり、二度手間になってしまうおそれがあるのに対して、別言語サーバーを選択することによって、バラエティに富んだ画像を検索し表示することが可能だからである。

ステップＳ２６３における判定の結果、別言語サーバーが見つからなかった場合には、ステップＳ２５５に戻り、一方、別言語サーバーが見つかった場合には、特徴量類似画像検索を行う（Ｓ２６４）。このステップでの検索は、ステップＳ２６２において抽出した共通特徴量（特徴情報）を用いて行う。言語が相違していても、画像の特徴情報を用いるので、画像検索を行うことができる。

続いて、ステップＳ２６４における検索の結果、類似画像が検索されたかを判定する（Ｓ２６５）。この判定の結果、類似画像が検索された場合には、類似度の高い画像を表示する（Ｓ２６６）。画像表示を行うと、ステップＳ２５５に戻り、所定数の類似画像を表示するまでは、前述のステップを実行する。

ステップＳ２５５における判定の結果、所定数の類似画像を再生表示すると、ＮＧか否かの判定を行う（Ｓ２７１）。このステップでは、ユーザーは、類似画像を見て気に入らない場合には、ＮＧである旨の操作を行うので、ＮＧ操作がなされたか否かの判定を行う。この判定の結果、ＮＧでなければ、所定数の類似画像を表示したことから、元のフローに戻る。

ステップＳ２７１における判定の結果、ＮＧであった場合には、つぎに、ＮＧ画像判定を行う（Ｓ２７２）。ここでは、表示した複数の類似画像のうち、いずれの画像がＮＧであったかを判定する。続いて、検索を文字でやり直すか否かの判定を行う（Ｓ２７３）。このステップでは、ユーザーの操作状態から判定する。この判定の結果、文字で検索をやり直す場合には、類似カテゴリーの文字を入力する（Ｓ２７５）。新たに検索用のキーワードが入力されると、ステップＳ２５１に戻り、前述の処理を実行する。

ステップＳ２７３における判定の結果、文字入力がなかった場合には、特徴量の微修正を行う（Ｓ２７４）。この特徴量の微修正は、後述する図１４（ｂ）の例では、類似特徴をとる範囲を、図中の円の大きさを変更する等により変更することにより行う。特徴量を微修正すると、ステップＳ２６３に進み、特徴量を用いて、再度、別言語サーバーで類似画像の検索を行い、検索画像の再生表示を行う。

このように、本実施形態においては、検索時には、キーワード等の文字を入力することにより類似画像の検索を行い、検索された類似画像の特徴情報を抽出し、キーワード等とは別言語のサーバーにアクセスし、特徴情報を用いて画像検索を行うようにしている。このため、世界中のサーバーに蓄積されている画像の中から、類似している画像を、精度良く、効率よく検索し、表示することができる。

ユーザーは、検索時にはキーワードを入力するだけでよい。なわち、キーワードの方が思いつきやすく、また、入力しやすいことから、検索が簡単で便利である。

また、パーソナルコンピュータやインターネット等のネットも、画像検索等を得意としているが、言語や文化の壁があり、また翻訳の正確さや世界中で検索することは困難である。しかし、本実施形態によれば、言語が異なる場合には、画像の特徴情報から検索することができ、言語上の問題を解決することができ、よりバラエティに富んだ画像の表示が可能となる。

次に、図１０ないし図１７を用いて、本実施形態における類似画像の特徴情報の抽出と類似画像の検索について説明する。

今、図１０（ａ）に示すバラの画像について、類似画像を検索するために、特徴情報を抽出する。図１０（ｂ）（ｃ）は、バラの画像の一部分を拡大し、画素レベルでエッジ強調し二値化した様子を示す。図１０（ｄ）（ｅ）は、さらに、所定ピッチで残した黒い部分が、直交する直線に乗る場合、直交した部分（丸く囲んだ直交部分５１）を特徴点と考える。

図１１は、図１０（ａ）に示した画像の特徴点の分布を示す。この特徴点の分布図を、密度に従って画面を分割し分類すると、図１２のようになる。この例では、隣接する特徴点が近く、その付近の色が例えば赤い部分（△を付した部分）と、隣接する特徴点が遠く、その付近の色が赤い部分（○を付した部分）と、隣接する特徴点が離散的で、その付近の色が例えば、緑の部分（□を付した部分）と、３つの部分に分割することができる。

このような特徴点の画面内の分布や色の関係を、前述の図３に示したような特徴情報として、数値化して記録することにより、全ての画像を再生しなくても、数値を比較することにより、画像の一致度を迅速に調べることができる。類似する画像は、これらの各部分の形状や、前述の○部分と△部分の関係や、○部分と□部分の関係が類似している。

次に、図１３（ａ）に示す画像を、特徴点によって分析し画面を分割し分類すると図１３（ｂ）のようになる。両図を特徴点に基づいて分析した図１２と図１３（ｂ）を比較すると、○部が△部を丸く囲んでいる部分が類似していることから、図１０（ａ）の画像と図１３（ａ）の画像を同様の画像と判定することができる。同時に、この○部が△部を丸く囲む点が共通の特徴と考えることができる。また、図１３（ｂ）の×で表した部分は、図１２の□部とは異なることから、ここは共通の特徴とはみなされない。

図１４（ａ）は、図１２と図１３（ｂ）の共通の特徴部を重ねた図であり、図１４（ｂ）は両者の平均的なエリアを示す。この特徴的なパターンを図１４（ｃ）に示すように、画面内をシフトさせながら一致度を調べ、一致する画像は類似画像といえる。

図１５（ａ）に示すような人物画像の特徴点の分布や色から得られるパターンは、図１５（ｂ）に示すようになる。この図１５（ｂ）に示すパターンと、図１４（ｃ）に示すパターンとを比較しても一致する部分がない。しかし、図１６（ａ）に示すような花木の画像のパターン（図１６（ｂ）参照）は、図１４（ｃ）に示すパターンと一致度が高く、類似画像と判定することができる。

また、類似画像の検索にあたって、特徴情報を用いるほかに、キーワードの一致度も調べる。キーワードの一致度を見るにあたっては、各言葉の関連語について、図１７に示すように、一致度を数値化したデータベースをネットワーク上のサーバーに用意し、これを参照して一致度の高低を判定すればよい。

図１７に示す例では、「ばら」で検索する場合、「薔薇」は、一致度は「ばら」と同程度の１０であり、「Ｒｏｓｅ」の一致度は少し低く９であり、「花」だと一致度は低く５となる。また、このようなデータベースを用意しなくても、ネット上のサーバーが有する辞書を検索し、その辞書にある言葉であれば、一致度が高い言葉として利用するようにしても良い。例えば、「ばら」を検索する場合、辞書に「バラ科の低木、観賞用に栽培される。高さ１〜３ｍに達し、とげがあり、花は重弁」と解説があれば、「低木」「とげ」「花」といった単語を拾い出し、これらの単語をキーワードに持つ画像を表示するようにしても良い。

このように、本実施形態においては、画像から輪郭点のエッジを表す特徴点を抽出し、その分布形状とそこでの色情報を利用して、特徴情報を抽出し、この特徴情報を用いて類似画像を検索するようにしている。このため、迅速な類似画像の検索が可能である。

このように、本発明の第１実施形態においては、ネット上に配置されたサーバーにおいて、キーワード等の言葉によって類似画像を検索し、この検索された類似画像から特徴情報を抽出することによって、キーワード等の言葉を使用しなくても類似画像を検索するようにしている。このため、最初に入力したキーワード等に基づいて、画像に付与されている言語が異なっている画像からも、類似画像を簡単に検索することができる。

次に、本発明の第２実施形態を図１８および図１９を用いて説明する。本発明の第１および第１実施形態では、地域指定は特に行っていないが、第２実施形態においては、検索する地域を指定し、この地域内で類似画像を検索し、これを表示するようにしている。

例えば、ユーザーが撮影した画像と類似画像を選択し、この類似画像にさらに類似する画像を、興味のある地域で検索する場合を考える。この場合、その地域が英語、ポルトガル語、スペイン語など、種々の言語を使用する地域である場合、英語のように多くの国において理解される言語であれば、その言語をキーワードとして検索が可能である。しかし、英語以外のキーワードが付与された画像にユーザーが興味を持つものがあり、英語等のキーワードで検索された画像に興味を持たない場合がある。そこで、本実施形態においては、指定された地域内で、キーワード等の言葉以外にも画像の特徴情報に応じて検索している。

本実施形態も、図６に示すようなサーバー９０等によって構成される。このサーバー９０における類似画像の検索を、図１８に示すフローチャートを用いて説明する。

類似画像を検索しこれを表示するための表示画像決定のフローに入ると、まず、画像を指定し（Ｓ３０１）、地域を指定し（Ｓ３０２）、指定画像のタグを判定する（Ｓ３０３）。ここでは、図１９に示すように、選択された画像６１と、その選択画像を取得した地域６２において、その地域特有で、かつ選択画像６１に類似した写真を検索するために、選択画像に付与されているタグを判定している。指定画像に日本語でタグが付与されている場合には、サーバーの翻訳機能を利用して、キーワードを英語等に変換する。英語に翻訳しても、前述したように、他言語のキーワードが付与されている画像に興味深い場合があることから、画像検索を行い、キーワード検索で足りない部分を補うようにする。

続いて、ステップＳ３０１〜Ｓ３０３で得た情報に基づいて検索を開始する（Ｓ３０４）。検索を開始すると、類似画像を所定数検索したか否かの判定を行う（Ｓ３０５）。この判定の結果、所定数検索していなかった場合には、画像の特徴が一致したか否かの判定を行う（Ｓ３０６）。類似画像か否かの判定は、図１０ないし図１６において説明したようなパターンの一致度で判定する。

ステップＳ３０６における判定の結果、画像の特徴が一致していなかった場合には、ステップＳ３０５に戻る。一方、画像の特徴が一致したと判断されたときには、画像、タグ（キーワード等）、画像の一致度を記録する（Ｓ３０７）。これらを記録すると、ステップＳ３０５に戻る。

ステップＳ３０５〜Ｓ３０７を繰り返し実行するうちに、ステップＳ３０５における判定の結果、類似画像が所定数に達する。この場合には、次に、タグ（キーワード等）の一致度の低い画像を優先して表示する（Ｓ３１１）。すなわち、ステップＳ３０３においてタグ判定を行っており、このタグ（キーワード等）とは一致度の低い画像を優先して表示するようにしている。これによって、キーワードでは検索することができないけれども、かつ、類似度の高い画像を見つけることが可能となる。

キーワード検索で画像を探す例は多々あるが、むしろ、簡単には見つけられない画像の方が、稀少な画像で、表示して楽しい場合がある。本実施形態においては、言葉では難しいコミュニケーションの手段として、画像を有効活用でき、しかも、すぐ見て分かるコンテンツによって、様々なイマジネーションを膨らませることが可能となる。つまり、画面の楽しさが増すばかりか、外国に対する興味などがかきたてられるという効果を奏する。

以上説明したように、本発明に関連する技術及び本発明の各実施形態においては、まず、キーワード等を用いて画像を検索し、検索された類似画像から特徴情報を抽出し、この特徴情報を用いてさらに類似度を求めている。このため、異なった言語でキーワード等が付与されている画像であっても検索することが可能となり、外国のユーザーが撮影した写真画像であっても容易に検索し、楽しむことができる。

なお、本発明に関連する技術及び本発明の各実施形態においては、カメラ１０やサーバー９０に、画像検索機能を集中していたが、一部や全部をパーソナルコンピュータで実行するようにしても勿論かまわない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に関連する技術に係わるカメラの電気回路を示すブロック図である。 本発明に関連する技術に係わるカメラの液晶表示部での表示を示し、（ａ）は電子キーボードを表示した状態を示す図であり、（ｂ）は画像とコメントが入力された状態を示す図であり、（ｃ）は類似画像を表示した状態を示す図である。 本発明に関連する技術に係わるカメラの記録部の内部のデータ構造を示す図である。 本発明に関連する技術に係わるカメラのカメラ制御の動作を示すフローチャートである。 本発明に関連する技術に係わるカメラの画像再生の動作を示すフローチャートである。 本発明の第１実施形態に係わる画像検索システムの構成を示すブロック図である。 本発明の第１実施形態に係わる画像検索システムにおいて検索結果を示す図である。 本発明の第１実施形態に係わる画像検索システムの画像表示の動作を示すフローチャートである。 本発明の第１実施形態に係わる画像検索システムの参考画像表示の動作を示すフローチャートである。 本発明の第１実施形態に係わる画像検索システムにおいて、画像の特徴点の抽出の仕方を説明する図であり、（ａ）は抽出対象となる画像を示し、（ｂ）（ｃ）は一部を拡大した図であり、（ｄ）（ｅ）は特徴点を示す図である。 本発明の第１実施形態に係わる画像検索システムにおいて、抽出された特徴点を示す図である。 本発明の第１実施形態に係わる画像検索システムにおいて、抽出された特徴点に基づいて得られた特徴パターンを示す図である。 本発明の第１実施形態に係わる画像検索システムにおいて、他の画像と特徴パターンを示し、（ａ）は他の画像を示し、（ｂ）は他の画像の特徴パターンを示す。 本発明の第１実施形態に係わる画像検索システムにおいて、特徴パターンを示し、（ａ）は２つの画像の特徴パターンを重ねた図であり、（ｂ）は特徴パターをシフトさせ一致させた状態の図であり、（ｃ）は特徴パターンのシフト方向を示す図である。 本発明の第１実施形態に係わる画像検索システムにおいて、類似しない画像の例を示し、（ａ）は更に他の画像を示し、（ｂ）は更に他の画像の特徴パターンを示す。 本発明の第１実施形態に係わる画像検索システムにおいて、類似する画像の例を示し、（ａ）は更に他の画像を示し、（ｂ）は更に他の画像の特徴パターンを示す。 本発明の第１実施形態に係わる画像検索システムにおいて、キーワードの関連性を示す図である。 本発明の第２実施形態に係わる画像検索システムの表示画像決定の動作を示すフローチャートである。 本発明の第２実施形態に係わる画像検索システムにおける検索画面を示す図である。

符号の説明

１・・・制御部、２・・・撮影部、２ａ・・・顔検出部、３・・・記録部、３ａ・・・検索エリア、３ｂ・・・文字情報記録部、３ｃ・・・時間・位置判定部、４・・・文字検索部、５・・・画像検索部、６・・・通信部、７・・・再生部、８・・・液晶表示部、９・・・操作部、９ａ・・・文字入力部、１０・・・カメラ、２１・・・電子キーボード、２３・・・切替部、２４・・・変換部、２５・・・入力表示部、２６・・・アイコン、２７ａ・２７ｂ・・・画像、２８・・・参考画像、３１・・・アドレス、３２・・・画像ファイル、４１・・・ユーザー、４２・・・ユーザー、４３・・・画像、４４・・・画像、５１・・・直交部分、９０・・・サーバー、９１・・・制御部、９２・・・ネットアクセス部、９３・・・タグ検索部、９４・・・特徴抽出部、９５・・・類似画像検索部、９６・・・地域／言語判定部、９７・・・表示画像決定部、１００・・・サーバー、１０１・・・制御部、１０２・・・ネットアクセス部、１０３・・・画像記録部、１０４・・・翻訳部、１１０・・・サーバー、１１１・・・制御部、１１２・・・ネットアクセス部、１１３・・・画像記録部

Claims (2)

1. 文字情報が付与された画像を画像群の中から検索する画像検索システムにおいて、
   上記文字情報の類似度を判定する文字情報類似度判定部と、
   上記文字情報の文字情報類似度が低く、かつ画像類似度の高い画像を、上記文字情報の類似度が高い画像よりも優先的に選択する選択部と、
   を具備することを特徴とする画像検索システム。
2. 画像に付与された文字情報の類似度に基づいて、画像群の中から画像を検索する画像検索システムにおいて、
   検索された画像に付与されている文字情報の類似度の一致度を判定する一致度判定部と、
   上記一致度判定部による上記一致度が高い画像を基に共通特徴を検出し、この共通特徴を用いて、上記文字情報の言語と異なる言語の文字情報が付与された画像で、かつ画像類似度の高い画像を選択する画像選択部と、
   を具備することを特徴とする画像検索システム。