JP5794036B2 - 画像検索装置、画像検索方法、およびプログラム - Google Patents

Description

本発明は画像検索装置、画像検索方法、およびプログラムに関する。

画像データを検索キーとして設定し、類似する画像データの検索を行う画像検索方法が知られている（たとえば、特許文献１）。特許文献１に示される画像検索方法によれば、検索キーとして設定された画像データ（以下、「クエリ画像」という。）および各検索対象画像の各特徴点から局所特徴量を抽出し、類似度が比較的厳しい第１の条件を満足する特徴点の第１対応点ペアと、第１対応点ペアに基づいて比較領域をさらに限定して、類似度が比較的緩やかな第２の条件を満足する特徴点の第２対応点ペアとを抽出し、この第２対応点ペアの個数に基づいて類似する画像データを抽出し、画像検索結果として出力している。この特許文献１による画像検索方法によれば、第１対応点ペアが得られない検索対象画像はクエリ画像とは非類似であるとして予め排除されるため、高精度の類似画像検索を実現することができる。

特開２０１０−２０４９０８号公報（要約、図１参照）

ところで、図１２に示すように、青色のりんごが写っている画像データＡをユーザが所持していたとする。ここで、ユーザが画像データＡと同じ構図の赤色のりんごが写っている画像データＢを探している場合がある。このような場合において、特許文献１に開示される画像検索方法で画像データＢを検索したい場合に、画像データＡをクエリ画像に設定して画像検索を行っても、色相が異なるため類似度が比較的厳しい第１の条件を満足する特徴点が画像データＢとの間で得られない可能性が高く、検索結果として出力されないか、あるいは検索結果の上位に出力させることはできない。そのため、大量の画像検索結果の中から画像データＢを目視で探し出すこととなり、ユーザにとっては所望の画像データを検索する手間がかかる。

また、図１３に示すように、名前を知らない人物ａが写っている画像データＣをユーザが所持していたとする。ここで、ユーザが、写真は持っていないが名前を知っているＢさんと、ある人物ａとが一緒に写っている画像データＤを探している場合がある。このような場合において、特許文献１に開示される画像検索方法で画像データＣをクエリ画像に設定して画像検索を行っても、特徴点に異なる部分が多いため、類似度が比較的厳しい第１の条件を満足する特徴点が画像データＤとの間で得られない可能性が高く、検索結果として出力されないか、あるいは検索結果の上位に出力させることはできない。そのため、大量の画像検索結果の中から画像データＤを目視で探し出すこととなり、ユーザにとっては所望の画像データを検索する手間がかかる。

すなわち、特許文献１に開示される画像検索方法は上述のようなユーザの所望する画像データを検索する場合には非常に使い勝手が悪いものとなってしまう。

本発明は、上述した課題の少なくとも１つを鑑みてなされたものであり、ユーザが所望する画像データを検索する際に利便性のよい画像検索装置、画像検索方法、およびプログラムを提供することを目的とする。

本発明の一側面としての画像検索装置は、検索条件として設定されたキーワードおよび画像データを取得する検索条件取得手段と、検索条件取得手段で取得した画像データに含まれる所定のオブジェクトを含み、かつ、キーワードで指定された条件を満たす画像データを検索する画像検索手段と、画像検索手段によって検索された画像データを出力する画像出力手段と、を備えるものである。

画像検索装置を上述の構成とすることで、単一の画像データによる類似画像検索では指定することができない検索条件をキーワードによって設定することができるため、図１２および図１３で示したようなユーザが所望する画像データを検索結果として出力させることができる。そのため、図１２および図１３で示したような場合であっても、ユーザは大量の画像検索結果から所望する画像データを目視で確認する手間が不要となり、利便性のよいものとなる。

また、キーワードは、所定のオブジェクトの色、形、および構図のいずれかを意味する言葉であり、画像検索手段は、所定のオブジェクトを含み、かつキーワードで指定された色、形、および構図のいずれかを満たす画像データを検索すること好ましい。

画像検索装置を上述の構成とすることで、検索条件として設定された画像データと類似する画像データであって、かつ、キーワードとして指定された、所定のオブジェクトの色、形、および構図のいずれかを満たす画像データが出力されるため、ユーザは、その出力された画像データの中から所望する画像データを探し出すだけで済み、所持している画像データを用いて、所定のオブジェクトの色、形、および画像の構図のいずれかが異なる画像データを検索したい場合には、特に利便性のよいものとなる。

また、検索手段は、キーワードが指定する画像の構図を意味する言葉に数値が含まれる場合に、所定のオブジェクトの個数をその数値分増加させた画像データを検索することが好ましい。

画像検索装置を上述の構成とすることで、キーワードとして指定された構図を満たし、かつ、検索条件として設定された画像データに含まれる所定のオブジェクトの個数が、検索条件として指定された構図が意味する数値分増加させた画像データを検索対象として画像検索が行われるため、ユーザは、検索結果として出力される画像データの中からユーザが所望する画像データを探し出すだけで済み、所持している画像データから、所定のオブジェクトの個数を指定された構図が意味する数値分増加させた画像データを検索したい場合には、特に利便性がよいものとなる。

また、キーワードは、名詞、または固有名詞に分類される言葉であり、画像検索手段は、所定のオブジェクトを含み、かつキーワードで指定された名詞または固有名詞と関連付けられ多画像データを検索することが好ましい。

画像検索装置を上述の構成とすることで、検索条件として設定された画像データと類似する画像データであって、かつ、キーワードとして指定された名詞、または固有名詞と関連付けられている画像データが出力されるため、ユーザは、その出力された画像データの中から所望する画像データを探し出すだけで済み、所持している画像データから、キーワードとして指定された名詞、または固有名詞と関連する画像データを検索したい場合には、特に利便性のよいものとなる。

また、本発明は、画像検索装置のみならず、画像検索装置を構成する各手段が実行する各工程を有する画像検索方法においても実現することができる。さらに、画像検索装置を構成する各手段に相当する機能をコンピューターに実行させるプログラムにおいても本発明を実現することができる。そのため、本発明の一側面である画像検索方法、プログラムについても、上述した画像検索装置と同様の効果を奏することができる。

本発明の実施の形態に係るサーバーとクライアント端末の概略構成を示す説明図である。 図１に示すサーバーの内部構成の機能を機能ブロック図にて模式的に示す説明図である。 図２に示す画像データベースに記憶されている情報の一例を示す図である。 図２に示す画像データベース内に生成されるクラスタの概念を説明する図である。 図１に示すサーバーが備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。 図５に示す画像検索モジュールの詳細機能を示す図である。 図１に示すクライアント端末の内部構成を機能ブロック図にて模式的に示す説明図である。 図１に示すクライアント端末が備えるメモリーに格納されている各種プログラム、モジュールを示す説明図である。 図１に示すクライアント端末およびサーバー間において実行される画像検索処理を示すフローチャートである。 図９に示す画像検索処理により出力される画像データの一例を示す図である。 本発明の第２実施形態における ユーザが所持する画像データと欲しい画像データとの関係を説明するための図である。 ユーザが所持する画像データと欲しい画像データとの関係を説明するための図である。

以下、本発明に係る画像検索装置、画像検索方法、およびプログラムについて、図面を参照しつつ、実施の形態に基づいて説明する。なお、本発明に係る画像検索方法については画像検索装置の動作を例として説明し、本発明に係るプログラムについては、画像検索装置にインストールされているプログラムを例として説明する。

図１は、本発明の実施の形態に係るサーバー１とクライアント端末２の概略構成を示す説明図である。サーバー１と、クライアント端末２とはネットワーク３を介して双方向通信可能に接続されている。ネットワーク３は、インターネット、イントラネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）などのいずれであってもよい。

サーバー１は、ネットワーク３を介して接続された不図示のコンピューター上に存在する数多くの画像データを格納し、クライアント端末２からの検索要求に応じて類似・一致する画像データの検索を実行すると共に、検索結果として抽出された画像データを送信する、画像検索装置の一例である。

（サーバー１の構成）
図２は、図１に示すサーバー１の内部構成の機能を機能ブロック図にて模式的に示す説明図である。

サーバー１は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）１１、メモリー１２、記憶装置１３、および入出力インターフェース１４を備えている。

ＣＰＵ１１は、メモリー１２に格納されているＯＳ（不図示）、各種プログラム、モジュールを実行する。

メモリー１２は、ＣＰＵ１１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ１１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。なお、メモリー１２としては、たとえば、プログラムなどを不揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。

記憶装置１３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブといった大容量記憶装置によって構成されている。記憶装置１３には、画像データベース１３Ａが構築されている。

図３は、図２に示す画像データベース１３Ａに記憶されている情報の一例を示す図である。図３に示すように、画像データ毎に所属する所属クラスタ、画像特徴量、キーワードが記憶されている。所属クラスタとは、画像データに関連付けられている画像特徴量またはキーワードに応じて分類されているクラスタのことである。なお、画像データが所属する所属クラスタは１つのみ示しているが、複数の所属クラスタと関連付けられていてもよい。また、図示しないが、各クラスタには各画像データの画像特徴量の代表値（たとえば、各画像データの特徴量、または各画像データに含まれる局所特徴量の平均値）が関連付けられており、画像検索の際に、各クラスタの代表値の単位で画像検索が行われ、その後に類似する代表値に属する各画像データとの比較が行われるようになっている。

図４は、図２に示す画像データベース１３Ａ内に生成されるクラスタの概念を説明する図である。図４に示す例では、正規化された画像特徴量、またはキーワードに基づいて、画像データの色相、形、構図といった様々な特徴によって画像データが分類される。たとえば、図４（Ａ）に示す色相に関するクラスタについては、色相青を示す正規化された特徴量が所定値以上（図４（Ａ）では青）であるか所定値未満（図４（Ａ）ではそれ以外）であるかに基づいて分類される。色相青において、それ以外の分類については、色相緑を示す正規化された特徴量が所定値以上（図４（Ａ）では緑）であるか所定値未満（図４（Ａ）ではそれ以外）であるかに基づいてさらに分類される。また、図４（Ｂ）に示す例では、形に関するクラスタについては、丸い形のパターンを示す正規化された特徴量に該当するか（図４（Ｂ）では丸い）、該当しないか（図４（Ｂ）ではそれ以外）に基づいて分類される。丸い形において、それ以外の分類については、四角（四角い）のパターンを示す正規化された特徴量に該当するか（図４（Ｂ）では四角い）であるか該当しないか（図４（Ｂ）ではそれ以外）に基づいてさらに分類される。また、図４（Ｃ）に示す例では、構図に関するクラスタについては、日の丸構図のパターンを示す正規化された特徴量に該当するか（図４（Ｃ）では日の丸）、該当しないか（図４（Ｃ）ではそれ以外）に基づいて分類される。日の丸構図において、それ以外の分類については、三角構図のパターンを示す正規化された特徴量に該当するか（図４（Ｃ）では三角構図）であるか該当しないか（図４（Ｃ）ではそれ以外）に基づいてさらに分類される。なお、図４に示す複数のクラスタはあくまでも一例であり、これらのクラスタの構成方法、および分類方法に限定されるものではない。

クラスタリングは、画像データベース１３Ａに対して画像インデックスを作成する最初のタイミングにて、あるいは、画像データベース１３Ａに所定量の新規な画像データが追加されたタイミングにてサーバー１によって実行される。なお、クラスタリングの手法としては、階層型クラスタリング手法の他、Ｋ−平均法、自己組織化マップ（ＳＯＭ）などの非階層型クラスタリング手法なども知られているが、それらのいずれを採用してもよい。

なお、記憶装置１３は、複数の画像データのみを格納するデータ格納部として機能してもよい。この場合には、記憶装置１３に格納されている各画像データの特徴量、各画像データの管理情報はメモリー１２に格納される。

さらに、本実施の形態では、記憶装置１３が画像データおよび管理情報を単に格納するデータベースを例として説明しているが、記憶装置１３に検索処理機能を備える制御部を備えさせて、外部からの検索処理要求に応じて検索結果の画像データを出力する独立型のデータベースシステムであってもよい。この場合には、サーバー１の外部にデータベースシステムが配置され、入出力インターフェース１４を介して両者の間で検索要求および検索結果の送受信が実行される。いずれの場合にも、データベース検索用のプログラムはメモリー１２に格納され、ＣＰＵ１１によって実行される。

入出力インターフェース１４は、外部装置、たとえば、クライアント端末２との間で、周知の通信プロトコルに従って検索要求の受信および検索結果の送信を実行する。なお、図示しないが、入出力インターフェース１４は、キーボードなどの操作部としての機能、ディスプレイなどの表示部としての機能を有するものであってもよい。

図５は、図１に示すサーバー１が備えるメモリー１２に格納されている各種プログラム、モジュールを示す説明図である。図５に示すように、メモリー１２には画像検索プログラムＳＰ１が格納されている。

画像検索プログラムＳＰ１は、記憶装置１３から画像データを検索するプログラムであり、検索条件取得モジュールＳＭ１１および画像検索モジュールＳＭ１２を備えている。

検索条件取得モジュールＳＭ１１は、クライアント端末２によりネットワーク３を介して送信されてきた、ユーザにより検索条件として設定されている検索画像データおよび検索キーワードを取得するモジュールである。

画像検索モジュールＳＭ１２は、検索条件取得モジュールＳＭ１１により取得した検索画像データおよび検索キーワードを用いて、ユーザが探している画像データと類似または一致する画像データを画像データベース１３Ａから検索するモジュールである。

図６は、図５に示す画像検索モジュールＳＭ１２の詳細機能を示す図である。図６に示すように、画像検索モジュールＳＭ１２は、サブモジュールとして検索対象設定モジュールＳＭ１３、検索特徴量算出モジュールＳＭ１４および類似画像検索モジュールＳＭ１５を更に備えている。

検索対象設定モジュールＳＭ１３は、検索条件取得モジュールＳＭ１１により取得した検索画像キーワードを用いて検索対象とする画像データ群を設定するモジュールである。具体的には、検索キーワードとして入力された、色、形、構図を表す言葉に応じて、画像データベース１３Ａに構築されるクラスタから合致する言葉を抽出して、その言葉により分類されているクラスタを特定する。なお、クラスタには一意に識別可能なＩＤが付与されているものとする。

検索特徴量算出モジュールＳＭ１４は、検索条件取得モジュールＳＭ１１により取得した検索画像データから所定のオブジェクトを抽出して、そのオブジェクトの特徴量を算出するモジュールである。なお、オブジェクトの識別方法としては特に限定しないが、ニューラルネットワーク、ＳＶＭ（Support Vector Machine）などの既存の認識技術を用いればよい。

類似画像検索モジュールＳＭ１５は、検索特徴量算出モジュールＳＭ１４により算出された特徴量と、検索対象設定モジュールＳＭ１３により特定されたクラスタに属する画像データの特徴量とを用いて類似する画像データを検索し、その検索結果を出力するモジュールである。

（クライアント端末２の構成）
図７は、図１に示すクライアント端末２の内部構成を機能ブロック図にて模式的に示す説明図である。

クライアント端末２は、互いに通信可能に接続されている中央処理装置（ＣＰＵ）２１、メモリー２２、記憶装置２３、および入出力インターフェース２４を備えている。

ＣＰＵ２１は、メモリー２１に格納されているＯＳ（不図示）、各種プログラム、モジュールを実行する。

メモリー２１は、ＣＰＵ２１によって実行されるプログラム、モジュールを不揮発的に記憶すると共に、ＣＰＵ２１による処理実行時にプログラム、モジュールが展開される揮発的な作業領域を有する。なお、メモリー２１としては、たとえば、プログラムなどを不揮発的に記憶するリードオンリメモリー、プログラム実行時における揮発的な作業領域を提供するランダムアクセスメモリーといった半導体記憶装置が用いられ得る。

記憶装置２３は、たとえば、ハードディスクドライブ、フラッシュメモリードライブといった大容量記憶装置によって構成されている。記憶装置１３には、ユーザが検索条件として設定可能な画像データＤが複数記憶されている。

入出力インターフェース２４は、外部装置、たとえば、サーバー１との間で、周知の通信プロトコルに従って検索要求の送信、検索結果の受信を実行する機能を有する。また、図示しないが、入出力インターフェース２４は、サーバー１に対してユーザが画像検索指示を入力するための操作部としての機能を有し、たとえば、ボタン、ホイールによって実現され得る。また、入出力インターフェース２４には、表示部としての機能を有し、ユーザに対して検索した画像データに基づく画像の表示、ユーザに対する各種情報の表示を行う。

図８は、図１に示すクライアント端末２が備えるメモリー２２に格納されている各種プログラム、モジュールを示す説明図である。

メモリー２１は、画像検索要求プログラムＣＰ１と、ＷｅｂブラウザプログラムＣＰ２とを備える。

画像検索要求プログラムＣＰ１は、サーバー１に対して画像検索処理を要求するプログラムであり、画像特定モジュールＣＭ１１、検索要求モジュールＣＭ１２、検索結果取得モジュールＣＭ１３を備えている。

検索条件特定モジュールＣＭ１１は、検索対象となる画像データＤおよびキーワードを特定するモジュールである。

検索要求モジュールＣＭ１２は、画像特定モジュールＣＭ１１により抽出された画像データＤとキーワードが設定された検索要求をサーバー１に対して送信するモジュールである。なお、ここでいうキーワードには、色、形、構図を表す言葉であり、たとえば、色であれば、赤い、白っぽいなどであり、形であれば、丸い、四角いなどであり、構図であれば、日の丸構図、三角構図などが挙げられる。

検索結果取得モジュールＣＭ１３は、サーバー１から検索結果としての画像データを取得するモジュールである。

ＷｅｂブラウザプログラムＣＰ２は、検索結果取得モジュールＣＭ１３が取得したデータを用いて表示部に検索結果を表示させるプログラムである。

（画像データの検索処理）
図９は、図１に示すクライアント端末２およびサーバー１間において実行される画像検索処理を示すフローチャートである。

クライアント端末２のＣＰＵ２１は、ユーザによって特定された画像（検索画像）およびキーワードが選択されると（ＳＴＡＲＴ）、その検索画像に対応する検索画像データおよび検索条件を特定する（ステップＳ１０）。検索画像データは、たとえば、記憶装置１３に格納されている画像データＤであり、ユーザによって不図示の操作部を介して選択される。また、検索条件は、たとえば、上述したような色、形、構図を表す言葉であり、たとえば、色であれば、赤い、白っぽいなどであり、形であれば、丸い、四角いなどであり、構図であれば、日の丸構図、三角構図などのキーワードが挙げられる。

ＣＰＵ２１は、検索処理要求（検索クエリー）として、検索画像データおよびその検索条件を示すキーワード情報をサーバー１に送信する（ステップＳ１１）。具体的には、入出力インターフェース２４、ネットワーク３を介してサーバー１に送信される。

サーバー１のＣＰＵ１１は、ステップＳ１１の検索画像データおよび検索キーワード情報を示す情報を含む画像検索処理要求をクライアント端末２から受信すると、画像検索プログラムＳＰ１を実行する。すなわち、ＣＰＵ１１は、画像検索プログラムＳＰ１の検索条件取得モジュールＳＭ１１を実行して、画像検索条件として設定された検索画像データおよびキーワード情報を取得する（ステップＳ１２）。具体的には、入出力インターフェース１４を介して検索画像データおよびキーワード情報がサーバー１内に取り込まれ、メモリー１２に格納される。

ＣＰＵ１１は、ステップＳ１２が完了すると、検索対象設定モジュールＳＭ１２を実行して、検索処理要求に含まれるキーワード情報から、画像データベース１３Ａに構築されたクラスタを検索し、その検索結果に応じたクラスタに属する画像データ郡を検索対象として設定する。（ステップＳ１３）。なお、ステップＳ１２とステップＳ１３の処理については前後が逆であっても構わない。

ＣＰＵ１１は、ステップＳ１３が完了すると、検索特徴量算出モジュールＳＭ１４を実行して、検索画像データからオブジェクトを抽出すると共にそのオブジェクトの特徴量を算出する（ステップＳ１４）。

ＣＰＵ１１は、ステップＳ１４が完了すると、類似画像検索モジュールＳＭ１５を実行する。類似画像検索モジュールＳＭ１５は、画像データベース１３Ａを参照し、ステップＳ１４で算出された特徴量と、ステップＳ１３で設定されたクラスタに属する画像データ郡から、ユーザが探している画像データと類似・一致する画像データを検索する（ステップＳ１５）。

具体的には、算出した各特徴量の値と、各画像データの各特徴量の値とを用いて類似する画像データが検索される。なお、ユーザが探している画像データと類似・一致するか否かは、たとえば、ユークリッド距離、マハラノビス距離といった距離算出方法によって算出された、算出した各特徴量の値と、各画像データに対応付けられている特徴量の値との間の距離、すなわち、各特徴量の値と各クラスタの代表値によって表される多元ベクトル間の距離を用いて判断され、得られた距離が短いほど類似・一致していると判断される。なお、これら類似度を算出するための各距離の算出手法および内積の演算式は、画像認識技術分野における当業者にとって周知であるから説明を省略する。

また、ユーザが探している画像データと類似・一致した複数の画像データの選択方法としては、閾値としての距離を予め決めておいて、その閾値に含まれる画像データを選択する、あるいは、選択画像データ数を予め設定しておき、類似である画像データの上位から順番に選択画像データ数までを選択するようにすればよい。

ＣＰＵ１１は、ステップＳ１５において検索された画像データを、検索要求の送信元であるクライアント端末２に対して送信する（ステップＳ１６）。

クライアント端末２のＣＰＵ２１は、ステップＳ１６の送信によって画像データを受信すると、検索結果取得モジュールＣＭ１３を実行して、メモリー２１に格納する（ステップＳ１７）。

ＣＰＵ２１は、ステップＳ１７を完了すると、ＷｅｂブラウザプログラムＣＰ２を実行して、メモリー２１に格納されている複数の画像データを表示部に表示させ（ステップＳ１８）、画像検索処理を終了する（ＥＮＤ）。

図１０は、図９に示す画像検索結果として出力される画像の一例を図である。図１０に示す例では、検索画像としては、りんごの画像を設定し、キーワードとしては構図に関する言葉を設定している。図１０（Ａ）に示す例では、キーワードとして「三角構図」を設定したことにより、検索画像としては、オブジェクトであるりんごを三角形に配置された構図となっている画像データが検索される。なお、図１０（Ａ）に示す例では、三角構図を指定した場合に、オブジェクトであるりんごの数が３倍されて３つ表示されている画像が検索されたが、必ずしもオブジェクトが３つ同じもので表現されているものでなくてもよく、たとえば、りんご、みかん、バナナの配置関係が三角形に配置されている画像データなども検索結果として出力されてもよい。

また、図１０（Ｂ）に示す例では、キーワードとして「対称構図」を設定したことにより、検索画像としては、オブジェクトであるりんごを上下対称、または左右対称に配置された構図となっている画像データが検索される。

また、図１０（Ｃ）に示す例では、キーワードとして「日の丸構図」を設定したことにより、検索画像としては、オブジェクトであるりんごが画像の中心に配置された構図となっている画像データが検索される。

なお、図示しないが、構図としては、上述以外の構図、たとえば対角構図、曲線構図、水平構図、垂直構図、放射構図、枠構図、斜線構図、点構図、パターン構図などを指定できるようにしてもよい。

（第１実施形態の効果）
以上のように、本実施の形態におけるサーバー１では、検索条件取得モジュールＳＭ１１が画像データおよび検索キーワードを取得し、検索対象設定モジュールＳＭ１３が検索キーワードにしたがった検索対象画像を抽出し、類似画像検索モジュールＳＭ１５が、検索対象設定モジュールＳＭ１３により抽出された検索対象画像に含まれる画像データの中から類似する画像データを検索して出力するようにしている。

特に、キーワードは、所定のオブジェクトの色、形、または構図のいずれかを意味する言葉であり、類似画像検索モジュールＳＭ１５が、キーワードで指定される色、形、または構図のいずれかを満たすクラスタに属する画像データ郡の中から類似する画像データを検索して出力するようにしているため、たとえば、図１２に示したように、ユーザが青いりんごの画像データを所持しており、赤いりんごの画像データを探している場合であっても、キーワードに赤いと入力して検索するだけで所望の画像データが検索結果として出力されるので利便性がよいものとなる。

（第１実施形態の変形例）
なお、検索対象設定モジュールＳＭ１２は、図１０（Ａ）のような画像検索処理を行ってもよい。すなわち、キーワードが指定する画像の構図を意味する言葉に数値が含まれる場合（図１０（Ａ）の示す「三角構図」が指定された場合）、所定のオブジェクトの個数をその数値分増加させた画像データ（つまり、オブジェクトが３つ写っている画像データ）を検索結果として出力するようにしてもよい。

このようにすることで、単一の画像データとの類似判定のみでは表示され得ないものについても、検索条件を指定することで、ユーザが所望する画像データを検索結果として出力させることができる。

〔第２実施形態〕
上述した第１実施形態では、キーワード情報として色、形、構図のいずれかを表す言葉が設定されていたが、第２実施形態では、キーワード情報として名詞または固有名詞に分類される言葉が設定されるものである。そのため、第２実施形態の画像データベースでは、クラスタリングの際に、被検索画像データに関連付けられているタグ情報についても分類されており、名詞、または固有名詞についても検索可能となるように構成されているものとする。なお、第１実施形態とはキーワード情報としての設定される言葉の種類が異なるのみであるため、サーバーの構成および図９に示した画像検索処理と同様であるため、図示は省略する。

図１１は、第２実施形態の画像検索結果として出力される画像の一例を図である。図１１に示す例では、検索画像として、ある人物が写っている画像データを設定し、キーワードとしてはＢさんの名称を設定している。その結果、検索画像として設定された、ある人物とＢさんが一緒に写っている画像データが検索される。

このように、第２実施形態では、キーワードは、名詞、または固有名詞を表す言葉であり、第２実施形態の類似画像検索モジュールが、キーワードで指定される名詞、または固有名詞を満たすクラスタに属する画像データ群の中から類似する画像データを検索して出力するようにしているため、たとえば、図１３に示したように、名前を知らない人物ａが写っている画像データＣをユーザが所持しており、ユーザが、写真は持っていないが名前を知っているＢさんと、画像データＣに写っている人物ａとが一緒に写っている画像データＤを探している場合であっても、画像データＣとキーワードとしてＢさんの名称を入力して検索するだけで所望の画像データが検索結果として出力されるため、利便性がよいものとなる。

〔その他の実施形態〕
なお、上述した各実施形態は例示に過ぎず、本発明は、以下に例示するもの、それ以外の他の実施態様も含むものである。たとえば、第１実施形態に、第２実施形態を組み合わせたものとしてもよい。すなわち、第１実施形態におけるキーワード情報として色、形、構図のいずれかを表す言葉が設定できる項目と、第２実施形態におけるキーワード情報として名詞、または固有名詞を表す言葉が設定できる項目の２つを設け、ユーザの探している画像データによって、それらの２つの項目のいずれかにキーワードを入力させるようにしてもよい。または、１つの項目でキーワードをユーザに入力させて、入力されたキーワードに応じて、サーバー側で色、形、構図のいずれかを表す言葉なのか、名詞、または固有名詞を表す言葉なのかを判別可能なデータベースを参照して、検索対象となるクラスタを決定し、画像検索を行うようにしてもよい。

また、上述した実施形態では、キーワードによる画像検索対象の絞込み（すなわちクラスタの特定）を行ってから、検索画像データの画像検索処理を行うようにしているが、検索画像データの画像検索処理を最初に行って、その後に、キーワードと一致するクラスタに属する画像データのみを抽出して、画像検索処理結果として出力するようにしてもよい。あるいは、検索画像データの画像検索処理結果と、キーワードと一致するクラスタに属する画像データの検索結果の両方を画像検索結果として出力するようにしてもよい。

ＣＰ１…画像検索要求プログラム
ＣＰ２…Ｗｅｂブラウザプログラム
ＣＭ１１…画像特定モジュール
ＣＭ１２…検索要求モジュール
ＣＭ１３…検索結果取得モジュール
ＳＰ１…画像検索プログラム（プログラムの一例）
ＳＭ１１…検索条件取得モジュール（検索条件取得手段の一例）
ＳＭ１２…画像検索モジュール
ＳＭ１３…検索対象設定モジュール（検索条件取得手段の一例）
ＳＭ１４…検索特徴量算出モジュール
ＳＭ１５…類似画像検索モジュール（画像検索手段、画像出力手段の一例）
１…サーバー（画像検索装置の一例）
２…クライアント端末
１１…ＣＰＵ
１２…メモリー
１３…記憶装置
１３…画像データベース
１４…入出力インターフェース
２１…ＣＰＵ
２２…メモリー
２３…記憶装置
２４…入出力インターフェース

Claims (3)

1. 検索条件として設定されたオブジェクトの色、形、および構図のいずれかを意味する言葉であるキーワードおよび検索条件として設定された画像データを取得する検索条件取得手段と、
   前記検索条件取得手段で取得した前記画像データに含まれる所定のオブジェクトを含み
   、かつ、前記キーワードで指定された前記所定のオブジェクトの色、形、および構図のいずれかを満たす画像データを検索する画像検索手段と、
   前記画像検索手段によって検索された前記画像データを出力する画像出力手段と、を備え、
   前記画像検索手段は、
   前記キーワードが指定する画像の構図を意味する言葉に数値が含まれる場合に、前記所
   定のオブジェクトの個数をその数値分増加させた画像データを検索する
   ことを特徴とする画像検索装置。
2. 画像検索装置が画像データを検索する画像検索方法であって、
   検索条件として設定されたオブジェクトの色、形、および構図のいずれかを意味する言葉であるキーワードおよび検索条件として設定された画像データを取得する検索条件取得ステップと、
   前記検索条件取得ステップで取得した前記画像データに含まれる所定のオブジェクトを含み、かつ、前記キーワードで指定された前記所定のオブジェクトの色、形、および構図のいずれかを満たす画像データを検索する画像検索ステップと、
   前記画像検索ステップによって検索された前記画像データを出力する画像出力ステップと、を有し、
   前記画像検索ステップでは、
   前記キーワードが指定する画像の構図を意味する言葉に数値が含まれる場合に、前記所
   定のオブジェクトの個数をその数値分増加させた画像データを検索する
   ことを特徴とする画像検索方法。
3. コンピューターを、
   検索条件として設定されたオブジェクトの色、形、および構図のいずれかを意味する言葉であるキーワードおよび検索条件として設定された画像データを取得する検索条件取得手段と、
   前記検索条件取得手段で取得した前記画像データに含まれる所定のオブジェクトを含み
   、かつ、前記キーワードで指定された前記所定のオブジェクトの色、形、および構図のいずれかを満たす画像データを検索する画像検索手段と、
   前記画像検索手段によって検索された前記画像データを出力する画像出力手段、として機能させ、
   前記画像検索手段は、
   前記キーワードが指定する画像の構図を意味する言葉に数値が含まれる場合に、前記所定のオブジェクトの個数をその数値分増加させた画像データを検索する
   ことを特徴とするプログラム。

Images