JP6121030B1 - 画像検索装置、画像検索方法、画像検索プログラム、索引データ生成装置、索引データ生成方法および索引データ生成プログラム - Google Patents

Abstract

【課題】検索精度を高めつつ、類似画像を高速に検索できる画像検索装置を提供することを目的とする。【解決手段】検索画像を入力する検索画像入力部１３２と、複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を計算し、検索画像と索引用画像の近似度を示す第二画像近似度を計算する近似度計算部１３３と、第一画像近似度に基づいて、検索対象画像に前記索引用画像を関連付けるための索引データを生成する索引データ生成部１３４と、第二画像近似度に基づいて、検索画像と類似する画像を複数の索引用画像から抽出し、抽出した索引用画像と索引データに基づいて、複数の検索対象画像から検索画像に類似する画像を検索する画像検索部１３５と、を有する。【選択図】図１

Description

本発明は、検索対象画像から検索画像に類似する画像を検索する画像検索装置、画像検索方法、画像検索プログラム、画像検索に用いられる索引データを生成する索引データ生成装置、索引データ生成方法および索引データ生成プログラムに関する。

インターネットを利用して、キーワードによるテキスト検索のみならず、画像を検索する事例が増加している。入力した検索画像と検索対象画像の形状等の特徴量に基づいて、画像間の近似度を計算し、類似する画像を検索する画像検索手法が知られている。

しかし、検索対象画像は大量であることが通常であり、また、画像間の近似度の計算には計算負荷がかかるため、それらの画像ごとに画像間の近似度を計算すると、類似画像を検索するためのコストと時間がかかってしまう。

そのため、人間が画像から受ける印象を反映した構図テンプレートを用いて検索対象の複数の画像を予め分類するようにし、検索対象の複数の画像から、入力画像に類似する画像を検索する際に、分類した画像により検索対象を絞り込むようにする画像検索装置が提案されている（特許文献１参照）。これにより、検索対象の全ての画像に対して処理を行う必要がなく、全ての画像のうちの一部の画像に対して処理を行えばよいため、計算コストを削減することができ、高速検索を実現することができる。

特開２０１２−４３１７３号公報

ところで、特許文献１では検索対象画像を分類し、分類された範囲内で類似の画像を検索することとなるため、例えば、部分的には類似度が高くても全体として類似度が低いと分類された画像については、類似する画像が検索される機会が失われる可能性があり、類似する画像の検索精度の点で問題があった。

本発明では、検索精度を高めつつ、類似画像を高速に検索できる画像検索装置、画像検索方法、画像検索プログラム、索引データ生成装置、索引データ生成方法および索引データ生成プログラムを提供することを目的とする。

第１の態様は、検索画像に類似する検索対象画像を検索する画像検索装置であって、前記検索画像を入力する検索画像入力部と、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の前記検索対象画像の近似度を示す第一画像近似度を計算し、前記検索画像と前記索引用画像の近似度を示す第二画像近似度を計算する近似度計算部と、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する索引データ生成部と、前記第二画像近似度に基づいて、前記検索画像と類似する画像を複数の前記索引用画像から抽出し、抽出した索引用画像と前記索引データに基づいて、複数の前記検索対象画像から前記検索画像に類似する画像を検索する画像検索部とを有する画像検索装置である。

また、第２の態様は、第１の態様において、前記近似度計算部は、画像検索部で検索された検索対象画像と前記検索画像の近似度を示す第三画像近似度をさらに計算する画像検索装置である。

また、第３の態様は、第２の態様において、前記画像検索部は、前記第三画像近似度に基づいて、複数の前記検索対象画像から前記検索画像に類似する画像を検索する画像検索装置である。

また、第４の態様は、第１から第３のいずれかの態様において、前記近似度計算部は、画像形状の特徴量に基づいて近似度を計算する画像検索装置である。

また、第５の態様は、第４の態様において、前記画像形状の特徴量は、画像のエッジの形状に基づくものである画像検索装置である。

また、第６の態様は、第４または第５の態様において、前記近似度計算部は、さらに画像色調の特徴量に基づいて近似度を計算する画像検索装置である。

また、第７の態様は、第１から第３のいずれかの態様において、前記近似度計算部は、画像色調の特徴量に基づいて近似度を計算する画像検索装置である。

また、第８の態様は、第１から第７のいずれかの態様において、前記近似度計算部は、画像の減色を行い、減色された画像に基づいて近似度を計算する画像検索装置である。

また、第９の態様は、第８の態様において、前記画像の減色は、予め用意された変換テーブルを用いて行う画像検索装置である。

また、第１０の態様は、第１から第９のいずれかの態様において、前記索引データは、前記検索画像が前記画像入力部に入力される前に生成されている画像検索装置である。

また、第１１の態様は、第１から第１０のいずれかの態様において、前記索引データは、前記形状索引用画像に基づくデータと前記色調索引用画像に基づくデータを含む画像検索装置である。

また、第１２の態様は、形状索引用画像と色調索引用画像を含む複数の索引用画像と複数の検索対象画像の近似度を示す第一画像近似度を、前記索引用画像および前記検索対象画像それぞれの表層的特徴である第一の特徴と、第一の特徴と異なる表層的特徴である第二の特徴に基づいて計算する近似度計算部と、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する索引データ生成部とを有する索引データ生成装置である。

また、第１３の態様は、第１２の態様において、前記第一の特徴は、画像形状の特徴量である索引データ生成装置である。

また、第１４の態様は、第１３の態様において、前記画像形状の特徴量は、画像のエッジの形状に基づくものである索引データ生成装置である。

また、第１５の態様は、第１２から第１４のいずれかの態様において、前記第二の特徴は、画像色調の特徴量である索引データ生成装置である。

また、第１６の態様は、第１２から第１５のいずれかの態様において、前記索引データは、前記形状索引用画像に基づくデータと前記色調索引用画像に基づくデータからなる索引データ生成装置である。

また、第１７の態様は、検索画像に類似する検索対象画像を検索する画像検索方法であって、近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の前記検索対象画像の近似度を示す第一画像近似度を計算する工程と、索引データ生成部が、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、前記近似度計算部が、入力された前記検索画像と前記索引用画像の近似度を示す第二画像近似度を計算する工程と、画像検索部が、前記第二画像近似度に基づいて、前記検索画像と類似する画像を複数の前記索引用画像をから抽出する工程と、抽出した索引用画像と前記索引データに基づいて複数の前記検索対象画像から前記検索画像と類似する画像を抽出する工程と、を有する画像検索方法である。

また、第１８の態様は、近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を、前記索引用画像および前記検索対象画像それぞれの表層的特徴である第一の特徴と、第一の特徴と異なる表層的特徴である第二の特徴に基づいて計算する工程と、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、を有する索引データ生成方法である。

また、第１９の態様は、検索画像に類似する検索対象画像を検索する画像検索プログラムであって、近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の前記検索対象画像の近似度を示す第一画像近似度を計算する工程と、索引データ生成部が、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、前記近似度計算部が、入力された前記検索画像と前記索引用画像の近似度を示す第二画像近似度を計算する工程と、画像検索部が、前記第二画像近似度に基づいて、前記検索画像と類似する画像を複数の前記索引用画像をから抽出する工程と、抽出した索引用画像と前記索引データに基づいて複数の前記検索対象画像から前記検索画像と類似する画像を抽出する工程と、を電子計算機に実行させるための画像検索プログラムである。

また、第２０の態様は、近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を、前記索引用画像および前記検索対象画像それぞれの表層的特徴である第一の特徴と、第一の特徴と異なる表層的特徴である第二の特徴に基づいて計算する工程と、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、を電子計算機に実行させるための索引データ生成プログラムである。

本発明によれば、複数の索引用画像により検索対象画像を絞り込むことで、検索精度を低下させることなく、検索精度を高めつつ、類似画像を高速に検索することができる。

実施形態に係る画像検索システムを示す概略ブロック図である。 実施形態に係る画像検索装置の索引用データ画像検索動作を示すフローチャートである。 実施形態に係る画像検索装置の画像検索動作を示すフローチャートである。 実施形態に係る減色用変換テーブルを示す図である。 実施形態に係る形状索引用画像を示す図である。 実施形態に係る色調索引用画像を示す図である。 実施形態に係る索引用データの一部を示す図である。 実施形態に係るクライアント端末での表示を示す図である。 実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

まず、図１を用いて本実施形態における画像検索システム１の構成及びその概要について説明する。なお、図１は、本実施形態の画像検索システム１のブロック図である。

本実施形態の画像検索システム１は、図１に示すように、画像検索装置１３１と複数のクライアント端末１１１ａ，１１１ｂ，１１１ｃ・・・（以下、クライアント端末１１１という）とが、例えば、インターネットなどのネットワーク１２１に接続可能に構成されている。

画像検索装置１３１は、ユーザがクライアント端末１１１を介して入力した画像に類似する画像を検索対象画像や索引データを用いて検索対象画像から検索し、クライアント端末１１１に対して検索結果を配信するサービスを提供することが可能な情報処理装置である。索引用画像は予め決められた数の形状や色調等の特徴を持った画像が準備されており、索引用画像ＤＢ１３６に記憶されている。検索対象画像は、検索対象画像ＤＢ１３７に記憶されている。索引データは、索引データＤＢ１３８に記憶されている。なお、索引用画像ＤＢ１３６、検索対象画像ＤＢ１３７、および索引データＤＢ１３８は、画像検索装置１３１と物理的に一体に構成されていてもよいし、画像検索装置の周辺装置として物理的に独立した記憶部として構成してもよい。さらに、ネットワーク１２１を介して独立した記憶部として構成してもよい。

クライアント端末１１１は、スマートフォン、携帯電話、ＰＨＳ、コンピュータ、ゲーム装置、ＰＤＡ、携帯型ゲーム機等、画像生成装置などの情報処理装置であり、インターネット（ＷＡＮ）、ＬＡＮなどのネットワークＮを介して画像検索装置１３１に接続可能な装置である。なお、クライアント端末１１１と画像検索装置１３１との通信回線は、有線でもよいし無線でもよい。

また、クライアント端末１１１は、インストールされた専用のアプリケーションソフトウェアによって画像検索装置１３１にアクセスしてもよい。また、画像検索装置１３１や別途サーバが提供する動作環境（ＡＰＩ（アプリケーションプログラミングインタフェース）、プラットフォーム等）を利用して画像検索装置１３１にアクセスしてもよい。

また、画像検索装置１３１は、１つの（装置、プロセッサ）で構成されていてもよいし、複数の（装置、プロセッサ）で構成されていてもよい。

画像検索装置１３１は、入力された検索画像に類似する画像を検索対象画像から検索を行う。

本実施形態の画像検索装置１３１は、検索画像入力部１３２と、近似度計算部１３３と、索引データ生成部１３４と、画像検索部１３５と、検索用画像ＤＢ１３６と、検索対象画像ＤＢ１３７と、索引データＤＢ１３８とを備えている。

検索画像入力部１３２は、ネットワーク１２１を介して、クライアント端末１１１から送信されてきた画像を入力する。

近似度計算部１３３は、複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を計算する。また、近似度計算部１３３は、検索画像と索引用画像の近似度を示す第二画像近似度を計算する。

具体的には、近似度計算部１３３は、それぞれの画像の表層的特徴を比較し、画像間の距離により近似度を算出する。表層的特徴は、画像形状の特徴量や、画像色調の特徴量を用いることができる。なお、表層的特徴は、画像の識別に係る特徴であれば、画像形状の特徴量や画像色調の特徴量に限られるものではない。また、画像形状の特徴量は、画像形状のエッジを抽出したものを使用することができる。イラスト等の比較的画像のコントラストの高い画像において、その画像形状の特徴量を抽出しやすいというメリットがある。

索引データ生成部１３４は、近似度計算部１３３において検索対象画像ＤＢ１３７に記憶されている検索対象画像と、索引用画像ＤＢ１３６に記憶されている索引用画像の近似度（第一画像近似度）が計算された結果に基づいて、検索対象画像に対して所定の閾値以上の近似度を持った索引用画像を関連づけられた索引データを生成し、生成した索引データを索引データＤＢ１３８に記憶する。索引データ生成部１３４は、所定の閾値以上の近似度を持った検索用画像を関連付けるために、検索対象画像に対して複数の索引用画像を関連付け、近似度の高い順に並べる。索引データ生成部１３４は、近似度が所定の閾値以上であっても、関連付けられる索引用画像の数が所定の数（例えば、１６個）を超える場合は近似度の低い索引用画像は索引データとして生成しない。なお、近似度が所定の閾値を下回る画像が多ければ、関連付けられる索引用画像の数は所定の数（例えば、１６個）に満たない場合もある。

索引データ生成部１３４は、検索対象画像がネットワーク１２１を介して検索対象画像ＤＢ１３７に記憶されるときや、検索対象画像が既に検索対象画像ＤＢ１３７に記憶されているが、対応する索引データがまだ生成されていない検索対象画像を発見したときなどに、索引データを生成し、生成した索引データを索引データＤＢ１３８に記憶する。

索引用画像は、画像の形状的な特徴量を表した形状索引用画像と、画像の色調的な特徴量を表した色調索引用画像から構成されている。１つの検索対象画像に対して、形状索引用画像と色調索引用画像それぞれの索引用画像が関連付けられ、索引データが生成されることになる。２つの異なる表層的特徴から索引データが生成されることにより、後述する画像検索の精度を高めることができるという効果がある。なお、索引用画像は、形状索引用画像または色調索引用画像の一方のみを用いても構わない。さらに、形状索引用画像や色調索引用画像以外の画像の表層的特徴を示した画像を用いても構わないし、それらを任意に組み合わせても構わない。

画像検索部１３５は、検索画像入力部１３２が受け入れた画像に類似する画像を、検索対象画像ＤＢ１３７に記憶された検索対象画像から検索を行う。

画像検索部１３５は、近似度計算部１３３において検索画像入力部１３２に入力された検索画像と、索引用画像ＤＢ１３６に記憶されている索引用画像の近似度が計算された結果に基づいて、近似度の高い索引用画像を抽出する。その後、画像検索部１３５は、抽出された索引用画像に対して、索引データＤＢ１３８に記憶されている索引データから、抽出された索引用画像に関連付けられている検索対象画像を検索する。

近似度計算部１３３は、索引用画像に関連付けられている検索対象画像が複数ある場合には、それらの検索対象画像と検索画像の近似度の計算を行う。

画像検索部１３５は、計算された近似度の結果に基づいて、検索画像に類似する検索対象画像を検索する。検索される画像は、複数あっても構わない。また、画像検索部１３５は、近似度の結果に基づいて、類似している順に検索対象画像を順序付けることができる。

画像検索部１３５によって検索された画像は、ネットワーク１２１を介してクライアント端末１１１に送信され、クライアント端末１１１において検索画像に類似する画像として表示される。

このようにして、画像検索装置１３１は、検索画像に類似する画像を検索対象画像から検索する際に、検索画像と、全ての検索対象画像の近似度の計算を行う必要がないため、近似度の計算に要する時間を削減し、迅速に検索画像に類似する画像の検索を行うことができる。また、画像検索装置１３１は、検索対象画像を複数の索引用画像と関連付けるため、部分的に類似する画像を、検索対象画像の候補として含めることができ、検索画像に類似する画像の検索精度を高めることができる。

次に、画像検索装置１３１における索引データを生成する動作について、図２に示すフローチャートを参照しながら説明する。

ステップＳ２０１において、近似度計算部１３３は、検索対象画像ＤＢ１３７から検索対象画像を読み出す。

ステップＳ２１１において、近似度計算部１３３は、ステップＳ２０１の工程により読み出された検索対象画像に対して減色処理を行う。減色処理は、減色用変換テーブルに基づいて検索対象画像の減色を行う。例えば、減色用変換テーブルは、図４に示すように、ＨＳＶ値（Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｖａｌｕｅ（明度））と対応する１６色の色を規定するテーブルである。近似度計算部１３３は、このテーブルを用いて減色を行うことで、単純にＨＳＶ値が近いものに減色をするのではなく人間の主観に基づいて１６色への減色をすることで、人間が類似していると認識することができる色調の分類に基づいて検索を行い、検索精度を高めることができる。なお、減色処理は必ずしも近似度計算等に必要なものではなく、省略することも可能である。

ステップＳ２２１において、近似度計算部１３３は、ステップＳ２１１で減色された画像に対して、形状解析および色調解析を行う。

形状解析は、まず、ステップＳ２１１で減色処理をした検索対象画像をｎ×ｎ個のエリアに分割する。エリア内の任意の領域について、「エッジ無し」と「水平エッジ」と「垂直エッジ」と「４５度のエッジ」と「１３５度のエッジ」の５種類に振り分けを行う。なお、エッジの判定手法には、ＭＰＥＧ−７のエッジヒストグラムを参照して行うことができる。エリア内のエッジについて、最も特徴が強い、すなわち５種類の中で最も数の多い種類のエッジをそのエリアのエッジとする。なお、「水平エッジ」と「垂直エッジ」の数が同数の場合、「直線的なエッジ」とする。「４５度のエッジ」と「１３５度のエッジ」の数が同数の場合、「斜線的なエッジ」とする。「水平エッジ」と「垂直エッジ」と「４５度のエッジ」と「１３５度のエッジ」の数が同数の場合、「複雑なエッジ」とする。

次に色調解析は、ステップＳ２１１で減色処理をした検索対象画像の、左上、右上、左下、右下のピクセルの色が同色の場合、その色を背景色とする。近似度計算部１３３は、減色処理をした画像をｎ×ｎ個のエリアに分割する。近似度計算部１３３は、エリア内のピクセルの色について、一番特徴が強い（一番多い種類の）色をそのエリアの色とする。色の判定は、背景色の判定、最も使用されている色の判定、それ以外の通常のピクセルの判定がある。背景色の判定時には、例えば、通常のピクセルの１／５の影響度とする。その画像に最も使用されている色は、判定時に、例えば、通常のピクセルの１／３の影響度とする。エリア内の特徴的な色をｎ×ｎの配列に格納し、その画像の色調データとする。

ステップＳ２３１において、近似度計算部１３３は、索引用画像ＤＢ１３６から索引用画像を読み出す。読み出された索引用画像は、所定の種類（例えば６４種類）の形状索引用画像と、所定の種類（例えば６４種類）の色調索引用画像からなる。形状索引用画像は、図５に示すように、その画像自体に人間の認識できる意味のあるカテゴリーを有するものではなく、あくまで画像の表層的特徴のうち形状の特徴を持たせる画像である。また、色調索引用画像は、図６に示すように、画像の表層的特徴のうち、色調に関するものであり、ランダムな形状と色の組み合わせで構成される画像である。形状索引用画像と色調索引用画像についても上述した形状解析および色調解析を行う。

ステップＳ２４１において、近似度計算部１３３は、ステップＳ２２１で検索対象画像に対して形状解析および色調解析された情報と、形状索引用画像および色調索引用画像に対して形状解析および色調解析された情報から近似度（第一画像近似度）の計算を行う。索引用画像と検索対象画像の距離を特徴量から近似度を計算する。

ステップＳ２５１において、索引データ生成部１３４は、近似度が所定量以上の画像について検索対象画像に対して索引用画像が関連付けられた索引データを生成する。索引データは、図７に示すように、検索対象画像に対して、形状索引用画像に基づくデータ（エッジ索引）と色調索引用画像に基づくデータ（カラー索引）が割り当てられている。図７において、エッジ索引のデータもカラー索引のデータも、最上段に表示される数字が近似度の最も高い形状索引用画像および色調索引用画像を示す数字であり、近似度が低くなるにつれて、下方に表示される。例えば、図７において、静画ＩＤが”ｉｍ２３４５６７８”が付されている検索対象画像には、エッジ索引のデータが上から”１５”、”２１”、”３８”、”２２”、”３２”、”１９”、”１６”、”５１”、”６１”、”２８”、”１”、”４２”、”２０”、”４６”、”２”、”２０”、”４６”、”２”、”３０”が付されている。この数字は、図５における形状索引用画像に対応しており、”ｉｍ２３４５６７８”の検索対象画像と形状索引用画像の”１５”の画像の近似度が最も高いことを示している。カラー索引のデータについても同様であり、上から、”３”、”２”、”５４”、”１”、”８”、”４”、”６２”、”４６”、”１４”、”２５”が付されている。この数字は、図６における色調索引用画像に対応しており、”ｉｍ２３４５６７８”の検索対象画像と色調索引用画像の”３”の画像の近似度が最も高いことを示している。図７は２つの検索対象画像について示しているが、実施には検索対象画像ＤＢ１３７に記憶されている検索対象画像の全てについて生成されており、図７はその一部を示したものである。

索引データ生成部１３４は、生成された索引データを、索引データＤＢ１３８に記憶する。

画像検索装置１３１は、検索対象画像がネットワーク１２１を介して検索対象画像ＤＢ１３７に記憶されるときや、検索対象画像が既に検索対象画像ＤＢ１３７に記憶されているが、対応する索引データがまだ生成されていない検索対象画像を発見したときなどに、図２に示すフローチャートの各ステップを実行することにより、索引データを生成し、生成した索引データを索引データＤＢ１３８に記憶する。

次に、画像検索装置１３１における検索画像に類似する画像を検索対象画像から検索する動作について、図３に示すフローチャートを参照しながら説明する。

ステップＳ３０１において、検索画像入力部１３２は、ネットワーク１２１を介してクライアント端末１１１から送信されてきた検索画像を入力する。

ステップＳ３１１において、近似度計算部１３３は、ステップＳ３０１の工程により受け入れた検索画像に対してステップＳ２１１と同様の減色処理を行う。

ステップＳ３２１において、近似度計算部１３３は、ステップＳ３１１で減色処理された画像に対して、ステップＳ２２１と同様の形状解析および色調解析を行う。

ステップＳ３３１において、近似度計算部１３３は、索引用画像ＤＢ１３６から索引用画像を読み出す。索引用画像は、ステップＳ２３１と同様に形状索引用画像と色調索引用画像からなる。次に、計算部１３３は、ステップＳ３２１で形状解析および色調解析された情報に基づいて、ステップＳ３２１において形状解析および色調解析が行われた検索画像と、形状索引用画像および色調索引用画像との近似度（第二画像近似度）の計算を行う。

ステップＳ３４１において、画像検索部１３５は、ステップＳ３３１における近似度の計算値に基づいて、検索画像に対して、形状索引用画像および色調索引用画像それぞれについて近似度の高い画像を抽出する。近似度の高い順に、任意に個数の索引用画像を抽出するよう設定することができる。

ステップＳ３５１において、画像検索部１３５はステップＳ３４１で抽出された形状索引用画像および色調索引用画像に対して、索引データに基づいてステップＳ３４１で抽出された形状索引用画像および色調索引用画像に関連付けられた検索対象画像を抽出する。抽出される検索対象画像は複数あってもよい。索引データＤＢ１３８に記憶されている検索データは、例えば、図７で示すように、検索対象画像に対して、形状索引用画像に基づくデータ（エッジ索引）と色調索引用画像に基づくデータ（カラー索引）が割り当てられている。そのため、抽出された形状索引用画像が”１５”であり、色調索引用画像が”１７”の場合、図７に示すデータより、エッジ索引のデータに”１５”が付された静画ＩＤが”ｉｍ２３４５６７８”の検索対象画像が抽出される。また、カラー索引のデータに”１７”が付された静画ＩＤが”ｉｍ４５６７８２３”の検索対象画像が抽出される。また、抽出された形状索引用画像が”６４”であり、色調索引用画像が”３”の場合、図７に示すデータより、エッジ索引のデータに”６４”が付された静画ＩＤが”ｉｍ４５６７８２３”の検索対象画像が抽出される。また、カラー索引のデータに”３”が付された静画ＩＤが”ｉｍ２３４５６７８”および”ｉｍ４５６７８２３”の検索対象画像が抽出される。結果として”ｉｍ２３４５６７８”および”ｉｍ４５６７８２３”の検索対象画像が抽出される。なお、図７は２つの検索対象画像について示しているが、実施には検索対象画像ＤＢ１３７に記憶されている検索対象画像の全てについて生成されており、図７はその一部を示したものである。よって、上述したエッジ索引のデータおよびカラー索引のデータが付された他の静画ＩＤが抽出される場合もある。画像検索部１３５における当該抽出動作は、索引データのテーブルを用いてデータの検索を行っているため、１画像ごとに近似度を計算し近似する画像を抽出する場合に比較して、計算負荷が低く、迅速に画像の抽出を行うことができる。

ステップＳ３６１において、近似度計算部１３３は、ステップＳ３５１において抽出された検索対象画像と、検索画像との近似度（第三画像近似度）の計算を行う。近似度の計算を行うに当たっては、検索対象画像、検索画像それぞれに減色処理や形状解析および色調解析を行ってもよい。抽出された検索対象画像は複数となる場合もあるが、検索対象画像ＤＢ１３７に記憶された検索対象画像の一部である。そのため、検索対象画像ＤＢ１３７に記憶された全ての検索対象画像と検索画像の近似度の計算を行う場合に比較して、近似度の計算を行う回数は少なくなり、計算負荷を低くすることができる。

ステップＳ３７１において、画像検索部１３５は、ステップＳ３６１における近似度の計算値に基づいて、検索画像に類似する画像を検索対象画像から検索する。画像検索部１３５により検索された検索対象画像は、ネットワーク１２１を介して、クライアント端末１１１へと出力される。その際、近似度の高い順序に並べて表示するように出力をしてもよい。

上述したように、画像検索装置１３１は、索引データＤＢ１３８に記憶された索引データを用いて、検索画像に類似する検索対象画像を検索することで、計算負荷が低く、迅速に画像の検索を行うことができる。索引データは、１つの検索対象画像に対して複数の索引用画像が関連付けられている。画像検索装置１３１は、検索データが生成される際に、例えば部分的には類似度が高くても全体として類似度が低いと判断された画像についても、所定の近似度以上であり、検索データの所定の個数の中に含むことができる。そのため、画像検索装置１３１は、索引用画像から、検索データを使用して検索対象画像を抽出する際に、類似する可能性のある画像が取りこぼされる可能性を低減し、類似する画像の検索の精度を高めることができる。

本実施形態では、索引用画像として、索引用画像は、画像の形状的な特徴量を表した形状索引用画像と、画像の色調的な特徴量を表した色調索引用画像から構成されている。画像検索装置１３１は、２つの異なる表層的特徴から索引データを生成することにより、画像の類似の検出において、形状索引用画像に基づくデータまたは色調索引用画像に基づくデータの索引データのいずれかに含まれれば類似する可能性のある画像を取りこぼすことがなく、類似する画像の検索の精度を高めることができる。なお、索引用画像は、形状索引用画像のみを用いても構わないし、色調索引用画像のみを用いても構わない。さらに、形状索引用画像や色調索引用画像以外の画像の表層的特徴を示した画像を用いても構わないし、それらを任意に組み合わせても構わない。索引用画像は、画像自体に人間の認識できる意味のあるカテゴリーを有するものではなく、あくまで画像の表層的特徴のうち形状の特徴を持たせる画像である。そのため、画像検索装置１３１は、画像の意味にとらわれることなく、表層的特徴から類似する画像を検索することができ、画像の検索の精度を高めることができる。また、画像検索装置１３１は、人間の認識できる意味のある索引用画像を用意する必要が無いため、索引用画像を手間なく自由に追加でき、検索精度を向上させることができる。

図８は、少なくとも１つの実施形態に係るクライアント端末１１１での表示を示す図である。

図８の左上の領域Ａに、ユーザが検索画像を入力することで、クライアント端末１１１はネットワーク１２１を介して画像検索装置１３１に画像を送信する。なお、検索画像の入力は、図８の左下の領域Ｂの描画ツールを利用して、ユーザが手書きで入力しても構わないし、別途画像を準備して、アップロードしても構わない。

画像検索装置１３１は、上述した画像検索を行い、検索対象画像ＤＢ１３７に記憶された検索対象画像から、検索画像に類似した画像を検索し、図８の右側の領域Ｃに類似した画像の候補として表示をする。その際、検索画像との近似度の高い順に並べて表示をしてもかまわない。また、図８には、検索時間が１４５ｍｓ（平均検索時間：１１０．５６４１ｍｓ）であり、候補として検索された数（総ヒット数）が９６４５件であった例を示している。

図８のクライアント端末１１１における表示は、スマートフォン、携帯電話、ＰＨＳ、コンピュータ、ゲーム装置、ＰＤＡ、携帯型ゲーム機等、画像生成装置などのクライアント端末１１１の種類に応じて適宜選択することができる。検索画像の入力と、検索された検索対象画像の表示は別の表示で行っても構わない。

図９は、少なくとも１つの実施形態に係るコンピュータ４０１の構成を示す概略ブロック図である。コンピュータ４０１は、ＣＰＵ４０２、主記憶装置４０３、補助記憶装置４０４、インタフェース４０５を備える。

画像検索装置１３１は、コンピュータ４０１に実装される。そして、画像検索装置１３１の各構成要素の動作は、プログラムの形式で補助記憶装置４０４に記憶されている。ＣＰＵ４０２は、プログラムを補助記憶装置４０４から読み出して主記憶装置４０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ４０２は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置４０３に確保する。

当該プログラムは、具体的には、コンピュータ４０１に、近似度計算部が、複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を計算する工程と、索引データ生成部が、第一画像近似度に基づいて、検索対象画像に索引用画像を関連付けるための索引データを生成する工程と、近似度計算部が、入力された検索画像と索引用画像の近似度を示す第二画像近似度を計算する工程と、画像検索部が、第二画像近似度に基づいて、検索画像と類似する画像を複数の索引用画像をから抽出する工程と、抽出した索引用画像と索引データに基づいて複数の検索対象画像から検索画像と類似する画像を抽出する工程と、を実行させるための画像検索プログラムである。

なお、補助記憶装置４０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース４０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムがネットワークＮを介してコンピュータ４０１に配信される場合、配信を受けたコンピュータ４０１が当該プログラムを主記憶装置４０３に展開し、上記処理を実行しても良い。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置４０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）
であっても良い。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。

１…画像検索システム １１１…クライアント端末 １２１…ネットワーク １３１…画像検索装置 １３２…検索画像入力部 １３３…近似度計算部 １３４…索引データ生成部 １３５…画像検索部 １３６…索引用画像ＤＢ １３７…検索対象画像ＤＢ １３８…索引データＤＢ ４０１…コンピュータ ４０２…ＣＰＵ ４０３…主記憶装置 ４０４…補助記憶装置 ４０５…インタフェース

Claims (20)

1. 検索画像に類似する検索対象画像を検索する画像検索装置であって、
   前記検索画像を入力する検索画像入力部と、
   形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の前記検索対象画像の近似度を示す第一画像近似度を計算し、前記検索画像と前記索引用画像の近似度を示す第二画像近似度を計算する近似度計算部と、
   前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する索引データ生成部と、
   前記第二画像近似度に基づいて、前記検索画像と類似する画像を複数の前記索引用画像から抽出し、抽出した索引用画像と前記索引データに基づいて、複数の前記検索対象画像から前記検索画像に類似する画像を検索する画像検索部と
   を有することを特徴とする画像検索装置。
2. 前記近似度計算部は、画像検索部で検索された検索対象画像と前記検索画像の近似度を示す第三画像近似度をさらに計算することを特徴とする請求項１に記載の画像検索装置。
3. 前記画像検索部は、前記第三画像近似度に基づいて、複数の前記検索対象画像から前記検索画像に類似する画像を検索することを特徴とする請求項２に記載の画像検索装置。
4. 前記近似度計算部は、画像形状の特徴量に基づいて近似度を計算することを特徴とする請求項１から請求項３のいずれか１項に記載の画像検索装置。
5. 前記画像形状の特徴量は、画像のエッジの形状に基づくものであることを特徴とする請求項４に記載の画像検索装置。
6. 前記近似度計算部は、さらに画像色調の特徴量に基づいて近似度を計算することを特徴とする請求項４または請求項５に記載の画像検索装置。
7. 前記近似度計算部は、画像色調の特徴量に基づいて近似度を計算することを特徴とする請求項１から請求項３のいずれか１項に記載の画像検索装置。
8. 前記近似度計算部は、画像の減色を行い、減色された画像に基づいて近似度を計算することを特徴とする請求項１から請求項７のいずれか１項に記載の画像検索装置。
9. 前記画像の減色は、予め用意された変換テーブルを用いて行うことを特徴とする請求項８に記載の画像検索装置。
10. 前記索引データは、前記検索画像が前記画像入力部に入力される前に生成されていることを特徴とする請求項１から請求項９のいずれか１項に記載の画像検索装置。
11. 前記索引データは、前記形状索引用画像に基づくデータと前記色調索引用画像に基づくデータを含むことを特徴とする請求項１から請求項１０のいずれか一項に記載の画像検索装置。
12. 形状索引用画像と色調索引用画像を含む複数の索引用画像と複数の検索対象画像の近似度を示す第一画像近似度を、前記索引用画像および前記検索対象画像それぞれの表層的特徴である第一の特徴と、第一の特徴と異なる表層的特徴である第二の特徴に基づいて計算する近似度計算部と、
    前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する索引データ生成部と
    を有することを特徴とする索引データ生成装置。
13. 前記第一の特徴は、画像形状の特徴量であることを特徴とする請求項１２に記載の索引データ生成装置。
14. 前記画像形状の特徴量は、画像のエッジの形状に基づくものであることを特徴とする請求項１３に記載の索引データ生成装置。
15. 前記第二の特徴は、画像色調の特徴量であることを特徴とする請求項１２から請求項１４のいずれか１項に記載の索引データ生成装置。
16. 前記索引データは、前記形状索引用画像に基づくデータと前記色調索引用画像に基づくデータからなることを特徴とする請求項１２から請求項１５のいずれか一項に記載の索引データ生成装置。
17. 検索画像に類似する検索対象画像を検索する画像検索方法であって、
    近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の前記検索対象画像の近似度を示す第一画像近似度を計算する工程と、
    索引データ生成部が、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、
    前記近似度計算部が、入力された前記検索画像と前記索引用画像の近似度を示す第二画像近似度を計算する工程と、
    画像検索部が、前記第二画像近似度に基づいて、前記検索画像と類似する画像を複数の前記索引用画像をから抽出する工程と、抽出した索引用画像と前記索引データに基づいて複数の前記検索対象画像から前記検索画像と類似する画像を抽出する工程と、
    を有することを特徴とする画像検索方法。
18. 近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を、前記索引用画像および前記検索対象画像それぞれの表層的特徴である第一の特徴と、第一の特徴と異なる表層的特徴である第二の特徴に基づいて計算する工程と、
    前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、
    を有することを特徴とする索引データ生成方法。
19. 検索画像に類似する検索対象画像を検索する画像検索プログラムであって、
    近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の前記検索対象画像の近似度を示す第一画像近似度を計算する工程と、
    索引データ生成部が、前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、
    前記近似度計算部が、入力された前記検索画像と前記索引用画像の近似度を示す第二画像近似度を計算する工程と、
    画像検索部が、前記第二画像近似度に基づいて、前記検索画像と類似する画像を複数の前記索引用画像をから抽出する工程と、抽出した索引用画像と前記索引データに基づいて複数の前記検索対象画像から前記検索画像と類似する画像を抽出する工程と、
    を電子計算機に実行させるための画像検索プログラム。
20. 近似度計算部が、形状索引用画像と色調索引用画像を含む複数の索引用画像と、複数の検索対象画像の近似度を示す第一画像近似度を、前記索引用画像および前記検索対象画像それぞれの表層的特徴である第一の特徴と、第一の特徴と異なる表層的特徴である第二の特徴に基づいて計算する工程と、
    前記第一画像近似度に基づいて、前記検索対象画像に前記索引用画像を関連付けるための索引データを生成する工程と、
    を電子計算機に実行させるための索引データ生成プログラム。