JP6835407B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像検索エンジン等において異なる画像の類似度を計算するために利用可能な画像処理装置、画像処理方法及びプログラムに関する。

従来、複数の辞書画像の中からクエリ画像に類似する画像を検索するために、画像検索エンジンが用いられている。このような画像検索エンジンにおいては、例えば、クエリ画像の特徴量と、複数の辞書画像それぞれの特徴量とを比較することによって、複数の辞書画像の中から、クエリ画像に類似する画像が抽出される。

上記のような検索エンジンにおいて検索精度を向上させるための技術が、例えば、特許文献１に開示されている。特許文献１に開示された類似画像検索方法では、入力手段で入力された画像データ及び蓄積手段で蓄積された画像データそれぞれから、複数種類の特徴量が抽出される。そして、両画像データからそれぞれ抽出された複数種類の特徴量を比較することによって、両画像データの類似度が算出される。

また、特許文献１に開示された方法では、特徴量ごとに重み係数が設定される。複数種類の特徴量のうち、影響を排除したい特徴量については重み係数を小さい値に設定し、影響を重視したい特徴量については重み係数を大きい値に設定することができる。

特開２００１−３１９２３２号公報

特許文献１には、上記の方法により、検索キー画像と登録画像との類似度を多様な角度から判定して、見た目の類似性に合った類似度算出を行うことが可能になると記載されている。

しかしながら、特許文献１に記載された方法によって類似度計算の精度を向上させるためには、検索キー画像ごとに、ユーザが各特徴量の重み係数を適切な値に設定する必要がある。しかしながら、類似度計算の精度が向上するように、検索キー画像ごとにユーザが重み係数を適切な値に設定することは困難である。

本発明の目的の一例は、異なる画像の類似度を高精度で算出できる、画像処理装置、画像処理方法及びプログラムを提供することにある。

上記目的を達成するため、本発明の一側面における画像処理装置は、
クエリ画像と複数の辞書画像との類似度を計算する画像処理装置であって、
前記クエリ画像の画像データの入力を受け付ける、データ受付部と、
前記データ受付部が受け付けた前記画像データから局所特徴点を検出して該局所特徴点の密度及び局所特徴量を算出するとともに、前記局所特徴量以外の１種以上の特徴量を算出する、特徴量算出部と、
前記特徴量算出部が算出した前記局所特徴量及び前記１種以上の特徴量と、予め登録された前記複数の辞書画像の前記局所特徴量及び前記１種以上の特徴量とを比較することによって、前記局所特徴量及び前記１種以上の特徴量ごとに、前記クエリ画像と前記複数の辞書画像それぞれとの個別類似度を算出する、個別類似度算出部と、
前記特徴量算出部が算出した前記クエリ画像の前記局所特徴点の密度に基づいて、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、重み設定部と、
前記個別類似度算出部が算出した前記局所特徴量及び前記１種以上の特徴量ごとの前記個別類似度と、前記重み設定部が設定した前記局所特徴量及び前記１種以上の特徴量それぞれの重みとに基づいて、前記クエリ画像と前記複数の辞書画像それぞれとの総合類似度を算出する、総合類似度算出部と、
を備えることを特徴とする。

また、上記目的を達成するため、本発明の一側面における画像処理方法は、
クエリ画像と複数の辞書画像との類似度を計算する画像処理方法であって、
（ａ）前記クエリ画像の画像データの入力を受け付ける、ステップと、
（ｂ）前記（ａ）のステップで受け付けた前記画像データから局所特徴点を検出して該局所特徴点の密度及び局所特徴量を算出するとともに、前記局所特徴量以外の１種以上の特徴量を算出する、ステップと、
（ｃ）前記（ｂ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量と、予め登録された前記複数の辞書画像の前記局所特徴量及び前記１種以上の特徴量とを比較することによって、前記局所特徴量及び前記１種以上の特徴量ごとに、前記クエリ画像と前記複数の辞書画像それぞれとの個別類似度を算出する、ステップと、
（ｄ）前記（ｂ）のステップで算出した前記クエリ画像の前記局所特徴点の密度に基づいて、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、ステップと、
（ｅ）前記（ｃ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量ごとの前記個別類似度と、前記（ｄ）のステップで設定した前記局所特徴量及び前記１種以上の特徴量それぞれの重みとに基づいて、前記クエリ画像と前記複数の辞書画像それぞれとの総合類似度を算出する、ステップと、
を備えることを特徴とする。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、クエリ画像と複数の辞書画像との類似度を計算させるプログラムであって、
前記コンピュータに
（ａ）前記クエリ画像の画像データの入力を受け付ける、ステップと、
（ｂ）前記（ａ）のステップで受け付けた前記画像データから局所特徴点を検出して該局所特徴点の密度及び局所特徴量を算出するとともに、前記局所特徴量以外の１種以上の特徴量を算出する、ステップと、
（ｃ）前記（ｂ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量と、予め登録された前記複数の辞書画像の前記局所特徴量及び前記１種以上の特徴量とを比較することによって、前記局所特徴量及び前記１種以上の特徴量ごとに、前記クエリ画像と前記複数の辞書画像それぞれとの個別類似度を算出する、ステップと、
（ｄ）前記（ｂ）のステップで算出した前記クエリ画像の前記局所特徴点の密度に基づいて、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、ステップと、
（ｅ）前記（ｃ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量ごとの前記個別類似度と、前記（ｄ）のステップで設定した前記局所特徴量及び前記１種以上の特徴量それぞれの重みとに基づいて、前記クエリ画像と前記複数の辞書画像それぞれとの総合類似度を算出する、ステップと、
を実行させることを特徴とする。

以上のように本発明によれば、異なる画像の類似度を高精度で算出できる。

図１は、本発明の実施の形態における画像処理装置の概略構成を示す図である。 図２は、局所特徴点密度と判定精度との関係を示す図である。 図３は、本発明の実施の形態における画像処理装置の具体的構成を示す図である。 図４は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図５は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

（実施の形態）
以下、本発明の実施の形態における画像処理装置、画像処理方法及びプログラムについて、図１〜５を参照しながら説明する。

［装置構成］
最初に、図１を用いて、本発明の実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示す図である。なお、本実施形態に係る画像処理装置は、例えば、画像検索エンジン等において、クエリ画像と複数の辞書画像それぞれとの類似度を算出するために利用することができる。

図１を参照して、本実施形態に係る画像処理装置１００は、データ受付部１０と、特徴量算出部１２と、個別類似度算出部１４と、重み設定部１６と、総合類似度算出部１８とを備えている。

データ受付部１０には、クエリ画像の画像データが入力される。特徴量算出部１２は、データ受付部１０が受け付けた画像データから複数の局所特徴点を検出して、クエリ画像における局所特徴点の密度（単位面積当たりの特徴点の数：以下、局所特徴点密度と記載する。）を算出する。また、特徴量算出部１２は、局所特徴点ごとに局所特徴量（局所特徴点を含む局所領域の特徴量）を算出する。更に、特徴量算出部１２は、データ受付部１０から送信された画像データから、局所特徴量以外の１種以上の特徴量を算出する。本実施形態では、例えば、色に関する特徴量又は形に関する特徴量が特徴量算出部１２によって算出される。

個別類似度算出部１４は、特徴量算出部１２が算出した局所特徴量及び上記１種以上の特徴量と、予め登録された複数の辞書画像の局所特徴量及び上記１種以上の特徴量とを比較する。そして、個別類似度算出部１４は、局所特徴量及び上記１種以上の特徴量ごとに、クエリ画像と複数の辞書画像それぞれとの類似度（以下、個別類似度と記載する。）を算出する。

重み設定部１６は、特徴量算出部１２が算出したクエリ画像の局所特徴点密度に基づいて、局所特徴量及び上記１種以上の特徴量それぞれの重みを設定する。本実施形態では、重み設定部１６は、例えば、クエリ画像の局所特徴点密度が高いほど局所特徴量の重みが大きくなるように、局所特徴量及び上記１種以上の特徴量それぞれの重みを設定する。

総合類似度算出部１８は、個別類似度算出部１４が算出した局所特徴量及び上記１種以上の特徴量ごとの個別類似度と、重み設定部１６が設定した局所特徴量及び上記１種以上の特徴量それぞれの重みとに基づいて、クエリ画像と複数の辞書画像それぞれとの類似度（以下、総合類似度と記載する。）を算出する。詳細は後述するが、本実施形態では、総合類似度算出部１８は、例えば、局所特徴量に基づいて求められた個別類似度及び局所特徴量の重みを乗算して得られる類似度と、上記１種以上の特徴量ごとに求められた個別類似度及び各特徴量に対応する重みを乗算して得られる類似度とを加算することによって、総合類似度を算出する。

ここで、局所特徴量のみに基づいてクエリ画像と辞書画像との類似度を判定する場合には、図２に示すように、クエリ画像の局所特徴点密度が高いほど判定精度が高くなる。本実施形態では、この点を考慮して、重み設定部１６は、クエリ画像の局所特徴点密度に基づいて、局所特徴量及び上記１種以上の特徴量それぞれの重みを設定する。すなわち、本実施の形態では、ユーザが重みを設定しなくても、クエリ画像の局所特徴点密度に応じて各特徴量の重みが設定される。これにより、クエリ画像と複数の辞書画像それぞれとの類似度を精度良く算出することができる。

続いて、図３を用いて、本発明の実施の形態における画像処理装置の構成について更に具体的に説明する。図３は、本発明の実施の形態における画像処理装置１００の具体的構成を示す図である。

なお、詳細は後述するが、本実施形態においては、画像処理装置１００は、局所特徴量、色に関する特徴量（以下、色特徴量と記載する。）、形に関する特徴量（以下、形特徴量と記載する。）、及びＧａｂｏｒフィルタによって抽出される特徴量（以下、Ｇａｂｏｒ特徴量と記載する。）に基づいて、クエリ画像と複数の辞書画像それぞれとの類似度を算出する。

図３に示すように、本実施形態では、画像処理装置１００は、上述のデータ受付部１０、特徴量算出部１２、個別類似度算出部１４、重み設定部１６及び総合類似度算出部１８に加えて更に、第１特徴量記憶部２０、第２特徴量記憶部２２、第３特徴量記憶部２４、第４特徴量記憶部２６、前処理部２８、重み記憶部３０、及び出力部３２を備えている。

本実施形態では、第１特徴量記憶部２０には、複数の辞書画像の局所特徴量が記憶されている。具体的には、第１特徴量記憶部２０には、複数の辞書画像の識別番号と、該識別番号に紐付けられた各辞書画像の局所特徴量が記憶されている。

第２特徴量記憶部２２には、上記複数の辞書画像の色特徴量が記憶されている。具体的には、第２特徴量記憶部２２には、複数の辞書画像の上記識別番号と、該識別番号に紐付けられた各辞書画像の色特徴量が記憶されている。

第３特徴量記憶部２４には、上記複数の辞書画像の形特徴量が記憶されている。具体的には、第３特徴量記憶部２４には、複数の辞書画像の上記識別番号と、該識別番号に紐付けられた各辞書画像の形特徴量が記憶されている。

第４特徴量記憶部２６には、上記複数の辞書画像のＧａｂｏｒ特徴量が記憶されている。具体的には、第４特徴量記憶部２６には、複数の辞書画像の上記識別番号と、該識別番号に紐付けられた各辞書画像のＧａｂｏｒ特徴量が記憶されている。

上述したように、データ受付部１０には、クエリ画像の画像データが入力される。データ受付部１０が受け付けた画像データは、前処理部２８へ送信される。前処理部２８は、データ受付部１０から受信した画像データに対して、特徴量を抽出するための前処理を行なう。本実施形態では、前処理部２８は、例えば、公知のアルゴリズムを利用して、背景除去処理及び解像度変換処理等を行なう。

前処理部２８において前処理が行われた画像データは、特徴量算出部１２へ送信される。本実施形態では、図３に示すように、特徴量算出部１２は、第１特徴量算出部１２ａ、第２特徴量算出部１２ｂ、第３特徴量算出部１２ｃ及び第４特徴量算出部１２ｄを備えている。また、個別類似度算出部１４は、第１類似度算出部１４ａ、第２類似度算出部１４ｂ、第３類似度算出部１４ｃ及び第４類似度算出部１４ｄを備えている。

公知のアルゴリズムを利用することができるので詳細な説明は省略するが、第１特徴量算出部１２ａは、前処理部２８から受信した画像データから、複数の局所特徴点を検出して、クエリ画像における局所特徴点密度を算出する。また、第１特徴量算出部１２ａは、局所特徴点ごとに局所特徴量を算出する。第１特徴量算出部１２ａは、局所特徴点密度を重み設定部１６へ送信し、局所特徴量を第１類似度算出部１４ａへ送信する。なお、局所特徴量としては、ＫＡＺＥ特徴量又はＡＫＡＺＥ特徴量等を用いることができるが、他の局所特徴量を用いてもよい。

同様に、公知のアルゴリズムを利用することができるので詳細な説明は省略するが、第２特徴量算出部１２ｂは色特徴量を抽出して第２類似度算出部１４ｂへ送信し、第３特徴量算出部１２ｃは形特徴量を抽出して第３類似度算出部１４ｃへ送信し、第４特徴量算出部１２ｄはＧａｂｏｒ特徴量を抽出して第４類似度算出部１４ｄへ送信する。

第１類似度算出部１４ａは、第１特徴量算出部１２ａから受信した局所特徴量と、第１特徴量記憶部２０に記憶されている複数の辞書画像の局所特徴量とを比較して、クエリ画像と複数の辞書画像それぞれとの類似度（以下、第１個別類似度と記載する。）を算出する。本実施形態では、辞書画像ごとに第１個別類似度が算出される。第１類似度算出部１４ａは、辞書画像ごとに算出した第１個別類似度を総合類似度算出部１８へ送信する。

第２類似度算出部１４ｂは、第２特徴量算出部１２ｂから受信した色特徴量と、第２特徴量記憶部２２に記憶されている複数の辞書画像の色特徴量とを比較して、クエリ画像と複数の辞書画像それぞれとの類似度（以下、第２個別類似度と記載する。）を算出する。本実施形態では、辞書画像ごとに第２個別類似度が算出される。第２類似度算出部１４ｂは、辞書画像ごとに算出した第２個別類似度を総合類似度算出部１８へ送信する。

第３類似度算出部１４ｃは、第３特徴量算出部１２ｃから受信した形特徴量と、第３特徴量記憶部２４に記憶されている複数の辞書画像の形特徴量とを比較して、クエリ画像と複数の辞書画像それぞれとの類似度（以下、第３個別類似度と記載する。）を算出する。本実施形態では、辞書画像ごとに第３個別類似度が算出される。第３類似度算出部１４ｃは、辞書画像ごとに算出した第３個別類似度を総合類似度算出部１８へ送信する。

第４類似度算出部１４ｄは、第４特徴量算出部１２ｄから受信したＧａｂｏｒ特徴量と、第４特徴量記憶部２６に記憶されている複数の辞書画像のＧａｂｏｒ特徴量とを比較して、クエリ画像と複数の辞書画像それぞれとの類似度（以下、第４個別類似度と記載する。）を算出する。本実施形態では、辞書画像ごとに第４個別類似度が算出される。第４類似度算出部１４ｄは、辞書画像ごとに算出した第４個別類似度を総合類似度算出部１８へ送信する。

重み設定部１６は、第１特徴量算出部１２ａから受信したクエリ画像の局所特徴点密度に基づいて、各特徴量の重みを設定する。本実施形態では、重み記憶部３０に、局所特徴量の重み、色特徴量の重み、形特徴量の重み、及びＧａｂｏｒ特徴量の重みそれぞれの基準値が記憶されるとともに、局所特徴量の重みの補正式が記憶されている。本実施形態では、重み設定部１６は、第１特徴量算出部１２ａから受信した局所特徴点密度、並びに重み記憶部３０に記憶されている各特徴量の重みの基準値及び上記補正式に基づいて、各特徴量の重みを設定する。以下、重み設定部１６の処理について、一例を挙げて具体的に説明する。

本実施形態では、例えば、重み記憶部３０において、局所特徴量の重みの基準値が３０に設定され、色特徴量の重みの基準値が５０に設定され、形特徴量の重みの基準値が１０に設定され、Ｇａｂｏｒ特徴量の重みの基準値が１０に設定されるというように、全ての特徴量の重みの合計が１００となるように、各特徴量の重みの基準値が設定されている。

各特徴量の重みの基準値は、人手で設定されてもよく、機械学習によって設定されてもよい。例えば、基準値を人手で設定する場合には、まず、重み設定用の複数のクエリ画像を用意するとともに、各特徴量の重みを任意の値に設定する。そして、第１〜第４の特徴量記憶部２０〜２６に記憶された各特徴量に基づいて、特徴量算出部１２、個別類似度算出部１４、及び総合類似度算出部１８によって、各クエリ画像と複数の辞書画像それぞれとの類似度を算出する。同様の処理を、各特徴量の重みを変えながら繰り返し行ない、精度良く類似度を算出することができる特徴量の重みの組み合せを見出す。そして、その見出した重みの組み合わせを、各特徴量の重みの基準値とする。

重み記憶部３０に記憶される局所特徴量の重みの補正式は、例えば、クエリ画像の局所特徴点密度が高いほど、局所特徴量の重みが大きくなるように規定される。具体的には、補正式は、例えば、下記式のように規定される。
局所特徴量の重み＝局所特徴量の重みの基準値＋（α×局所特徴点密度）＋β

なお、上記式において、α及びβは定数であり、人手で設定されてもよく、機械学習によって設定されてもよい。例えば、定数α，βを人手で設定する場合には、まず、定数α，βを任意の値に設定して、上記式に基づいて局所特徴量の重みを算出する。その算出した局所特徴量の値と、他の特徴量の基準値とに基づいて、特徴量算出部１２、個別類似度算出部１４、及び総合類似度算出部１８によって、各クエリ画像と複数の辞書画像それぞれとの類似度を算出する。同様の処理を、定数α，βの値を変えながら繰り返し行ない、最も精度良く類似度を算出することができる定数α，βの値の組み合せを見出す。そして、その見出した値の組み合わせを、定数α，βの値とする。

なお、上述の基準値及び補正式は一例であり、適宜変更することができる。

本実施形態では、重み設定部１６は、第１特徴量算出部１２ａから局所特徴点密度を受信すると、重み記憶部３０に記憶された局所特徴量の重みの基準値及び上述の補正式を用いて、局所特徴量の重みを算出する。重み設定部１６は、補正式によって算出された値を、局所特徴量の重みに設定する。

また、本実施形態では、重み設定部１６は、補正式によって算出された局所特徴量の重みに基づいて、色特徴量、形特徴量及びＧａｂｏｒ特徴量の重みを設定する。例えば、補正式によって算出された局所特徴量の重みが、局所特徴量の重みの基準値よりも大きい場合には、重み設定部１６は、色特徴量、形特徴量及びＧａｂｏｒ特徴量の重みを、それぞれに対応する基準値よりも小さな値に設定する。一方、補正式によって算出された局所特徴量の重みが、局所特徴量の重みの基準値よりも小さい場合には、重み設定部１６は、例えば、色特徴量、形特徴量及びＧａｂｏｒ特徴量の重みを、それぞれに対応する基準値よりも大きな値に設定する。このように、本実施形態では、クエリ画像の局所特徴点密度に応じて各特徴量の重みの基準値を補正することによって、各特徴量の重みが設定される。なお、本実施形態では、重み設定部１６は、例えば、各特徴量の重みの合計値が、各特徴量の重みの基準値の合計値と等しくなるように、各特徴量の重みを補正する。

総合類似度算出部１８は、個別類似度算出部１４から受信した第１個別類似度、第２個別類似度、第３個別類似度及び第４個別類似度と、各特徴量の重みとに基づいて、クエリ画像と複数の辞書画像それぞれとの類似度（総合類似度）を算出する。具体的には、本実施形態では、総合類似度算出部１８は、下記式を用いて、クエリ画像と辞書画像との総合類似度を算出する。
総合類似度＝第１個別類似度×局所特徴量の重み＋第２個別類似度×色特徴量の重み＋第３個別類似度×形特徴量の重み＋第４個別類似度×Ｇａｂｏｒ特徴量の重み

総合類似度算出部１８は、算出した総合類似度を出力部３２へ送信する。出力部３２は、例えば、総合類似度算出部１８から受信した総合類似度を出力する。本実施形態では、出力部３２は、例えば、液晶表示装置等の表示装置を含む。出力部３２は、例えば、クエリ画像ごとに、複数の辞書画像（又は複数の辞書画像の識別番号）を、総合類似度が大きい順に、総合類似度とともにリスト表示する。なお、出力部３２は、総合類似度を示すデータを、図示しない他の処理部に出力してもよい。

以上のように、本実施形態では、クエリ画像の局所特徴点密度に応じて設定された各特徴量の重みに基づいて、クエリ画像と複数の辞書画像それぞれとの類似度を算出することができる。これにより、クエリ画像の特性に応じて、精度良く類似度を算出することが可能となる。

［装置動作］
次に、本発明の実施の形態における画像処理装置の動作について図４を用いて説明する。図４は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態では、画像処理装置１００を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１００の動作説明に代える。

画像処理装置１００では、まず、データ受付部１０がクエリ画像の画像データを受け付ける（ステップＳ１）。次に、前処理部２８が、データ受付部１０が受け付けた画像データに対して前処理を行なう（ステップＳ２）。

次に、第１特徴量算出部１２ａが、前処理部２８によって前処理が行われた画像データから、複数の局所特徴点を検出して、クエリ画像における局所特徴点密度を算出する（ステップＳ３）。

次に、重み設定部１６は、第１特徴量算出部１２ａによって算出された局所特徴点密度及び重み記憶部３０に記憶された各特徴量（本実施形態では、局所特徴量、色特徴量、形特徴量、及びＧａｂｏｒ特徴量）の重みの基準値に基づいて、各特徴量の重みを設定する（ステップＳ４）。

また、本実施形態では、特徴量算出部１２（第１〜第４の特徴量算出部１２ａ〜１２ｄ）によって、クエリ画像の各特徴量（本実施形態では、局所特徴量、色特徴量、形特徴量及びＧａｂｏｒ特徴量）が算出される（ステップＳ５）。

次に、個別類似度算出部１４は、ステップＳ５において算出されたクエリ画像の各特徴量と、第１〜第４の特徴量記憶部２０〜２６に記憶された辞書画像の各特徴量とに基づいて、クエリ画像と辞書画像との個別類似度（本実施形態では、第１〜第４の個別類似度）を算出する（ステップＳ６）。

次に、総合類似度算出部１８は、ステップＳ４において設定された各特徴量の重みと、ステップＳ６で算出された個別類似度とに基づいて、総合類似度を算出する（ステップＳ７）。最後に、上述したように、出力部３２によって、ステップＳ７で算出された総合類似度が出力される（ステップＳ８）。これにより、画像処理が終了する。

［プログラム］
本発明の実施の形態におけるプログラムは、コンピュータに、図４に示すステップＳ１〜Ｓ８を実行させるプログラムであればよい。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、画像処理装置となるコンピュータのＣＰＵ（Central Processing Unit）は、データ受付部１０、特徴量算出部１２、個別類似度算出部１４、重み設定部１６、総合類似度算出部１８、前処理部２８及び出力部３２として機能し、処理を行なう。

また、本実施の形態では、第１特徴量記憶部２０、第２特徴量記憶部２２、第３特徴量記憶部２４、第４特徴量記憶部２６、及び重み記憶部３０は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって、又はこのデータファイルが格納された記録媒体をコンピュータと接続された読取装置に搭載することによって実現されている。

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されてもよい。この場合は、例えば、各コンピュータが、それぞれ、データ受付部１０、特徴量算出部１２、個別類似度算出部１４、重み設定部１６、総合類似度算出部１８、前処理部２８及び出力部３２のいずれかとして機能してもよい。また、第１特徴量記憶部２０、第２特徴量記憶部２２、第３特徴量記憶部２４、第４特徴量記憶部２６、及び重み記憶部３０は、本実施の形態におけるプログラムを実行するコンピュータとは別のコンピュータ上に構築されていても良い。

［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図を用いて説明する。図５は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。

図５に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであってもよい。

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボードおよびマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、およびコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））およびＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、またはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。

なお、本実施の形態における画像処理装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。

以上のように、本発明によれば、異なる画像の類似度を高精度で算出できる。

１０ データ受付部
１２ 特徴量算出部
１４ 個別類似度算出部
１６ 重み設定部
１８ 総合類似度算出部
２０ 第１特徴量記憶部
２２ 第２特徴量記憶部
２４ 第３特徴量記憶部
２６ 第４特徴量記憶部
２８ 前処理部
３０ 重み記憶部
３２ 出力部
１００ 画像処理装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (15)

1. クエリ画像と複数の辞書画像との類似度を計算する画像処理装置であって、
   前記クエリ画像の画像データの入力を受け付ける、データ受付部と、
   前記データ受付部が受け付けた前記画像データから局所特徴点を検出して該局所特徴点の密度及び局所特徴量を算出するとともに、前記局所特徴量以外の１種以上の特徴量を算出する、特徴量算出部と、
   前記特徴量算出部が算出した前記局所特徴量及び前記１種以上の特徴量と、予め登録された前記複数の辞書画像の前記局所特徴量及び前記１種以上の特徴量とを比較することによって、前記局所特徴量及び前記１種以上の特徴量ごとに、前記クエリ画像と前記複数の辞書画像それぞれとの個別類似度を算出する、個別類似度算出部と、
   前記特徴量算出部が算出した前記クエリ画像の前記局所特徴点の密度に基づいて、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、重み設定部と、
   前記個別類似度算出部が算出した前記局所特徴量及び前記１種以上の特徴量ごとの前記個別類似度と、前記重み設定部が設定した前記局所特徴量及び前記１種以上の特徴量それぞれの重みとに基づいて、前記クエリ画像と前記複数の辞書画像それぞれとの総合類似度を算出する、総合類似度算出部と、
   を備えることを特徴とする、画像処理装置。
2. 前記１種以上の特徴量は、色に関する特徴量又は形に関する特徴量のうちの少なくとも一方を含む、請求項１に記載の画像処理装置。
3. 前記重み設定部は、前記クエリ画像の前記局所特徴点の密度が高いほど前記局所特徴量の重みが大きくなるように、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、請求項１又は２に記載の画像処理装置。
4. 前記局所特徴量及び前記１種以上の特徴量それぞれの重みの基準値が予め設定されており、
   前記重み設定部は、前記クエリ画像の前記局所特徴点の密度に応じて前記それぞれの重みの基準値を補正することによって、各特徴量の重みを設定する、請求項３に記載の画像処理装置。
5. 前記総合類似度算出部は、前記局所特徴量に基づいて求められた個別類似度及び前記局所特徴量の重みを乗算して得られる類似度と、前記１種以上の特徴量ごとに求められた前記個別類似度及び各特徴量に対応する前記重みを乗算して得られる類似度とを加算することによって前記総合類似度を求める、請求項１から４のいずれかに記載の画像処理装置。
6. コンピュータが実行する、クエリ画像と複数の辞書画像との類似度を計算する画像処理方法であって、
   （ａ）前記クエリ画像の画像データの入力を受け付ける、ステップと、
   （ｂ）前記（ａ）のステップで受け付けた前記画像データから局所特徴点を検出して該局所特徴点の密度及び局所特徴量を算出するとともに、前記局所特徴量以外の１種以上の特徴量を算出する、ステップと、
   （ｃ）前記（ｂ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量と、予め登録された前記複数の辞書画像の前記局所特徴量及び前記１種以上の特徴量とを比較することによって、前記局所特徴量及び前記１種以上の特徴量ごとに、前記クエリ画像と前記複数の辞書画像それぞれとの個別類似度を算出する、ステップと、
   （ｄ）前記（ｂ）のステップで算出した前記クエリ画像の前記局所特徴点の密度に基づいて、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、ステップと、
   （ｅ）前記（ｃ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量ごとの前記個別類似度と、前記（ｄ）のステップで設定した前記局所特徴量及び前記１種以上の特徴量それぞれの重みとに基づいて、前記クエリ画像と前記複数の辞書画像それぞれとの総合類似度を算出する、ステップと、
   を備えることを特徴とする、画像処理方法。
7. 前記１種以上の特徴量は、色に関する特徴量又は形に関する特徴量のうちの少なくとも一方を含む、請求項６に記載の画像処理方法。
8. 前記（ｄ）のステップでは、前記クエリ画像の前記局所特徴点の密度が高いほど前記局所特徴量の重みが大きくなるように、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、請求項６又は７に記載の画像処理方法。
9. 前記局所特徴量及び前記１種以上の特徴量それぞれの重みの基準値が予め設定されており、
   前記（ｄ）のステップでは、前記クエリ画像の前記局所特徴点の密度に応じて前記それぞれの重みの基準値を補正することによって、各特徴量の重みを設定する、請求項８に記載の画像処理方法。
10. 前記（ｅ）のステップでは、前記局所特徴量に基づいて求められた個別類似度及び前記局所特徴量の重みを乗算して得られる類似度と、前記１種以上の特徴量ごとに求められた前記個別類似度及び各特徴量に対応する前記重みを乗算して得られる類似度とを加算することによって前記総合類似度を求める、請求項６から９のいずれかに記載の画像処理方法。
11. コンピュータに、クエリ画像と複数の辞書画像との類似度を計算させるプログラムであって、
    前記コンピュータに
    （ａ）前記クエリ画像の画像データの入力を受け付ける、ステップと、
    （ｂ）前記（ａ）のステップで受け付けた前記画像データから局所特徴点を検出して該局所特徴点の密度及び局所特徴量を算出するとともに、前記局所特徴量以外の１種以上の特徴量を算出する、ステップと、
    （ｃ）前記（ｂ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量と、予め登録された前記複数の辞書画像の前記局所特徴量及び前記１種以上の特徴量とを比較することによって、前記局所特徴量及び前記１種以上の特徴量ごとに、前記クエリ画像と前記複数の辞書画像それぞれとの個別類似度を算出する、ステップと、
    （ｄ）前記（ｂ）のステップで算出した前記クエリ画像の前記局所特徴点の密度に基づいて、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、ステップと、
    （ｅ）前記（ｃ）のステップで算出した前記局所特徴量及び前記１種以上の特徴量ごとの前記個別類似度と、前記（ｄ）のステップで設定した前記局所特徴量及び前記１種以上の特徴量それぞれの重みとに基づいて、前記クエリ画像と前記複数の辞書画像それぞれとの総合類似度を算出する、ステップと、
    を実行させることを特徴とする、プログラム。
12. 前記１種以上の特徴量は、色に関する特徴量又は形に関する特徴量のうちの少なくとも一方を含む、請求項１１に記載のプログラム。
13. 前記（ｄ）のステップでは、前記クエリ画像の前記局所特徴点の密度が高いほど前記局所特徴量の重みが大きくなるように、前記局所特徴量及び前記１種以上の特徴量それぞれの重みを設定する、請求項１１又は１２に記載のプログラム。
14. 前記局所特徴量及び前記１種以上の特徴量それぞれの重みの基準値が予め設定されており、
    前記（ｄ）のステップでは、前記クエリ画像の前記局所特徴点の密度に応じて前記それぞれの重みの基準値を補正することによって、各特徴量の重みを設定する、請求項１３に記載のプログラム。
15. 前記（ｅ）のステップでは、前記局所特徴量に基づいて求められた個別類似度及び前記局所特徴量の重みを乗算して得られる類似度と、前記１種以上の特徴量ごとに求められた前記個別類似度および各特徴量に対応する前記重みを乗算して得られる類似度とを加算することによって前記総合類似度を求める、請求項１１から１４のいずれかに記載のプログラム。

Images