JP5143773B2 - 画像検索装置 - Google Patents

Description

本発明は、クエリ画像に類似する画像を検索するための装置及び方法に関するものである。

画像検索には、大きく分けて、テキストベースの検索手法と、画像ベースの検索手法とが存在する。

テキストベースの画像検索では、ユーザがテキストクエリを指定し、そのテキストクエリに関連するタグを有する画像をシステムが検索する。この手法によれば、テキストクエリと意味的に関連する画像を検索することができる。しかしながら、この手法を実現するには、画像に対してタグを付す必要がある。このタグ付け作業は、通常、人手に頼る必要がある。また、タグ付与の誤りや、入力されたテキストクエリと付与されているタグとの不一致などにより、検索精度が悪くなる可能性がある。

一方、画像ベースの検索手法では、通常、ユーザが指定したクエリ画像の特徴量と、画像ＤＢ中の画像の特徴量とを比較し、特徴量が近いものを類似画像として抽出する。この手法では、画像特徴量の抽出や、特徴量どうしの比較をコンピュータで自動的に行うことができるという利点がある。

しかしながら、画像特徴量を用いた類似画像の検索においては、計算そのものは精度良く実行できるが、検索された画像とクエリ画像とが意味的に整合しない可能性がある。例えば、黄色い箱と黄色い自動車のように、特徴量としてよく似た画像であっても、意味的には全く異なる場合がある。また、画像ベースの検索では、クエリ画像からユーザの意図を読み取ることが一般には難しいので、ユーザの意図に沿わない画像が検索される可能性もある。

画像ベースの検索の精度を向上させる手法として、従来から、多重解像度モデル（Multi Resolution Image Similarity Model）を用いた検索手法が提案されている（例えば下記特許文献１参照）。以下、この検索手法の概要を説明する。この手法においては、画像の分割を「解像度」という概念で表す。例えば、解像度２×１であれば、上下２枚に分割されたことを表す。この場合の分割線は、横方向に延びる。また、解像度１×２であれば、左右２枚に分割されたことを表す。この場合の分割線は、縦方向に延びる。分割数をどのように決めるかは、検索目的や、実験的に得られた検索精度に応じて決めることができる。解像度としては、例えば、１×１，２×１，１×２，２×２，３×１，１×３，３×３，４×４，５×５，６×６などのように、適宜に定めることができる。なお、解像度１×１は分割されていない画像である。

そして、各解像度において、クエリ画像と対象画像（ＤＢ中の画像）との類似度を計算する。ある解像度での類似度は、分割によって生成された各領域における類似度の和として得ることができる。各領域における類似度は、画像の色や形状やテクスチャなどの特徴量に基づいて、通常の画像類似度と同様にして計算できる。その後、各解像度における類似度の総和を計算することにより、クエリ画像と対象画像との全体としての類似度を得ることができる。

多重解像度モデルを用いた画像検索では、画像における局所的類似度を重視して画像検索を行うことができる。

しかし、多重解像度モデルを用いた画像検索においても、クエリ画像と意味的に関係しない画像を検索する可能性は残る。さらに、ユーザが求める画像を検索できない可能性も残っている。

特開２００６−６５３９９号公報

本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、クエリ画像を用いた画像検索において、ユーザの検索意図に沿った画像を検索できる検索装置又は検索方法を提供することである。

本発明は、以下のいずれかの項目に記載の構成とされている。

（項目１）
複数の解像度毎の類似度を用いる多重解像度モデルに基づいた画像検索を行う画像検索エンジンに、クエリ画像を提供することによって、前記クエリ画像に類似する複数の画像を含む第１検索結果を取得する画像検索装置において、
前記第１検索結果に含まれる前記画像についての正解及び／又は不正解の指定を受け付けるフィードバック受付部と、
前記正解及び／又は不正解の指定に応じて、前記複数の解像度毎の類似度に対する重みを算出する重み算出部と、
前記算出された重みを用いて、前記クエリ画像と検索された画像との類似度を、前記画像検索エンジンに計算させることによって、前記画像検索エンジンに第２検索結果を取得させる検索制御部と、
前記計算された類似度が高い順序で、前記第２検索結果における画像が配置されている、出力用文書を生成する出力部と
を備えることを特徴とする画像検索装置。

ここで、第２検索結果を取得する処理においては、既に検索された画像を用いて、それらの画像とクエリ画像との類似度を計算することにより行うことができる。あるいは、この処理は、ＤＢ中の画像を再検索し、新たに検索された画像を用いて、クエリ画像との類似度を計算することにより行うこともできる。

（項目２）
前記重み算出部は、前記クエリ画像と前記正解が指定された正解画像との類似度が最も高い解像度について、前記類似度に対する重みを、他の解像度での類似度に対する重みよりも相対的に大きくする処理を行う構成となっている
項目１に記載の画像検索装置。

（項目３）
前記重み算出部は、前記クエリ画像と前記不正解が指定された不正解画像との類似度が最も高い解像度について、前記類似度に対する重みを、他の解像度での類似度に対する重みよりも相対的に小さくする処理を行う構成となっている
項目１又は２に記載の画像検索装置。

（項目４）
前記重み算出部は、前記正解が指定された正解画像及び／又は前記不正解が指定された不正解画像の数に応じて、前記解像度における前記類似度に対する重みを算出する構成となっている
項目１〜３のいずれか１項に記載の画像検索装置。

（項目５）
さらに、前記重み算出部は、前記クエリ画像と、前記正解が指定された正解画像及び／又は前記不正解が指定された不正解画像との類似度に応じて、前記解像度における前記類似度に対する重みを算出する構成となっている
項目１〜４のいずれか１項に記載の画像検索装置。

（項目６）
複数の解像度毎の類似度を用いる多重解像度モデルに基づいた画像検索を行う画像検索エンジンに、クエリ画像を提供することによって、前記クエリ画像に類似する複数の画像を含む第１検索結果を取得する画像検索方法において、
前記第１検索結果に含まれる前記画像についての正解及び／又は不正解の指定を受け付けるステップと、
前記正解及び／又は不正解の指定に応じて、前記複数の解像度毎の類似度に対する重みを算出するステップと、
前記算出された重みを用いて、前記クエリ画像と検索された画像との類似度を、前記画像検索エンジンに計算させることによって、前記画像検索エンジンに第２検索結果を取得させるステップと、
前記計算された類似度が高い順序で、前記第２検索結果における画像が配置されている、出力用文書を生成するステップと
を備えることを特徴とする画像検索方法。

（項目７）
項目６に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、クエリ画像を用いた画像検索において、ユーザの検索意図に沿った画像を検索できる検索装置又は検索方法を提供することが可能になる。

本発明の第１実施形態に係る画像検索装置を用いた検索システムの概略を示すブロック図である。 第１実施形態の装置を用いた画像検索方法の概略を示すフローチャートである。 第１実施形態の検索装置を用いた検索方法を説明するための説明図である。図（ａ）は、入力されるクエリ画像の一例を示す。図（ｂ）は、第１検索結果の一例を示す。図（ｃ）は、正解／不正解についてのフィードバックの一例を示す。図（ｄ）は、フィードバックを考慮した第２検索結果の一例を示す。 第１検索結果を取得する場合において、解像度毎の類似度に付される重みの一例を示す説明図である。 第２検索結果を取得する場合において、解像度毎の類似度に付される重みの一例を示す説明図である。 本発明の第２実施形態における画像検索方法の概略を示すフローチャートである。

（第１実施形態の構成）
本発明の第１実施形態に係る画像検索装置を用いた検索システムを、図１に基づいて説明する。この検索システムは、ユーザ端末１と、画像検索装置２と、検索サーバ３と、インターネット４とを主要な要素として備えている。

（ユーザ端末）
ユーザ端末１は、端末本体１１と、入力装置１２と、表示装置１３とを備えている。端末本体１１は、ＣＰＵ（図示せず）を備えており、ユーザ端末１の動作に必要な計算処理を行うようになっている。入力装置１２は、ユーザからの指令を受け取るためのものである。入力装置１２としては、例えばキーボードやマウスやトラックボールのような装置を用いることができる。本実施形態の入力装置１２は、ユーザによってクエリ画像を指定できるようになっている。表示装置１３は、ユーザに対して情報を提示するものである。表示装置１３としては、例えばＬＣＤやＣＲＴなどのディスプレイを用いることができる。本実施形態の表示装置１３は、画像検索装置２で生成したフィードバック用文書を表示するようになっている。

（画像検索装置）
検索装置２は、クエリ受付部２１と、フィードバック受付部２２と、重み算出部２３と、検索制御部２４と、出力部２５とを備えている。

クエリ受付部２１は、ユーザがユーザ端末１に入力したクエリ画像の情報を受け付ける部分である。さらに、クエリ受付部２１は、検索サーバ３にクエリ画像を提供することによって、クエリ画像に類似する複数の画像を含む第１検索結果を取得する構成となっている。第１検索結果は、ユーザ端末１を介してユーザに呈示される。これにより、ユーザは、第１検索結果に含まれる画像についての、正解及び／又は不正解の指定を入力できるようになっている（後述）。

フィードバック受付部２２は、第１検索結果に含まれる画像についての、ユーザからの正解及び／又は不正解の指定を受け付ける構成となっている。具体的には、フィードバック受付部２２は、ユーザ端末１を用いて入力された、正解及び／又は不正解の指定の情報を、ユーザ端末１から受け取るようになっている。

重み算出部２３は、ユーザからの正解及び／又は不正解の指定に応じて、複数の解像度毎の類似度に対する重みを算出する構成となっている。ここで、検索サーバ３の検索エンジンは、多重解像度モデルを用いてクエリ画像とＤＢ中の画像との類似度を計算する（後述）。したがって、重み算出部２３は、多重解像度モデルにおける、解像度毎の類似度に対する重みを算出するものである。

検索制御部２４は、重み算出部２３において算出された重みを用いて、クエリ画像と検索された画像との類似度を、検索サーバ３の画像検索エンジンに計算させる。これによって、検索制御部２４は、検索サーバ３の画像検索エンジンに第２検索結果を取得させる。

出力部２５は、類似度が高い順序で、第２検索結果における画像が配置されている、出力用文書を生成する構成となっている。

（検索サーバ）
検索サーバ３は、検索エンジン３１と、インデックスＤＢ３２と、画像ＤＢ３３とから構成されている。

検索エンジン３１は、多重解像度モデルに基づいた画像検索を行うものである。多重解像度モデル自体は、従来から知られているので、これについての詳しい説明は省略する。

インデックスＤＢ３２は、画像ＤＢ３３に格納されている画像の検索を高速化するための索引を格納したＤＢである。画像ＤＢ３３には、検索対象としての多数の画像が格納されている。画像ＤＢ３３においては、画像毎にＩＤが付与されている。また、各ＩＤに対応して、画像の特徴量などの情報が記録されている。これらの各ＤＢの構成も、従来と同様でよいので、これ以上詳しい説明は省略する。

（本実施形態の動作）
次に、本実施形態の画像検索装置を用いた検索方法を、図２〜図５をさらに参照しながら説明する。

（図２のステップＳＡ−１）
まず、ユーザは、ユーザ端末１の入力装置１２を用いて、クエリ画像を指定する（図３（ａ）参照）。指定されたクエリ画像の情報は、インターネット４を介して、画像検索装置２のクエリ受付部２１に送られる。

画像検索装置２のクエリ受付部２１は、クエリ画像の情報を受け取ると、クエリ画像を、検索サーバ３の検索エンジン３１に送る。

（図２のステップＳＡ−２）
ついで、検索サーバ３の検索エンジン３１は、多重解像度モデルに基づいて、画像ＤＢ中の類似画像を検索する。多重解像度モデルにおいては、既に述べたように、例えば、１×１，２×１，１×２，２×２，３×１，１×３，３×３，４×４，５×５，６×６などのように、複数の解像度について、それぞれ、クエリ画像と対象画像との類似度を求める。そして、検索エンジン３１は、解像度毎の類似度を合計することで、全体としての類似度を求め、全体として高い類似度を持つ対象画像を、類似画像として特定する。どの程度まで細かい解像度を用いるかは、検索目的に応じて適宜に設定できる。初回の検索においては、各解像度には重みを付与しない。換言すれば、初回の検索時においては、各解像度における重みは等しいと言うことができる（図４参照）。

これにより、検索サーバ３の検索エンジン３１は、類似画像の検索結果を取得することができる。このように取得された検索結果を、この明細書では、第１検索結果と称している。第１検索結果においては、クエリ画像との対象画像との類似度に応じて、ランク付けがされている。つまり、第１検索結果は、類似度のランキングが上位の画像を特定したものである。したがって、第１検索結果は、クエリ画像に類似する複数の画像を含むものとなっている（図３（ｂ）参照）。

（図２のステップＳＡ−３）
ついで、出力部２５は、第１検索結果を用いて、フィードバック受け付け用の文書を生成し、ユーザ端末１に送る。ユーザ端末１の表示装置１３は、フィードバック受付用文書を表示する。ユーザは、表示装置１３を見ながら、入力装置１２を用いて、表示されている画像について、正解及び／又は不正解の指定を行うことができる（図３（ｃ）参照）。図３（ｃ）では、符号「○」が正解画像を示し、符号「×」が不正解画像を示している。すなわち、図中で上から１番目と５番目が正解画像、上から２番目が不正解画像となっている。他の画像は、正解にも不正解にも指定されなかったものである。なお、この実施形態では、正解と不正解の両者を指定しているが、一方のみの指定も可能である。また、指定する画像の数は特に制約されない。

（図２のステップＳＡ−４）
ついで、フィードバック受付部２２は、前記のようにして指定された正解／不正解についての情報を受け取る。このように、正解画像及び不正解画像についての情報を受け取ることを、この明細書ではフィードバックと称している。

（図２のステップＳＡ−５）
ついで、重み算出部２３は、正解／不正解についてのフィードバックに基づいて、解像度毎の類似度に付与される重みを算出する。重み算出方法の一例を以下に詳しく説明する。

（正解ベストマッチ解像度の特定）
重み算出部２３は、「フィードバックされた正解画像とクエリ画像との類似度が最も高い解像度」を特定する。この解像度をこの明細書では「正解ベストマッチ解像度」と称する。ここで、正解画像が複数ある場合は、各正解画像について、正解ベストマッチ解像度を特定する。正解ベストマッチ解像度の集合を、正解ベストマッチ解像度集合と称する。

（不正解ベストマッチ解像度の特定）
前記と同様にして、重み算出部２３は、「フィードバックされた不正解画像とクエリ画像との類似度が最も高い解像度」を特定する。この解像度をこの明細書では「不正解ベストマッチ解像度」と称する。ここで、不正解画像が複数ある場合は、各不正解画像について、不正解ベストマッチ解像度を特定する。不正解ベストマッチ解像度の集合を、不正解ベストマッチ解像度集合と称する。

（重みの調整）
正解ベストマッチ解像度集合に含まれる解像度については、類似度に対する重みを、他の解像度での類似度に比較して、相対的に高くする。

また、不正解ベストマッチ解像度集合に含まれる解像度については、類似度に対する重みを、他の解像度での類似度に比較して、相対的に低くする。

また、重み算出部２３は、正解が指定された正解画像及び／又は不正解が指定された不正解画像の数に応じて、解像度毎の類似度に対する重みを算出することが好ましい。

図５には、調整された重みの例を、符号ｗ_１〜ｗ_３を用いて示した。重み調整の具体的な計算例については後述する。

（ステップＳＡ−６）
ついで、検索制御部２４は、前記のようにして算出された重みを用いて、クエリ画像と検索された画像との類似度を、画像検索エンジン３１に計算させる。これにより、検索制御部２４は、画像検索エンジン３１に第２検索結果を取得させる。この第２検索結果の取得においては、画像検索エンジン３１は、前記したステップＳＡ−２で求めた、解像度毎の類似度を用いることができる。つまり、前記したステップで既に求めた解像度毎の類似度に対して、前記した重みを乗じ、その結果を合計することにより、クエリ画像と対象画像との類似度を新たに求めることができる。この新しい類似度を用いて、第２検索結果における項目（つまり検索された画像）の順位を決定することができる。ただし、解像度毎の類似度として、既に計算されたものを用いる必要はなく、解像度毎の類似度をあらためて算出し、これに対して重み付けを行うことは可能である。

このようにして求められた、クエリ画像と対象画像との類似度は、正解／不正解についてのフィードバックを勘案したものとなっている。したがって、第２検索結果においては、正解画像及びこれに類似する画像の順位を高くし、不正解画像及びこれに類似する画像の順位を低くすることができると期待される。

（図２のステップＳＡ−７）
ついで、出力部２５は、前記した重み付けを用いて計算された類似度が高い順序で、第２検索結果における画像が配置されている、出力用文書を生成する。さらに、出力部２５は、インターネット４を介して、ユーザ端末１に出力用文書を送る。ユーザ端末１は、表示装置１３を用いてユーザに出力文書を呈示する。これにより、ユーザは、正解／不正解の情報に基づいて新たにランク付けされた検索結果を見ることができる。

したがって、本実施形態によれば、クエリ画像を用いた画像検索において、ユーザの検索意図に沿った画像を検索することが可能になるという利点がある。

ついで、解像度毎の重みについての具体的な計算例１及び２を以下に説明する。

（計算例１）
（解像度に対するデフォルトの重み）
以下の例では、４通りの解像度（解像度１〜４）を用いる。これらの解像度は、互いに異なる分割数によるものである。ここで例えば、１×２と２×１は異なる分割数となる。具体的に採用する分割数は、この例では重要ではないので、説明を省略する。

各解像度に対するデフォルトの重みは以下の通りとなる。

デフォルトの解像度と重み ＝ （ 解像度１： Ｗ［１］＝1.0、 解像度２： Ｗ［２］＝1.0、 解像度３： Ｗ［３］＝1.0、 解像度４： Ｗ［４］＝1.0 ）

つまり、いずれの解像度についても、重みを１とする。なお、Ｗ［ｉ］は、解像度ｉについての重みを表す。

この検索による結果（つまり第１検索結果）として、以下の１０個の画像を取得したとする。

検索結果 ＝ （ 画像１、 画像２、 画像３、 画像４、 画像５、 画像６、 画像７、 画像８、 画像９、 画像１０ ）

（正解／不正解についてのフィードバック）
次に、正解／不正解についてのフィードバックをユーザから受け付ける。この例では、フィードバックの結果を以下の通りとする。

フィードバック： 正解画像 ＝ ｛ 画像１、 画像４、 画像５、 画像８ ｝、 不正解画像 ＝ ｛ 画像２、 画像６ ｝

（ベストマッチ解像度集合の生成）
ついで、既に説明した正解ベストマッチ解像度集合を生成する。この例では、以下の通りであったとする。

正解ベストマッチ解像度集合 ＝ ｛ 解像度１（画像１）、 解像度１（画像４）、 解像度４（画像５）、 解像度１（画像８） ｝

つまり、正解画像としての画像１，４，８の場合には、解像度１において、クエリ画像との類似度が最高であった。また、画像５の場合には、解像度４において、クエリ画像との類似度が最高であった。

同様に、不正解ベストマッチ解像度集合を以下のように生成する。

不正解ベストマッチ解像度集合 ＝ ｛ 解像度１（画像２）、 解像度２（画像６）、 解像度２（画像１０） ｝

つまり、不正解画像としての画像２の場合には、解像度１において、クエリ画像との類似度が最高であった。また、画像６及び１０の場合には、解像度２において、クエリ画像との類似度が最高であった。

（解像度に対する重みの調整）
解像度に対する重み（Ｗ［ｉ］）の算出方法を説明する。用いる記号を以下のように準備する。
ＰＫ［ｉ］：正解ベストマッチ解像度集合における解像度ｉの頻度、
ＮＫ［ｉ］：不正解ベストマッチ解像度集合における解像度ｉの頻度、
ＦＷ［ｉ］：正解／不正解の指定数に応じて重みを少なくするための係数、
ΔＷ［ｉ］：初期の重みに対する差分、
Ｗ［ｉ］：算出される重み。

すると、解像度１については、以下のようにして重みを算出できる。

・ＰＫ［１］（正解ベストマッチ解像度集合における解像度１の頻度）＝ 3
・ＮＫ［１］（不正解ベストマッチ解像度集合における解像度１の頻度）＝ 1
・ＦＷ［１］ ＝ １ ／ （ＰＫ［１］ ＋ ＮＫ［１］ ） ＝ 1 ／ （3 ＋ 1） ＝ 1 ／ 4 ＝ 0.25
・ΔＷ［１］ ＝ （ＰＫ［１］−ＮＫ［１］） × ＦＷ［１］ ＝ （3 − 1） × 0.25 ＝ 0.5
・Ｗ［１］ ＝ Ｗ［１］ ＋ ΔＷ［１］ ＝ 1.0 ＋ 0.5 ＝ 1.5

つまり、解像度１に対する重みは１．５と算出される。この例では、指定された正解／不正解画像の数に応じて重みを計算しているということができる。また、ＰＫ［ｉ］−ＮＫ［ｉ］の計算を行うことは、正解の指定による重みを、不正解の指定による重みでキャンセルすることに相当する。

解像度１の場合と同様にして、解像度２に対する重み（Ｗ［２］）を以下のように算出できる。
・ＰＫ［２］（正解ベストマッチ解像度集合における解像度２の頻度）＝ 0
・ＮＫ［２］（不正解ベストマッチ解像度集合における解像度２の頻度）＝ 2
・ＦＷ［２］ ＝ １ ／ （ＰＫ［２］ ＋ ＮＫ［２］ ） ＝ 1 ／ （0 ＋ 2） ＝ 0.5
・ΔＷ［２］ ＝ （ＰＫ［２］−ＮＫ［２］） × ＦＷ［２］ ＝ （0 − 2） × 0.5 ＝ -1.0
・Ｗ［２］ ＝ Ｗ［２］ ＋ ΔＷ［２］ ＝ 1.0 ＋（-1.0） ＝ 0.0

解像度３に対する重み（Ｗ［３］）は以下のように算出できる。
・ＰＫ［３］（正解ベストマッチ解像度集合における解像度３の頻度）＝ 0
・ＮＫ［３］（不正解ベストマッチ解像度集合における解像度３の頻度）＝ 0
・ＦＷ［３］ ＝ １ ／ （ＰＫ［３］ ＋ ＮＫ［３］ ） ＝ 1 ／ （0 ＋ 0） ＝ 0.0 （分母が０の場合は０とみなす）
・ΔＷ［３］ ＝ （ＰＫ［３］−ＮＫ［３］） × ＦＷ［３］ ＝ （0 − 0） × 0.0 ＝ 0.0
・Ｗ［３］ ＝ Ｗ［３］ ＋ ΔＷ［３］ ＝ 1.0 ＋ 0.0 ＝ 1.0

解像度４に対する重み（Ｗ［４］）は以下のように算出できる。
・ＰＫ［４］（正解ベストマッチ解像度集合における解像度４の頻度）＝ 1
・ＮＫ［４］（不正解ベストマッチ解像度集合における解像度４の頻度）＝ 0
・ＦＷ［４］ ＝ １ ／ （ＰＫ［４］ ＋ ＮＫ［４］ ） ＝ 1 ／ （1 ＋ 0） ＝ 1.0
・ΔＷ［４］ ＝ （ＰＫ［４］−ＮＫ［４］） × ＦＷ［４］ ＝ （1 − 0） × 1.0 ＝ 1.0
・Ｗ［４］ ＝ Ｗ［４］ ＋ ΔＷ［４］ ＝ 1.0 ＋ 1.0 ＝ 2.0

（解像度毎の重み）
前記の調整の結果、解像度毎の重みは以下の通りとなる。
解像度１： Ｗ［１］＝1.5、 解像度２： Ｗ［２］＝0.0、 解像度３： Ｗ［３］＝1.0、 解像度４： Ｗ［４］＝2.0。

このような計算方法では、フィードバックの数が多いときは、ＦＷ［ｉ］の値が小さくなるので、フィードバックによる重みへの影響を減らすことができる。これは、フィードバック数が多いと、一つあたりのフィードバックにおける確信度が低くなるという仮定に基づいている。この手法は、正解と不正解の基準が曖昧な場合に有効であると考えられる。

なお、前記の例では、ＰＫ［ｉ］：正解ベストマッチ解像度集合における解像度ｉの頻度、ＮＫ［ｉ］：不正解ベストマッチ解像度集合における解像度ｉの頻度、とした。しかしながら、頻度に代えて、正解／不正解ベストマッチ解像度集合における正解／不正解画像とクエリ画像との類似度を用いることができる。具体的には、次のように計算できる。

正解ベストマッチ解像度集合の解像度１に対応する画像は、前記の通り、画像１、画像４、画像８とする。この場合、解像度１におけるＰＫ［ｉ］を、
ＰＫ［１］＝（解像度１における、クエリ画像と画像１の類似度＋解像度１における、クエリ画像と画像４の類似度＋解像度１における、クエリ画像と画像８の類似度）、
として計算できる。他の解像度においても同様に計算できる。このようにすると、重みの値を細かく設定できるという利点がある。また、この計算も、類似度の和を用いていることから、指定された正解／不正解画像の数を考慮して重み付けを行っていることに相当する。

（計算例２）
（解像度に対するデフォルトの重み）
前記の計算例１では、ＦＷ［ｉ］（正解／不正解の指定数に応じた重みの変動量を少なくするための係数）を用いていた。これに対して、計算例２では、ＦＷ［ｉ］を用いないで重みを計算する。計算例２の説明では、計算例１と共通する部分については説明を簡略化する。

計算例２における解像度１については、以下のようにして重みを算出できる。
・ＰＫ［１］（正解ベストマッチ解像度集合における解像度１の頻度）＝ 3
・ＮＫ［１］（不正解ベストマッチ解像度集合における解像度１の頻度）＝ 1
・ΔＷ［１］ ＝ ＰＫ［１］−ＮＫ［１］ ＝ 3 − 1 ＝ 2.0
・Ｗ［１］ ＝ Ｗ［１］ ＋ ΔＷ［１］ ＝ 1.0 ＋2.0 ＝ 3.0

つまり、解像度１に対する重みは３．０と算出される。同様にして、解像度２に対する重み（Ｗ［２］）を以下のように算出できる。
・ＰＫ［２］（正解ベストマッチ解像度集合における解像度２の頻度）＝ 0
・ＮＫ［２］（不正解ベストマッチ解像度集合における解像度２の頻度）＝ 2
・ΔＷ［２］ ＝ ＰＫ［２］−ＮＫ［２］ ＝ 0 − 2 ＝ -2.0
・Ｗ［２］ ＝ Ｗ［２］ ＋ ΔＷ［２］ ＝ 1.0 ＋ -2.0 ＝ -1.0

解像度３に対する重み（Ｗ［３］）は以下のように算出できる。
・ＰＫ［３］（正解ベストマッチ解像度集合における解像度３の頻度）＝ 0
・ＮＫ［３］（不正解ベストマッチ解像度集合における解像度３の頻度）＝ 0
・ΔＷ［３］ ＝ＰＫ［３］−ＮＫ［３］ ＝ 0 − 0 ＝ 0.0
・Ｗ［３］ ＝ Ｗ［３］ ＋ ΔＷ［３］ ＝ 1.0 ＋0.0 ＝ 1.0

解像度４に対する重み（Ｗ［４］）は以下のように算出できる。
・ＰＫ［４］（正解ベストマッチ解像度集合における解像度４の頻度）＝ 1
・ＮＫ［４］（不正解ベストマッチ解像度集合における解像度４の頻度）＝ 0
・ΔＷ［４］ ＝ＰＫ［４］−ＮＫ［４］ ＝ 1 − 0 ＝ 1.0
・Ｗ［４］ ＝ Ｗ［４］ ＋ ΔＷ［４］ ＝ 1.0 ＋1.0 ＝ 2.0

（解像度毎の重み）
前記の調整の結果、解像度毎の重みは以下の通りとなる。
解像度１： Ｗ［１］＝3.0、 解像度２： Ｗ［２］＝-1.0、 解像度３： Ｗ［３］＝1.0、 解像度４： Ｗ［４］＝2.0。

このような計算方法では、フィードバックの数が多いと、それだけ、重みが大きく変動する傾向になる。これにより、ユーザの意図を一層重視した検索結果を得ることができる。この手法は、正解と不正解の基準が明確な場合に有効であると考えられる。

なお、計算例２においても、計算例１と同じく、ＰＫ［ｉ］及び［ｉ］として、頻度に代えて、正解／不正解ベストマッチ解像度集合における正解／不正解画像とクエリ画像との類似度を用いることができる。

（第２実施形態）
以下、本発明の第２実施形態を、図６を主に参照しながら説明する。第２実施形態の説明においては、前記した第１実施形態と共通する構成については、説明を簡略化する。

（図６のステップＳＢ−１〜ＳＢ−６）
第２実施形態におけるステップＳＢ−１〜ＳＢ−６は、第１実施形態におけるステップＳＡ−１〜ＳＡ−６と実質的に同様でよいので、詳しい説明は省略する。これらにステップにより、第２検索結果を取得することができる。

（図６のステップＳＢ−７）
ついで、第２実施形態では、出力部２５が、第２検索結果を用いたフィードバック用の文書（図示せず）を生成する。このフィードバック用文書の体裁は、ステップＳＢ−３で生成されるものと同様でよいが、その中身としては、第２検索結果が用いられる。

（図６のステップＳＢ−８）
ついで、フィードバック受付部２２は、ユーザから、第２検索結果を用いたフィードバック用文書に対するフィードバックを待つ。フィードバックがあった場合は、ステップＳＢ−５に戻り、正解／不正解の指定に応じて、重み算出部２３が重みを再計算する。ここでの処理は、第１実施形態における第１検索結果として、第２検索結果を用いる（つまり第１検索結果の内容を更新する）ことにより、同様に行うことができる。そして、更新後の第１検索結果を用いて、あらたな第２検索結果を生成し、再びフィードバック用文書を生成することができる。フィードバックがある限り、このループを続けることができる。あるいは、フィードバックの回数を制限し、既定回数のループを続けたら、次のステップＳＢ−９に進むように設定することができる。

（図６のステップＳＢ−９）
一方、ステップＳＢ−８におけるフィードバックが無かった場合は、出力部２５は、第１実施形態のステップＳＡ−７と同様にして、出力用文書を生成する。ここで、出力用文書には、ステップＳＢ−８でのフィードバックにより更新された第２検索結果が含まれる。

第２実施形態においては、検索結果へのフィードバックを繰り返して行うので、ユーザの意図を一層重視した検索を行うことができる。

前記した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

なお、多重解像度モデルの各解像度に対して重みを算出した後にステップSA-6やSB-6で第2検索結果を得る場合において、重み付けが変更された多重解像度モデルを用いて、ステップSA-2で得られた第１検索結果の画像に対して類似度の算出を行って、当該第１検索結果のランキングを更新した結果として、第２検索結果を得ることができる。この場合、例えば、検索サーバにキャッシュメモリを備えて、そのキャッシュメモリに第１検索結果を一時的に格納しておくことで、検索制御部２４の検索指示により、第１検索結果に対する類似度の再算出を行える。これにより、この場合、クエリ画像に類似する画像の中からユーザのフィードバックを反映し、類似度の高い画像を得ることができる。また、既に得ている所定数の画像に対して類似度を再計算するため、処理を高速にすることができる。

また、重み付けが変更された多重解像度モデルにより、画像ＤＢ３３に格納された画像に対して類似度を算出し、再検索を行うことによって、第２検索結果を得ることもできる。この場合、ユーザのフィードバックが加味された解像度毎の重み付けにおいて高い類似度を持つ画像を画像ＤＢから得ることができる。例えば、ステップＳＡ−６やＳＢ−６において第１検索結果で得られなかった新たな検索結果が第２検索結果として得られる可能性もある。

１ ユーザ端末
１１ 端末本体
１２ 入力装置
１３ 表示装置
２ 画像検索装置
２１ クエリ受付部
２２ フィードバック受付部
２３ 重み算出部
２４ 検索制御部
２５ 出力部
３ 検索サーバ
３１ 画像検索エンジン
３２ インデックスＤＢ
３３ 画像ＤＢ
４ インターネット

Claims (5)

1. 多重解像度モデルにおける複数の解像度毎の類似度を算出し、前記解像度毎の類似度を画像単位で合計して得られる合計類似度を用いて画像検索を行う画像検索エンジンに、クエリ画像を提供することによって、前記クエリ画像に類似する複数の画像を含む第１検索結果を取得する画像検索装置であって、
   前記第１検索結果に含まれる前記画像についての正解及び／又は不正解の指定を受け付けるフィードバック受付部と、
   前記正解及び／又は不正解の指定に応じて、前記複数の解像度毎の類似度に対する重みを算出する重み算出部と、
   前記複数の解像度毎の類似度に対して算出された前記重みを用いて、前記クエリ画像と検索された画像との間の合計類似度を、前記画像検索エンジンに計算させることによって、前記画像検索エンジンに第２検索結果を取得させる検索制御部と、
   前記重みを用いて計算された合計類似度が高い順序で、前記第２検索結果における画像が配置されている、出力用文書を生成する出力部と
   を備えており、
   さらに、前記重み算出部は、前記複数の解像度毎の重みの算出において、
   前記クエリ画像と前記正解が指定された正解画像との間における、解像度毎の類似度が最も高い解像度での類似度に対する重みを、他の解像度での類似度に対する重みよりも相対的に大きくする処理、及び、
   前記クエリ画像と前記不正解が指定された不正解画像との間における、解像度毎の類似度が最も高い解像度での類似度に対する重みを、他の解像度での類似度に対する重みよりも相対的に小さくする処理のいずれか一方を行う構成となっている
   ことを特徴とする画像検索装置。
2. 前記重み算出部は、前記正解が指定された正解画像及び／又は前記不正解が指定された不正解画像の数が大きくなるほど、前記解像度での類似度に対する重みを減らす処理を行う構成となっている
   請求項１に記載の画像検索装置。
3. さらに、前記重み算出部は、前記クエリ画像と、前記正解が指定された正解画像及び／又は前記不正解が指定された不正解画像との類似度に応じて、前記解像度での前記類似度に対する重みを算出する構成となっている
   請求項１又は２に記載の画像検索装置。
4. 多重解像度モデルにおける複数の解像度毎の類似度を算出し、前記解像度毎の類似度を画像単位で合計して得られる合計類似度を用いて画像検索を行う画像検索エンジンに、クエリ画像を提供することによって、前記クエリ画像に類似する複数の画像を含む第１検索結果を取得する画像検索方法であって、
   前記画像検索方法は、フィードバック受付部と、重み算出部と、検索制御部と、出力部とを備える画像検索装置により実行されるものであり、
   さらに、
   前記フィードバック受付部が、前記第１検索結果に含まれる前記画像についての正解及び／又は不正解の指定を受け付けるステップと、
   前記重み算出部が、前記正解及び／又は不正解の指定に応じて、前記複数の解像度毎の類似度に対する重みを算出するステップと、
   前記検索制御部が、前記複数の解像度毎の解像度に対して算出された前記重みを用いて、前記クエリ画像と検索された画像との間の合計類似度を、前記画像検索エンジンに計算させることによって、前記画像検索エンジンに第２検索結果を取得させるステップと、
   前記出力部が、前記重みを用いて計算された合計類似度が高い順序で、前記第２検索結果における画像が配置されている、出力用文書を生成するステップと
   を備えており、
   さらに、
   前記重み算出部が、前記複数の解像度毎の重みを算出するステップは、
   前記クエリ画像と前記正解が指定された正解画像との間における、解像度毎の類似度が最も高い解像度での類似度に対する重みを、他の解像度での類似度に対する重みよりも相対的に大きくする処理を行うステップ、及び、
   前記クエリ画像と前記不正解が指定された不正解画像との間における、解像度毎の類似度が最も高い解像度での類似度に対する重みを、他の解像度での類似度に対する重みよりも相対的に小さくする処理を行うステップのいずれか一方を含んでいる
   ことを特徴とする画像検索方法。
5. 請求項４に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

Images