JP5318503B2 - 画像検索装置 - Google Patents

Description

本発明は、クエリ画像を用いて類似画像を検索する技術に関するものである。

ある画像（いわゆる入力画像）に類似する画像を検索する手法として、例えば、下記特許文献１に記載の技術が存在する。

この文献の技術では、入力画像から、特徴量を抽出する。この特徴量を、データベースに登録された画像の特徴量と比較する。特徴量どうしの距離が既定範囲内にある登録画像を、類似画像として取得することができる。

ところで、特徴量は、一般に、多次元のベクトルデータとして表現される。データの次元数を増加させれば、検索精度の向上は期待できるが、計算コストが高くなってしまう。したがって、実際は、ベクトルデータの次元数は制約される。このため、実際の類似画像検索においては、ノイズが多くなってしまい、検索精度が低くなりがちであるという問題がある。

これに対して、下記特許文献１では、複数のクエリ画像を使用者に選択させることによって、検索精度の向上を図っている。
特開平１１−２３８０７８号公報

しかしながら、複数のクエリ画像を選択させる方法は、使用者に操作の負担を強いることになる。このため、多くのクエリ画像を選択させることは、現実には難しい。また、類似画像検索は、色や形状、テクスチャといった画像から機械的に抽出される特徴に基づいて検索を行うため、ユーザが選択したクエリ画像にその検索結果が大きく依存してしまう。よって、従来の技術では、検索精度を向上させるという点において、改良の余地があった。

本発明は、前記の状況に鑑みてなされたものである。本発明の目的の一つは、クエリ画像を用いた類似画像の検索精度を向上させることが可能な装置ないし手法を提供することである。

本発明は、以下のいずれかの項目に記載の構成とされている。

（項目１）
クエリ受付部と、クエリ拡張部と、検索部と、統合部とを備えており、
前記クエリ受付部は、基本クエリ画像を受け付ける構成となっており、
前記クエリ拡張部は、前記基本クエリ画像に画像処理を施すことによって、疑似クエリ画像を生成する構成となっており、
前記検索部は、前記基本クエリ画像及び前記疑似クエリ画像の両方について、それぞれ、複数の対象画像から、類似画像を検索することにより、仮検索結果を得る構成となっており、
前記統合部は、前記仮検索結果を統合して、全体的な順位付けを行うことにより、出力用検索結果を得る構成となっている
ことを特徴とする画像検索装置。

本発明では、本来のクエリ画像である基本クエリ画像に対応する仮の検索結果の他に、さらに、疑似クエリ画像を生成して、これに基づく仮の検索結果を取得する。これらの仮検索結果を統合して、最終的な検索結果を得ることができる。したがって、操作者の負担を低く抑えつつ、精度の高い検索結果を得ることができる。

（項目２）
さらに、画像登録部を備えており、前記複数の対象画像は、前記画像登録部に記録されている
項目１に記載の画像検索装置。

一般に、検索対象となる画像は、事前に、何らかのデータベースに登録しておくことが、検索時間を短縮するためには好ましい。

（項目３）
前記統合部は、前記基本クエリ画像及び前記疑似クエリ画像のそれぞれにおける、前記仮検索結果のランクを用いて、前記仮検索結果を統合する構成となっている
項目１又は２に記載の画像検索装置。

基本クエリ画像に基づく類似画像検索の結果は、例えば類似度を用いて、ランクづけすることができる。同様に、疑似クエリ画像に基づく類似画像検索の結果も、例えば類似度を用いて、ランクづけすることができる。ランクづけにおける順位を用いて、仮検索結果を統合することができる。

（項目４）
前記統合部は、前記基本クエリ画像に対応する前記仮検索結果におけるランクへの重み付けを、前記疑似クエリ画像に対応する前記仮検索結果におけるランクへの重み付けよりも大きくする構成となっている
項目３に記載の画像検索装置。

一般に、基本クエリ画像に基づく仮検索結果は、疑似クエリ画像に基づく仮検索結果よりも信頼性が高いと考えられる。そこで、基本クエリ画像による仮検索結果でのランクに対して、疑似クエリ画像による仮検索結果でのランクよりも、大きな重みを付ける。これにより、統合された検索結果の信頼性を高めることができる。

（項目５）
前記統合部は、疑似クエリ画像に対応する前記仮検索結果におけるランクへの重み付けを、基本クエリ画像の性質又は前記検索部の特性に応じて調整する構成となっている
項目３に記載の画像検索装置。

例えば、基本クエリ画像が人物写真である場合、色を変えてしまうと、人物以外の画像を検索する可能性が高くなる。このように、基本クエリ画像の性質によって、疑似クエリ画像の信頼性が変化すると考えられる。同様に、検索部（いわゆる検索エンジン）の特性によっても、疑似クエリ画像の信頼性が変化すると考えられる。そこで、疑似クエリ画像に対応する仮検索結果におけるランクへの重み付けを、基本クエリ画像の性質又は検索部の特性に応じて調整することが好ましい。

（項目６）
前記統合部は、前記仮検索結果と、前記基本クエリ画像又は前記疑似クエリ画像との類似度を用いて、前記仮検索結果を統合する構成となっている
項目１又は２に記載の画像検索装置。

仮検索結果と、基本クエリ画像又は疑似クエリ画像との類似度を用いて、仮検索結果を統合することが可能である。類似度が高い画像は、一般的には、検索結果として信頼性が高いと考えられる。この項目の発明では、高い類似度を持つ画像を、最終的な検索結果として出力することができる。また、疑似クエリ画像毎に、検索結果の類似度に対して、異なる重み付けを行うことが可能である。

（項目７）
基本クエリ画像を受け付けるステップと；
前記基本クエリ画像に画像処理を施すことによって、疑似クエリ画像を生成するステップと；
前記基本クエリ画像及び前記疑似クエリ画像の両方について、それぞれ、複数の対象画像から、類似画像を検索することにより、仮検索結果を得るステップと；
前記仮検索結果を統合して、全体的な順位付けを行うことにより、出力用検索結果を得るステップと
を備えたことを特徴とする画像検索方法。

（項目８）
項目７に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。

このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。

本発明によれば、クエリ画像を用いた類似画像の検索精度を向上させることが可能な装置ないし手法を提供することができる。

（第１実施形態の装置構成）
本発明の第１実施形態に係る画像検索装置を、添付の図面に基づいて説明する。

この第１実施形態に係る画像検索装置は、図１に示されるように、クエリ受付部１と、クエリ拡張部２と、検索部３と、統合部４と、表示部５と、画像登録部６とを、基本的な構成として備えている。

クエリ受付部１は、基本クエリ画像７を受け付ける構成となっている。基本クエリ画像７は、一般には、画像検索のためにユーザによって指定される画像である。画像検索のためのキーとなる画像は、一般にクエリ画像と呼ばれるが、この明細書では、後述する疑似クエリ画像と区別するために、基本クエリ画像と称する。

クエリ拡張部２は、基本クエリ画像７に画像処理を施すことによって、疑似クエリ画像を生成する構成となっている。

検索部３は、基本クエリ画像７及び疑似クエリ画像の両方について、それぞれ、複数の対象画像から、類似画像を検索することにより、仮検索結果を得る構成となっている。

統合部４は、仮検索結果を統合して、全体的な順位付けを行うことにより、出力用検索結果を得る構成となっている。

表示部５は、出力用検索結果としてのリスト８を表示するものである。表示部５は、外部に対してリスト８を表示できるものであればよく、例えば各種のディスプレイやプリンタである。

画像登録部６は、複数の対象画像を記録するものである。画像登録部６は、画像ＤＢ６１と、インデックス部６２と、インデックスＤＢ６３とを備えている。

画像ＤＢ６１は、検索対象となる画像を登録しておくものである。ここで画像ＤＢ６１は、画像にリンクされた特徴量ないしベクトルデータを保存するものであってもよい。このようなデータもここでは画像と呼ぶ。インデックス部６２は、画像ＤＢ６１に登録された画像の検索を容易とするために、索引を付するものである。インデックスＤＢ６３は、作成された索引を記憶するものである。

本実施形態における画像検索装置の動作については、以下に詳しく説明する。

（第１実施形態に係る画像検索方法）
図２及び図３をさらに参照しながら、第１実施形態にかかる画像検索装置の動作を説明する。図２は、画像検索方法の全体の流れを示すフローチャートである。図３は、クエリ画像の拡張動作を模式的に示す説明図である。

（図２のステップＳＡ−１）
まず、登録画像（検索対象画像）を準備し、画像登録部６に登録する。画像登録部６では、必要な索引付けを行い、インデックスＤＢ６３に索引を記録する。例えば、インターネットを介して、webサイトから取得した画像を、画像登録部６に登録することができる。

（図２のステップＳＡ−２）
ついで、ユーザは、ユーザ端末（図示せず）からクエリ画像７を入力する。このクエリ画像７は、この明細書では、基本クエリ画像と呼ばれるものである。

クエリ受付部１は、入力された基本クエリ画像７を、例えばインターネットを介して受け付ける。

（図２のステップＳＡ−３）
ついで、拡張部２は、基本クエリ画像７に基づいて、疑似クエリ画像９を生成する。疑似クエリ画像９の数は、１つでも、２以上の複数でもよい。疑似クエリ画像９の数は、多い方が、検索精度を向上できると考えられる。図３では、三つの疑似クエリ画像９を生成した例を示している。

疑似クエリ画像の生成例を、図４を参照してさらに詳しく説明する。疑似クエリ画像は、基本クエリ画像７に画像処理を施すことによって生成される。ここで、この明細書において、画像処理とは、元の画像の本質的な特徴を失わない状態で、ある種のパラメータを操作することで、異なる画像を得ることである。

図４の例では、回転、ぼかし、エンボス、中間値、均等化、及びスレショルド処理による画像処理（いわゆる変形）の例をそれぞれ示している。もちろん、画像処理の手法としては、これらに限らない。

（図２のステップＳＡ−４）
ついで、各クエリ画像（基本クエリ画像及び疑似クエリ画像）について、類似画像を、画像登録部６から検索する。類似画像の検索手法としては、従来から用いられているものを使用できるので、その詳細については説明を省略する。

この検索の結果、各クエリ画像（基本クエリ画像及び疑似クエリ画像）に対応した検索結果を得ることができる。この検索結果を、この明細書では、仮検索結果１０と称する（図３参照）。これは、最終的な（つまり出力用の）検索結果と区別するためである。

また、検索部３は、仮検索結果１０について、各クエリ画像との類似度の高さに従って、順位付けを行う。類似度の計算方法としては、従来から用いられている手法を用いることができる。例えば、低レベルの視覚的な特徴量（例えば色、形状、テクスチャなど）を多次元ベクトルデータとして算出し、この多次元ベクトルデータ間の距離により、類似度を表すことができる。そして、検索部３は、画像登録部６に登録された画像の多次元ベクトルと、クエリ画像に対応する多次元ベクトルデータとの間の類似度を算出して、類似度の高い順に検索結果を出力する。

（図２のステップＳＡ−５）
次に、統合部４は、以下のようにして、仮検索結果１０を統合し、出力用検索結果１１（図３参照）を生成する。

仮検索結果１０の一例を図６に示す。ここでは、基本クエリ画像に基づく仮検索結果の他に、二つの疑似クエリ画像に基づく仮検索結果がそれぞれ示されている。図６においては、仮検索結果として得られたデータに、それぞれ、Ｉ−ＸＸのように符号を付している。ＸＸは、画像に対応して付された数字である。

また、図６では、基本クエリ画像７に基づく仮検索結果の順位付け（ランキング）に符号Ｒ−１を付し、二つの疑似クエリ画像に基づく仮検索結果の順位付け（ランキング）に符号Ｒ−２及びＲ−３をそれぞれ付している。

まず、記号を以下のように定義する。

このとき、それぞれの検索結果に対するスコアは、以下の式で算出できる。

ここで、Rank(r,i)を２乗にしているのは、ランキングの順位が低い（つまり順位の数が大きい）場合に、スコアの値を低くするためである。指数の値を増やすほど、ランキング順位の影響を増加させることができる。どの程度の値にするかは、実験的に決定できる。なお、Ｒの絶対値はランキングの数を示しており、これで割るのは、正規化のためである。

また、この例では、ランキング毎に、異なる重みを採用している。例えば、基本クエリ画像に基づく仮検索結果のランキングについての重み（下記の計算例ではWeight(R-1)=0.8）を、他のランキングよりも高く設定することができる。ユーザが画像検索のクエリとして選択した基本クエリ画像に基づく仮検索結果は、他の結果よりも高い信頼性を持つと考えられるので、このように重みづけを行うことにより、最終的に得られる検索結果の信頼性を向上させることができる。

スコアについての具体的な計算例を以下に示す。

上に示したように、符号Ｉ−０９が付された検索結果は、全ランキング中で３回登場しており、スコアとしては、０．１５７となる。他の画像についても、同様に計算することができる。

ついで、統合部４は、各画像のスコアに基づいて、各画像をソートする。そして、ソートされた順位に基づいて、既定の順位までを、最終的な検索結果として、表示部５に送る。ここで、既定の順位とは、ユーザあるいは管理者が指定した順位でも良いし、システム側が動的に生成した順位でもよい。

表示部５は、クエリ画像に基づく検索結果をユーザに呈示することができる。

本実施形態では、本来のクエリ画像である基本クエリ画像７に対応する仮の検索結果の他に、さらに、疑似クエリ画像９を生成して、これに基づく仮の検索結果を取得する。そして、これらの仮検索結果を統合して、最終的な検索結果を得ることができる。したがって、操作者の負担を低く抑えつつ、精度の高い検索結果を得ることができる。

なお、前記実施形態においては、基本クエリ画像に基づく仮検索結果への重みを重くしていた。ランキングへの重み付けとしては、これに限らず、例えば、基本クエリ画像の性質又は検索部３の特性に応じて調整することもできる。

例えば、基本クエリ画像７が人物写真である場合、色を変えてしまうと、人物以外の画像を検索する可能性が高くなる。また、基本クエリ画像７が風景写真である場合に、回転画像を検索に用いると、ノイズを検索する可能性が高まる。

このため、例えば、基本クエリ画像７が人物画像である場合には、色彩を加工した擬似クエリ画像に対応する仮検索結果におけるランクへの重み付けを低くすることで、色彩の加工による検索結果への影響を低めることができる。

また、基本クエリ画像７が風景写真である場合には、画像を回転しても特徴量が変わらないような特徴量（rotation-invariant feature、たとえば色ヒストグラム）が類似画像検索時に重要であることが一般的である。このため、画像回転による擬似クエリ画像に対応する仮検索結果におけるランクへの重み付けを低くすることで、検索結果にノイズが含まれることを防止することができる。

また、商品画像を検索するシステムの場合、基本クエリ画像には、商品以外に、商品と関係ないもの（例えば背景）も含まれている可能性があるため、擬似クエリ画像を生成するときに、背景を削除するなどの画像処理を行うことが好ましい。この場合、ユーザが興味のある情報（商品そのもの）は、基本クエリ画像よりも、背景等を除いた擬似クエリ画像が正確に表現していることになるので、擬似クエリ画像に対する仮検索結果の重み付けを、基本クエリ画像の仮検索結果の重み付けよりも大きくすることで、より精度の高い検索結果を得ることができる。このように、商品画像検索の場合には、背景が削除された擬似クエリ画像に対応する仮検索結果の重みを、基本クエリ画像に対応する仮検索結果の重みよりも大きくすることが好適であると考えられる。

また、商品画像の検索の場合には、基本クエリ画像から背景等を除いてから、商品の色を変えるという手法も効果的である。例えば、車を含む画像を検索する際に、基本クエリ画像から背景を除去した画像の色を更に変化させて各擬似クエリ画像の生成を行う。この際、車の色としてよくある色（黒、白、赤など）の擬似クエリ画像の重みを大きくし、車の色として珍しい色（ピンク、など）の擬似クエリ画像の重みを小さくするという手法を用いることで、車以外の商品画像が多く含まれることを抑えることができる。

以上のように、基本クエリ画像の性質によって、疑似クエリ画像の信頼性が変化すると考えられる。同様に、画像ＤＢ６１に登録されている画像の種類（商品や人物や風景等）や、検索時に重要と見なす特徴量の種類のように、画像登録部や検索部（いわゆる検索エンジン）の特性によっても、疑似クエリ画像の信頼性が変化すると考えられる。そこで、疑似クエリ画像に対応する仮検索結果におけるランクへの重み付けを、基本クエリ画像の性質又は検索部の特性に応じて調整することが可能である。

（第２実施形態）
次に、本発明の第２実施形態に係る画像検索装置を説明する。なお、この第２実施形態の説明においては、前記した第１実施形態の装置と基本的に共通する要素については、同一符号を用いることで、説明の煩雑を避ける。

前記した第１実施形態においては、各クエリ画像に対する仮検索結果におけるランキングを用いて、仮検索結果への順位付けを行った。これに対して、この第２実施形態の統合部４は、仮検索結果と、基本クエリ画像又は疑似クエリ画像との類似度を用いて、仮検索結果を統合する構成となっている。

具体的な計算例を以下において説明する。

まず、用いる記号の意味を以下のように定める。

このとき、それぞれの検索結果に対するスコアは、以下の式で算出できる。このように算出されたスコアを用いて、第１実施形態と同様にして、仮検索結果に対して順位づけを行い、最終的な検索結果を得ることができる。

本実施形態では、仮検索結果と、基本クエリ画像又は疑似クエリ画像との類似度を用いて、仮検索結果を統合することができる。類似度が高い画像は、一般的には、検索結果として信頼性が高いと考えられる。よって、第２実施形態の方法においても、高い類似度を持つ画像を、最終的な検索結果として出力することができると考えられる。

なお、この第２実施形態においても、第１実施形態と同様に、クエリ画像に対応するランキング毎に、類似度への重み付けを変えることができる。このことは前記の式から明らかである。これにより、例えばクエリ画像の性質に応じてスコアを変化させることができ、高精度な画像検索が可能になる。

第２実施形態における他の構成及び利点は、前記した第１実施形態と基本的に同様なので、これ以上詳細な説明は省略する。

前記した各実施形態の動作は、コンピュータに適宜のコンピュータソフトウエアを組み込むことにより実施することができる。

なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。

例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。

また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。

本発明の第１実施形態に係る画像検索装置の基本的な構成を示すブロック図である。 本発明の第１実施形態に係る画像検索方法の全体的な流れを概略的に説明するためのフローチャートである。 本発明の第１実施形態に係る画像検索方法を模式的に説明するための説明図である。 疑似クエリ画像の例を示す説明図である。 第１実施形態において、仮検索結果を統合する手順を説明するためのフローチャートである。 第１実施形態において、仮検索結果を統合する手順を説明するための説明図である。

符号の説明

１ クエリ受付部
２ クエリ拡張部
３ 検索部
４ 統合部
５ 表示部
６ 画像登録部
７ クエリ画像（基本クエリ画像）
８ 検索結果リスト
９ 疑似クエリ画像
１０ 仮検索結果
１１ 出力用検索結果

Claims (8)

1. クエリ受付部と、クエリ拡張部と、検索部と、統合部と、画像登録部とを備えており、
   前記クエリ受付部は、基本クエリ画像を受け付ける構成となっており、
   前記クエリ拡張部は、前記基本クエリ画像に画像処理を施すことによって、疑似クエリ画像を生成する構成となっており、
   前記画像登録部は、複数の対象画像にそれぞれ対応する特徴量を記録しており、
   前記検索部は、前記基本クエリ画像及び前記疑似クエリ画像の両方について、それぞれの特徴量を用いて、複数の対象画像から、類似画像を検索することにより、仮検索結果を得る構成となっており、
   ここで、前記検索部は、前記基本クエリ画像及び前記疑似クエリ画像の両方について、前記画像登録部に記録された複数の対象画像における共通の特徴量を検索することによって、類似画像を検索する構成となっており、
   かつ、前記検索部は、前記特徴量に対応する多次元ベクトルデータ間の距離により算出される類似度を用いて前記検索を行い、この類似度が高い順で、前記仮検索結果を出力する構成となっており、
   前記統合部は、前記基本クエリ画像及び前記疑似クエリ画像のそれぞれに対応する前記仮検索結果ごとの、前記類似度の順でのランクを用いて、前記検索された仮検索結果に含まれる各対象画像の、全ランクを統合したスコアを算出することで、各前記仮検索結果を統合した全体的な順位付けを行い、出力用検索結果を得る構成となっている
   ことを特徴とする画像検索装置。
2. 前記統合部は、前記基本クエリ画像に対応する前記仮検索結果におけるランクへの重み付けを、前記疑似クエリ画像に対応する前記仮検索結果におけるランクへの重み付けよりも大きくする構成となっている
   請求項１に記載の画像検索装置。
3. 前記統合部は、疑似クエリ画像に対応する前記仮検索結果におけるランクへの重み付けを、基本クエリ画像の性質又は前記検索部の特性に応じて調整する構成となっている
   請求項１に記載の画像検索装置。
4. 前記統合部は、前記基本クエリ画像が人物画像である場合には、色彩を加工して得られた擬似クエリ画像に対応する仮検索結果におけるランクへの重み付けを、他のランクへの重み付けよりも低くする構成となっている
   請求項３に記載の画像検索装置。
5. 前記統合部は、基本クエリ画像が風景写真である場合には、画像回転により得られた擬似クエリ画像に対応する仮検索結果におけるランクへの重み付けを、他のランクへの重み付けよりも低くする構成となっている
   請求項３に記載の画像検索装置。
6. 前記統合部は、前記基本クエリ画像が商品画像である場合には、背景を削除して得られた擬似クエリ画像に対応する仮検索結果の重みを、基本クエリ画像に対応する仮検索結果の重みよりも大きくする構成となっている
   請求項３に記載の画像検索装置。
7. クエリ受付部と、クエリ拡張部と、検索部と、統合部と、複数の対象画像にそれぞれ対応する特徴量を記録した画像登録部とを備えた画像検索装置を用いて実行される画像検索方法であって、
   前記クエリ受付部が、基本クエリ画像を受け付けるステップと；
   前記クエリ拡張部が、前記基本クエリ画像に画像処理を施すことによって、疑似クエリ画像を生成するステップと；
   前記検索部が、前記基本クエリ画像及び前記疑似クエリ画像の両方について、それぞれの特徴量を用いて、複数の対象画像から、類似画像を検索することにより、仮検索結果を得るステップと；
   前記統合部が、前記基本クエリ画像及び前記疑似クエリ画像のそれぞれに対応する前記仮検索結果ごとの、前記類似度の順でのランクを用いて、前記検索された仮検索結果に含まれる各対象画像の、全ランクを統合したスコアを算出することで、各前記仮検索結果を統合した全体的な順位付けを行い、出力用検索結果を得るステップと
   を備えており、
   ここで、前記検索部は、前記基本クエリ画像及び前記疑似クエリ画像の両方について、前記画像登録部に記録された複数の対象画像における共通の特徴量を検索することによって、類似画像を検索する構成となっており、
   かつ、前記検索部は、前記特徴量に対応する多次元ベクトルデータ間の距離により算出される類似度を用いて前記検索を行い、この類似度が高い順で、前記仮検索結果を出力する構成となっている
   ことを特徴とする画像検索方法。
8. 請求項７に記載のステップをコンピュータに実行させることを特徴とするコンピュータプログラム。