JP6327918B2 - 画像検索装置及びその制御方法 - Google Patents

Description

本発明は画像の局所特徴量を用いた画像の検索技術に関するものである。

画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。次に、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する（非特許文献２）。

局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。

回転不変の局所特徴量抽出のために、たとえば非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。

上述の方式により、１枚の画像から複数の局所特徴点が抽出される。局所特徴量を用いた画像検索では、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。多く利用されている投票方式（特許文献１）は、検索元画像から抽出された各特徴点の局所特徴量に所定以上類似する特徴点を最近傍処理で見つけ、存在すれば「画像」に対して１票を投票し、その投票数の多いものほど類似するとするものである。

画像検索では、マッチングを効率的に行うために、画像インデックスを作成する。画像インデックスは、局所特徴量を量子化し、ある量子化値の特徴量をもつ画像リストを該量子化値に対応づけてデータベースなどに保存したものである。画像インデックスを用いることで、ある局所特徴量とある程度類似した局所特徴量を含む画像のリストを高速に得ることができるようになる。

特許文献２において、印刷装置等から出力したジョブの内容を蓄積し追跡可能とするシステムに関する技術が提案されている。印刷文書画像とだれがいつ印刷したかなどを蓄積しておき、デザインなどの画像情報が漏えいしたとき、漏えい画像を用いて印刷文書画像を検索することが行われている。

特開２００９−２８４０８４号公報 特許第４９２１２０２号公報

Ｃ．Ｈａｒｒｉｓ ａｎｄ Ｍ．Ｊ． Ｓｔｅｐｈｅｎｓ，"Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ，" Ｉｎ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ １４７−１５２， １９８８． Ｄａｖｉｄ Ｇ． Ｌｏｗｅ， "Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ，" Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ６０， ２ （２００４）， ｐｐ．９１−１１０． Ｍ． Ａ． Ｆｉｓｃｈｌｅｒ ａｎｄ Ｒ． Ｃ． Ｂｏｌｌｅｓ， "Ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ： Ａ ｐａｒａｄｉｇｍ ｆｏｒｍｏｄｅｌ ｆｉｔｔｉｎｇ ｗｉｔｈ ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ａｕｔｏｍａｔｅｄ ｃａｒｔｏｇｒａｐｈｙ，" Ｃｏｍｍｕｎ． ＡＣＭ， ｎｏ．２４， ｖｏｌ．６， ｐｐ．３８１−３９５， Ｊｕｎｅ １９８１．

しかしながら、画像からは数百〜数千個の局所特徴量が抽出される。そのため、画像インデックスに既に登録された画像と「同一の画像」を、再び画像インデックスに登録すると、数百〜数千の冗長なインデックスが発生する。同様に、画像インデックスに既に登録された画像に「包含される画像」を、画像インデックスに登録しても、冗長なインデックスが発生することになる。

特に、特許文献２に示すような印刷文書画像などを検索対象とするとき、この問題は顕著になる。例えば、オフィスなどでは同一文書を何度も印刷することが多い。そのため、こうしたシステムへと適用すると、画像インデックスの肥大化が問題になる。

インデックスが肥大化すると、インデックスのサイズが大きくなるという課題を生じる。また、インデックスが冗長になると、検索の際に走査するインデックスが増加するため、検索速度が遅くなるという課題があった。

さらに、検索を高速化するために、インデックスをメモリ上に保持することが良く行われる。しかしインデックスのサイズが大きいと、コンピュータの物理メモリ上に配置できないことが起こりえる。この場合、ＯＳの機能によりＨＤＤ上の仮想メモリへと配置されることが起こる。そのため、ＨＤＤ上に配置された画像インデックスに対する参照速度は低下するため、検索速度の低下をもたらすことになる。これを回避するために、大容量の物理メモリを用意することが考えられるが、高価なシステムとなってしまうという問題が生じる。

本発明は、上記の問題に鑑みなされたものであり、検索のための画像インデックスが肥大化することを抑制する技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像検索装置は以下の構成を備える。すなわち、
局所特徴量を用いた部分画像検索が可能な画像検索装置であって、
画像と、当該画像の局所特徴量とを対応付けて管理する第１の管理手段と、
該第１の管理手段による管理対象の画像の一部の領域に類似する画像を管理するため、前記第１の管理手段で管理されている画像を特定する情報であって、前記第１の管理手段が管理する局所特徴量より小さい容量の情報と前記類似する画像を特定する情報とを対応付けて管理する第２の管理手段と、
登録対象画像が入力された場合、前記登録対象画像に部分的に一致する画像を検索する第１の検索手段と、
該第１の検索手段により検索して得られた画像が、前記登録対象画像を包含する関係にあるとき、当該登録対象画像を前記第１の管理手段による管理対象外とし、前記第２の管理手段で管理する第１の登録手段とを有する。

本発明によれば、登録対象画像が与えられたとき、その登録対象画像が既に画像インデックスに既に登録された画像に包含される関係にあるときには、その登録対象画像を、インデックス画像として登録されている画像にリンクする画像として記憶管理する。この結果、インデックスの肥大化が抑制でき、検索速度の低下を抑えることも可能になる。

実施形態を適用するコンピュータ装置の構成図。 実施形態における画像検索装置の構成図。 実施形態におけるリンク情報及び画像インデックスの説明図。 実施形態におけるコンテンツ登録処理の説明図。 実施形態におけるコンテンツ検索処理の説明図。 実施形態における局所特徴量抽出処理の説明図。 実施形態における量子化空間の説明図。 実施形態における部分画像検索処理の説明図。 実施形態におけるコンテンツ登録処理の説明図。

以下、添付図面に従って本発明に係る実施の形態を詳細に説明する。

［第１の実施形態］
本実施形態のサーバ装置やクライアント装置を構成するコンピュータ装置の構成について、図１のブロック図を参照して説明する。サーバ装置やクライアント装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）などで接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。

図１において、ＣＰＵ１０１はコンピュータ装置１００全体を制御するＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔである。ＲＯＭ１０２は変更を必要としないプログラムやパラメータを格納するＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙである。ＲＡＭ１０３は外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙである。外部記憶装置１０４はコンピュータ装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置であり、画像ファイルを蓄積するために利用される。なお、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。入力デバイスインターフェイス１０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力デバイス１０９とのインターフェイスである。出力デバイスインターフェイス１０６はコンピュータ装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。通信インターフェイス１０７はインターネットなどのネットワーク回線１１１や、デジタルカメラ１１２，デジタルビデオカメラ１１３，スマートフォン１１４などに接続するための通信インターフェイスである。システムバス１０８は１０１〜１０７の各ユニットを通信可能に接続する伝送路である。

後述する各動作は、ＲＯＭ１０２等のコンピュータ読み取り可能な記憶媒体に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。

［画像検索装置の構成］
本実施形態では、画像検索装置に適用した例を説明する。本実施形態の画像検索装置は、既に登録された画像に包含される画像を登録するとき、その登録対象画像は画像インデックスに追加せず、既に登録された画像からのリンク情報を生成・保持するものである。

以下、本実施形態の画像検索装置の構成について図２を用いて説明する。同図は、ＲＯＭ１０２に格納されたプログラムを、ＣＰＵ１０１が実行した際の機能ブロック図である。

コンテンツ登録部２０１では、検索対象とする画像を登録する処理を行う。具体的には、既に登録された画像に包含される画像が登録されるとき、既に登録された画像からのリンク情報を生成し、リンク情報管理部２０２に格納する。一方で、包含される画像が登録されていないとき、登録対象画像の画像特徴量を画像インデックス管理部２０３に格納する。詳細なコンテンツ登録処理については、フローチャート図４を用いて後述する。

リンク情報管理部２０２では、基準となる画像（基準コンテンツ）の情報と、基準コンテンツに包含される画像の情報をリンク情報として保持・管理する。

例えば、図３（ｃ）に示すような画像ＩＤ１が基準コンテンツであるとき、画像ＩＤ２は画像ＩＤ１の破線領域３０１ｃに包含されることをリンク情報として保持する。

具体的には、図３（ａ）に示すように、基準コンテンツＩＤとリンク個数とリンク画像リストと領域情報と特徴量数を保持する。なお、この１行のことを以下ではレコードと呼ぶ。図３（ａ）の１レコード目は、図３（ｃ）のリンク情報である。

基準コンテンツＩＤは、基準コンテンツが定まるごとに生成されるＩＤである。そのため、基準コンテンツＩＤ「Ａ」は画像ＩＤ１が基準コンテンツとして定められたときに生成されたＩＤである。なお、画像ＩＤと区別しやすくするために、ＩＤにアルファベットを用いているが、数値等を用いてもよい。

リンク画像リストは、基準コンテンツに包含される画像ＩＤのリストである。リンク画像リストの先頭画像は、基準コンテンツそのものであり、それに続く画像が先頭画像に包含される画像（つまり、リンクされている画像）となる。この例では、画像ＩＤ１に対して画像ＩＤ２を含むことが示されている。

領域情報は、リンク画像が基準コンテンツのどの領域に対応するかを示す矩形領域の座標情報である。領域情報の並びは、リンク画像リストの並びと対応している。例えば、先頭の領域情報は、画像ＩＤ１の対応領域を示す情報である。ただし、画像ＩＤ１は基準コンテンツそのものであるため、画像ＩＤ１の全領域となる。ゆえに、画像ＩＤ１の全領域が領域情報として記載されている。次の領域情報は、画像ＩＤ１中の画像ＩＤ２の対応領域を示しており、図３（ｃ）の画像ＩＤ１上の破線領域３０１ｃの左上と右下の座標となる。なお、本実施形態では画像の左上を原点として、右方向にＸ軸、下方向にＹ軸を設定した座標系を用いる。また、領域情報は矩形領域であるため、矩形の左上隅と右下隅の座標の組で領域情報を表現するが、左上隅の座標と、水平方向のサイズ（画素数）、垂直方向のサイズ（画素数）でも構わない。領域情報は対応領域を記述できれば十分であるため、領域情報は矩形領域である必要はない。例えば複数の座標で構成される多角形の領域であってもよい。あるいは、中心と半径で記述する円形領域等であってもよい。本発明は、領域情報の表現に限定されるものではない。

特徴量数は、基準コンテンツとリンク画像とで一致した局所特徴量の数である。特徴量数の並びは、リンク画像リストの並びと対応している。例えば、先頭の特徴量数は、基準コンテンツと画像ＩＤ１とで一致した局所特徴量の数であり、つまり画像ＩＤ１の局所特徴量の数になる。２つ目の特徴量数は、基準コンテンツ（画像ＩＤ１）と画像ＩＤ２とで一致した局所特徴量の数であり、ここでは５００個であったとして記録されている。あるいは、特徴量数は、基準コンテンツとリンク画像とで一致し、かつ領域情報の範囲内にあった局所特徴量の数であってもよい。あるいは、単純にリンク画像の局所特徴量の数を用いてもよい。

なお、領域情報と特徴量数は後述の検索結果の類似度を計算するときに用いる。そのため、類似度の計算に用いないとき、使用しない情報はなくてもよい。あるいは、類似度計算を不要とするとき、これら情報はなくてもよい。

また、リンク情報管理部２０２で保持する情報は、異なる構成で保持管理してもよい。例えば、上記の構成では、一つの基準コンテンツＩＤに対して、複数のリンク画像の情報が対応づけられている。これを一つの基準コンテンツＩＤに対して、一つのリンク画像の情報として、複数のレコードに分割して保持してもよい。

あるいは、上記の構成では、複数の情報を一つのテーブル構造で保持している。しかしながら、基準コンテンツの情報用のテーブルと、リンク情報用のテーブルに分けて管理してもよい。例えば、基準コンテンツ用のテーブルは、基準コンテンツＩＤと、基準コンテンツの画像ＩＤと、画像の領域情報等から構成されるテーブルとなる。一方で、リンク情報のテーブルは、基準コンテンツＩＤと、基準コンテンツにリンクされる画像ＩＤと、それら画像の領域情報などから構成される。本発明におけるリンク情報管理部２０２で保持する情報の構成は、これらに限定されるものではない。要するに、どのリンク画像がどの基準コンテンツ画像に対応するのか、リンク画像が基準コンテンツ画像のどの領域に対応するのかを示す情報を記憶管理できれば良い。

画像インデックス管理部２０３は、画像から抽出した局所特徴量と、該局所特徴量を含む基準コンテンツＩＤを管理する。加えて、基準コンテンツ上での局所特徴量の座標も管理する。

画像の局所特徴量は、画像の特徴的な点（局所特徴点）を抽出し、当該特徴点とその周辺の画像情報とに基づいて、当該特徴点に対応する特徴量（局所特徴量）を計算したものである。詳細な「局所特徴量の抽出処理」については、フローチャート図６（ａ）を用いて後述する。

さらに、画像インデックスとして用いるために、局所特徴量は量子化される。例えば、局所特徴量が２次元ベクトルであるとき、図７（ａ）に示すように特徴量の空間を格子状等に分割して、同一の格子領域に属する局所特徴量に同じ量子化値を割り当てることになる。実際はＮ次元ベクトルであるため、これをＮ次元空間に拡張した処理を適用する。詳細な「局所特徴量の量子化処理」に関しては後述する。

画像インデックス管理部２０３では、量子化値に対して「その局所特徴量を含む画像ＩＤ群」及び「その局所特徴量の情報」を割り当てて保持する。具体的には、図３（ｂ）に示すように、量子化値と｛基準コンテンツＩＤ，Ｘ座標，Ｙ座標｝のリストから画像インデックスは構成される。量子化値は、局所特徴量の量子化値である。｛基準コンテンツＩＤ，Ｘ座標，Ｙ座標｝のリストは、局所特徴量を含む基準コンテンツのＩＤと、その基準コンテンツ上の局所特徴量の位置座標である。

なお、画像インデックス管理部２０３で、異なる構成で情報を保持してもよい。例えば、上記の構成では、一つの量子化値に対して、複数の基準コンテンツの情報を対応づけているが、１対１対応になるように構成してもよい。本発明における画像インデックスの構成は、これらに限定されるものではない。

部分画像検索部２０４は、クエリ画像と部分一致する基準コンテンツを、画像インデックス管理部２０３から検索する。具体的には、クエリ画像から局所特徴量を抽出・量子化する。そして、クエリ画像と同じ量子化値を有する基準コンテンツＩＤを得る。基準コンテンツＩＤごとに、含まれていた回数をカウントして類似度とする。類似度順にソートした検索結果を作成する。詳細な「部分画像検索処理」については、フローチャート図８を用いて後述する。

コンテンツ検索部２０５は、クエリ画像をもとに、コンテンツ登録部２０１で登録された画像を検索する。具体的には、クエリ画像を用いて、部分画像検索部２０４により基準コンテンツを得る。そして、基準コンテンツを用いて、リンク情報管理部２０２から、リンク画像リストを取得する。得られた画像ＩＤ群に対して、類似度を決定して、類似度順にソートした検索結果を作成する。詳細な「コンテンツ検索処理」については、フローチャート図５（ａ）を用いて後述する。

検索インターフェイス部２０６は、コンテンツ登録部２０１へ登録する画像を受け付ける、あるいはクエリ画像を受け付けて検索結果を出力するインターフェイス部分である。具体的には、入力デバイス１０９を用いて外部記憶装置１０４に保存された画像のファイルパスなどを登録画像あるいはクエリ画像として指定することで、入力を受け付ける。また、検索インターフェイス部２０６は、登録画像のファイルパスと画像ＩＤの対応関係を記憶する。そして、検索結果の表示では、コンテンツ検索部２０５が生成した検索結果をもとにファイルパス一覧をモニタ１１０に表示する。あるいは、ファイルパスから画像のサムネイルなどを読み出して表示してもよい。本発明における入出力形態はこれらに限定されるものではない。

なお、登録画像、クエリ画像は、図１に示すように、通信インターフェース１０７を介し、撮像機能を有するデジタルカメラ１１２、デジタルビデオカメラ１１３、スマートホン１１４をはじめ、ネットワーク１１１から入力しても構わない。

［コンテンツ登録処理］
次に、コンテンツ登録処理についてフローチャート図４を用いて説明する。本処理はコンテンツ登録部２０１によって実行される。本処理の実行時には、検索インターフェイス部２０６から登録対象画像が与えられる。そして、既存の基準コンテンツの有無あるいは包含関係に基づいて、リンク情報管理部２０２あるいは画像インデックス管理部２０３への登録が制御される。具体的な制御内容について図４を用いて説明する。

Ｓ４０１は、登録対象画像をクエリとして部分画像検索により基準コンテンツを検索する。具体的には、部分画像検索部２０４が登録対象画像から局所特徴量を抽出し、局所特徴量に基づいて画像インデックス管理部２０３を検索する。部分画像検索の詳細な処理（図８）については後述するが、これによって登録対象画像に部分一致する基準コンテンツＩＤが類似度順にソートされたリストとして取得される。

Ｓ４０２では、該当する基準コンテンツがあるいか否かを判定する。具体的には、Ｓ４０１によって取得した基準コンテンツＩＤのリストに、所定の閾値を上回る類似度を有する基準コンテンツＩＤがあるか否かを判定する。基準コンテンツがないと判断されるとき（ＮＯ）、Ｓ４０３へ移る。それ以外の場合（ＹＥＳ）は、Ｓ４０５へ移る。

Ｓ４０３では、登録対象画像を新たな基準コンテンツとしてリンク情報管理部２０２に登録する。具体的には、まず、新たな基準コンテンツＩＤを生成する。例えば、最後に生成した基準コンテンツＩＤを記憶しておき、それをインクリメントした値を新たな基準コンテンツＩＤとする。なお、本実施形態ではＩＤは文字であるため、文字コード値をインクリメントするなどして唯一のＩＤを生成してもよいし、あるいは他の方法で唯一のＩＤを生成するようにしてもよい。次に、リンク画像リストに登録対象画像の画像ＩＤを設定する。次に、リンク個数に初期値として“１”を設定する。次に、領域情報に登録対象画像のサイズの矩形領域座標を設定する。次に、特徴量数に、登録対象画像から抽出された局所特徴量の数を設定する。そして、これらの情報を有するレコードをリンク情報管理部２０２に登録する。

Ｓ４０４では、登録対象画像の局所画像特徴量を画像インデックスに登録する。具体的には、画像インデックス管理部２０３に、登録対象画像の量子化した局所特徴量に対して、Ｓ４０３で生成した基準コンテンツＩＤと局所特徴量の座標を追加する。もし、対応する量子化局所特徴量がないときは、新たにレコードを生成して登録する。

一方、ステップＳ４０２において、登録対象画像に対応する基準コンテンツが既に登録済みであると判定した場合、処理はＳ４０５に進む。このＳ４０５では、Ｓ４０２で得た基準コンテンツと登録対象画像の包含関係を求める。ここでは、ＲＡＮＳＡＣ（非特許文献３）を利用する。ＲＡＮＳＡＣは、比較元画像と比較先画像の局所特徴量同士の対応を求めて、その局所特徴量の座標が一致するように変換するためのアフェイン変換行列を求める方法である。

ここでは、比較元画像を登録対象画像、比較先画像を基準コンテンツとして、ＲＡＮＳＡＣを用いてアフェイン変換行列を求める。そして、アフェイン変換行列を用いて、登録対象画像の四隅の座標を変換する。その結果得られた四隅の座標が、基準コンテンツの四隅の座標の内側にあるとき「基準コンテンツは登録対象画像を包含している」と包含関係を決定する。基準コンテンツの四隅の座標は、リンク情報管理部の領域情報から容易に得ることができる。一方で、基準コンテンツの四隅の座標が、変換で得た登録対象画像の四隅の座標の内側にあるとき「登録対象画像は基準コンテンツを包含している」と包含関係を決定する。それ以外の場合は、「包含関係は存在しない」と包含関係を決定する。それ以外の場合として、例えば、登録対象画像と基準コンテンツの一部分が重なっているような場合は包含関係が存在しないと判断される。

あるいは、画像の四隅の座標を用いるのではなく、画像から抽出された局所特徴量の最外接矩形の四隅の座標を用いてもよい。これは、局所特徴量のない部分は検索結果に影響を与えないため、局所特徴量の最外接矩形であっても十分で有るためである。

なお、画像同士の包含関係が得るために、ＲＡＮＳＡＣを用いたが、これ以外の手法を採用しても構わず、その種類によって本願発明が限定されるものではない。

Ｓ４０６では、基準コンテンツが登録対象画像を包含するか否かを判定する。これは、Ｓ４０５で得た包含関係に基づいて行われる。基準コンテンツが登録対象画像を包含するとき（ＹＥＳ）、Ｓ４０７へ移る。それ以外のとき（ＮＯ）は、Ｓ４０３へ移る。

Ｓ４０７では、登録対象画像は、画像インデックス管理部２０３での管理対象外とし、その代わりに、登録対象画像を既存の基準コンテンツのリンクに追加する。具体的には、基準コンテンツＩＤが一致するリンク情報管理部２０２のレコードを特定する。次に、リンク個数を“１”加算する。次に、リンク画像リストの末尾に、登録対象画像の画像ＩＤを追加する。次に、Ｓ４０５で求めた登録対象画像の四隅の変換後座標を用いて、外接矩形領域を求めて、領域情報の末尾に追加する。最後に、登録対象画像と基準コンテンツで一致した局所特徴量の数を、特徴量数の末尾に追加する。なお、本実施形態では、一致した局所特徴量の数は、Ｓ４０１で得た類似度と同じため、該類似度を用いてもよい。

Ｓ４０８では、登録対象画像の差分特徴量を画像インデックスに登録する。具体的には、登録対象画像から局所特徴量を抽出・量子化する。次に、画像インデックス管理部２０３において、抽出した量子化値に対応する｛基準コンテンツＩＤ，Ｘ座標，Ｙ座標｝のリストを特定する。次に、該リストの中に、包含関係にある基準コンテンツＩＤが存在しないならば、該基準コンテンツＩＤと該基準コンテンツ上での局所特徴量の座標とを、画像インデックス管理部２０３に追加する。あるいは、該リストの中に、包含関係にある基準コンテンツＩＤが存在する場合も、異なる座標であれば登録してしまってもよい。また、量子化値そのものがない場合も同様の情報を生成してレコードを追加する。なお、登録対象画像から抽出された局所特徴量の位置座標は、基準コンテンツ上の位置座標とは異なる。そのため、登録に用いる位置座標には、Ｓ４０５で求めたアフェイン変換行列を用いて変換したものを用いる。

なお、Ｓ４０８の処理は行わなくてもよい。行わない場合は、登録対象画像の差分の局所特徴量は登録されない。しかし、元の基準コンテンツの局所特徴量は登録されているため、コンテンツ検索処理は行うことができる。加えて、コンテンツ登録処理が簡素化されるため、登録速度が向上する。しかしながら、登録対象画像からは基準コンテンツより多くの局所特徴量を得ることができる可能性がある。これは局所特徴量がスケールスペースと呼ばれる縮小画像を作成して、それぞれの縮小画像から局所特徴量を抽出するためである。つまり、登録対象画像は基準コンテンツよりも小さいため、基準コンテンツの縮小画像より、より高い縮小率の縮小画像までを作成する。そのため、基準コンテンツが作成していなかった縮小画像からも局所特徴量が抽出される。そのため、登録対象画像からより多くの局所特徴量が得られる可能性がある。特に、基準コンテンツの部分領域に比べて、登録対象画像のサイズが大きいとき、基準コンテンツの部分領域に対しては登録対象画像は解像度が高い。そのため、このよう場合には特に差分の局所特徴量を多く得ることが期待できる。このような、差分の局所特徴量を登録しておくことによって、検索結果の精度向上が期待できる。

また、Ｓ４０８の処理を行わない場合は、登録対象画像が基準コンテンツよりも極端に小さいときは、リンク情報を用いずに、画像インデックスに登録するようにしてもよい。具体的には、Ｓ４０６において、基準コンテンツが登録画像を包含していても、登録対象画像が基準コンテンツよりも極端に小さい場合は、Ｓ４０３へ移るようにする。これによって、登録対象画像の画像特徴量が極端に失われることを防ぐことができる。そのため、検索精度の低下を防ぐことが期待できる。

また、Ｓ４０５では、Ｓ４０２で得た基準コンテンツの最も類似度の高いものを一つだけ用いている。しかしながら、所定の閾値以上の基準コンテンツに対して、類似度が高い順に包含関係を求めてゆき、包含関係が存在する基準コンテンツが見つかったときに、該包含関係と該基準コンテンツをＳ４０６以降で用いてもよい。これによって、包含関係にある基準コンテンツの類似度が相対的に少し低い場合においても、包含関係にある基準コンテンツを見つけることができるようになる。

また、他の実施形態の画像検索装置では、登録対象画像を基準コンテンツとして登録する処理と、登録対象画像を基準コンテンツからのリンクとして登録する処理に分けてもよい。具体的には、前者の処理はＳ４０３とＳ４０４とを実行する処理である。一方で、後者の処理はＳ４０３とＳ４０４以外を実行する処理である。ただし、後者の処理では、Ｓ４０２とＳ４０６でＮＯのときは処理を終了する。

このように予め基準コンテンツを登録しておく実施形態は、基準コンテンツを予め用意できる場合に有効である。

例えば、印刷した文書画像を登録しておき、特定のデザインを含む印刷をあとから検索するシステムを考える。このとき、システム稼働前に、前者の処理を用いて、予め綺麗なデザイン画像を用意して、これを基準コンテンツとして登録しておく。そして、システム稼働時には、後者の処理を用いることで、デザイン画像の一部あるいは全体を印刷している文書画像を、基準コンテンツからのリンクとして登録しておくことができる。

なお、印刷する文書はデザイン画像以外のテキストなども含んでいることが考えられる。そのため、文書内の画像領域を特定して、その部分のみを登録するようにした方が、より効果的であると考えられる。

このように、基準コンテンツの登録フェーズと、基準コンテンツからのリンクとしてのみ登録するフェーズとに、処理を分けてもよい。そして、それぞれの処理を、単一の装置で実施するように構成してもよし、あるいは別々の装置で実施するように構成してもよい。

[コンテンツ検索処理]
次に、コンテンツ検索処理についてフローチャート図５（ａ）を用いて説明する。本処理はコンテンツ検索部２０５によって実行される。本処理の実行時には、検索インターフェイス部２０６からクエリ画像が与えられる。そして、クエリ画像をもとに基準コンテンツを検索し、基準コンテンツに紐づくリンク画像を取得する。さらに、得られた画像に対して類似度を求めて、検索結果を作成する。検索結果は、検索インターフェイス部２０６からモニタ１１０などに出力される。

まず、Ｓ５０１では、クエリ画像を用いて部分画像検索部２０４により基準コンテンツを検索する。具体的には、部分画像検索部２０４がクエリ画像から局所特徴量を抽出し、局所特徴量に基づいて画像インデックス管理部２０３を検索する。部分画像検索の詳細な処理（図８）については後述するが、これによってクエリ画像に部分一致する基準コンテンツＩＤが類似度順にソートされたリストとして取得される。

Ｓ５０２は、Ｓ５０１で得た基準コンテンツＩＤのリストに対するループであり、リスト中の各々に番号が１から順に割り当てられているものとする。これを変数ｉを用いて参照するため、はじめにｉを１に初期化する。さらに、ｉが基準コンテンツＩＤの個数以下であるときＳ５０３へ移り、これを満たさないときループを抜けてＳ５０６へ移る。

Ｓ５０３では、ｉ番目の基準コンテンツからリンクされた画像を得る。具体的には、リンク情報管理部２０２をｉ番目の基準画像コンテンツのＩＤをキーとして検索して、各基準コンテンツＩＤのリンク画像リストを取得する。

Ｓ５０４では、Ｓ５０３で取得したリンク画像リストの各々の画像に対して、クエリ画像との類似度を計算する。具体的には、クエリ画像と計算対象画像の重複領域の面積を求めて、これをクエリ画像の面積で割ったものを類似度とする。

例えば、図５（ｂ）に示すようにクエリ画像によって、基準コンテンツの画像ＩＤ１と、それからリンクされた画像である画像ＩＤ２が検索されたとする。なお、各々の波線は画像ＩＤ１上のどの部分に画像ＩＤ２とクエリ画像が対応するかを示している。このとき、画像ＩＤ１とクエリ画像の重複面積は、クエリ画像の面積と同じであるため、類似度は１である。一方で、画像ＩＤ２はクエリ画像のおよそ６割程度しか被覆していないため、０．６等と類似度が計算される。つまり、類似度は「重複面積÷クエリ画像の面積」によって得られる。

基準コンテンツ上でクエリ画像が該当する部分領域は、既に説明したＲＡＮＳＡＣを用いる。具体的には、比較元画像をクエリ画像、比較先画像を基準コンテンツとして、ＲＡＮＳＡＣを用いてアフェイン変換行列を求める。そして、クエリ画像の四隅の座標を、アフェイン変換行列を用いて、基準コンテンツ上の座標に変換する。これによって、太い破線で示されるような矩形座標が求まる。なお、アフェイン変換によってわずかに回転などが生じることも考えられる。この場合は、重複面積を求めやすいように、アフェイン変換後の座標の最外接矩形を用いるようにしてもよい。

一方で、基準コンテンツの領域情報と、基準コンテンツからリンクされた画像の領域情報は、リンク情報管理部２０２において管理されているため、それを参照することで求めることができる。これによって各々の領域情報が求められるため、上記類似度を計算することができる。

Ｓ５０５は、基準コンテンツのループの終端であり、ｉに１を加算してＳ５０２へ戻る。Ｓ５０３〜Ｓ５０５を繰り返すことで、Ｓ５０１で検索された基準コンテンツに紐づく画像を全て得られて、さらに画像ごとの類似度が決定される。Ｓ５０６では、類似度に従って画像を降順にソートして検索結果として出力する。また、このとき、類似度が閾値以下の画像は、検索結果から除外してもよい。

なお、Ｓ５０４において、類似度としてクエリ画像の被覆率を用いている。しかしながら、被覆率に「一致した特徴量数」を積算したものを用いてもよい。これによって、クエリ画像に含まれる特徴量のうちリンクの画像にも含まれる特徴量の数を疑似的に求めることができる。そのため、部分画像検索処理の類似度と似た類似度を計算によって求めることができる。これを類似度として用いてもよい。

あるいは、クエリ画像の一致した領域に含まれる「一致した特徴量」の個数を数え上げてもよい。前記では疑似的に求めていたのに対して、厳密に一致した特徴量の個数を求めることができるようになる。

あるいは、面積を用いずに、特徴量の個数のみに基づいて類似度を計算してもよい。例えば、特徴量数の被覆率を疑似的に求めることが考えられる。具体的には、リンク情報管理部では、画像と基準コンテンツで一致した特徴量数が記憶されている。これを用いて、「クエリと基準コンテンツで一致した特徴量数×画像と基準コンテンツで一致した特徴量数÷基準コンテンツの特徴量数」として類似度を求めてもよい。この方法では面積を用いないため、ＲＡＮＳＡＣ等は不要である。そのため、速度向上が期待できる。

あるいは、単純にリンク画像リストの順番で類似度を決定してもよい。例えば、部分画像検索の類似度を第一のソートキーとし、リンク画像リスト上の順番を第二のソートキーとして、画像をソートする。そのソート結果に従って、最下位に１を割り当て上位に向かってインクリメントしながら整数を割り当てていって、これを類似度としてもよい。この方法では、領域情報や特徴量数などが不要であるため、リンク情報を削減することができる。加えて、登録時にこれら情報のための計算処理が不要であるため、登録処理を早くすることなども期待できる。

以下では、本実施形態で用いた「局所特徴量の抽出処理」「局所特徴量の量子化処理」「部分画像検索処理」の一例について説明を行う。

［局所特徴量の抽出処理］
画像から局所特徴量を抽出する方法の一例について、図６（ａ）を用いて説明する。

ステップＳ６０１ａで、入力された画像から輝度成分を抽出し、抽出した輝度成分に基づいて輝度成分画像（モノクロ画像）を生成する。

次にステップＳ６０２ｂで、輝度成分画像を倍率（縮小率）ｐに従って順次縮小することを繰り返し、オリジナルのサイズの画像から段階的に縮小した、オリジナルの画像を含めてｎ枚の縮小画像を生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め決められているものとする。

図６（ｂ）は、縮小画像生成処理の一例を示す図である。図６（ｂ）に示す例は、倍率ｐが「２の−（１／４）乗」、縮小画像の枚数ｎが「９」の場合である。もちろん、倍率ｐは必ずしも「２の−（１／４）乗」で無くとも良い。図６（ｂ）において、６０１ｂはステップＳ６０１ａで生成された輝度成分画像である。６０２ｂは当該輝度成分画像６０１ｂから倍率ｐに従って再帰的に４回の縮小処理を行って得られた縮小画像である。そして、６０３ｂは当該輝度成分画像６０１ｂから倍率ｐに従って８回縮小された縮小画像である。

この例では、縮小画像６０２ｂは、輝度成分画像６０１ｂの水平、垂直とも１／２に縮小された画像となる。縮小画像６０３ｂは輝度成分画像６０１ｂの水平、垂直とも１／４に縮小された画像となる。尚、画像を縮小する方法は何れの方法でも良く、本実施形態では、線形補間による縮小方法により縮小画像を生成するものとする。

次に、ステップＳ６０３ａでは、ｎ枚の縮小画像の各々に画像の回転があってもロバスト（robust）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。この局所特徴点の抽出方法として、本実施形態ではＨａｒｒｉｓ作用素を用いる（非特許文献１：C.Harris and M.J. Stephens, "A combined corner and edge detector," In Alvey Vision Conference, pages 147-152, 1988.参照）。

具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。

なお、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法を用いてもよい。

次に、ステップＳ６０４ａで、ステップＳ６０３ａで抽出された局所特徴点の各々について、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。この局所特徴量の算出方法として、本実施形態ではＬｏｃａｌ Ｊｅｔ及びそれらの導関数の組み合わせを用いる（J.J.Koenderink and A.J.van Doorn, "Representation of local geometry in the visual system," Riological Cybernetics, vol.55, pp.367-375, 1987.参照）。

具体的には、以下の式（１）により局所特徴量Ｖを算出する。

ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。

なお、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法を用いてもよい。

以上によって、対象画像から局所特徴量を抽出することができる。

[局所特徴量の量子化処理]
局所特徴量同士のマッチングを行いやすくするために、上記の局所特徴量を量子化する。

例えば、局所特徴量をＮ次元ベクトルＶとし、各次元をＶ_nと表記する。このとき、ｎ番目の次元の特徴量について、Ｋ_n階調の量子化は、以下の式により行うことができる。なお、ＮおよびＫ_nは予め決められた値である。
Ｑ_n＝（Ｖ_n＊Ｋ_n）／（Ｖ_{n_max}−Ｖ_{n_min}＋１） …（８）
ここで、Ｑ_nは、Ｎ次元のうちのｎ番目の次元の特徴量Ｖ_nを量子化した値である。Ｖ_{n_max}とＶ_{n_min}はそれぞれｎ番目の次元の特徴量の取りうる値の最大値、および、最小値である。

なお、上記の量子化では、次元ごとに量子化階調数を定めているが、全次元で共通の階調数を用いてもよい。この量子化方法は、図７（ａ）に示すように、特徴量空間を格子状に分割する方法を意味するが、図７（ｂ）のような格子形状に分割してもよい。この図で、７０１の格子は特徴量空間における量子化領域、７０２は各特徴を表している。図７（ａ）、（ｂ）ともに、二次元の特徴量空間を量子化分割している例であるが、これを局所特徴量の次元数分の多次元に拡張した分割を行う。

また、特徴量空間を分割可能な方法であれば、上述したような規則に基づいて量子化する方法に限らずに、どのような分割方法でも適用可能である。例えば、複数の画像を機械学習させることによりクラスタリングのルールを作成し、そのルールに則って特徴量空間を分割し、量子化するようにしてもよい。

また、各次元についての量子化を行った後、以下の式（９）により、量子化値群のラベル化を行うことで、実質的に一次元の特徴量と同等に扱うことも可能である。
IDX＝Ｑ₁+Ｑ₂*Ｋ₁+Ｑ₃*Ｋ₁*Ｋ₂+…+Ｑ_n*Ｋ₁*Ｋ₂*…*Ｋ_n-1 …（９）
また、全次元の階調数が共通の場合は、以下の式（１０）により、量子化値群のラベル化が可能である。ここで、Ｋは階調数である。

なお、ラベル化可能な算出方法であれば、上述したような算出方法に限らずに、どのようなラベル化方法を用いてもよい。

量子化値をキーとして画像ＩＤなどを検索可能とするデータベースなどを構成することで、局所特徴量同士のマッチングを高速に行うことが可能になる。これを画像インデックスと呼ぶ。

なお、本実施形態では、画像インデックスには量子化値に対して、直接画像ＩＤを対応づけておらず、基準コンテンツＩＤを対応付けた構成をとっている。そして、基準コンテンツＩＤは、リンク情報管理部にて画像ＩＤと対応づけられている。

［部分画像検索処理］
次に、上記画像インデックスを用いて、クエリ画像に類似する画像を検索する部分類似画像検索の処理について述べる。部分類似画像検索では、クエリ画像から局所特徴量を抽出・量子化して、画像インデックスの基準コンテンツＩＤを検索する。そして、基準コンテンツＩＤが出現した回数を数え上げていく。これは、クエリの局所特徴量を含む基準コンテンツＩＤへと投票していく様に似ているため、投票方式と呼ばれる。以下、本実施形態の部分画像検索処理の詳細について図８を用いて説明する。

Ｓ８０１では、クエリ画像から局所特徴量を抽出する。これは前述の局所特徴量の抽出処理と同じである。Ｓ８０２では、Ｓ８０１で得た局所特徴量を量子化する。量子化方法は前述の方法と同じである。Ｓ８０３では、局所特徴量のループであり、Ｓ８０１で得た局所特徴量に対して番号が割り当てられているものとし、これを変数ｉを用いて参照するため、はじめにｉを１に初期化する。さらに、ｉが局所特徴量数以下であるときＳ８０４へ移り、これを満たさないときループを抜けてＳ８０７へ移る。

Ｓ８０４では、局所特徴量ｉを持つ基準コンテンツＩＤを求める。具体的には、Ｓ８０２で求めた局所特徴量ｉの量子化値を用いて、画像インデックスを検索することで、量子化値に対応する基準コンテンツＩＤのリストを得る。Ｓ８０５では、基準コンテンツＩＤごとに出現頻度をカウントアップする。ここでは、予め基準コンテンツＩＤに対してカウント値を保持するようなテーブルを用意しておき、Ｓ８０４で得た基準コンテンツＩＤのカウント値を加算していく。これによって、基準コンテンツＩＤごとに、クエリ画像の局所特徴量を含む数をカウントしていく。Ｓ８０６は、局所特徴量のループの終端であり、ｉを１加算してＳ８０３へと写る。

Ｓ８０７では、Ｓ８０５で更新していた、基準コンテンツＩＤとカウント値のテーブルを、カウント値の降順でソートする。これによって、クエリ画像の局所特徴量を多く含む基準コンテンツＩＤが上位に出現するリストが得られる。この基準コンテンツＩＤと類似度を組みとしたリストを部分画像検索結果処理の結果として処理を終了する。

［局所特徴量を用いた画像照合］
局所特徴点／局所特徴量の比較に基づく画像の照合方法にはいろいろあるが、ここではＲＡＮＳＡＣ（非特許文献３）を利用した方法を説明する。ＲＡＮＳＡＣでは比較元画像と比較先画像の局所特徴量同士を対応づけて、比較元画像の座標値を比較先画像の対応する座標値へと変換するアフェイン変換行列を得る。

具体的には、比較元画像の各局所特徴点に対し、比較先画像の局所特徴点で、特徴間距離が最小となるものをペアで記述する。

次に、比較元画像から３個の局所特徴点をランダムに選択し、それぞれの特徴間距離が最小となる比較先画像の局所特徴点群との間で、その座標の対応からアフィン変換行列を求める。このアフィン変換行列を用い、比較元画像の残りの局所特徴点の座標を比較先画像の座標に変換し、その近傍に上記特徴間距離が最小となるペアの局所特徴点が存在するかを確認し、存在すれば１票投票し、存在しなければ投票しない。

最終的に、この投票数が所定の値に達した場合には、比較元画像と比較先画像は部分一致する領域が存在すると判断し、その投票数が多いほど一致する領域が大きいと考える。他方、投票数が所定の値に達しない場合には、新たに比較元画像から３個の局所特徴点をランダムに選択しアフィン変換行列を求める処理から再度処理を行うが、この再処理は定められた反復カウント数以内で繰り返す。

もし、反復カウント数に達しても投票数が所定の値を超えなければ、部分的に一致する領域が存在しないと判断して比較の処理を終了する。そして、部分一致する領域が存在する場合、上記求めたアフィン変換行列と特徴間距離が最小となるもののペアを用い、比較元画像中の着目した局所特徴点と対応する特徴点を求める事が出来る。

［本実施形態の効果］
従来は、登録対象画像は全て画像インデックスへ登録されていた。しかるに、本第１の実施形態では、登録対象画像が、既に登録された画像に包含される関係にあるとき、既存の基準コンテンツから登録対象画像へのリンク情報を生成する。そして、画像インデックスへの登録を回避していた。あるいは、差分の局所特徴量のみを登録することで、画像インデックスへの登録を減らしていた。これによって、本実施形態では画像インデックスの肥大化を低減することができる。そのため、画像インデックスのサイズをこれまでよりも十分に小さくすることができるため、ディスク容量あるいはメモリ容量などの使用率を減らすことができる。

具体的な削減率としては、例えば、画像インデックス・リンク情報などが次に示すようなバイトサイズを使用するとき、リンク画像に対してインデックス削減率は１／１５００になる。

図３（ａ）のリンク情報の「基準コンテンツＩＤ」が４Ｂｙｔｅ、「リンク個数」が４Ｂｙｔｅ、「リンク画像リスト」の各要素が４Ｂｙｔｅ、「領域情報」の各要素が１６Ｂｙｔｅ、「特徴量数」の各要素が４Ｂｙｔｅであったとする。さらに、図３（ｂ）に示す画像インデックスの「量子化値」が４Ｂｙｔｅ、「｛基準コンテンツＩＤ，Ｘ座標，Ｙ座標｝のリスト」の各要素が１２Ｂｙｔｅであったとする。

ここで、画像１枚あたりから３０００点の特徴量が取得されると仮定する。このとき、従来は画像インデックスのみを用いていたため、１２Ｂｙｔｅ×３０００点となり３６ＫＢｙｔｅを画像１枚あたりに消費すると試算できる。本実施形態では、基準画像に対しては画像インデックスを生成するため、同様に３６ＫＢｙｔｅを消費する。加えて、リンク情報も生成するため、３２Ｂｙｔｅ消費する。そのため、基準画像に対しては約３６ＫＢｙｔｅを消費する。しかしながら、基準画像と同一の画像を登録したとき、画像インデックスは生成されないため、画像インデックスの増加量は０Ｂｙｔｅである。一方で、リンク情報は２４Ｂｙｔｅのみ増加する。よって、同一のリンク画像に対しては合計２４Ｂｙｔｅのみの増加である。一方で、リンク画像であっても従来の方式では画像インデックスが３６ＫＢｙｔｅ増加する。よって、基準画像に対するリンク画像が登録されたとき、そのインデックスの削減量は「３６ＫＢｙｔｅ÷２４Ｂｙｔｅ＝１／１５００」と試算される。

なお、従来の画像インデックスにおいては、特徴量の座標は必要ないため、これを省いてもよい。このとき「量子化値」を４Ｂｙｔｅで、「ＩＤ」を４Ｂｙｔｅとすると、従来の画像インデックスは１枚当たり８Ｂｙｔｅ×３０００点＝２４ＫＢｙｔｅを消費する。そのため、２枚目以降は「２４ＫＢｙｔｅ÷２４Ｂｙｔe＝１／１０００」と試算される。

しかしながら、各要素のバイトサイズや、細かなリンク情報や画像インデックスの構成は変えてもよい。その際は、削減率はそれに応じたものになる。しかし、画像１枚に対するリンク情報と画像インデックスでは、圧倒的に画像インデックスの方が巨大になるため、概ねサイズは削減されることに変わりはない。

また、検索速度を高速にするために、画像インデックスをメモリ上に配置することが良く行われる。このとき、画像インデックスのサイズが大きいと、画像インデックスを物理メモリ上に配置しきれないことが起こる。このとき、ＯＳの機能によってＨＤＤ上に配置されることが起きる。ＨＤＤはメモリに比べて極端に参照速度が低下するため、検索速度も低下することになる。そのため本実施形態によって画像インデックスのサイズを小さくすることができれば、このような事態も回避することができる。

また、画像インデックスが肥大化すると、部分画像検索の速度も低下する。なぜならば、部分画像検索のときに、量子化値に対応する画像のリストを走査する必要がある。そのため、リスト長が長くなればなるほど、検索速度は低下する。本実施形態では、リスト長が長くなることを防ぐため、画像インデックスを検索する部分画像検索の速度性能の低下を防ぐことができている。一方で、部分画像検索で特定した基準コンテンツからリンク画像リストを取得する処理は必要である。しかしながら、これは部分画像検索に比べて、比較的処理量は少ない。そのため、画像インデックスのみを用いた場合に比べて、本実施形態は検索速度の低下を防ぐことも期待できる。

［第２の実施形態］
上記第１の実施形態では、登録対象画像が基準コンテンツを包含する場合、その登録対処画像を画像インデックスへと登録され、既存の基準コンテンツとのリンク情報が生成されなかった。本第２の実施形態では、登録対象画像が、既存の基準コンテンツを包含すると判断した場合に、その登録対象画像を新たな基準コンテンツとし、直前まで基準コンテンツとなっていた画像を、新たな基準コンテンツからのリンクへと修正する画像検索装置について述べる。

本第２の実施形態の画像検索装置の構成は、第１の 実施形態で示した図２の構成と同じである。ただし、コンテンツ登録部２０１の動作が異なる。第１の実施形態では、コンテンツ登録部２０１は、既に登録された画像に包含される登録対象画像が与えられたとき、既に登録された画像からのリンク情報を生成し、リンク情報管理部２０２に格納していた。加えて、包含する画像が登録されていないとき、登録対象画像の画像特徴量を画像インデックス管理部２０３に格納していた。これに加えて本第２の実施形態では、登録対象画像が、既存の基準コンテンツを包含すると判断した場合に、登録対象画像を基準コンテンツする。さらに、直前まで基準コンテンツとなっていた画像を新たな基準コンテンツからのリンクとなるように、リンク情報管理部２０２と画像インデックス管理部２０３の情報を修正する。

以下、コンテンツ登録処理の詳細について、フローチャート図９を用いて説明する。

フローチャート図９のＳ９０１〜Ｓ９０８は、第１の実施形態のフローチャート図４のＳ４０１〜Ｓ４０８と同じである。ただし、Ｓ９０６でＮＯの場合の遷移先が、Ｓ９０９になっている点が異なる。以下は、Ｓ９０９以降の処理の説明である。

Ｓ９０９では、登録対象画像が基準コンテンツを包含するか否かを判定する。これは、Ｓ９０５で得た包含関係に基づいて行われる。登録画像が基準コンテンツを包含するとき、Ｓ９１０へ移る。それ以外のときは、Ｓ９０３へ移る。

Ｓ９１０では、登録対象画像が基準コンテンツとなるように、既存の基準コンテンツのリンクを更新する。具体的には、基準コンテンツＩＤを用いてリンク情報管理部２０２のレコードを特定する。そして、リンク個数を１加算する。次に、リンク画像リストの先頭に登録対象画像ＩＤを挿入する。次に、領域情報を更新していく。領域情報を更新するために、まず既存の基準コンテンツが登録画像上のどの部分領域に対応するかを求める。そのために、既存の基準コンテンツの画像を比較元として、登録画像を比較先として、前述のＲＡＮＳＡＣを用いてアフェイン変換行列を求める。そして、アフェイン変換行列を、リンク情報管理部２０２の領域情報の座標値に適用する。具体的には、領域情報には矩形領域の左上と右下の座標値があるため、それぞれに対してアフェイン変換行列を適用して、新たな領域情報を得る。これによって、基準コンテンツ上の座標値であった領域情報を、登録対象画像上の座標値へと変換する。最後に、領域情報の先頭に、登録対象画像の全領域に相当する矩形領域の座標値を挿入する。これによって、領域情報の更新を行うことができる。

次に、特徴量数を更新する。具体的には、基準コンテンツの局所特徴量の量子化値のうち、登録対象画像の局所特徴量として出現する数を数えあげて、それを特徴量数とする。この値は、Ｓ９０１で得た類似度と似た値となるため、該類似度を用いてもよい。そして、特徴量数のリストの先頭に、該値を挿入する。これによって、特徴量数を更新できる。

Ｓ９１１では、画像インデックスの局所特徴量の座標を更新する。具体的には、画像インデックス管理部２０３において、処理対象の基準コンテンツＩＤの局所特徴量の座標を、Ｓ９１０で求めたアフェイン変換行列を用いて変換して書き変える。Ｓ９１２では、登録対象画像の差分特徴量を画像インデックスに登録する。具体的には、登録対象画像から局所特徴量を抽出・量子化する。次に、画像インデックス管理部２０３において、抽出した量子化値に対応する（基準コンテンツＩＤ，Ｘ座標，Ｙ座標）のリストを特定する。次に、該リストの中に、包含関係にある基準コンテンツＩＤが存在しないならば、該基準コンテンツＩＤと該基準コンテンツ上での局所特徴量の座標とを、画像インデックス管理部２０３に追加する。あるいは、該リストの中に、包含関係にある基準コンテンツＩＤが存在する場合も、異なる座標であれば登録してしまってもよい。また、量子化値そのものがない場合も同様の情報を生成してレコードを追加する。

なお、Ｓ９１１およびＳ９１２で行っている画像インデックスの更新の際に、既存の基準コンテンツの局所特徴量を一度削除してから、新たに登録対象画像の局所特徴量を登録し直してもよい。具体的には、処理対象となる基準コンテンツＩＤを有する（基準コンテンツＩＤ，Ｘ座標，Ｙ座標）を画像インデックス管理部２０３から削除する。その後、登録対象画像の局所特徴量の量子化と対応づけて、処理対象の基準コンテンツＩＤと登録画像上での局所特徴量の座標をペアにして、画像インデックス管理部２０３に登録する。これによって、既存の局所特徴量の座標の書き換え等が不要になり、簡易な処理で画像インデックスを更新できるようになる。

以上によって、既存の基準コンテンツを包含する画像が登録されたときに、リンク情報が適切に生成され、差分の特徴量のみが画像インデックスに登録されるようになる。そのため、登録順序によらずに、画像インデックスの肥大化を抑えることができる。

［第３の実施形態］
本発明の目的は前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵまたはＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

２０１…コンテンツ登録部、２０２…リンク情報管理部、２０３…画像インデックス管理部、２０４…部分画像検索部、２０５…コンテンツ検索部、２０６…検索インターフェイス部

Claims (14)

1. 局所特徴量を用いた部分画像検索が可能な画像検索装置であって、
   画像と、当該画像の局所特徴量とを対応付けて管理する第１の管理手段と、
   該第１の管理手段による管理対象の画像の一部の領域に類似する画像を管理するため、前記第１の管理手段で管理されている画像を特定する情報であって、前記第１の管理手段が管理する局所特徴量より小さい容量の情報と前記類似する画像を特定する情報とを対応付けて管理する第２の管理手段と、
   登録対象画像が入力された場合、前記登録対象画像に部分的に一致する画像を検索する第１の検索手段と、
   該第１の検索手段により検索して得られた画像が、前記登録対象画像を包含する関係にあるとき、当該登録対象画像を前記第１の管理手段による管理対象外とし、前記第２の管理手段で管理する第１の登録手段と
   を有することを特徴とする画像検索装置。
2. 前記第１の検索手段による検索で該当する画像が見つからなかった場合、前記登録対象画像と当該登録対象画像から抽出した局所特徴量を前記第１の管理手段に登録する第２の登録手段を更に有することを特徴とする請求項１に記載の画像検索装置。
3. 前記登録対象画像が、前記第１の検索手段により得た画像を包含する場合、前記登録対象画像と当該登録対象画像から抽出した局所特徴量を前記第１の管理手段に登録する第３の登録手段を更に有することを特徴とする請求項１又は２に記載の画像検索装置。
4. 前記第３の登録手段は、前記登録対象画像に包含関係にあった画像を、前記第１の管理手段による管理対象外とし、前記第２の管理手段にて管理することを特徴とする請求項３に記載の画像検索装置。
5. 前記第１の登録手段あるいは前記第３の登録手段は、前記第１の管理手段で管理されている画像と前記登録対象画像の差分の局所特徴量を前記第２の管理手段に管理するように登録することを特徴とする請求項４に記載の画像検索装置。
6. 前記第１の検索手段によりクエリ画像に部分一致する画像を得た場合、検索して得られた画像に類似する画像を前記第２の管理手段で管理されている画像の中から検索する第２の検索手段とを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像検索装置。
7. 前記第２の管理手段は、前記第１の管理手段で管理されている画像の中のいずれの部分領域に一致するかを示す情報を管理することを特徴とする請求項６に記載の画像検索装置。
8. 前記第２の管理手段は、前記第１の管理手段で管理されている画像に対して類似する画像ごとの局所特徴量の個数を示す情報を管理することを特徴とする請求項７に記載の画像検索装置。
9. 前記第２の検索手段は、前記第２の管理手段で管理された情報に基づき、類似度を導き出すことを特徴とする請求項６乃至８のいずれか１項に記載の画像検索装置。
10. 前記第２の検索手段は、前記第２の管理手段で管理されている画像と、クエリ画像との一致する面積に応じた類似度を導き出すことを特徴とする請求項９に記載の画像検索装置。
11. 前記第２の検索手段は、前記第２の管理手段で管理されている画像と、クエリ画像との一致する領域に含まれる局所特徴量の個数に応じた類似度を導き出すことを特徴とする請求項８に記載の画像検索装置。
12. 前記第２の検索手段は、検索結果を類似度の高い方から順に表示する検索インターフェイス手段を含むことを特徴とする請求項６に記載の画像検索装置。
13. 局所特徴量を用いた部分画像検索が可能な画像検索装置の制御方法であって、
    第１の管理手段が、画像と、当該画像の局所特徴量とを対応付けて管理する第１の管理工程と、
    第２の管理手段が、該第１の管理工程による管理対象の画像の一部の領域に類似する画像を管理するため、前記第１の管理工程で管理されている画像を特定する情報であって、前記第１の管理手段が管理する局所特徴量より小さい容量の情報と前記類似する画像を特定する情報とを対応付けて管理する第２の管理工程と、
    登録対象画像が入力された場合、第１の検索手段が、前記登録対象画像に部分的に一致する画像を検索する第１の検索工程と、
    該第１の検索工程により検索して得られた画像が、前記登録対象画像を包含する関係にあるとき、第１の登録手段が、当該登録対象画像を前記第１の管理工程による管理対象外とし、前記第２の管理工程で管理する第１の登録工程と
    を有することを特徴とする画像検索装置の制御方法。
14. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１３の方法の各工程を実行させるためのプログラム。

Images