JP4570995B2 - マッチング方法およびマッチング装置ならびにプログラム - Google Patents

Description

本発明は、Ｎ次元（Ｎは２以上の自然数）空間に投影された特徴点の集合を比較して、２つのオブジェクトの類似性を判定するマッチング方法、装置およびプログラムに関し、特に２つの画像の類似性を判定するマッチング方法等に関する。

多数の変数で定義される２つのオブジェクト、例えば静止画像、動画像、音声、文章などのオブジェクトを対比して、互いの類似性を判定する技術は、オブジェクト検索（画像検索、音声検索、文献検索など）の分野の基礎技術として重要である。

特許文献１には、ーの画像についての全ての特徴点の集合と、他の画像についての全ての特徴点の集合を比較して、両者が合同である場合に、ーの画像と他の画像は同一であると判定するマッチング方法が開示されている。

また特許文献２には、話者の発した音声をスペクトル分析して得た特徴量を、データベースに登録された特徴量と照合して話者を特定する話者認証装置が開示されている。

また特許文献３には、ある文書に出現する索引語の出現頻度を当該文書の特徴量に定めて文書検索を行う方法が開示されている。

このようなマッチング対象のオブジェクトから比較的少数の特徴量を抽出して、その特徴量の類似性を比較するマッチング方法は、取り扱う変数が少ないので、計算処理が簡単になり、高速処理が可能になる。

マッチングの高速化の要求の一方で、マッチング精度の向上も求められている。マッチング精度の向上のためには、特徴点の点数の増加や、特徴量の高次元ベクトル化が必要であるが、点数や次元を極端に増やすと、計算処理が複雑になり、高速処理の要求に答えられなくなるという問題が生じる。

そこで、特許文献４には画像の特徴をＮ次元空間にマッピングされた点で表示する場合において、２つの画像の前記点を前記Ｎ次元空間を充填する空間充填曲線にマッピングすることによって、１次元空間に写像し、写像された２つの点の間の距離で、前記２つの画像の類似性を評価することが提案されている。

特許文献４に記載の発明に使用する画像の特徴は、６００個の異なるカラー・ビンを使用して生成された当該画像のヒストグラムである。つまり、特許文献４に記載の発明は６００色の異なる色に対応する画素の数の組み合わせを当該画像の特徴とするものであり、６００次元の空間を仮定して、前記ヒストグラムの各色の画素数を前記６００次元の空間の座標にして、前記ヒストグラムすなわち当該画像の特徴を、前記６００次元の空間の点（の座標）で表示する。さらに、この点を前記６００次元の空間を充填する空間充填曲線上にマッピングすることによって、１次元空間に写像している。

特開２００１−１０９８８５号公報 特開２００４−２９４７５５号公報 特開２００５−０２５４６５号公報 特表２００２−５２４７８９号公報

特許文献４に記載の発明は、Ｎ次元空間上の特徴点を１次元空間に写像して、一次元空間に写像された２つの画像の特徴点間の距離で、２つの画像の類似性を評価するので、類似性評価が容易にできる。しかしながら、空間充填曲線には「空間充填曲線上で近傍に存在する点は、元の空間においても近傍に存在するが、その逆は必ずしも真ではない」という問題がある。つまり、２つの画像の特徴点が元の６００次元空間において近接していても、１次元空間に写像すると距離が大きくなるので、類似性を低く評価される場合があるので、本来、類似画像として抽出される画像が抽出されない場合が生じる。

本発明は、このような事情の下でなされたものであり、２つのオブジェクトの類似性を高速かつ高精度に判定できるマッチング方法、装置およびプログラムを提供することを目的とする。

本発明に係るマッチング方法の第１の構成は、Ｎ（Ｎは２以上の自然数）次元空間に投影されたオブジェクトの特徴点の集合を比較して２つのオブジェクトの類似性を判定するマッチング方法において、前記集合に属する特徴点を１次元空間に写像するマッピングステップと、前記１次元空間において、第１のオブジェクトの特徴点の最近傍に位置する第２のオブジェクトの特徴点を探索して、前記第１のオブジェクトの特徴点と前記第２のオブジェクトの特徴点のペアの集合を生成するペアリングステップと、前記特徴点のペアの集合から、前記ペアの距離が小さい順に、前記ペアの一部を抽出して、前記特徴点のペアの部分集合を生成する部分集合生成ステップと、前記特徴点のペアの部分集合に属するペアの距離の平均値を算出する平均値算出ステップと、前記距離の平均値に基づいて、前記第１のオブジェクトと前記第２のオブジェクトの類似性を判定する判定ステップとを有することを特徴とする。

この構成によれば、特徴点のペアの集合から、距離の小さいペアだけを抽出して特徴点のペアの部分集合を生成して、前記部分集合に属するペアの距離の平均値を算出するので、例外的に遠距離にあるペア、特に、元のＮ次元空間にあっては近距離にあったが、遠距離に写像されたペアの影響を排除して、オブジェクトの類似性と前記距離の平均値の相関を高めることができる。

なお、前記特徴点のペアの部分集合を構成する前記特徴点のペアの数は、前記特徴点のペアの集合を構成する前記特徴点のペアの総数の５０パーセント程度が最適である。

本発明に係るマッチング方法の第２の構成は、前記第１の構成において、前記マッピングステップは、前記特徴点を前記Ｎ次元空間の全ての点をトラバースする空間充填曲線上に写像することを特徴とする。

空間充填曲線による写像は、元の空間における２点の距離と、写像後の前記２点の距離の間に相関があるので、この構成によれば、オブジェクトの類似性と前記距離の平均値の相関を高めることができる。なお、空間充填曲線にはヒルベルト曲線、シェルピンスキー曲線、ペアノ曲線などが知られている。

本発明に係るマッチング方法の第３の構成は、前記第２の構成において、前記空間充填曲線はヒルベルト曲線であることを特徴とする。

ヒルベルト曲線の屈曲角は全て直角なので、ヒルベルト曲線は２次元画像のような方形の空間を充填するのに適している。

本発明に係るマッチング方法の第４の構成は、前記第１乃至第３の何れかの構成において、前記オブジェクトは画像であることを特徴とする。

この構成によれば、多数の画素から構成される画像の小数の特徴点に基づいて画像のマッチングを行うので、画像のマッチングを高速化する効果がある。

本発明に係るマッチング方法の第５の構成は、前記第４の構成において、前記特徴点はエッジであることを特徴とする。

エッジは他の特徴点に較べて検出が容易なので、この構成によれば安定確実な画像のマッチングを実現出来る効果がある。

本発明に係るマッチング装置の構成は、Ｎ（Ｎは２以上の自然数）次元空間に投影されたオブジェクトの特徴点の集合を比較して２つのオブジェクトの類似性を判定するマッチング装置において、前記集合に属する特徴点を１次元空間に写像するマッピング手段と、前記１次元空間において、第１のオブジェクトの特徴点の最近傍に位置する第２のオブジェクトの特徴点を探索して、前記第１のオブジェクトの特徴点と前記第２のオブジェクトの特徴点のペアの集合を生成するペアリング手段、前記特徴点のペアの集合から、前記ペアの距離が小さい順に、前記ペアの一部を抽出して、前記特徴点のペアの部分集合を生成する部分集合生成手段と、前記特徴点のペアの部分集合に属するペアの距離の平均値を算出する平均値算出手段と、前記距離の平均値に基づいて、前記第１のオブジェクトと前記第２のオブジェクトの類似性を判定する判定手段とを備えることを特徴とする。

本発明に係るマッチング装置の第２の構成は、前記第１の構成において、前記マッピング手段は、前記特徴点を前記Ｎ次元空間の全ての点をトラバースする空間充填曲線上に写像することを特徴とする。

本発明に係るマッチング装置の第３の構成は、前記第２の構成において、前記空間充填曲線はヒルベルト曲線であることを特徴とする。

本発明に係るマッチング装置の第４の構成は、前記第１乃至第３の何れかの構成において、前記オブジェクトは画像であることを特徴とする。

本発明に係るマッチング装置の第５の構成は、前記第４の構成において、前記特徴点はエッジであることを特徴とする。

本発明に係るプログラムの構成は、前記第１乃至第５の何れかの構成に係るマッチング方法をコンピュータに実行させることを特徴とする。

以上説明したように、本発明によれば、多次元の空間に投影された複数の特徴点を１次元空間に写像して、前記１次元空間における２つのオブジェクトの特徴点の距離に基づいて、前記２つのオブジェクトの類似性を判定するので、オブジェクトマッチングの演算処理を容易にし、オブジェクトマッチングを高速化する効果がある。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１は、本発明の実施例に係る画像検索装置１の概念的な構成図であり、画像検索装置１は画像入力手段２、エッジ抽出手段３、マッピング手段４、画像データベース５、ペアリング手段６、部分集合抽出手段７、平均値算出手段８および判定手段９から構成される。

画像入力手段２は、画像検索のためのクエリー画像を入力するためインターフェイスである。クエリー画像はデジタルカメラ等の撮像手段から直接入力される他、記録媒体からの入力、通信回線等を経由する他の情報機器から入力などの入力形態を選択することができる。また、画像入力手段２は画像データベース５に記憶されるデータ画像の入力にも使用される。

エッジ抽出手段３は入力された画像を解析してエッジを抽出する。エッジとは、画像の輝度あるいは色が不連続に変化する境界であり、物体を撮像した画像においては、当該物体の輪郭や稜線（不連続面の境界線）がエッジとして検出される。本実施例ではエッジに
属する画素を特徴点として使用する。また、特徴点の数を減じて、以後の処理を容易にするために、特に顕著なエッジのみを抽出してもよいし、複数のエッジの交点を特徴点としてもよい。

マッピング手段４は、エッジ抽出手段３で抽出した特徴点を１次元空間にマッピングする手段である。エッジ抽出手段３で抽出した特徴点は２次元画像の画素であるから、その位置は２次元の座標で表示される。これを１次元空間に写像して特徴点の位置を１次元の座標で表示できるようにする操作を「１次元空間へのマッピング」と呼ぶことにする。マッピングの具体的な手法は後述する。

画像データベース５は、データ画像をマッピング手段４で１次元空間にマッピングされた特徴点の位置情報と共に記憶する手段である。画像入力手段２から入力された画像が、データ画像であれば、画像情報と特徴点の位置情報が画像データベース５に書き込まれる。

ペアリング手段６は、マッピング手段４から受信したクエリー画像の特徴点の位置情報と画像データベース５から読み出したデータ画像の特徴点の位置情報に基づいて、前記１次元空間において、クエリー画像のある特徴点の最近傍に位置するデータ画像の特徴点を探索して、前記クエリー画像の特徴点と前記データ画像の特徴点のペアの集合を生成する手段である。なお、ペア探索の手法については後述する。

部分集合抽出手段７は、ペアリング手段６が作成した特徴点のペアの集合から、距離が小さいペアから順に、前記ペアの総数の一定割合の前記ペアを抽出して、前記ペアの部分集合を作成する手段である。

平均値算出手段８は、部分集合抽出手段７で作成した前記ペアの部分集合の距離の平均値を算出する手段である。

判定手段９は、１つのクエリー画像と全てのデータ画像の間で算出した前記距離の平均値を比較して、前記距離の平均値が最小になるデータ画像を前記クエリー画像に最も近似するデータ画像であると判定する手段である。又、前記距離の平均値を閾値判別して、前記距離の平均値が、前記所定の閾値より小さいデータ画像（単数又は複数）を、前記クエリー画像に近似するデータ画像であると判定してもよい。

なお、画像検索装置１はコンピュータに画像入力手段２、エッジ抽出手段３、マッピング手段４、ペアリング手段６、部分集合抽出手段７、平均値算出手段８および判定手段９のそれぞれ処理手順を記述したプログラムをインストールし、当該コンピュータの記憶装置に画像データベース５を備えることで実現できる。前記コンピュータは、既成のパーソナルコンピュータ等の中から適当な機種を選択すれば良いが、専用のハードウェアを設計して、ボードあるいはチップに纏めてもよい。

図２は、画像検索装置１による画像検索方法を示すフローチャートである。以下、この図に付したステップ番号を引用して、画像検索方法を説明する。

〔ステップ１〕クエリー画像を読み込む。

〔ステップ２〕前記クエリー画像を解析して、前記クエリー画像の特徴点の集合｛Cq_ｉ｜ｉ＝１,２,…,Ｎ｝を抽出する。

〔ステップ３〕前記特徴点の集合｛Cq_ｉ｜ｉ＝１,２,…,Ｎ｝を前記クエリー画像の全ての画素をトラバースするヒルベルト曲線上にマッピングして、ヒルベルト曲線上の特徴点の集合｛Cqh_ｉ｜ｉ＝１,２,…,Ｎ｝を得る。

〔ステップ４〕ヒルベルト曲線上の特徴点Cqh_ｉ（ｉ＝１,２,…,Ｎ）を並べ替えて、ヒルベルト曲線上の特徴点の座標の集合｛u_ｊ｜j＝１,２,…,Ｎ,u_ｊ≦u_ｊ≦…≦u_Ｎ｝を得る。

図３は、クエリー画像上の特徴点をヒルベルト曲線上に写す写像の説明図であり、図３（ａ）はクエリー画像上の特徴点Cq_ｉの分布を示す図であり、図３（ｂ）はヒルベルト曲線上に写された特徴点Cqh_ｉの分布を示す図であり、図３（ｃ）は特徴点Cqh_ｉを昇順に並べ替えた座標u_ｊの配列を示す図である。図３（ａ）において、１１は８×８個の画素から構成されるクエリー画像であり、１２はクエリー画像１１の全ての画素をトラバースするヒルベルト曲線である。クエリー画像１１上の特徴点の集合｛Cq_ｉ｜ｉ＝１,２,…,Ｎ｝を、ヒルベルト曲線１２上に写像してヒルベルト曲線１２上の特徴点の集合｛Cqh_ｉ｜ｉ＝１,２,…,Ｎ｝を得る。ヒルベルト曲線１２を延ばして直線で表示すると、ヒルベルト曲線上の特徴点の集合｛Cqh_ｉ｜ｉ＝１,２,…,Ｎ｝は、図３（ｂ）に示すような直線上の点列として把握することができる。特徴点Cqh_ｉを、座標値について昇順に並べ直すと、図３（ｃ）に示すような座標u_ｊ（j＝１,２,…,Ｎ，u_１≦u_２≦…≦u_Ｎ）の列が得られる。図３（ｂ）又は図３（ｃ）から直感的に理解できるように、ヒルベルト曲線上の点の位置は１次元座標（例えば、当該ヒルベルト曲線の始点Ｓを原点とし、始点Ｓから終点Ｅに向かう方向を正の方向に取る座標）で表現されるから、ヒルベルト曲線上の２点の距離は、１次元座標の差として算出することができる。

〔ステップ５〕データ画像について事前にステップ２〜ステップ４を実行して、算出しておいた当該データ画像の特徴点の座標の集合｛v_ｋ｜k＝１,２,…,Ｎ，v₁≦v₂≦…≦v_Ｎ｝を、画像データベース５から読み出す。

〔ステップ６〕クエリー画像の特徴点の座標の集合{u_ｊ｜j＝１,２,…,Ｎ,u_ｊ≦u_ｊ≦…≦u_Ｎ｝に属する全ての要素ｕ_ｊについて、下式（１）を満たすデータ画像の特徴点の座標の集合｛v_ｋ｜k＝１,２,…,Ｎ，v_ｊ≦v_ｊ≦…≦v_Ｎ｝の要素ｖ_l(j)を求めて、ｕ_ｊとｖ_l(j)のペアの集合｛（ｕ_ｊ，ｖ_l(j)）｜j＝１,２,…,Ｎ｝を作成する。

〔ステップ７〕前記ペアの集合｛（ｕ_ｊ，ｖ_l(j)）｜j＝１,２,…,Ｎ｝から、距離｜ｕ_ｊ−ｖ_l(j)｜が小さい順にＰ（Ｐは、Ｐ＜Ｎを満たす自然数）個の要素を抽出し、前記特徴点のペアの部分集合｛（ｕ_ｍ，ｖ_l(m)）｜m＝１,２,…,Ｐ｝を作成する。

〔ステップ８〕下記の式（２）によって、前記特徴点のペアの部分集合｛（ｕ_ｍ，ｖ_l(m)）｜m＝１,２,…,Ｐ｝に属するペアの距離の平均値を算出する。

〔ステップ９〕全てのデータ画像を読み出して、前記平均値を算出していればステップ１０に進み、そうでなければ、ステップ５に進む。

〔ステップ１０〕前記ペアの距離の平均値を全てのデータ画像について算出し、前記ペアの距離の平均値が最小となるデータ画像を、クエリー画像に最も近似するデータ画像であると判定する

なお、ステップ６において、式（１）に代えて、下記の式（３）を用いても良い。式（３）を用いると、u_ｊより座標値が大きい範囲だけでv_l(j)を探索すれば良いので、計算時間を短縮出来る。

ここで、図３のクエリー画像と図４に示すデータ画像を例に、両者の類似性を判定する手順を説明する。

データ画像の特徴点C'q_ｉ(ｉ＝１,２,…,Ｎ)は、図４（ａ）のように分布していて、これらをヒルベルト曲線上にマッピングして、昇順に並べ替えると、図４（ｂ）に示すような特徴点v_ｋ(k＝１,２,…,Ｎ，v₁≦v₂≦…≦v_Ｎ)の列が得られる。

この特徴点v_ｋ(k＝１,２,…,Ｎ，v₁≦v₂≦…≦v_Ｎ)と図３（ｃ）に示したクエリー画像の特徴点u_ｊ（j＝１,２,…,Ｎ,u_ｊ≦u_ｊ≦…≦u_Ｎ）について、式（１）を適用すると、図５において、矢印で結んだようなペアが得られる。すなわち、（ｕ_１，ｖ_２）,（ｕ_２，ｖ_２）,（ｕ_３，ｖ_３）,（ｕ_４，ｖ_４）,（ｕ_５，ｖ_６）,（ｕ_６，ｖ_７）,（ｕ_７，ｖ_８）および（ｕ_８，ｖ_８）が得られ、これらのペアの距離はそれぞれ、０，１，２，１，０，１，０，２となる。仮に、前記ペアの総数の５０％を抽出することにして、距離が最小になるペア４組の平均を算出すると、０．２５になる。

また、特徴点v_ｋ(k＝１,２,…,Ｎ，v₁≦v₂≦…≦v_Ｎ)と特徴点u_ｊ（j＝１,２,…,Ｎ,u_ｊ≦u_ｊ≦…≦u_Ｎ）について、式（３）を適用すると、図６において、矢印で結んだようなペアが得られる。すなわち、（ｕ_１，ｖ_２）,（ｕ_２，ｖ_３）,（ｕ_３，ｖ_４）,（ｕ_４，ｖ_５）,（ｕ_５，ｖ_６）,（ｕ_６，ｖ_８）および（ｕ_７，ｖ_８）が得られ、これらのペアの距離はそれぞれ、０，１２，６，２，０，９，０となる。距離が最小になるペア４組の平均は０．５０になる。

さて、特徴点のペアの集合からどの程度の割合でペアを抽出して部分集合を生成するかが問題になる。そこで、次のような実験を行った。１６×１６画素から構成されて、２０個の特徴点が分布するクエリー画像と、１６×１６画素から構成されて、２０個の特徴点を持ち、前記クエリー画像との間で、２０個の特徴点についてのハウスドルフ距離が√２、√５、√８、√１０、√２６になるようなデータ画像を用意して、前記クエリー画像と各データ画像の間で特徴点のペアの集合を生成し、このペアの集合から抽出するペアの個数を変化させて、抽出されたペアの距離の平均値を算出した。

表１は、前記クエリー画像と各データ画像の間で特徴点の間で式（１）の条件でペアの集合を作成した場合に、距離が最小になるペアから昇順に５組（top５)、６組（top６)、…、１５組（top15)を抽出して、それぞれの平均値を算出した結果を纏めたものである。

表２は、前記クエリー画像と各データ画像の間で特徴点の間で式（３）の条件でペアの集合を作成した場合に、距離が最小になるペアから昇順に３組（top3)、４組（top4)、…、１０組（top10)を抽出して、それぞれの平均値を算出した結果を纏めたものである。

表１および表２から分かるように、距離が最小になるペアから昇順に１０組程度を抽出して平均値を算出すれば、ハウスドルフ距離との相関性の高い値が得られる。したがって、ペアの距離の小さい物から順に、ペアの総数の５０％を抽出して部分集合を生成して、その部分集合に属するペアの距離の平均値を算出すれば、その平均値と画像の類似性との間の相関が大きくなることが予想される。

なお、本実施例では２次元画像のマッチングを例に取り上げたが、本発明によるマッチングの対象はこれに限られるものではない。Ｎ次元（Ｎは２以上の自然数）空間に投影された複数の特徴点の座標によってその特徴を記述できるオブジェクトならば、音声、文字、文章その他のオブジェクトを対象にすることができる。

本発明の実施例に係る画像検索装置の概念的な構成図である。 画像検索方法を示すフローチャートである。 クエリー画像上の特徴点をヒルベルト曲線上に写す写像の説明図である。 データ画像上の特徴点をヒルベルト曲線上に写す写像の説明図である。 クエリー画像の特徴点とデータ画像の特徴点のペアを示す図である。 クエリー画像の特徴点とデータ画像の特徴点のペアを示す図である。

符号の説明

１ 画像検索装置
２ 画像入力手段
３ エッジ抽出手段
４ マッピング手段
５ 画像データベース
６ ペアリング手段
７ 部分集合抽出手段
８ 平均値算出手段
９ 判定手段
１１ クエリー画像
１２ ヒルベルト曲線

Claims (9)

1. Ｎ（Ｎは２以上の自然数）次元空間に投影されたオブジェクトの特徴点の集合を比較して２つのオブジェクトの類似性を判定するマッチング方法において、
   前記集合に属する特徴点を、前記特徴点を前記Ｎ次元空間の全ての点をトラバースする空間充填曲線上に写像するマッピングステップと、
   前記１次元空間において、第１のオブジェクトの特徴点の最近傍に位置する第２のオブジェクトの特徴点を探索して、前記第１のオブジェクトの特徴点と前記第２のオブジェクトの特徴点のペアの集合を生成するペアリングステップと、
   前記特徴点のペアの集合から、前記ペアの距離が小さい順に、前記ペアの一部を抽出して、前記特徴点のペアの部分集合を生成する部分集合生成ステップと、
   前記特徴点のペアの部分集合に属するペアの距離の平均値を算出する平均値算出ステップと、
   前記距離の平均値に基づいて、前記第１のオブジェクトと前記第２のオブジェクトの類似性を判定する判定ステップと
   を有することを特徴とするマッチング方法。
2. 前記空間充填曲線はヒルベルト曲線であることを特徴とする請求項１に記載のマッチング方法。
3. 前記オブジェクトは画像であることを特徴とする請求項１又は２に記載のマッチング方法。
4. 前記特徴点はエッジであることを特徴とする請求項３に記載のマッチング方法。
5. Ｎ（Ｎは２以上の自然数）次元空間に投影されたオブジェクトの特徴点の集合を比較して２つのオブジェクトの類似性を判定するマッチング装置において、
   前記集合に属する特徴点を、前記特徴点を前記Ｎ次元空間の全ての点をトラバースする空間充填曲線上に写像するマッピング手段と、
   前記１次元空間において、第１のオブジェクトの特徴点の最近傍に位置する第２のオブジェクトの特徴点を探索して、前記第１のオブジェクトの特徴点と前記第２のオブジェクトの特徴点のペアの集合を生成するペアリング手段、
   前記特徴点のペアの集合から、前記ペアの距離が小さい順に、前記ペアの一部を抽出して、前記特徴点のペアの部分集合を生成する部分集合生成手段と、
   前記特徴点のペアの部分集合に属するペアの距離の平均値を算出する平均値算出手段と、
   前記距離の平均値に基づいて、前記第１のオブジェクトと前記第２のオブジェクトの類似性を判定する判定手段と
   を備えることを特徴とするマッチング装置。
6. 前記空間充填曲線はヒルベルト曲線であることを特徴とする請求項５に記載のマッチング装置。
7. 前記オブジェクトは画像であることを特徴とする請求項５又は６に記載のマッチング装置。
8. 前記特徴点はエッジであることを特徴とする請求項７に記載のマッチング装置。
9. 請求項１乃至請求項４の何れかに記載のマッチング方法をコンピュータに実行させることを特徴とするプログラム。

Images