JP5518856B2 - 改良された画像認識用の支援装置 - Google Patents

Description

本発明は、画像認識用の支援装置に関する。

そのような装置の第1の機能は、一般的には、データベース内の類似する画像を検索することであり、一方では2つずつの、例えばこのデータベース内の複製物を抑えるための検索であり、また一方では、ある画像に対する要求からの、例えばその要求画像と同じ被写体を示す画像を検索するための検索である。

「類似する画像」は、本明細書では、潜在的に異なるスナップ写真の条件の下で、同じ物体または同じシーンを示す画像を意味する。この定義は、特に、例えば圧縮動作または有害なフィルタリング攻撃による、合成的な方法で修正される画像も含む。

例えばネットオークションのサイトでの盗難品の識別、写真の束の仕分け、および、原型すなわち画像の偽造品の識別など、多数の用途が考え得る。

これらの装置の第2の機能は、2つの類似する画像の類似性(likeness)を評価することであり、特にそれらの関連性(relevance)に応じて評価結果の画像を整理することを目的とする。

多数の技術が存在する。

これらの技術の大部分、少なくとも大部分の最近の技術は、画像の関心領域をより詳細に特徴づける局所記述子(local descriptors)の使用に基づいている。

これらの関心領域の検出、およびそれらに関係する記述子の生成に関するより広範囲な情報については、非特許文献1に見出すことができる。それによれば、画像の比較および/または検索は、局所記述子を相互に比較することに等しく、これは、コンピュータファイルの相互の直接比較よりも、または大域記述子に基づく画像の比較よりも洗練されている。

時間とともに、データベースは、ますます大量の画像をメモリに格納する。そこで、用途もまた、特にインターネットを介して広く発達してきた。

すなわち、類似する画像の検索は、絶えずより多くの比較動作を必要とする。そして実際には、この数は非常に大きいので、記述子の相互の直接比較に基づく装置の応用例は不可能になっている。

非特許文献2では、記述子とインデックスとの間で整合(match)を行うことが提案されている。有限の1セットの整数値から選択される整数値は、各記述子と関連する。それにより、画像を相互に比較することは、整数値のセットを相互に比較することに等しく、これは、必要とするコンピュータのリソースがより少なく、したがって検索の速度が上がる。

しかしながら、この後者の技法、いわゆる「特徴バッグ(bag-of-features)」技法に基づく装置は、完全な満足を与えることはない。類似していると推定される画像数はしばしば非常に大きく、非常に異なる画像がその装置により類似しているとみなされ、かつ/または、最も関連性のある画像を識別することができない。

インデックスの値の数が増加すると逆効果になる、すなわち、装置は実際にはどんな画像も返さなくなる。

この難点を克服するために、非特許文献3では、点の位置に関する空間情報を統合することで、この後者の技法により得られた結果を再評価することにより、「特徴バッグ」の技法を完全にすることが提案されている。

Lowe D、Distinctive image features from scale-invariant keypoints、IJCB、60 (2004) 91〜110頁 Sivic, J.およびZisserman, A.、Video Google : A Text Retrieval Approach to Object Matching in Videos、於ICCV (2003) Object retrieval with large vocabularies and fast spatial Matching、J.Philbin、O.Schum、M.Isard、J.SivicおよびA.Zisserman、CPVR'2007

例えば、非特許文献1では、要求画像を結果画像の1つに変換するアファイン(affine)変換のパラメータを毎回決定するために、いわゆる「ハフ(Hough)」変換が実行される。画像のそれぞれに対し、それぞれのアファイン変換を検証する記述子の数に応じて、スコアが割当てられる。ハフ変換の計算はリソースを必要とするため、この変換は画像の相当数の束に対しては適用することができない。

しかしながら、そのコンピュータ計算コストは非常に高いので、再分類の段階は、限定された数の画像に対してのみ適用される。非常に大きな画像のデータベースに関しては、それにより類似する画像が見落とされる。というのは、特徴バッグ技法によりそれらが十分によく分類されていなかったためである。

出願人は、この状況を改善することになる装置を提案する。

この装置は、
- 各セットが画像に対応する、記述子(dij)の複数のセットを格納可能なメモリと、
- 画像の指定領域に関連し、ベクトル型の第1のデータ(xij)、角度型の第2のデータ(aij)、およびスカラ型の第3のデータ(sij)を備える各記述子(dij)と、
- 2つの記述子(dij)の指定を受取可能であり、かつ、これらの記述子の第1のデータの間の比較から、記述子のベクトル(xij)の類似度基準の検証結果を反映するブール変数を設定可能な第1の演算器(operator)と、
- 2つの記述子(dij)の指定を受取可能であり、かつ、両記述子(dij)のそれぞれの第2のデータ(aij)から、回転角度パラメータ(DeltaA)を設定可能な第2の演算器と、
- 2つの記述子(dij)の指定を受取可能であり、かつ、これらの記述子の第3のデータ(sij)から、スケールファクタパラメータ(DeltaS)を設定可能な第3の演算器と、
- 記述子(dij)の第1のセットの指定および第2のセットの指定を受取可能であり、ならびに、第1のセットの記述子(dij)および第2のセットの記述子(dij)により形成される各ペアに対し、そこから類似する記述子のペアのリストを推定するように、第1の演算器を適用するように構成される制御器(controller)と、
- 前記リストの記述子のペアのそれぞれに対し、第2の演算器および第3の演算器を呼出し、ならびに、得られたパラメータの全体をメモリに格納するステップと、
- 前記パラメータのセットへの統計処理からの、記述子(dij)の第1のセットおよび第2のセットにそれぞれ対応する画像間の類似性の推定器(estimator)と
を備えることができる。

この構成により、本発明による装置は、当技術分野の現状の装置の処理時間に近い、またはそれよりさらに短い処理時間を保持しながら、画像相互の、またはある画像の複数画像との、より洗練された比較、したがってより関連性のある比較を可能にする。

本発明の他の特徴および利点は、以下の詳細な説明および添付図面を考察することで明らかになる。

本発明による画像の認識用の支援装置を概略的に示す。 図1の装置用の署名装置の実施形態を示すフローチャートである。 図2の署名装置の一部を示すフローチャートである。 図1の装置用の第1の演算器の第1の実施形態を示すフローチャートである。 図4に類似した、代替の実施形態用のものである。 図1の装置用の第2の演算器の実施形態を示すフローチャートである。 図1の装置用の第3の演算器の実施形態を示すフローチャートである。 図1の装置用の質問器(interrogator)の実施形態を示すフローチャートである。 図8に類似した、第2の実施形態用のものである。 図1の装置用の第2の格納構造(storage structure)用の転置リスト(inverted list)の構造を示す図である。 しきい値パラメータの値に対する第1の演算器の効率を示すグラフである。 次元パラメータに対する第1の演算器の性能を示すグラフである。

添付図面は、本発明を完全にするためにだけではなく、必要があればその定義の一助とするために使用することができる。

図1は、本発明による画像の認識用の支援装置を示す。

装置1は、メモリ3、およびこのメモリ3と情報交換可能な処理装置50を備える。

メモリ3は、少なくとも一時的に、画像記述子の1つまたは複数のセットをメモリに格納するための、第1の格納構造5を備える。第1の格納構造5はさらに、記述子のセットのそれぞれと、記述された画像の識別子との間の整合関係をメモリに格納する。

第1の格納構造では、画像jに対応する記述子dijのそれぞれは、
- 画像jの関心領域iの特徴ベクトルxijを示す、ベクトル型の第1のデータ、
- 画像jの前記関心領域iの特徴角度aijを示す、スカラ型の第2のデータ、
- 画像jの前記関心領域iの特徴スケールsijを示す、スカラ型の第3のデータ、
- 画像jのこの関心領域iの中心位置cijを示す第4のデータ
をグループ化する。これらの第4のデータは、ベクトル型の第1のデータへの追加分、すなわち第1の追加のデータと考えることもできる。

ベクトルxijのそれぞれは、例えば128の、選択された次元dを有する。

様々なツールを用いて、画像jのデータから記述子dijのセットを生成することが可能である。機能的には、これらのツールは、画像jの関心領域iを検出する段階、およびその後でこの領域に局所記述子dijを割当てる段階を付与する。例えば、非特許文献1では、関心領域の検出および局所記述子の割当てのための方法が開示されている。

装置1は、生成ツールの記述子dijのセットを受取るように構成することができる。あるいは、装置1はこの種のツールを統合してもよい。続いて装置1は、画像のデータを受取るように構成される。任意では、装置1は、これらの画像データを長期間の基準でメモリに格納するために、例えばデータベースとして、追加の格納構造を備えることができる。

メモリ3は、第1の格納構造5とは異なり、特定の形式での画像記述子の1つまたは複数のセットの表示物(representation)をメモリに格納する第2の格納構造7をさらに備える。

記述子dijのそれぞれに対し、第2の格納構造7は、記述子dijと、記述子dijのセットに共通な整数値のセットから選択され、インデックスと呼ばれる整数値q(xij)との関係をメモリに格納する。この整数値q(xij)は、「視覚単語(visual word)」と表される場合がある。この整数値q(xij)は、特徴ベクトルデータ(xij)に応じて設定される。

可能なインデックス番号は、装置1に対して考えられる用途による。インデックス番号は、一般的には、1,000〜1,000,000で構成することができる。

有利には、第2の格納構造7は、記述子dijのそれぞれに対し、この記述子dijの識別子と、それの整数値q(xij)との間の整合関係をメモリに格納する。これにより、第2の格納構造7のサイズの削減が可能になる。

代替方法として、第2の格納構造7は、記述子dijに対応する画像jの識別子と、関連性のある整数値q(xij)との間の整合関係を毎回メモリに格納する。好ましくは、画像jの識別子は、第2の格納構造7のサイズをさらになお削減するために、記述子dijの識別子の代わりとして、メモリに格納される。

特に有利な方法では、第2の格納構造7は、転置リストの構造の形式をとる。

次に、第2の格納構造7は、リストのセットとして現れる。リストは、インデックスの整数値のそれぞれと関連し、このリストは、この整数値が関連する記述子dijのそれぞれの識別子を含む。この格納構造により、整数値を用いて、非常にコンパクトな方法で、記述子dijのセットの全体の表示物をメモリに格納することが可能になる。第2の格納構造7のこの実施形態はまた、問合せ動作の速度を上げる。

代替方法として、第2の格納構造7のリストのそれぞれは、記述子dij自体の識別子の代わりとして、または識別子に対する追加として、第1の格納構造5内のこの記述子dijが対応する画像の識別子idjを含むことができる。記述子識別子dijを画像識別子idjで代用することにより、第2の格納構造7のサイズはさらに削減される。

同じ整数値qが、同じ画像jの複数の記述子dijに関連している場合、この整数値qに対応するリストは、画像の識別子idjに関係する出現数、またはリスト内の各エントリが出現に対応する複数のエントリのどちらかを含むことができる。

この第2の代替方法は、第2の格納構造7のサイズをごくわずかに増加させるだけであるため、同じ整数値qが同じ画像jの異なる記述子dijに割当てられることがほとんど起こりそうにないことを考えれば、優先度が高い場合がある。

処理装置50は、整数値q(xij)を、対応する特徴ベクトルxijデータに応じて、第1の格納構造5内のメモリに格納された記述子dijのそれぞれに関連づけることが可能な定量化器(quantifier)9を備える。

定量化器9は、制御画像データのセットに、k近傍にわたる平均、すなわち「k平均クラスタリング」を適用するように構成される。この結果は、ボロノイ(Voronoi)の重心(centroid)およびセル(cell)のセットである。処理された記述子dijの特徴ベクトルxijの最近接の重心の識別子が、整数値q(xij)として割当てられる。重心に対する特徴ベクトルxijの近さ(proximity)は、ユークリッド距離により計算することができる。

定量化器9は、任意である。装置1は、第1の格納構造5の記述子dijに関連する整数値q(xij)の全体を、場合によっては実際の記述子dijのセットの代わりとして、受取るように構成することができる。

処理装置50は、記述子dijを受取るように構成され、特徴ベクトルxijデータから、この記述子dijの多次元バイナリ署名(multi-dimensional binary signature)bi(xij)を示すベクトル型データを設定するための署名装置11をさらに備える。バイナリ署名ベクトルbi(xij)は、例えば64の、選択された次元dbを有する。

バイナリ署名ベクトルbi(xij)の成分のそれぞれは、排他的に、値「0」または値「1」をとることができる。すなわち、バイナリ署名ベクトルbi(xij)は、ブール変数から成る。

第2のメモリ構造7は、第1の格納構造5内のメモリに格納された記述子dijのそれぞれのバイナリ署名データbi(xij)と、この記述子dijの識別子、またはこの記述子dijに対応する画像jの識別子との間の整合関係をメモリに格納するように構成される。

第2の格納構造7が転置リストの形式で作成される場合、バイナリ署名bi(xij)のそれぞれは、対応する記述子dijに関係するエントリでリストに格納することができる。すなわち、第2の格納構造7のこの実施形態では、バイナリ署名bi(xij)のそれぞれは、この記述子dijを構成するデータ(ベクトル、角度、およびスケールの特徴)とではなく、記述子(dij)に割当てられた整数値q(xij)との整合関係で、メモリに格納される。例えば、転置リスト構造のエントリのそれぞれは、バイナリ署名の格納のために、例えば64のビットのセット数を有することができる。この実施形態により、画像識別子idjまたは記述子dijとの整合関係で、バイナリ署名の特にコンパクトな格納が可能になる。

図2は、署名装置11の構成を示す。

ステップ200では、署名装置11は、第1の格納構造5内のメモリに格納された記述子dijに関係する特徴ベクトルデータxijを受取る。

ステップ202では、特徴ベクトルxijの投影(projection)を示すベクトル型のデータが、大きさdb×dの投影行列Pにより計算される。

同じ投影行列Pが、第1の格納構造5内のメモリに格納された記述子dijの全体に対して使用され、そのために、第2の格納構造7内の表示物を取得することが求められる。

次元dbの投影ベクトル(projected vector)zijの表示データが得られる。投影ベクトルziの成分は、zi1、zi2、〜、zidbと記述される。

ステップ204では、整数値q(xij)が特徴ベクトルxijに関連づけられる。整数値q(xi)を設定するために、定量化器9が呼出される場合がある。整数値q(xi)は、対応する記述子dijの表示物がすでに第2の格納構造7内に存在する場合は、この第2の格納構造7に読み込むこともできる。

第2の格納構造7が転置リストの形式で作成される場合、整数値q(xij)と特徴ベクトルxijとの間の整合関係は、リスト識別子、例えばインデックス番号として、および記述子dijの識別子を含むこのリスト内のエントリとして、すでに格納されている場合がある。前記整合関係が第2の格納構造7にない場合、ステップ204に続いてメモリに格納されてよい。

ステップ206では、コンピュータによるループが、署名ベクトルbi(xij)の成分bikに関して開始される。インデックスkは1〜dbで変化する。

ステップ208では、投影ベクトルziのk番目の成分zikが、特徴ベクトルxijの整数値q(xij)および成分kに対して固有の、メディアン値Tq(xij)kと比較される。

投影ベクトルziのk番目の成分zikがメディアン値Tq(xij)kより大きい場合、バイナリ署名ベクトルbi(xij)のk番目の成分bik(xij)は、ステップ210で値「1」(イチ)となる。そうでない場合、k番目の成分bik(xij)は、ステップ212の間に値「0」(ゼロ)となる。

図3は、署名装置11によるメディアン値Tq(xij)の決定方法を示す。

ステップ300では、署名装置11は、第2のメモリ構造7で示された画像データとは異なる画像データに関係する記述子eijのセットEを受取る。記述子eijのそれぞれは、次元dbの特徴ベクトルwijの表示データを備える。

ステップ302では、セットEの記述子eijの特徴ベクトルwijのそれぞれは、投影行列Pにより投影される。投影ベクトルvijのセットVが得られる。投影ベクトルvijの成分は、vij1、vij2、〜、vijdbと記述される。

ステップ304では、例えば定量化器9により、特徴ベクトルwijのそれぞれに、インデックスの整数値が割当てられる。メモリ3は、少なくとも一時的に、インデックスの各整数値qと、その特徴ベクトルwijがこの整数値qを割当てられている投影ベクトルvijのそれぞれの成分の全体との間の整合関係を格納する。転置リストの構造を使用してもよい。

ステップ306では、インデックスの整数値qにわたる、および投影ベクトルvijの成分vijkにわたるループが開始される。インデックスkは1〜dbで変化する。

ステップ308では、整数値qおよび成分kと関係するメディアン値Tqkが、関連性のある整数値qと関係する投影ベクトルvijのk番目の成分vijkのメディアン値として計算される。

投影行列Pは、無作為に生成されたガウシアン値の行列Aから得られる。この行列Aは、db個の列を有する。

ガウシアン値の行列Aに対し、QR型の因子分解または分解が実行される。ここでQは直交行列であり、Rは三角行列である。db個の列を有する行列Qの最初のd行が、投影行列Pを形成する。

処理装置は、第1の格納構造5および第2の格納構造7との情報交換が可能な、特徴づけ装置(characterization device)10をさらに備える。この特徴づけ装置は、第1の格納構造5内のメモリに格納された記述子dijのそれぞれに対し、特徴角度データaijから定量化特徴角度データqaijを、および特徴スケールデータsijから対数定量化スケールファクタデータqsijを設定するように構成される。特徴角度のデータの定量化は、特徴角度が存在する角度値の区間に関連してインデックス付与される値の割当てを含む。また、特徴スケールを有するデータの定量化は、特徴スケールの10進対数が存在するスケールファクタ値の区間に関連してインデックス付与される値の割当てを含む。

第1の格納構造5内のメモリに格納された記述子dijのそれぞれの定量化角度qaijの値および定量化スケールファクタqsijの値は、関連性のある記述子dijの識別子、またはそのためにこの記述子dijが生成された画像jの識別子との整合関係で、第2の格納構造7内のメモリに格納される。

第2の格納構造7が転置リストの形式で作成される場合、これらの定量化角度qaijの値および定量化スケールファクタqsijの値は、有利には、関連性のある記述子dijを示すエントリに格納される。すなわち、整数値q(xij)により指定される特定のリストに、記述子dijの識別子または画像jの識別子が、前記定量化値とともに追加される。リストの各エントリは、これらの定量化値を格納するために予約された特定数のビットを、例えば定量化角度値qaijを格納するために6ビット、および定量化スケールファクタ値qsijを格納するために5ビットを備えることができる。予約されたビット数は、定量化区間の範囲を決定することが理解される。

処理装置50は、第2のメモリ構造7と情報交換可能な第1の演算器13をさらに備える。第1の演算器13は、そのために第2のメモリ構造7内のメモリに表示物が格納される、2つの記述子の特徴ベクトルxijとyklとの間の類似度値f(xij,ykl)を設定するように構成される。

この類似度値f(xij,ykl)の決定方法は、基本的には、特徴ベクトルxijおよびyklの整数値q(xij)およびq(ykl)が、あらかじめ設定された類似度の条件を満たすかどうかをこの場合にチェックするステップから成る。

図4は、第1の演算器13の第1の実施形態を示す。

ステップ400では、第1の演算器13は、第1の特徴ベクトルxijおよび第2の特徴ベクトルykl、またはこれらの特徴ベクトルの識別子のみを受取る。

ステップ402では、第1の演算器13は、第1の特徴ベクトルに対するインデックスの整数値q(xij)、および第2の特徴ベクトルに対する整数値q(ykl)を設定する。有利には、これらの整数値q(xij)およびq(ykl)の少なくとも1つが、第2の格納構造7から取得される。これらの整数値q(xij)およびq(ykl)の回復(recovery)は、それにより特に高速である。

ステップ404では、第1の演算器13は、ステップ402で取得した整数値q(xij)とq(ykl)とを比較する。

これらの整数値q(xij)およびq(ykl)が等しい場合、第1の演算器は、ステップ406で、類似度値f(xij,ykl)として値「1」のブール変数を返す。これは、この第1の基準の意味での特徴ベクトルの類似度を示す。

そうでない場合、ステップ408で返される類似度値f(xij,ykl)は値「0」となる。

第2の格納構造7が転置リストの形式で作成される場合、および整数値q(xij)およびq(ykl)の一方が第1の演算器13に知られている場合、これらの整数値の他方との比較は、既知の整数値により識別されるリストについて、他方の整数値の特徴ベクトルに対応する記述子の識別子をこのリストが含むかどうかをチェックするために、そのリストを閲覧することに等しい。記述子dijの特徴ベクトルxijに割当てられる整数値q(xij)は、ステップ400で受取られたときに、またはさらに、第2の格納構造7にあらかじめ回復されていたときに、特に知られた状態となる。

第2の格納構造7で、記述子の特徴ベクトルの表示物を整数値としてメモリに格納することにより、特徴ベクトルの相互の比較を特に急速に行うことが可能になる。この比較は、転置リストの構造が第2の格納構造7に適用されている場合は、さらに高速になる。

図5に示す代替の実施形態では、ステップ404の後に、ステップ406の代わりとして、以下のステップが継続する。

ステップ500では、第1の演算器13は、それぞれ第1の特徴ベクトルxijおよび第2の特徴ベクトルyklからのバイナリ署名bij(xij)およびbkl(ykl)のスカラ積h(bij(xij),bkl(ykl))を計算する。これらのバイナリ署名bij(xij)およびbkl(ykl)の値は、第2の格納構造7で、それぞれ第1の特徴ベクトルxijおよび第2の特徴ベクトルyklに対応する整数値q(xij)およびq(ykl)から回復される。

ステップ502では、得られたスカラ積h(bij(xij),bkl(ykl))は、所定のしきい値htと比較される。

このスカラ積h(bij(xij),bkl(ykl))がしきい値htより小さい場合、第1の演算器は、ステップ504で、類似度値f(xij,ykl)として「1」(イチ)の値のブール変数を返す。そうでない場合、第1の演算器13は、ステップ506で、類似度値f(xij,ykl)として値「0」(ゼロ)のブール変数を返す。

有利な進展では、ステップ506では、第1の演算器は、値「1」のブール変数の代わりとして、重みづけ値(weighted value)を類似度値f(xij,ykl)として返す。

例えば、非特許文献2に記載されたように、「tf-idf」型(「単語出現頻度-逆文書出現頻度(term frequency-inverse document frequency)」、すなわち「単語の出現頻度-文書の逆出現頻度」を表す)の重みづけを使用することが可能である。この重みづけは、テキスト文書の検索の分野で頻繁に使用されている。

処理装置50は、第1のメモリ構造5の2つの記述子dijおよびdklに対して、回転角度パラメータDeltaAを設定するために、第2のメモリ構造7と情報交換可能な第2の演算器15をさらに備える。第2の演算器は、第2の格納構造7内のメモリに格納された定量化特徴角度値qaijおよびqaklのデータから、この回転角度パラメータDeltaAを設定するように構成される。転置リストの構造がこの第2の格納構造7に使用されている場合、これらの定量化特徴角度値qaijおよびqaklは、記述子dijおよびdklにより割当てられる整数値q(xij)およびq(ykl)から読み出すことができる。

図6は、この第2の演算器15の実施形態を示す。

ステップ600では、第2の演算器15は、第1の特徴ベクトルxijおよび第2の特徴ベクトルykl、または好ましくはこれらの特徴ベクトルの識別子のみを受取る。

ステップ602では、第2の演算器15は、記述子dijおよびdklのそれぞれに対して、定量化特徴角度データqaijおよびqaklを回復する。第1の特徴ベクトルxijおよび第2の特徴ベクトルyklが、前のステップで受取られている場合、それらの整数値q(xij)およびq(ykl)に関しては、第2の格納構造7への問合わせのために、特に後者が転置リストの形式で作成される場合は、あらかじめ設定する必要がある場合がある。

そのような転置リストの構造が使用されている場合、これらの整数値の1つ、例えばq(xij)を知ることにより、定量化角度値qaklが追加される記述子dklの識別子をその中に見つけるために、この整数値q(xij)により識別されるリストを閲覧することから成る検索を、非常に急速に行うことが可能である。

ステップ604では、第2の演算器15は、回転パラメータDeltaAとして、定量化特徴角度値のqaijとqaklとの間の差を返す。好ましくは、回転パラメータDeltaAは、定量化形式で返される。

処理装置50は、第1の格納構造5内のメモリに格納された2つの記述子dijおよびdklに対して、第2のメモリ構造7内のメモリに格納された定量化スケールファクタのデータから、スケールファクタパラメータDeltaSを設定するために、第2のメモリ構造7と情報交換可能な第3の演算器17をまたさらに備える。

図7は、第2の演算器15の実施形態に類似した、この第3の演算器17の実施形態を示す。

ステップ700では、第3の演算器17は、第1の特徴ベクトルxijおよび第2の特徴ベクトルykl、または好ましくはこれらの特徴ベクトルが対応する記述子dijおよびdklの識別子のみを受取る。これらの特徴ベクトルに割当てられる整数値q(xij)およびq(ykl)の1つを受取ることもできる。

ステップ702では、第3の演算器は、2つの記述子dijおよびdklのそれぞれの定量化特徴スケールファクタデータqsijおよびqsklを回復する。

ステップ704では、第3の演算器は、スケールパラメータDeltaSとして、特徴スケールファクタの対数の差を返す。好ましくは、スケールパラメータDeltaSは、定量化形式で返される。

処理装置は、第1の画像に関係する記述子の第1のセットdi1、または好ましくはこの第1の画像の識別子id1のみを、ならびに、第2の画像に関係する記述子の第2のセットdi2、または好ましくはこの第2の画像の識別子id2のみを受取可能な質問器19をさらに備える。

図8は、質問器19の実施形態を示す。ステップ800では、質問器19は、第1の画像の識別子id1および第2の画像の識別子id2を受取る。

第1の画像の記述子di1および第2の画像の記述子dj2で形成される各ペアに対し、質問器19は、ステップ802の間に、第1の演算器13を繰り返し呼出す。これは、記述子の第1のセットおよび第2のセットの全体に対して実行される。演算器13は、記述子di1およびdj2の識別子とともに毎回呼出される。

第1の演算器13は、ステップ804で、類似度値f(xi1,yk2)を送り返す。第2の格納構造7は、記述子間のコンピュータ検索動作を最適化するので、インデックス付与された表示物により、ステップ802および804は特に急速に実行される。

質問器19は、スコア変数Scと、第1の画像および第2の画像の少なくとも1つの識別子との間の整合関係を、第3の格納構造20内のメモリに格納するために、第3の格納構造20と情報交換するように構成される。スコア変数Scは、ステップ806の間に、第1の演算器13の連続する呼出しの結果として返される類似度値f(xi1,yk2)を加える。

ステップ806の最後で、結果として得られたスコア変数Scの値は、第1の画像と第2の画像との間の類似性すなわち類似度の測定結果を示す。スコア変数Scの値は、関連性の、すなわち第1の画像に対する第2の画像の近さの測定結果と考えることもできる。この第1の画像は、要求画像と考えることができる。

スコア変数Scの最終値は、例えばこの値に重みづけするために、統計関数により処理することができる。

第2の格納構造7が転置リストの形式で作成される場合、この第1の画像と第2の画像との相互の比較は、さらに速度が上がる。例えば、第1の画像の記述子に割当てられる整数値q(xi1)が知られている場合、ステップ802、804、および806は、第2の画像の記述子の識別子を毎回検索して、これらの整数値q(xi1)により識別されるリストのそれぞれを通して閲覧することから成る。このような識別子が存在する場合、スコア変数Scは、値f(xi1,yk2)だけ増加する。例えば、スコア変数Scは、毎回値1(「イチ」)だけ増加する。画像識別子idjが、記述子識別子dijの代わりとしてメモリに格納される場合、捜すのは第2の画像の識別子であり、それにより、比較の速度がさらに上がる。

質問器19は、第1の画像を第2の格納構造7で示される画像の全体と比較するために、毎回、第2の画像または第2の格納構造7で示される記述子dijの第2のセットとともに、第1の画像または第1の記述子のセットdi1のために、繰り返し呼出される場合がある。

スコア変数Scjは、このようにデータベースの画像jのそれぞれに対して得ることができ、第1の画像、すなわち要求画像に対する画像jの近さの測定結果を示す。すなわち、第3の格納構造20は、第1の画像に関係し、画像jの識別子idjとの整合関係にあるたびにスコア変数Scjの全体をグループ化する、スコアのテーブルSc1[]を含むことができる。

画像jの、第1の画像に対するそれらの類似性すなわち類似度に関しての分類が、それにより得られる。

第2の格納構造7が転置リストの形式で作成される場合、第1の画像の、この第2の格納構造7で示される画像の全体との比較は、特に高速である。質問器19は、第1の画像の記述子に割当てられる整数値のそれぞれから、第2のメモリ構造7でのこの整数値により識別されるリストについて、このリストのエントリが対応する画像のそれぞれのスコアScjを増加させるために、閲覧するように構成される。次に、比較の急速性をさらに上げるために、記述子識別子の代わりとして、画像識別子idjをメモリのこのエントリに格納することが特に重要であることが理解される。

バイナリ署名biが第2の格納構造7のメモリに格納される場合、バイナリ署名の比較により2つの画像の相互の比較が洗練されるため、画像jのスコアScjはさらに関連性が高い。出願人は、この実施形態で質問器19により返された画像が、当技術分野の現状の装置により識別された画像よりも関連性が高いことに注目した。

これらの装置では、インデックス基数(index cardinal)kの選択がなされるべきである。低いkのインデックス基数の値では、ボロノイセルが広くなる結果となる。これには、記述子のノイズの多いバージョンが同じセル(同じ整数値)で見つかる見込みが大きいという利点と、非常に異なる記述子が同じセルで見つかる場合があるので、記述子がその識別力を失うという欠点とがある。低いkのインデックス基数の値では、ボロノイセルを縮小させる結果となる。これには、記述子の良好な精度を保持するという利点があるが、記述子のノイズの多いバージョンであって、関連性のある記述子のそれとは異なるものがセルで見つかるおそれが強く、かつメモリの消費量が大きいという欠点がある。

バイナリ署名により、本発明による装置は、高いkのインデックス基数の値の利点、および低いkのインデックス基数の値の利点を有する。

図9に示された第2の実施形態では、質問器19は、ステップ804で返された類似度値がゼロでない場合(ステップ900)、以下の動作を実行するように構成される。

質問器19は、ステップ902で、比較の間に記述子di1およびdk2のために、第2の演算器15および第3の演算器17を呼出す。第2の演算器15および第3の演算器17はそれぞれ、ステップ904で、回転角度パラメータDeltaAの定量化値およびスケールファクタパラメータDeltaSの定量化値を送り返す。

質問器19は、一方で定量化回転角度値DeltaA、スケールファクタの定量化値DeltaS、および類似度値f(di1,dk2)の間の整合関係を、ならびに、第1の画像および第2の画像の少なくとも1つの識別子をメモリに格納するために、第3の格納構造20と情報交換するように構成される。

ここでは、質問器19は、定量化回転角度値DeltaAおよび定量化スケールファクタ値DeltaSの各ペアに対して、これらの角度およびスケールの条件下で返される類似度値f(di1,dk2)だけ連続して増加するスコアScを集める、スコアテーブルSC2as[]を生成するように構成される。このテーブルでは、角度データおよびスケールデータは定量化されている。すなわち、質問器19は、第2の画像に対し、選択的な大きさのテーブルであって、例えば縦の列に角度クラスを、および例えば縦座標にスケールファクタクラスを示すスコアテーブルSC2as[]を構築する。類似度値は、角度クラスおよびスケールファクタクラスとの整合関係で書き込まれ、必要ならば前の類似度値と加算される。

それにより構築されたスコアテーブルScas[]は、統計処理動作を実行するために、第3の格納構造20と情報交換可能な推定器21により、処理することができる。例えば、推定器21は、画像2に対する最終スコア値Sc2として、スコアテーブルScas[]の全体のスコアの最大値を設定するように構成することができる。実際には、推定器21は、エッジまたは定量化ノイズの影響を避けるために、隣接するセルの結果を同じセルに集めることにより得られた結果を平滑化するように構成することができる。

あるいは、推定器は、角度および/またはスケールの特定の値に対する結果に重みづけを行うように構成してもよい。

この重みづけは、特定の回転角度および特定のスケール比、特に、風景モードでのスナップ写真に対応する場合がある角度値0、ポートレートモードでのスナップ写真に対応する場合がある角度値90°、およびズーム効果がない状態に対応する場合があるスケールファクタ値0に対する好みを与えるために、用途に応じて選択される。

第2の格納構造7が転置リストの形式で作成される場合、特にこれらのリストに定量化角度値および定量化スケール値を直接格納することにより、2つの画像間の比較がさらに高速になる。第1の画像の記述子に割当てられる整数値q(x1i)の全体が知られているときは、比較は、第2の画像の識別子id2、または第2の画像に対応する記述子識別子を検索するために、これらの整数値の1つにより識別されるリストのそれぞれを通して閲覧することから成る。そのようなエントリが見つかる場合、類似度値は、定量化角度値および定量化スケールファクタ値との整合関係でメモリに格納される。

質問器19は、同じ処理を画像jの全体とともに、またはその1つの表示物が第2の格納構造7内のメモリに格納されている記述子dijのセットとともに実行することができる。この結果は、画像jの識別子idjと、それの固有のスコアテーブルScjas[]との間の整合関係をメモリに格納するスコアテーブルScas[]である。このスコアテーブルScjas[]は、単一のいわゆる最終スコア値Scjが画像jの識別子のそれぞれと関連するように、推定器21により処理することができる。画像jの、画像1とのそれらの類似度に関しての分類が、それにより得られる。

出願人は、この実施形態で質問器19により返される結果画像が、特に比較において幾何学的な性質の特徴が考慮されているため、さらに関連性が高いことに注目した。これらの幾何学的特徴の比較は、回転角度およびスケールファクタを設定することのみに限定されるため、実際には、検索処理の全体は非常に高速な状態を維持する。この比較は、第2の格納構造内のメモリに格納された定量化値への単純な演算により得られるので、多くのコンピュータ計算用リソースを必要とせず、かつ高速である。特に、回転角度DeltaAおよびスケールファクタDeltaSのパラメータの決定では、装置1の性能にとって損失が大きな非常に多い計算を避けるために、特徴ベクトルデータを必要とはしない。

転置リストの構造が使用されている場合、画像の比較はさらに高速になる。

特に、スコアのテーブルは、転置リストの構造のエントリのそれぞれに対して作成することができ、次いで、同じ画像の記述子のスコア付与されたテーブルが、同じテーブルに集まった。これは、転置リストの各エントリが画像識別子を含む場合は、さらに高速であり、かつより性能が高い。この場合、各画像は、質問器の第1の実施形態に対しては、単一のスコアを受取るだけである。

この第2の実施形態の代替方法では、質問器19は、各画像jに対して、角度スコアのテーブルSaおよびスケールファクタスコアのテーブルSsについてそれぞれ、定量化回転パラメータDeltaAの値およびスケールファクタDeltaSの値、角度クラス、ならびにスケールファクタクラスに応じたスコアに応じて任意にまとめられる類似度値をグループ化して、維持するように構成される。

この場合、第3の格納構造20は簡素化されるので、分類処理の速度は上がった。

推定器21は、画像jに対し、角度スコアテーブルSca[]のそれぞれのスコアの最大値、およびスケールスコアテーブルScs[]のそれぞれのスコアの最大値の中での最小値を、最終スコア値Scjとして割当てるように構成してもよい。

転置リストの構造が使用されている場合、これらのベクトルのそれぞれは、対応するエントリに関連して格納することができる。

これまで見てきたように、第2の格納構造7は、転置リストの形式で作成される場合、特にコンパクトである。

図10では、転置リストの形式の第2の格納構造7の例示的な実施形態が示される。

リストL1、L2、〜、L6のそれぞれは、ここでは1、2、〜、6のインデックス値により識別される。

各リストLi、i = 1〜6、は、特定数のエントリEijをグループ化する。各エントリは、画像識別子IDk、定量化特徴角度値Akl、定量化スケールファクタ値Skl(対数値)、およびバイナリ署名値Bklを含む。

各エントリEijは、画像kの特徴ベクトルxlkが、整数値q(xlk)として、リストのインデックス番号に割当てられたものである。あるいは、記述子識別子を格納してもよい。

例えば、ID1により識別される画像は、この第2の格納構造7で、単一の記述子(転置リストの構造では単一のエントリで、E61として参照される)により示され、それに対しては整数値6が割当てられた。すなわち、記述子は、それの整数値により、第2の格納構造7で示されている。

ID3として識別される第3の画像は、3つの記述子(第2の格納構造7では、3つのエントリが識別子ID3を含む)により、第1の格納構造5内で特徴づけられる。これらの記述子はそれぞれ、この転置リストの構造では、エントリE13、E51、およびE62により示されるように、整数値1、5、および6により示される。

転置リストを用いる構造の利点は、非常に多数の画像の表示物を特にコンパクトに格納することである。リストのエントリのそれぞれに割当てられるメモリ量は、可能な限り減少する一方で、記述子を相互に比較するための最大の情報を維持する。出願人により、コンパクトさの観点からの良好な結果およびその結果の関連性が、以下のように構成されたエントリを用いて得られた。
- メモリの21ビットが、画像(IDk)の識別用に予約される、
- メモリの6ビットが、定量化特徴角度値Aklの格納用に予約される、
- メモリの5ビットが、特徴スケールSklの対数の格納用に予約される、
および
- 64ビットが、バイナリ署名Bklの格納用に予約される。

第1の演算器13では、しきい値htおよび次元dbは、htの値が次元dbの値以下になるように設定される。このしきい値htは、ユークリッド距離の意味で、特徴ベクトルxijに対するn個の最近接のベクトルが類似していると判定されることを保証するために十分に高くあるべきであり、すなわち、それらのバイナリ署名のスカラ積は、htより小さくあるべきである。しきい値htは同時に、対応するボロノイセルの離れた部分に位置する多数の点をフィルタリングするように低くあるべきである。したがって、しきい値htの選択は、妥協の結果である。

図11および図12のグラフ図はそれぞれ、しきい値htに対する回復された記述子の割合、およびセル内で回復された点の割合に対する第5最近接の(5-th closest)回復されたベクトルの割合を示す。

図11のグラフは、64にセットされた次元値dbを用いて得られた。回復された記述子の割合はそれぞれ、第1の演算器13によりフィルタリングされる、セル記述子の割合、および第i最近接ベクトル(ここでは5)の割合を意味する。

グラフ11および12は、同じ重心に割当てられた記述子のセットを解析することにより生成された。所与の特徴ベクトルxに対し、第1の演算器13によりフィルタリングされる記述子mの、すなわち、それに対してベクトルxを用いた類似度値f(x,m)がゼロである記述子の割合が、1,000の記述子を含むセル内で回復される5個の最近接ベクトルの割合と比較される。

図11のグラフは、ここでは20〜30で選択されるしきい値htの選択により、セル記述子の大部分がフィルタリングされること、および、これらの記述子のn個の最近接ベクトルが高い確率で保存されることが保証されることを示す。22にセットされたしきい値htでは、記述子の約97%がフィルタリングされ、5個の最近接ベクトルの53%が保存される結果となる。より高い、ここでは28にセットされたしきい値htでは、5個の最近接ベクトルの94%を保存し、セル記述子の77%をフィルタリングする結果となる。

図12のグラフは、次元dbの種々の値に対する、これらの異なる記述子のフィルタリングの割合の間の違いを示す。最高のフィルタリング品質は、最大の次元値dbに対して得られる。大きな次元値dbは、より大きなメモリ格納空間を必要とする。したがって、次元dbの値もまた、第1の演算器13の精度と使用メモリ量との間の妥協の結果である。値64の次元dbが、良好な妥協点であるように見える。

本発明による装置は、非常に多数の画像の表示物を含むことができるコンパクトなデータベースの構築、ならびに、これらの画像の幾何学的要素を考慮し、かつより高速である、当技術分野の現状の装置よりも関連性の高い類似する画像の検索の実現性を示す。これらの利点は、関連性のあるデータベースが転置リストの構造の形式をとる場合、より著しく向上する。

本発明は、単に例として上述した実施形態に限定されるものではない。

詳細には、
- 第1、第2、および第3の演算器は、同じ機能性を有する同じ演算器で実施することができる。
- 第1、第2、および第3の格納構造は、同じメモリ3に属するように示されていた。これらの構造のそれぞれは、物理的に異なる、または技術的にさえも異なる装置にわたって、局所化または分配することが可能なことが理解される。例えば、第1のメモリ構造は、ハードディスク上に構成することができ、第2のメモリ構造は、特にそれが転置リストの構造の形式(コンパクトさ)で作成される場合、RAMメモリ内に構成することができる。
- 第1、第2、および第3の演算器は、特に第1の演算器の第2の実施形態では、相互に独立に使用することができる。
- 本発明はまた、画像の認識を支援するための方法と考えることもでき、そのステップは、説明した種々の実施形態の中に見つけられる。これらの方法は、この説明の趣旨に従って生成可能である。
- 処理装置50は、任意のコンピュータ計算手段、特にコンピュータプログラム製品を実行可能なマイクロプロセッサを用いて作製することができる。

1 装置
2 処理装置
3 メモリ
5 第1の格納構造、第1のメモリ構造
7 第2の格納構造、第2のメモリ構造
9 定量化器
10 特徴づけ装置
11 署名装置
13 第1の演算器
15 第2の演算器
17 第3の演算器
19 質問器
20 第3の格納構造
21 推定器

Claims (21)

1. 画像認識用の支援装置であって、
   記述子(dij)の複数のセットを格納可能なメモリ(3)を備え、
   各セットは画像に対応し、
   前記装置は、
   前記画像の指定領域に関連し、かつ、ベクトル型の第1のデータ(xij)、角度型の第2のデータ(aij)、およびスカラ型の第3のデータ(sij)を備える各記述子(dij)と、
   2つの記述子(dij)の指定を受取可能であり、かつ、これらの記述子の前記第1のデータの間の比較から、前記記述子のベクトル(xij)の類似度基準の検証結果を反映するブール変数を設定可能な第1の演算器(13)と、
   2つの記述子(dij)の指定を受取可能であり、かつ、両記述子(dij)の前記第2のそれぞれのデータ(aij)から、回転角度パラメータ(DeltaA)を設定可能な第2の演算器(15)と、
   2つの記述子(dij)の指定を受取可能であり、かつ、これらの記述子の前記第3のデータ(sij)から、スケールファクタパラメータ(DeltaS)を設定可能な第3の演算器(17)と、
   記述子(dij)の第1および第2のセットの指定を受取可能であり、ならびに、前記第1のセットの記述子(dij)および前記第2のセットの記述子(dij)により形成される各ペアに対して、類似する記述子のペアのリストを推定するように、前記第1の演算器(13)を適用するように構成された制御器(19)と、
   前記リストの記述子のペアのそれぞれに対して、前記第2の演算器(15)および前記第3の演算器(17)を呼出し、ならびに、前記得られたパラメータの全体をメモリに格納することと、
   前記パラメータのセットへの統計処理からの、記述子(dij)の前記第1のセットおよび前記第2のセットにそれぞれ対応する前記画像間の類似性の推定器(21)と
   を備える装置。
2. 前記第2の演算器(15)は、両記述子(dij)の唯一のそれぞれの第2のデータ(aij)から、前記回転角度パラメータ(DeltaA)を設定するように構成され、前記第3の演算器(17)は、これらの記述子の唯一の第3のデータ(sij)から、スケールファクタパラメータ(DeltaS)を設定するように構成される、請求項1に記載の装置。
3. 前記メモリは、前記記述子(dij)のそれぞれと、前記記述子の前記特徴ベクトルデータ(xij)から、所定の規則に応じて選択される、スカラ型の追加の第1のデータのセットの特定のデータとの間の整合関係をメモリに格納する特定の格納構造(7)を備える、請求項1または2に記載の装置。
4. 前記第1の演算器(13)は、前記記述子(dij)に対応する前記特定のデータ(q(xij))の比較に基づいて、少なくとも部分的に指定される前記記述子(dij)の前記第1のデータを比較するように構成される、請求項3に記載の装置。
5. 前記特定の格納構造(7)は、前記記述子(dij)のそれぞれ、前記記述子(dij)に対して選択された前記特定のデータ、ならびに前記記述子(dij)の前記第2のデータ(aij)および前記第3のデータ(sij)の少なくとも一部の表現との間の整合関係をメモリに格納するように構成される、請求項3また4に記載の装置。
6. 前記第2の演算器(15)または前記第3の演算器(17)の少なくとも1つは、前記特定の格納構造(7)内の前記第2のデータ(aij)または前記第3のデータ(sij)の表現から、前記回転角度パラメータ(DeltaA)または前記スケールファクタパラメータ(DeltaS)を設定するように構成される、請求項5に記載の装置。
7. 前記特定の格納構造は、第1の追加のデータのセットの前記特定のデータのそれぞれと、前記特定のデータが選択される前記記述子(dij)のそれぞれの指定データ、または前記記述子のセットの指定データとの間の整合関係をメモリに格納するように構成される、請求項3または6に記載の装置。
8. 前記特定の格納構造(7)は、複数のリスト(Li)として構成され、これらのリスト(Li)のそれぞれは、前記第1の追加のデータ(q)のセットの特定のデータ(q)と関連し、かつ、前記指定データをエントリ(Ekl)として含む、請求項7に記載の装置。
9. エントリのそれぞれは、前記指定された記述子(dij)の前記第2のデータ(aij)および前記第3のデータ(sij)の少なくとも一部の表現データをさらに含む、請求項8に記載の装置。
10. 第1の追加のデータの前記セットは、前記特定の格納構造に対するインデックスを形成する、請求項3から9のいずれか1項に記載の装置。
11. 前記得られたパラメータ(DeltaA、DeltaS)は、スケールファクタパラメータ値および回転角度パラメータ値で毎回形成されるペアのセットとして格納され、前記メモリ(3)は、形成されたペアのそれぞれと、前記ペアが設定された前記第2のセットの記述子(dij)の識別子、または前記記述子(dij)のセットの識別子との間の整合関係をさらに格納する、請求項1から10のいずれか1項に記載の装置。
12. 前記得られたパラメータは、角度パラメータのセットおよびスケールファクタパラメータのセットとして格納され、前記メモリは、前記角度パラメータのセットおよびスケールファクタパラメータのセットのそれぞれと、前記得られたパラメータが設定された前記第2のセットの記述子の識別子、または前記記述子(dij)のセットの識別子との間の整合関係をさらに格納する、請求項1から11のいずれか1項に記載の装置。
13. 前記得られたパラメータは、それぞれ値のクラスと関連づけられ、前記推定器(21)は、これらの値のクラスの母集団への統計処理に基づいて類似度測定結果を設定する、請求項1から12のいずれかに1項に記載の装置。
14. 前記統計処理は、前記類似度測定結果を設定する前に、前記値のクラスへの平滑化フィルタの適用を含む、請求項13に記載の装置。
15. 前記統計処理は、角度パラメータおよび/またはスケールファクタパラメータの特定の値に対する重みづけ関数の適用を含む、請求項1から14のいずれか1項に記載の装置。
16. 前記メモリ3は、前記記述子(dij)のそれぞれの指定と、第1のデータ(xij)から決定された整数値のグループから、前記記述子(dij)に対して選択される整数値(q(xij))との間の整合関係を格納し、前記第1の演算器(13)は、記述子の前記ベクトルの前記類似度基準が、割当てられた整数値の同一性を含むように構成される、請求項1から15のいずれか1項に記載の装置。
17. 署名装置を備え、記述子(dij)を受取可能であり、前記記述子(dij)の前記第1のデータから、多次元バイナリ署名型の第4のデータを設定し、前記メモリ(3)は、前記記述子のそれぞれの識別子、または前記記述子のセットの識別子と、前記記述子(dij)のために設定された前記第4のデータとの間の整合関係を維持するように構成される、請求項1から16のいずれか1項に記載の装置。
18. 前記リスト(il)の各エントリは、バイナリ署名データをさらに含む、請求項8に関連する請求項17に記載の装置。
19. 前記第1の演算器(13)は、両記述子(dij)に対応するバイナリ署名を取得するように構成され、これらのバイナリ署名から距離の測定結果を設定し、前記第1の演算器(13)は、記述子の前記ベクトルの前記類似度基準が、前記得られた距離の測定結果が第1の決定されたしきい値(ht)よりも小さいという事実をさらに含むように構成される、請求項17または18に記載の装置。
20. 前記署名装置(11)は、
    決定された投影行列(P)から、および前記記述子(dij)のベクトルから、ベクトル型の第5のデータを設定し、
    投影ベクトルの成分のそれぞれの値を、決定された第2のしきい値(Tq(xij))と比較し、
    ブール変数で形成されるセットをバイナリ署名として設定し、各ブール変数は前記投影ベクトルの成分に対する前記比較の結果を反映するように構成される、請求項17から19のいずれか1項に記載の装置。
21. 前記メモリは、前記記述子(dij)のそれぞれと、前記記述子の前記特徴ベクトルデータ(xij)から、所定の規則に応じて選択される、スカラ型の追加の第1のデータのセットの特定のデータとの間の整合関係をメモリに格納する特定の格納構造(7)を備え、前記特定の格納構造(7)内に存在する前記記述子の全体は、転置リストの構造として格納される、請求項1から20のいずれかに記載の装置。

Images