JP5066279B2 - マルチスケールの有向パッチ（ｍｕｌｔｉ−ｓｃａｌｅｏｒｉｅｎｔｅｄｐａｔｃｈｅｓ）を使用したマルチ画像特徴（ｆｅａｔｕｒｅ）のマッチング - Google Patents

Description

本発明は場面（ｓｃｅｎｅ）の複数の画像間で対応する点を特定する方法に関し、より詳細には特徴を迅速に抽出し、場面の部分的に重複する多くの画像間の相関性（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ）を検出するシステムおよびプロセスに関する。

画像内の対応する特徴の検出は、一般に画像マッチングと呼ばれており、複数の画像から情報を抽出しようとするほとんどすべての映像アプリケーションに必須のコンポーネントである。画像マッチングの初期の研究は、２つの陣営（ｃａｍｐｓ）、すなわち特徴ベースの方法と直接的な方法に分かれていた。特徴ベースの方法では、エッジやコーナーのように突出した特徴を抽出し、わずかな局所情報（たとえば小さな画像パッチの相関関係）を使用して一致を確定する［８］。入手できるわずかな画像データを使用する特徴ベースの方法とは対照的に、直接的な方法ではすべてのピクセル値を使用して繰り返し画像を整合しようとする［１、９］。マッチングと認識へのその他のアプローチでは、不変の要素（ｉｎｖａｒｉａｎｔｓ）を使用してオブジェクトの特徴を明らかにする。場合によってはこの目的を達成するための基本的な枠組みを確立する［１４、１５］。

こうしたアプローチの共通点として不変の特徴があり、突出した特徴の周囲にある大量の局所画像データを使用してインデックス作成とマッチングのための不変の記述子（ｄｅｓｃｒｉｐｔｏｒｓ）を作成する。この領域の最初の研究は、シュミット（Ｓｃｈｍｉｄ）とモール（Ｍｏｈｒ）によって行われ［１６］、ガウスの微分（Ｇａｕｓｓｉａｎｄｅｒｉｖａｔｉｖｅｓ）の突出（ｊｅｔ）を利用してハリスのコーナー（Ｈａｒｒｉｓ ｃｏｒｎｅｒ）を中心とする回転に対して不変の記述子（ｒｏｔａｔｉｏｎａｌｌｙ ｉｎｖａｒｉａｎｔｄｅｓｃｒｉｐｔｏｒ）を構成する。ロー（Ｌｏｗｅ）は、このアプローチを拡張してスケールに対する不変性を導入した［１０、１１］。他の研究者は、アフィン変換（ａｆｆｉｎｅｔｒａｎｓｆｏｒｍａｔｉｏｎｓ）に対して不変の特徴を開発した［３、２０、５］。特徴点（ｉｎｔｅｒｅｓｔｐｏｉｎｔ）の検出方法には、ハリスのコーナーまたはガウスの微分（ＤＯＧ：Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎｓ）の最大値のように標準的な特徴検出方法から、最大安定領域（ｍａｘｉｍａｌｌｙｓｔａｂｌｅ ｒｅｇｉｏｎｓ）［１２］や安定局所位相構造（ｓｔａｂｌｅｌｏｃａｌ ｐｈａｓｅ ｓｔｒｕｃｔｕｒｅｓ）［７］のようにより複雑な方法までさまざまである。

一般に、特徴点の抽出と記述子のマッチングは２つの基本的なステップと見なされており、特徴点の繰り返し精度（ｒｅｐｅａｔａｂｉｌｉｔｙ）［１７］と記述子のパフォーマンス［１３］に関するさまざまな技術を評価する場合に何らかの進展が見られた。また、動きの構造（ｓｔｒｕｃｔｕｒｅｆｒｏｍ ｍｏｔｉｏｎ）［１９］とパノラマイメージング（ｐａｎｏｒａｍｉｃｉｍａｇｉｎｇ）［６］のコンテキストにおけるマルチビューマッチングへの強制的な適用もある。しかし、今日までこうした手順で特徴を迅速に検出し、場面の部分的に重複する多くの画像間の相関性を検出する機能を提供するものはない。

本明細書の以上と以下の各節の説明で、角括弧内の数字は関連のさまざまな文献の参照を示していることに留意されたい。たとえば、こうした参照は「参考文献［１］」または単に「［１］」で表される。複数の参考文献を表す場合は、たとえば［２、３］のように複数の数字を角括弧で囲む。個々の数字に対応する出版物が記載された参考文献のリストは、以下の実施形態の節（ＤｅｔａｉｌｅｄＤｅｓｃｒｉｐｔｉｏｎ ｓｅｃｔｉｏｎ）の終わりに示している。

本発明は、不変の特徴の新しいクラスに基づいて場面の複数の画像間で対応する点を特定するシステムおよびプロセスを対象とする。本システムおよびプロセスは、特徴を迅速に抽出し、場面の部分的に重複する多くの画像間の相関性を検出する機能を備えている。本技術は、画像ステッチ（ｉｍａｇｅｓｔｉｔｃｈｉｎｇ）やビデオ安定化（ｖｉｄｅｏ ｓｔａｂｉｌｉｚａｔｉｏｎ）のための画像相関性の検出にきわめて有効である。また、ビデオの特徴追跡や複数画像からの３次元モデルの構築などの一般的なマルチ画像の相関性にも拡張できる。

より詳細には、本システムおよびプロセスには、まずさまざまな解像度の各画像において特徴点を特定する操作が含まれる。特徴点は、その画像内の位置がその点を中心とするあらかじめ指定されたサイズのピクセル近傍内のピクセルに起因する少なくとも１つの属性で定義される点である。さらに、個々の特徴点はその点を中心とするピクセル近傍内のピクセルに起因する少なくとも１つの属性（点の位置の定義に使用した属性と同じでもよいし、別の属性でもよい）に基づいて一意の向きを割り当てることができる点である。この第２の近傍は、点の位置の定義に使用したものと同じサイズの近傍でもよいし、別のサイズの近傍でもよい。

特徴点が特定されると、特徴点ごとに記述子が確立する。この記述子は、画像の位置、向き、スケールの変化に対しても、この点を中心とする領域内のピクセルの輝度（ｉｎｔｅｎｓｉｔｙ）に対しても、実質的に不変である形で各点を特徴付ける。次に、画像間で実質的に一致する記述子の集合が特定される。異なる画像中に現れる、一致する記述子の集合に関連付けられた特徴点は、対応する点（すなわち、場面の同一の要素を表す点）として指定される。

画像ごとに特徴点を特定する操作に関して、この操作はまず画像の解像度のピラミッドを作成することで実行できる。ピラミッドの各レベルで、コーナー特徴を代表する画像内の位置を特定する。たとえば、本システムおよびプロセスの試験済みの実施形態では、いわゆるハリスのコーナー特徴を採用した。コーナー特徴の位置を特定する１つの方法は、その位置を中心とした所定の最小近傍半径のピクセル近傍内で局所的に最大のコーナー強度（ｃｏｒｎｅｒｓｔｒｅｎｇｔｈ）を示し、所定の最小強度の閾値を超えるコーナーの位置を特徴ごとに特定することである。特定されたコーナー位置の総数が所定の最大値を超える場合は、近傍半径を所定の整数値だけ増分し、前回特定された各位置のコーナー強度が現在考察中のピクセル近傍でも依然として局所的な最大値をとるかどうか、さらに依然として最小強度の閾値を超えるかどうかを判断する。両方の条件を満たさない場合は、コーナーの位置が考察の対象から外される。すべてのコーナーの位置についての再検討が完了すると、総数が最大許容値を超えているかどうかをもう一度判断する。超えている場合は、半径を増分して前述の手順をもう一度繰り返す。コーナーの位置の数が最大許容数以内になるまでこの繰り返しのプロセスを継続する。この時点で、残っている特定された位置は別のコーナー特徴を代表する点として指定される。残っているコーナー特徴の位置については、それぞれ考察の対象となる特定された位置を中心とする所定のサイズの局所的な近傍に適合する２次元の正方形（２Ｄｑｕａｄｒａｔｉｃ）の面で最大強度を示す位置を特徴に割り当てることで、各特徴の位置を調整できる。

残っているコーナー特徴には向きも割り当てられる。本システムおよびプロセスの試験済みの実施形態において、この操作はぼかし勾配（ｂｒｕｒｒｅｄ ｇｒａｄｉｅｎｔ）のアプローチを使用して実行される。最終的に、残っているコーナー特徴のそれぞれについて特定された位置は、該当するコーナー特徴に関して計算された向きの個別の特徴点として指定される。

各特徴点の記述子を生成する操作に関して、この操作を実行するためには、まず考察対象の特徴点の位置を中心とする特徴点と同じ向きの所定のサイズｐｘｐの記述子領域を確立する。次に、記述子領域より小さい所定のサイズｄｘｄの記述子ベクトルが構成され、この領域内のピクセルの輝度に関する双線形補間を使用して領域のサンプリングが行われる。ただし、適切なピラミッドレベルからサンプリングすることで、エイリアシングを回避する。これで、記述子ベクトルがゲインとバイアスに関して標準化され、標準化された記述子ベクトルに対してハール（Ｈａａｒ）のウェーブレットの変換が行われ、変換ベクトルが生成される。

画像間で実質的に一致する記述子を検出する操作に関して、一般にこの操作は変換された各記述子ベクトルを特徴空間（ｆｅａｔｕｒｅｓｐａｃｅ）内の所定の数の近傍領域とマッチングすることで実行される。このタスクを実行する１つの方法は、まず変換された個々の記述子ベクトルの最初の３つの非ゼロウェーブレット係数から３次元ハッシュテーブルを作成することである。次に、ハッシュテーブルの各ビン（ｂｉｎ）について、ビン内で検出される３係数ベクトル（ｔｈｒｅｅ−ｃｏｅｆｆｉｃｉｅｎｔｖｅｃｔｏｒ）間の距離を計算する。３係数ベクトルのそれぞれが順に選択され、計算した距離に基づいて、同じビンに含まれるが選択されたベクトルと同じ画像には関連付けられていないその所定の数の近傍領域が特定される。これで、一致ベクトル候補（ｐｏｔｅｎｔｉａｌｌｙｍａｔｃｈｉｎｇ ｖｅｃｔｏｒｓ）の集合が構成される。こうした各集合内のベクトルに関連付けられた特徴点は、画像間で対応する点として指定される。本マッチング手順の試験済みの実施形態において、ハッシュテーブルは次元あたり１０個のビンを備え、各ビンの範囲は半分が重複するように構成されている。各ベクトルの所定の数の近傍領域を特定する代わりに、一致ベクトル候補の集合を構成せずに、考察中のベクトルに関連付けられた画像以外の各画像に関連付けられた同じビン内にある近傍領域を画像ごとに所定の最大数まで特定してもよいことに留意されたい。

一致ベクトル候補の各集合に含まれるベクトルに関連付けられた特徴点を対応する点として指定する操作において、誤って特定された一致を除去できる。このためには、一般に３係数ベクトルに関連付けられた特徴点が実際に同じベクトル集合内の別の３係数ベクトルに関連付けられた特徴点に対応しない場合は、一致ベクトルの候補としての考察対象からその３係数ベクトルを除外する必要がある。この操作はさまざまな方法で実行できる。１つの方法では、一致ベクトルの集合ごとに、まず集合のアウトライア（ｏｕｔｌｉｅｒ）の距離を計算し、次にこの集合内の任意の一致ベクトルについて計算した距離がアウトライアの距離の約６５％を超えるかどうかを判断する。一致ベクトルの距離がアウトライアの距離の約６５％を超えることがわかった場合は、対応する画像点としての考察からこれを除外する。この除去戦略は、アウトライアの距離に基づく拘束条件（ｏｕｔｌｉｅｒｄｉｓｔａｎｃｅ ｃｏｎｓｔｒａｉｎｔ）を使用したアウトライア除去（ｏｕｔｌｉｅｒｒｅｊｅｃｔｉｏｎ）と呼ばれる。誤った一致ベクトルを集合から除去する別の方法は、標準の幾何学的アウトライア除去手順を実行し、アウトライアであることが判明したベクトルに対応する点として関連付けられた特徴点を除去することである。本質的に、この幾何学的アウトライア除去手順には、２つの画像間ですべての点が最もよく一致する変換を検出する操作と、変換したときに所定の許容範囲内に対応しない点を除去する操作が含まれる。前述の除去技法の両方を採用することもできる。たとえば、本システムおよびプロセスの試験済みの実施形態においては、まずアウトライアの距離に基づく拘束条件を使用した除去戦略が採用され、続いて幾何学的アウトライア除去手順が採用された。

以上に説明した効果に加えて、本発明のその他の利点は、以下の実施形態に関する説
明と添付の図面を関連付けて参照することで明らかになるであろう。

本発明の特定の機能、態様、および利点は、以下の実施形態の説明、前述の請求項、および添付の図面に関連して理解が深まるであろう。

本発明を実装するための例示的なシステムを構成する汎用コンピューティングデバイスを示す図である。 本発明による、同じ場面の複数の画像間で対応する点を特定するプロセス全体を示す流れ図である。 調和平均の特徴点検出関数のアイソコンター（ｉｓｏｃｏｎｔｏｕｒ）とハリス関数およびシャイ−トマシ（Ｓｈｉ−Ｔｏｍａｓｉ）関数のアイソコンターとを比較するグラフである。 サブピクセルの局所化を行った場合と行わない場合の特徴点の反復性を示すグラフである。 本発明に従って、記述子ベクトルを生成するプロセスを示す流れ図である。 本発明に従って、記述子ベクトルを生成するプロセスを示す流れ図である。 本発明に従って、記述子ベクトルを生成するプロセスを示す流れ図である。 山の場面の画像を示す図である。ピークの頂上にある特徴点に関連する記述子領域を白いボックスで示し、特徴点の位置をボックスの中心の白いドットで示しており、特徴点から伸びる線でこの点に割り当てられた向きを示している。 図６の記述子領域から構成される８ｘ８の記述子を示す図である。 共通する部分のある２つの山の場面を示す図である。アウトライア除去プロセスを実行する前に特定された画像間の対応する位置は、白いドットで示されている。 共通する部分のある２つの山の場面を示す図である。アウトライア除去プロセスを実行する前に特定された画像間の対応する位置は、白いドットで示されている。 図８Ａと同じ画像を示す図である。アウトライアの距離に基づく拘束条件を採用したアウトライア除去技法を適用した後である。 図８Ｂと同じ画像を示す図である。アウトライアの距離に基づく拘束条件を採用したアウトライア除去技法を適用した後である。 図９Ａと同じ画像を示す図である。幾何学ベースのアウトライア除去技法を適用した後である。 図９Ｂと同じ画像を示す図である。幾何学ベースのアウトライア除去技法を適用した後である。 図５Ａ〜図５Ｃによって生成された記述子ベクトルを使用して、場面の画像間の対応する点を検出するプロセスを示す流れ図である。

以下に示す本発明の好ましい実施形態の説明では、本明細書の要素となる添付の図面を参照する。こうした図面には、本発明を実施できる特定の実施形態が例として示されている。本発明の範囲を逸脱しない限り、他の実施形態を利用できること、および構造上の変更を適用できることは言うまでもない。

１．０ コンピューティング環境
本発明の好ましい実施形態について説明する前に、本発明を実装できる適切なコンピューティング環境の簡単かつ一般的に説明する。

図１は、適切なコンピューティングシステム環境１００を示している。コンピューティングシステム環境１００は適切なコンピューティング環境の１つの例にすぎず、本発明の使い方または機能の範囲に関するいかなる制限を示すものでもない。また、コンピューティング環境１００は、例示的なオペレーティング環境１００に示すコンポーネントの１つまたは組合わせに関して、依存性も要件もないものとする。

本発明は、他のさまざまな汎用または専用のコンピューティングシステム環境または構成にも適用できる。本発明の使用に適した周知のコンピューティングシステム、環境、および／または構成の例には、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、前述の任意のシステムまたはデバイスを含む分散コンピューティング環境などが含まれるが、これらに限定はされない。

本発明は、プログラムモジュールのようにコンピュータで実行可能な命令をコンピュータで実行する一般的なコンテキストで説明できる。一般に、プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などがある。本発明は、通信ネットワークを介してリンクするリモート処理装置でタスクを実行する分散コンピューティング環境でも実施できる。分散コンピューティング環境では、メモリ記憶装置を含むローカルとリモートの両方のコンピュータ記憶媒体にプログラムモジュールを格納できる。

図１を参照すると、本発明を実施する例示的なシステムに、コンピュータ１１０の形で汎用コンピューティングデバイスが配置されている。コンピュータ１１０のコンポーネントには、処理装置１２０、システムメモリ１３０、さまざまなシステムコンポーネント（システムメモリや処理装置１２０など）を接続するシステムバス１２１が含まれるが、それらに限定はされない。システムバス１２１は、さまざまなバスアーキテクチャの任意の１つを使用したメモリバスまたはメモリコントローラ、周辺バス、ローカルバスを含む各種バス構造のいずれでもよい。こうしたアーキテクチャには、例として、ＩＳＡ（ＩｎｄｕｓｔｒｙＳｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（ＭｉｃｒｏＣｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（ＥｎｈａｎｃｅｄＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ ＥｌｅｃｔｒｏｎｉｃｓＳｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス（メザニン（Ｍｅｚｚａｎｉｎｅ）バスとも呼ばれる）が含まれるが、これらに限定はされない。

コンピュータ１１０は、通常はさまざまなコンピュータ可読媒体を備えている。コンピュータ可読媒体は、コンピュータ１１０からアクセスできる任意の使用可能な媒体でよい。揮発性と不揮発性の両方、および取り外し可能と不可能の両方の媒体が含まれる。例として、コンピュータ可読媒体にはコンピュータ記憶媒体および通信媒体を含めてもよいが、これらに限定はされない。コンピュータ記憶媒体には、コンピュータ可読の命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶する任意の方法または技術で組み込まれた、揮発性と不揮発性の両方、および取り外し可能と不可能の両方の媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどのメモリ技術、ＣＤＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ）などの光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスクなどの磁気記憶装置、または必要な情報を格納でき、コンピュータ１１０からアクセスできる他の任意の媒体が含まれるが、これらに限定はされない。通信媒体は、搬送波やその他の搬送メカニズムのような変調データ信号に含まれるコンピュータ可読の命令、データ構造、プログラムモジュール、またはその他のデータなどを具体化したものであり、任意の情報伝達媒体を含む。「変調データ信号」という用語は、信号内の情報を符号化するように、１つまたは複数の特徴を設定または変更された信号を意味する。例として、通信媒体には、有線ネットワーク、直接ワイヤ接続などの有線媒体と、音、ＲＦ、赤外線などの無線媒体が含まれるが、これらに限定はされない。上記の任意の組合わせも、コンピュータ可読媒体の範囲内に含まれるものとする。

システムメモリ１３０には、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１３１やランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍａｃｃｅｓｓ ｍｅｍｏｒｙ）１３２のように揮発性および／または不揮発性メモリという形をとるコンピュータ記憶媒体が含まれる。起動時などにコンピュータ１１０内のエレメント間の情報転送を支援する基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ：ｂａｓｉｃｉｎｐｕｔ／ｏｕｔｐｕｔ ｓｙｓｔｅｍ）は、通常はＲＯＭ１３１に格納される。ＲＡＭ １３２には、通常はプロセッシングユニット５２０から直ちにアクセスできる、かつ／またはプロセッシングユニット１２０で現在操作しているデータおよび／またはプログラムモジュールが格納される。例として、図１にはオペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７が示すが、これには限定されない。

コンピュータ１１０には、その他の取り外し可能／不可能、揮発性／不揮発性のコンピュータ記憶媒体を含めてもよい。単に例として、図１に取り外し不可能な不揮発性の磁気媒体の読み出しまたは書き込みを行うハードディスクドライブ１４１、取り外し可能な不揮発性の磁気ディスク１５２の読み出しまたは書き込みを行う磁気ディスクドライブ１５１、ＣＤＲＯＭや他の光媒体のような取り外し可能な不揮発性の光ディスク１５６の読み出しまたは書き込みを行う光ディスクドライブ１５５を示す。例示的なオペレーティング環境で使用できる上記以外の取り外し可能／不可能、揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれるが、それらに限定はされない。ハードディスクドライブ１４１は、通常はインターフェース１４０などの取り外し不可能なメモリインターフェースを介してシステムバス１２１に接続し、磁気ディスクドライブ１５１と光ディスクドライブ１５５は、通常はインターフェース１５０などの取り外し可能なメモリインターフェースを介してシステムバス１２１に接続する。

図１に示す前述のドライブとこれに対応するコンピュータ記憶媒体には、コンピュータ可読の命令、データ構造、プログラムモジュールなど、コンピュータ１１０のデータを格納できる。たとえば、図１を参照すると、ハードディスクドライブ１４１にオペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７が格納されている。ただし、こうしたコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じでもよいし、異なっていてもよい。ここでは、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７には異なる番号を付けて、少なくとも別の複製であることを示している。ユーザーは、キーボード１６２やポインティングデバイス１６１などの入力装置（一般に、マウス、トラックボール、またはタッチパッドと呼ばれる）を使用してコンピュータ１１０にコマンドや情報を入力できる。他の入力装置（図示せず）には、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナなどを含めてもよい。これらの入力装置および他の入力装置は、多くの場合にシステムバス１２１に接続されたユーザー入力インターフェース１６０を介して処理装置１２０に接続するが、パラレルポート、ゲームポート、ＵＳＢ（ｕｎｉｖｅｒｓａｌｓｅｒｉａｌ ｂｕｓ）のような他のインターフェースやバス構造によって接続してもよい。モニタ１９１または他のタイプの表示装置も、ビデオインターフェース１９０のようなインターフェースを介してシステムバス１２１に接続される。さらに、コンピュータには出力インターフェース１９５を介してスピーカー１９７やプリンタ１９６など、モニタ以外の出力周辺装置を接続できる。本発明において特に重要であるが、一連の画像１９３をキャプチャできるカメラ１９２（デジタル／電子的スチール（ｓｔｉｌｌ）カメラまたはビデオカメラ、またはフィルムスキャナ／フォトスキャナ（ｆｉｌｍ／ｐｈｏｔｏｇｒａｐｈｉｃｓｃａｎｎｅｒ））を、パーソナルコンピュータ１１０の入力装置として備えていてもよい。さらに、パーソナルコンピュータ１１０の入力装置として１台のカメラが図示されているが、複数台のカメラを備えていてもよい。１台または複数台のカメラの画像１９３は、適切なカメラインターフェース１９４を介してコンピュータ１１０に入力される。このインターフェース１９４はシステムバス１２１に接続され、それによって画像をＲＡＭ１３２またはコンピュータ１１０に関連付けられた他のデータ記憶装置のいずれかにルーティングでき、格納できる。ただし、画像データは前述のコンピュータ可読媒体のいずれかからコンピュータ１１０に入力することもでき、カメラ１９２を使用する必要はない。

コンピュータ１１０は、リモートコンピュータ１８０のような１台または複数台のリモートコンピュータへの論理接続を使用してネットワーク環境で動作できる。リモートコンピュータ１８０は、パーソナルコンピュータ、サーバー、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般のネットワークノードでよい。通常は、コンピュータ１１０に関連して上で説明したエレメントの多くまたはすべてが含まれるが、図１にはメモリ記憶装置１８１のみを示す。図１に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌａｒｅａ ｎｅｔｗｏｒｋ）１７１とワイドエリアネットワーク（ＷＡＮ：ｗｉｄｅａｒｅａ ｎｅｔｗｏｒｋ）１７３が含まれるが、他のネットワークを含めてもよい。このようなネットワーキング環境は、職場、企業規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。

ＬＡＮネットワーキング環境で使用した場合、コンピュータ１１０はＬＡＮ１７１にネットワークインターフェースまたはアダプタ１７０を介して接続する。ＷＡＮネットワーキング環境で使用する場合、コンピュータ１１０は一般にインターネットなどのＷＡＮ１７３を介して通信を確立するためのモデム１７２またはその他の手段を備えている。モデム１７２（内蔵または外付け）は、ユーザー入力インターフェース１６０または他の適切なメカニズムを使用してシステムバス１２１に接続できる。ネットワーク環境では、コンピュータ１１０またはその一部に関連して記述したプログラムモジュールをリモートメモリ記憶装置に格納できる。例として、図１にメモリデバイス１８１に格納されたリモートアプリケーションプログラム１８５を示すが、これには限定されない。図示されたネットワーク接続が例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは言うまでもない。

２．０ マルチ画像特徴マッチングのシステムおよびプロセス
例示的な動作環境について説明してきたが、本実施形態の節では、この後に本発明を実施するプログラムモジュールについて説明する。一般に、本発明によるシステムおよびプロセスには、場面を構成する複数の画像間で対応する点を特定する操作が含まれる。通常、これは図２のハイレベル（ｈｉｇｈ−ｌｅｖｅｌ）流れ図に示すように、以下のプロセス操作によって実現する。まず、画像ごとにさまざまな解像度で特徴点が特定される（プロセス操作２００）。特徴点は、画像内の位置がその点を中心とするあらかじめ指定されたサイズのピクセル近傍内のピクセルに起因する（ａｔｔｒｉｂｕｔａｂｌｅ）少なくとも１つの属性で定義される点である。さらに、個々の特徴点はその点を中心とするピクセル近傍内のピクセルに起因する少なくとも１つの属性（点の位置の定義に使用した属性と同じでもよいし、別の属性でもよい）に基づいて一意の向きを割り当てることのできる点である。この第２の近傍は、点の位置の定義に使用したものと同じ所定のサイズの近傍でもよいし、別のサイズの近傍でもよい。

特徴点が特定されると、プロセス操作２０２で特徴点ごとに記述子が確立する。この記述子は、画像の位置、向き、スケールの変化に対しても、この点の位置と向きを定義するためのピクセルの輝度の変化に対しても、実質的に不変である形で各点を特徴付ける。次に、画像間で実質的に一致する記述子の集合が特定される（プロセス操作２０４）。最終的に、プロセス操作２０６で、一致する記述子の集合に関連付けられた、異なる画像中に現れる特徴点は、対応する点（つまり、場面の同じ要素を表す点）として指定される。

まず、前述の特徴記述子で表される不変の特徴の新しいクラス（一般に、輝度値のバイアス／ゲイン標準化パッチ（ｂｉａｓ／ｇａｉｎｎｏｒｍａｌｉｚｅｄ ｐａｔｃｈ ｏｆ ｉｎｔｅｎｓｉｔｙ ｖａｌｕｅｓ）である）について説明し、続いて特徴マッチングスキーマについて説明する。

２．１ マルチスケール指向（Ｍｕｌｔｉ−ＳｃａｌｅＯｒｉｅｎｔｅｄ）の特徴
マルチスケールの有向特徴は、４つの幾何学的なパラメータと２つの光度測定のパラメータによって特徴付けられる。幾何学的なパラメータは、ｔ_１、ｔ_２、θ、ｌ、すなわち画像内の領域またはパッチの中心の位置ｘ、ｙ、向き、スケールである。光度測定のパラメータは、α、β、すなわちパッチのゲインとバイアスである。こうした表現が指定されると、パッチのマッチングを行う６パラメータのシンプルなモデルが採用され、正しい一致と誤った一致に関するノイズ統計が分析される。これで、特徴ごとのアウトライアの距離に基づくシンプルな一致検証手順が得られる。より詳細には、対応する画像パッチ間の変換は次のように表される。
Ｉ’（ｘ’）＝αＩ（ｘ）＋β＋ｅ （１）

ただし、ｘ’＝Ａｘ＋ｔ、

である。エラーｅはイメージングのノイズとモデリングのエラーを表す。

特徴の中心の位置ｘ、ｙは、この変換が適切に定義された（ｗｅｌｌ ｄｅｆｉｎｅｄ）点、すなわちＩ（ｘ）の自動相関（ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ）がピークに達している点に一致すると考えられる。こうした点の候補は、特徴点と呼ばれる。特徴を比較するために、原則的に２つの画像の位置同士の変換パラメータの最尤推定値を計算できる。ガウスのノイズ（Ｇａｕｓｓｉａｎｎｏｉｓｅ）を想定すると、非線形最小二乗問題を解くことでこの操作を繰り返し実行できる。ただし、効率を上げるために、各特徴を前述のモデルの不変要素で特徴付け、２つの特徴間のモデルパラメータに関する閉じた形の近似を使用してもよい。エラーｅに関する統計を使用して、一致が正しいか誤りかを検証できる。

２．１．１ 特徴点
画像内には位置と向きの両方で特徴付けできる多くの点が存在するが［１７］、本システムおよびプロセスの試験済みの実施形態について選択した特徴点は、いわゆるハリスのコーナーに関連付けられる。こうしたハリスのコーナーに一致する特徴点は、次のようにして検出される。入力画像Ｉ（ｘ，ｙ）のそれぞれについて、低レベルのＰ_０（ｘ，ｙ）＝Ｉ（ｘ，ｙ）と、以下のように高レベルのスムージングと二段抽出（ｓｕｂｓａｍｐｌｉｎｇ）の操作に関連するによって画像ピラミッドが構成される。

ｌはピラミッドのレベル、ｇ_σ（ｘ，ｙ）は標準偏差σのガウスカーネルを表す。二段抽出率（ｓｕｂｓａｍｐｌｉｎｇｒａｔｅ）ｓ＝２とピラミッドスムージングσ_ｐ＝１．０は、このピラミッド構成手順の試験済みの実施形態に適切に採用されている。ただし、一般にはｓとして約１．１から３．０までの値を使用し、σ_ｐとして約０．５５から１．５までの値を使用する。特徴点は、ピラミッドの各レベルから抽出される。レベル１と位置（ｘ，ｙ）のハリス行列（Ｈａｒｒｉｓｍａｔｒｉｘ）は、次のようにスムージングされた勾配（ｇｒａｄｉｅｎｔｓ）の外積である。

ただし、∇σは以下のようにスケールσでの空間微分（ｓｐａｔｉａｌｄｅｒｉｖａｔｉｖｅ）である。
∇_σｆ（ｘ，ｙ）∇ｆ（ｘ，ｙ）＊ｇ_σ（ｘ，ｙ） （４）

試験済みの実施形態において、積分（ｉｎｔｅｇｒａｔｉｏｎ）スケールはσ_ｉ＝１．５に設定され、微分スケールσ_ｄ＝１．０に設定された。以下のコーナー検出関数が使用された。

これは、Ｈの固有値（λ_１、λ_２）の調和平均である。試験済みの実施形態において、特徴点は、コーナー強度ｆ_ＨＭ（ｘ，ｙ）が局所領域中の極大値となり、その値が閾値１０．０を超える所に位置すると仮定した。ただし、一般にはσ_ｉとして約０．５から２．５までの値を使用でき、σ_dとして約０．５から２．５までの値を使用できる。閾値は０以上の任意の値でよいことに留意されたい。前述の周囲の近傍のサイズについて簡単に説明する。

前述の特徴点検出関数選択の理由は、Ｈと局所相関関数との関係によって理解できる。画像Ｉ（ｘ）に関して、１次テーラー展開（Ｔａｙｌｏｒｅｘｐａｎｓｉｏｎ）によって以下の局所的な自動相関が得られる。

特徴点は、自動相関関数のピークに位置する。これは、すべての単位ベクトルｕについてｅ（ｕ）が大きいことを意味する。つまり、Ｈの両方の固有値が大きいという要件と同等である。

特徴点の位置を検出するには、調和平均関数（ｈａｒｍｏｎｉｃ ｍｅａｎ ｆｕｎｃｔｉｏｎ）以外のコーナー検出関数も使用できることに留意されたい。たとえば、いわゆるハリスの関数（すなわち、ｆ_Ｈ＝λ_１λ_２−０．０４（λ_１＋λ_２）^２＝ｄｅｔＨ−０．０４（ｔｒ Ｈ）^２）とＳｈｉ−Ｔｏｍａｓｉの関数（すなわち、ｆ_ＳＴ＝ｍｉｎ（λ_１，λ_２））を代用してもよい。図３では、調和平均の特徴点検出関数のアイソコンター（ｉｓｏｃｏｎｔｏｕｒ）と、その他の関数のアイソコンターとを比較している。すべての検出関数において、２つの固有値が大きいことが要求される。予備試験（Ｐｒｅｌｉｍｉｎａｒｙｅｘｐｅｒｉｍｅｎｔｓ）により、３つの検出機能のそれぞれは概ね同じ性能を示すので、ほとんど同様に利用できることがわかっている。

２．１．１．１ 適応非極大抑制（ＡｄａｐｔｉｖｅＮｏｎ−Ｍａｘｉｍａｌ Ｓｕｐｐｒｅｓｓｉｏｎ）
計算上の問題により、画像ごとに固定数の特徴点を生成するのが望ましい。画像内で空間的に適切に分散する特徴点を選択するために、適応非極大抑制の戦略を利用できる。より詳細には、特徴点はコーナー強度ｆ_ＨＭに基づいて抑制され、半径ｒピクセルの近傍内で最大のもののみが保持される。画像からほぼ一定数ｎ_ｉｐの特徴点を抽出するために、非極大抑制半径ｒを検索できる。試験済みの実施形態において、初期値ｒ＝ｒ_ｉｎｉｔ＝４．０を使用する。ただし、これはほぼ１から１５までの範囲である。ここで、各画像からｎ_ｉｐを超えない特徴点が抽出されるような連続する整数値がｒの最大値として検索される。試験済みの実施形態ではｎ_ｉｐ＝５００である。ただし、一般にこの値は画像のサイズと状態（ｎａｔｕｒｅ）によって、最小で約１０から最大で数千に及ぶ。前述の方法で特徴点を空間的に分散すると、最大のコーナー強度に基づいて選択するのとは対照的に、画像の一致の脱落が少なくなる。

２．１．１．２ サブピクセルの精度
２次元の正方形を局所的な近傍内のコーナー強度関数に適合させ、その最大値を検出することで、特徴点をサブピクセルの精度で配置し、よりよい結果を得ることができる。より詳細に記述すると以下のようになる。

ただし、ｘは位置（ｘ，ｙ）を表し、ｆ（ｘ）＝ｆ_ＨＭ（ｘ）はコーナー強度の測定値である。試験済みの実施形態では、３ｘ３の近傍が使用された。以下のように、ピクセルの相違を使用して３ｘ３の近傍から微分が計算される。

したがって、サブピクセル位置のコンポーネントｘとｙは次のように計算される。

繰り返し精度は、変換された位置がある許容値まで正しい特徴点の割合として定義できる。前述の手順を使用してサブピクセルの局所化を行った場合と行わない場合の特徴点の繰り返し精度を図４に示す。サブピクセルの局所化によって繰り返し精度は約５％向上することに注目されたい。

２．１．２ 向き
各特徴点には向きθがある。ただし、向きベクトル

は次に示すスムージングされた局所的な勾配から得られる。

試験済みの実施形態で使用した向きの積分スケールは、σｏ＝４．５である。動きのフィールド（ｍｏｔｉｏｎｆｉｅｌｄ）ｕｌ（ｘ，ｙ）が画像全体でスムーズに変化し、向きの評価が特徴点位置のエラーに左右されないようにするために、大きな微分スケールが望ましい。ただし、一般に向きの積分スケールは約２．０から７．０までである。

本システムおよびプロセスの試験済みの実施形態では、ぼかし局所勾配（ｂｌｕｒｒｅｄｌｏｃａｌ ｇｒａｄｉｅｎｔ）のアプローチを使用して個々の特徴点の向きを確定したが、その他の方法を利用してもよい。たとえば、向きを測定する方法には行列Ｈの勾配ヒストグラムまたは固有ベクトルの最大値を使用する方法がある。

２．１．３ 記述子ベクトル
向きのある特徴点（ｘ，ｙ，ｌ，θ）のそれぞれについて、記述子領域は検出スケールで（ａｔｔｈｅ ｄｅｔｅｃｔｉｏｎ ｓｃａｌｅ）サイズｐｘｐピクセルのベクトルのパッチである。パッチは、中心が（ｘ，ｙ）、向きが角度θである。このｐｘｐの記述子領域から、サイズｄｘｄピクセルの記述子ベクトルが構成される。試験済みの実施形態ではｐ＝４０、ｄ＝８である。ただし、一般にｐは画像サイズの約０．１から１０％であり、ｄはつり合いのとれる値である。図６に山の場面を示す。ここでは、ピークの頂上にある特徴点に関連付けられた記述子領域が白いボックスで示されている。特徴点の位置をボックスの中心の白いドットで示しており、特徴点から伸びる線でこの点に割り当てられた向きを示している。図７は、図６の記述子領域から構成される８ｘ８の記述子を示す図である。特徴点と向きを表すラインは、この図でも白で示されている。

サンプリング時のエイリアシング／ブラーリングを回避するために、記述子はピラミッドレベルでサンプリングされる。これは、概ねピクセルあたり１回のサンプリングになる。これを実行する１つの方法は、検出スケールを超えるレベルｌｓのレベルから記述子をサンプリングすることである。

記述子ベクトルは、双線形補間を使用してサンプリングされる。

たとえば、試験済みの実施形態ではｐ＝４０、ｄ＝８、ｓ＝２であるが、ｌ_ｓ＝２レベルから記述子をサンプリングする。ただし、特徴点はレベルｌで検出されたと仮定する。これで、

から記述子をサンプリングすることになる。ただし、代わりにｐ’_ｌ＋１（ｘ，ｙ）（ただし

、すなわちブラーリングはするがダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）はしない）からサンプリングする別の手順を使用すると、よりよい結果を得られる。さらに、小さなゲインでも、

からのサンプリングによって作成される。

２．１．３．１ 標準化
次に、記述子ベクトルは以下のように平均が０で標準偏差が１になるように標準化される。
ｄ_ｉ＝（ｄ’_ｉ−μ）／σ （１２）

ただし、ｄ’_ｉ、ｉ∈｛１．．．ｄ^２｝は記述子ベクトルの要素であり、

、

である。これで、特徴はアフィン変換に対して強度（バイアスとゲイン）が不変になる。

２．１．３．２ ハールのウェーブレット変換（Ｗａｖｅｌｅｔ．Ｔｒａｎｓｆｏｒｍ）
最後に、ｄｘｄの記述子ベクトルｄｉ上でハールの変換が実行され、ウェーブレット係数ｃｉを含むｄ２次元の記述子ベクトルを構成する。ハールのウェーブレットの直交性属性により、距離が維持される（以下）。

したがって、２乗和の差の意味で近傍領域は変更されない。ただし、この後で（ｓｈｏｒｔｌｙ）説明するインデックス戦略には、最初の３つの非ゼロウェーブレット係数ｃ_１、ｃ_２、ｃ_３が使用される。

２．１．４ 記述子生成プロセスの概要
特徴点を定義するハリスのコーナー特徴と、各特徴の向きを確定するぼかし局所勾配のアプローチを使用した本システムおよびプロセスの実施形態に従って特徴点ごとに記述子を生成する技術に関する以上の説明は、図５Ａ〜Ｃのプロセス流れ図に要約される。このプロセスは、画像内の特徴点を特定する操作で開始される。より詳細には、画像ごとに画像解像度のピラミッドを構成する（プロセス操作５００）。次に、まだ選択されていないピラミッドレベルを選択し（プロセス操作５０２）、選択したレベルで個々のハリスのコーナーの位置を特定する（プロセス操作５０４）。次に、まだ選択されていないハリスのコーナーの１つを選択し（プロセス操作５０６）、コーナーの位置を表す特徴点を中心とした所定の最小近傍半径のピクセル近傍内で、選択したコーナーのコーナー強度が局所的な最大値かどうかを判断する（プロセス操作５０８）。選択したコーナーのコーナー強度が局所的な最大値の場合は、さらにこのコーナー強度が所定の最小強度閾値を超えるかどうかを判断する（プロセス操作５１０）。その場合は、選択したコーナーをコーナーの候補として指定し（プロセス操作５１２）、他のコーナー（ある場合）について考察する。一方、コーナー強度が局所的な最大値でない場合、またはコーナー強度が所定の最小強度閾値を超えないことが確認された場合は、選択したコーナーを考察の対象から除外し、他のコーナー（ある場合）について考察する。このように、いずれの場合も次の操作では考察対象としてまだ選択されていないコーナーがあるかどうかを判断する（プロセス操作５１４）。考察するコーナーが残っている場合は、前述のプロセスをプロセス操作５０６から繰り返す。それ以外の場合、プロセスはプロセス操作５１６に進み、ここで最後に使用した近傍半径を所定の整数値だけ増分する（たとえば１ずつ）。ここで、コーナーの候補のそれぞれについて、前述のスクリーニング手順を繰り返す。具体的には、まだ選択されていないコーナーの候補を選択し（プロセス操作５１８）、そのコーナー強度が現在の近傍半径の値で定義されるピクセル近傍内の局所的な最大値かどうかを判断する（プロセス操作５２０）。選択したコーナー候補のコーナー強度が局所的な最大値の場合は、さらにそれが所定の最小強度閾値を超えるかどうかを判断する（プロセス操作５２２）。その場合は、選択したコーナーを引き続きコーナーの候補として指定し（プロセス操作５２４）、他のコーナー（ある場合）について考察する。一方、コーナー強度が局所的な最大値でない場合、またはコーナー強度が所定の最小強度閾値を超えないことが確認された場合は、選択したコーナー候補を考察の対象から除外し、他のコーナー候補（ある場合）について考察する。このように、いずれの場合も次の操作では考察対象としてまだ選択されていないコーナー候補があるかどうかを判断する（プロセス操作５２６）。考察するコーナーが残っている場合は、前述のプロセスの一部がプロセス操作５１８から繰り返される。考察するコーナーが残っていない場合は、次に引き続きコーナー候補として指定されているコーナーの数がまだ所定の最大許容値を超えるかどうかを判断する（プロセス操作５２８）。コーナー候補の最大許容値を超える場合は、コーナー候補の数が最大許容値以下になるまで、必要に応じてプロセス操作５１６から５２８を繰り返す。

許容数のコーナー候補が残ると、プロセスは残っているコーナー候補のそれぞれの位置を定義する点を考察対象の画像の特徴点として指定する操作に進む（プロセス操作５３０）。次に、まだ選択されていない特徴点を選択し（プロセス操作５３２）、その位置を調整する。より詳細には、プロセス操作５３４で特徴点の位置を、選択した点を中心とする所定のサイズの局所的な近傍に適合する２次元の正方形（２Ｄｑｕａｄｒａｔｉｃ）の面で最大強度を示す「位置」として指定する。

選択した特徴点の調整された位置が確定した場合は、この点の向きを指定する（プロセス操作５３６）。前述のように、本発明の試験済みの実施形態において、この操作はぼかし勾配（ｂｒｕｒｒｅｄ ｇｒａｄｉｅｎｔ）のアプローチを使用して実施している。次に、選択した特徴点の位置と向きを使用して、この点の記述子ベクトルを生成する。この操作を実行するためには、まず特徴点の位置を中心とする特徴点と同じ向きを向いた所定のサイズｐｘｐの記述子領域（またはパッチ）を確立する（プロセス操作５３８）。ここで、前述のように、強度の値をサンプリングする双線形補間を使用して記述子領域から所定のサイズｄｘｄの小規模な記述子ベクトルが構成される（プロセス操作５４０）。次に、この記述子ベクトルを標準化し（プロセス操作５４２）、ハールのウェーブレット変換を実行する（プロセス操作５４４）。変換された記述子ベクトルは、選択した特徴点の記述子を表す。ここで、まずまだ選択されていないコーナー候補が残っているかどうかを判断し、他の特徴点についてこのプロセスを実行する（プロセス操作５４６）。ある場合は、すべての特徴点が関連の変換コンポーネントされた記述子ベクトルを備えるまで、必要に応じてプロセス操作５３２から５４６を繰り返す。

最後に、まずまだ選択されていないピラミッドレベルが残っているかどうかを判断し、画像ピラミッドの他のすべての解像度レベルについて記述子生成プロセスを繰り返す（プロセス操作５４８）。残っている場合は、必要に応じてプロセス操作５０２から５４８を繰り返す。完了すると、画像ピラミッド各レベルの特徴点のそれぞれについて、変換された記述子ベクトルが関連付けられている。前述のようにして特定された特徴点の向きを計算し、変換された記述子ベクトルを生成する代わりに、別のアプローチとして、バッチ方式ですべての特徴点を特定し、その向きを指定し、変換された記述子ベクトルを生成することもできる。

２．２ 特徴マッチング
場面の画像の集合に属するｎ個すべての画像から抽出されたマルチスケールの有向パッチが与えられた場合に、特徴マッチングの目標はすべての画像間で幾何学的に一貫した一致を検出することである。このタスクを実行するには、まず特徴マッチングの確率モデルを開発する。このモデルから、特徴の一致を検証するためのシンプルな拘束条件が得られる。これは「アウトライアの距離に基づく拘束条件」と呼ばれる。さらに、アウトライアの距離に基づく拘束条件と同時に、またはその代わりとして幾何学的拘束条件を適用してアウトライアを除去し、画像の一致を検出することもできる。

２．２．１ 特徴マッチングのための確率モデル
トレーニングデータから正しい一致と誤った一致のエラーの分布ｐ（ｅ_{ｉｍａｇｅ}）を計算し、これを使用して特定の特徴の一致

が正しいか誤りかを確率的に判断できることが理想的である。

ただし、画像ベースのエラー、
ｅ_{ｉｍａｇｅ}＝｜Ｉ’（ｘ’）−（αＩ（ｘ）＋β）｜ （１４）
は、特徴の一致が正しいか誤りかを判断するための評価基準（ｍｅｔｒｉｃ）として適切ではない。実際に、｜ｅ_{ｉｍａｇｅ}｜の値は正しい一致の場合と誤った一致の場合とで区別がない場合が多いので、一致が正しいか誤りかを判断するための閾値をとして｜ｅ_{ｉｍａｇｅ}｜を指定できないことがわかっている。

コントラスト（ｃｏｎｔｒａｓｔ）の変化によるパッチの近傍領域の一致に関連するエラーも問題である。正しい一致のエラーと誤った一致のエラーとの間には常に明らかな差があり、エラーのスケールは著しく変動することがわかっている。特に、コントラストの高いパッチではエラーが大きく、コントラストの低いパッチではエラーが小さい。したがって、コントラストの低いパッチが含まれる場合は、正しい一致と誤った一致の区別が難しくなる。

考えられるソリューションの１つは、コントラストに関してパッチを標準化することである。これは、特徴空間におけるエラーの計算（以下）と同等である。

ｅ_{ｆｅａｔｕｒｅ}の分布は正しい一致と誤った一致でより異なっているが、明らかな閾値はない。したがって、一致のエラーのサイズは単に比較する問題ではないと思われる。高周波数コンテンツ（ｈｉｇｈｆｒｅｑｕｅｎｃｙ ｃｏｎｔｅｎｔ）も重要であると考えられている。たとえば、勾配の大きな特徴は位置決め不良によるエラーが大きい。

ただし、個々の特徴ベースでは、正しい一致と誤った一致に対応する特徴距離の二峰性分布が存在することがわかっている。実際に、誤った一致のクエリ（ｑｕｅｒｙ）からの距離はほとんど一定であると思われる。この現象は、シェル属性（ｓｈｅｌｌｐｒｏｐｅｒｔｙ）として知られる高次元空間の属性に関連付けられると考えられる。

高次元では、超球の体積（ｖｏｌｕｍｅ ｏｆ ａ ｈｙｐｅｒｓｐｈｅｒｅ）のほとんどは外側のシェルに集中している。つまり、ガウス分布のような一般的な分布では、確率質量（ｐｒｏｂａｂｉｌｉｔｙｍａｓｓ）のほとんどは外側のシェルに位置する。ｄ次元超立方体内に一様に分布する点の集合について考察する。中心から距離ｒの範囲内にある点の数は、空間の境界に達するまでｒ^ｄで増大し、境界に達すると急速に減少する。ｄが増大すると、ほとんどすべての点が特定のクエリ点から同じ距離にある、つまりクエリから一定の距離にある薄いシェル内に存在することになる。ただし、この距離の値は空間内のクエリ点の位置によって変わることに留意されたい。たとえば、端に近い点は中心の点より距離が大きい。

Ｌｏｗｅが提案するように［１１］、第１の近傍領域（１−ＮＮ）の距離に基づく閾値は信頼できないが、第１の近傍領域の距離と第２の近傍領域の距離の比ｅ_１−ＮＮ／ｅ_２−ＮＮは、一致が正しいかどうかを判断するための適切な評価基準である。マルチ画像マッチングの場合は、複数の正しい一致が存在する可能性があるので、代わりに比ｅ_ｉ／_{ｅｏｕｔｌｉｅｒ}が検査される。ただし、ｅｉは考察する一致の距離、ｅ_{ｏｕｔｌｉｅｒ}はアウトライアの距離である。特徴あたり最大ｋ個の一致ｉ∈｛１．．．ｋ｝が存在すること、およびアウトライアの距離が近傍領域ｋ＋１からｋ＋ｎｏの平均の距離として計算されることが仮定される。ベイズ（Ｂａｙｅｓ）の決定規則（ｄｅｃｉｓｉｏｎｒｕｌｅ）を使用して一致を次のように分類できる。
Ｐ_{ｃｏｒｒｅｃｔ}（ｅ／ｅ_{ｏｕｔｌｉｅｒ}）＞Ｐ_{ｉｎｃｏｒｒｅｅｔ}（ｅ／ｅ_{ｏｕｔｌｉｅｒ}） （１６）

これで、次の場合に特徴の正しい一致が区分されることになる。
ｅ＜０．６５ｘｅ_{ｏｕｔｌｉｅｒ} （１７）

これは「アウトライアの距離に基づく拘束条件」と呼ばれる。最適なｅ_{ｏｕｔｌｉｅｒ}の計算方法に関する問題が残る。

σ’ｘｅ_{ｆｅａｔｕｒｅ}＝ｅ_{ｉｍａｇｅ}なので、アウトライアの距離を基準とする相対的な距離は特徴空間内では画像ベースの距離と同じである。したがって、特徴空間画像の距離を比較し、アウトライアの距離に基づく拘束条件を適用するだけでよく、ペアごとにα、βを計算する必要がないという利点がある。

２．２．２ アウトライア除去を使用した特徴マッチング
特徴マッチング手順は、事前に計算された記述子ベクトルのそれぞれへの近傍領域の高速近似で開始される。こうした近傍領域ベクトルは、画像間で一致する点の候補を表している。次に、本特徴マッチング技術の試験済みの実施形態では、２段階のアプローチを使用して誤った一致を除去する。具体的には、前述のアウトライアの距離に基づく拘束条件を使用して誤った一致点を除去する非幾何学的なアウトライア除去技術を使用する。最終的に、標準の幾何学的アウトライア除去技術を使用して、まだ誤った一致点が残っている場合はさらにこれを除去する。ただし、前述のように、要求される精度や本特徴マッチング技術を採用するシステムの処理上の制限によっては、こうしたアウトライア除去技術のいずれかを省略してもよい。

２．２．２．１ ウェーブレットインデックスを使用した高速近似近傍領域（ＦａｓｔＡｐｐｒｏｘｉｍａｔｅ ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒｓ）
すべての画像から特徴を抽出し、それぞれを特徴空間内のｋ個の近似近傍領域にマッチングする。高速近似近傍領域の計算は、ハッシュテーブルを使用して特徴にインデックス付けすることで実行される。ハッシュテーブルは３次元であり、各次元は最初の３つの非ゼロウェーブレット係数ｃ_１、ｃ_２、ｃ_３に対応する。こうした値は、パッチの

の推定値である。試験済みの実施形態ではｋ＝４であり、ハッシュテーブルは次元あたりｂ＝１０個のビンを備えている（各次元の平均からの標準偏差±ｎσ＝３を対象とする）。ビンは半分が重複しているので、ビンの幅

の

の範囲内のデータは一致することが保証される。真の近傍領域は３つの次元のいずれかの外側

に存在する可能性がある（ただし、確率は低い）ので、これらは近似近傍領域である。個々の記述子ベクトルをビン内のすべての特徴とマッチングし、ｋ個の近似近傍領域を選択する。ここで、次に説明するように、アウトライアの距離に基づく拘束条件を使用して正しい一致が検証され、アウトライアが除去される。特徴間の距離を使用して近傍領域を決定することに留意されたい。試験済みの実施形態において、こうした距離は６４次元の特徴ベクトルの二乗差の和で求められる。

２．２．２．２ アウトライアの距離に基づく拘束条件を使用したアウトライア除去
誤った一致はほとんどすべてについてクエリ点からの距離（アウトライアの距離）がほぼ同等であるが、正しい一致はイメージングと検出のノイズによってのみ異なるので、前述のシェル属性をアウトライア除去戦略の基準として利用できる。アウトライアの距離を推定する１つの方法として、各画像の２−ＮＮ距離の平均値または最小値に一致させることが考えられる。計算したアウトライアの距離から、アウトライアの距離に基づく拘束条件を使用して誤った一致の数を削減できる。より詳細には、考察対象ベクトルの近傍領域の１つとして検出されたベクトルの考察対象ベクトルからの距離がアウトライアの距離の６５％以内にある場合は、このベクトルは一致点に関連付けられていると見なされる。ベクトルの距離がアウトライアの距離の約６５％を超える場合、このベクトルに対応する点は一致点とは見なされない。

２．２．２．３ 幾何学的拘束条件を使用したアウトライア除去
アウトライアの距離に基づく拘束条件を使用して一致の候補が調整された場合は、一致に関する幾何学的拘束条件を使用して一致をさらに調整することができる。基本的に、このためには、残っている一致点が場面の画像に実際に対応するかどうかを標準的な方法で判断する操作が必要である。画像が１つの点から取得され、場面が静的な場合は、パノラマ式の運動モデル（ｐａｎｏｒａｍｉｃｍｏｔｉｏｎ ｍｏｄｅｌ）（ホモグラフィー（ｈｏｍｏｇｒａｐｈｙ））が適している。画像が移動カメラから取得され、場面が静的な場合は、完全な３次元運動モデル（ｆｕｌｌ３Ｄ ｍｏｔｉｏｎ ｍｏｄｅｌ）（基本行列（ｆｕｎｄａｍｅｎｔａｌ ｍａｔｒｉｘ））が適している。複数のオブジェクトまたは移動するオブジェクトを扱うより複雑な運動モデルを開発してもよい。自動パノラマステッチでは、［６］に示すようにパノラマ式の運動モデルと確率モデルによるマッチングを選択するのが適切である。１つの画像内の点が場面の同じ要素を表す別の画像内の点と実際に一致しないと判断した場合は、この点が一致点の集合から除去される。

２．２．３ 特徴マッチングプロセスの概要
３次元ハッシュテーブルと少なくとも一部はアウトライアの距離に基づく拘束条件に基づくアウトライア除去とを使用した本システムおよびプロセスの実施形態に従って、場面の一連の画像間で対応する点を特定する特徴マッチング技術に関する以上の説明は、図１１のプロセス流れ図に要約される。このプロセスは、変換された記述子ベクトルのそれぞれを、特徴空間におけるその所定の数の近傍領域とマッチングする操作で開始される。より詳細には、変換された個々の記述子ベクトルの最初の３つの非ゼロウェーブレット係数から３次元ハッシュテーブルを生成する（プロセス操作１１００）。前述のように、本特徴マッチング手順の試験済みの実施形態において、ハッシュテーブルは次元あたり１０個のビンを備えており、各ビンの範囲は半分が重複する。ここで、ハッシュテーブルの各ビン内にある３係数ベクトル間の距離を計算する（プロセス操作１１０２）。次に、記述子ベクトルのそれぞれについて、こうした距離を使用して、考察対象のベクトルと同じ画像内にはないが同じビンに含まれるその所定の数の近傍領域を特定する（プロセス操作１１０４ａ）。ここで、特徴マッチング技術の別の実施形態では、次の操作１１０４ｂをプロセス操作１１０４ａで置き換えていることに注目する。すなわち、記述子ベクトルのそれぞれについて、その他の各画像から同じビン内の近傍領域を所定の最大数まで特定する。操作１１０４ａと１１０４ｂが交換可能であることは、図１１の破線のボックスで示されている。

各記述子ベクトルの近傍領域が特定された場合は、まだ選択されていないベクトルを選択する（プロセス操作１１０６）。これで、関連の特徴点が選択したベクトルに関連する特徴点に実際に対応しない選択したベクトルの近傍領域記述子ベクトルは考察の対象から外される。より詳細には、本特徴マッチング技術の試験済みの実施形態において、この操作は前述のように２段階で実行される。第１段階（プロセス操作１１０８）は、アウトライアの距離に基づく拘束条件を使用したアウトライア除去と呼ばれており、対応しない可能性の高い点を除去する迅速な手順である。第２段階（プロセス操作１１１０）は、アウトライアの距離に基づく拘束条件を使用したアウトライア除去と呼ばれており、対応しない可能性の高い点を除去する迅速な手順である。ただし、第１段階で多くの誤った一致が除去されると、第２段階の処理の必要性は最小になる。本質的に、第２段階の幾何学ベースのアウトライア除去手順では、２つの画像間ですべての点の最適なマッチングを行う変換を検出する操作と、変換したときに特定の許容範囲内に対応しない点を除去する操作が実行される。図８Ａと８Ｂは、アウトライア除去プロセスの効果（ｖａｌｕｅ）の例を示している。２つの図は、共通する部分のある２つの山の場面を示しており、アウトライア除去プロセスを実行する前に特定された画像間の対応する位置を白いドットで示している（５８７個の一致）。図９Ａおよび９Ｂは、図８Ａおよび８Ｂと同じ画像を示しており、それぞれ、アウトライアの距離に基づく拘束条件を使用したアウトライア除去技法を適用した後である。ここで２４２個のアウトライアが除去され、３４５個の一致が残っている。図１０Ａおよび１０Ｂは、図９Ａおよび９Ｂと同じ画像を示しており、それぞれ幾何学ベースのアウトライア除去技法を適用した後である。さらに３４のアウトライアが特定されて除去され、最終的に画像間で合計３１１個の対応する点が残っている。

本特徴マッチング技術の特定の適用において、第１段階のアウトライア除去手順で十分に正しい結果が得られる場合は、必要に応じて第２段階を省略してもよい。逆に、処理コストが問題でない場合は、第２段階の幾何学ベースのアウトライア除去手順を単独で使用し、第１段階を省略してもよい。

第１のアウトライア除去手順に関して、試験済みの実施形態ではこのためにまず選択した記述子ベクトルとその近傍領域との距離を計算する操作を実行し、次に選択した記述子ベクトルとそのいずれかの近傍領域との距離がアウトライアの距離の約６５％以上であるかどうかを判断する操作を実行する。近傍領域ベクトルから選択されたベクトルまでの距離がアウトライアの距離の約６５％以上であると判断した場合は、必ず選択されたベクトルに関連付けられた特徴点を表す考察の対象からこれを除外する。

アウトライア除去手順が完了すると、選択したベクトルの近傍領域として特定された記述子ベクトルに関連付けられており、考察の対象から外されていない特徴点のそれぞれは、選択されたベクトルに関連付けられた特徴点に対応する点として指定される（プロセス操作１１１２）。次に、その他の記述子ベクトルのそれぞれについて前述のプロセスを実行し、まずまだ選択されていないベクトルが残っているかどうかを判断し、その他の画像内の対応する点を特定する（プロセス操作１１１４）。残っている場合は、すべてのベクトルが処理されるまで、必要に応じてプロセス操作１１０６から１１１４を繰り返す。すべてのベクトルが選択され、処理されると、手順は終了する。

３．０ 参考文献

１４１ ハードディスクドライブ
１５１ 磁気ディスクドライブ
１５５ 光ディスクドライブ
１９３ 一連の画像

Claims (11)

1. コンピュータによって、場面の複数の画像間で対応する点を特定するための方法であって、該方法は、コンピュータにより実行される以下の各ステップ、即ち、
   各画像内の特徴点をさまざまな解像度で特定するステップであって、前記点を表す画像内の位置は、前記点を中心とする第１の所定のサイズの近傍領域内のピクセルに起因する少なくとも１つの属性で定義され、前記点を中心とする第２の所定のサイズの近傍領域内のピクセルに起因する少なくとも１つの属性に基づく一意の向きを割り当てられる、ステップと、
   前記特徴点のそれぞれについて、画像の位置、向き、スケールの変化、および前記点の位置と向きを定義するためのピクセルの輝度の変化に対して不変の形で各点を特徴付ける記述子を生成するステップと、
   前記画像間で一致する記述子を検出するステップと、
   異なる画像中に現れる一致する記述子の各集合に関連付けられた前記特徴点を対応する点として指定するステップと
   を備え、
   前記特徴点のそれぞれについて記述子を生成する前記ステップは、
   考察対象である前記特徴点の位置を中心とし、前記特徴点と同じ向きの所定のサイズｐｘｐの記述子領域を確立するステップと、
   前記記述子領域から前記領域内のピクセル輝度値の双線形補間を使用してピクセルあたり１回のサンプリングになるようにサンプリングした前記記述子領域より小さい所定のサイズｄｘｄの記述子ベクトルを構成するステップと、
   前記記述子ベクトルを標準化するステップと、
   前記記述子ベクトルに対してハールのウェーブレット変換を実行して変換ベクトルを生成するステップと
   を備え、
   前記画像間で一致する記述子を検出するステップは、前記変換された記述子ベクトルを、特徴空間内の所定の数の近傍領域とマッチングするステップを備え、
   前記変換された記述子ベクトルをマッチングする前記ステップは、
   各変換された記述子ベクトルの所定の数（ｎ個）のウェーブレット係数から３次元ハッシュテーブルを生成してｎ係数ベクトルのハッシュテーブルを構成するステップと、
   前記ハッシュテーブルのビンのそれぞれについて、考察対象の前記ビン内で検出される個々のｎ係数ベクトル間の距離を計算するステップと、
   ｎ係数ベクトルのそれぞれについて、前記同じビン内にあるが前記考察対象のベクトルと同じ前記画像には関連付けられていない前記計算された距離に基づいてその所定の数の近傍領域を特定し、一致ベクトル候補の集合を構成するステップと、
   前記一致ベクトル候補の集合のそれぞれに属する前記ベクトルに関連付けられた前記特徴点を、前記関連の画像内で前記場面の前記同じ要素を表す対応する点として指定するステップと
   を備える、
   ことを特徴とする方法。
2. 前記ハッシュテーブルは次元あたり１０個のビンを備えており、各ビンは半分の領域が重複することと、前記所定の数（ｎ個）のウェーブレット係数は３係数ベクトルのハッシュテーブルを構成する最初の３つの非ゼロ係数を備えることを特徴とする請求項１に記載の方法。
3. 一致ベクトル候補の集合のそれぞれに属する前記ベクトル関連付けられた前記特徴点を対応する点として指定する前記ステップは、
   一致ベクトル候補ベクトルのそれぞれについて、関連の特徴点が同じベクトル集合に属する別の３係数ベクトルに関連付けられた別の画像内の特徴点に実際には対応しない一致ベクトル候補として前記３係数ベクトルを考察対象から除外するステップと、
   一致ベクトル候補の各集合内に残っている前記３係数ベクトルのそれぞれについて、前記ベクトルに関連付けられた前記特徴点を前記関連の画像内の対応する点として指定するステップと
   を備えることを特徴とする請求項１に記載の方法。
4. 一致ベクトルの集合のそれぞれについて、関連の特徴点が前記同じベクトル集合に属する別の前記３係数ベクトルに関連付けられた別の画像内の特徴点に実際に対応しない一致ベクトル候補として前記３係数ベクトルを考察対象から除去する前記ステップは、
   考察対象である一致ベクトルの集合のアウトライアの距離を計算するステップと、
   任意の前記一致ベクトルについて計算した前記距離が前記アウトライアの距離の６５％を超えるかどうかを判断するステップと、
   一致ベクトルの距離が前記アウトライアの距離の６５％を超えると判断した場合は、必ず前記ベクトルに対応する点として関連付けられた前記特徴点を除外するステップと
   を備えることを特徴とする請求項３に記載の方法。
5. 一致ベクトルの集合のそれぞれについて、関連の特徴点が前記同じベクトル集合に属する別の前記３係数ベクトルに関連付けられた別の画像内の特徴点に実際に対応しない一致ベクトル候補として３係数ベクトルを考察対象から除去する前記ステップは、
   幾何学的アウトライア除去手順を実行するステップと、
   アウトライアであると判断された対応する点として任意のベクトルに関連付けられた特徴点を除外するステップと
   を備えることを特徴とする請求項３に記載の方法。
6. コンピュータによって、場面の複数の画像間で対応する点を特定するための方法であって、該方法は、コンピュータにより実行される以下の各ステップ、即ち、
   各画像内の特徴点をさまざまな解像度で特定するステップであって、前記点を表す画像内の位置は、前記点を中心とする第１の所定のサイズの近傍領域内のピクセルに起因する少なくとも１つの属性で定義され、前記点を中心とする第２の所定のサイズの近傍領域内のピクセルに起因する少なくとも１つの属性に基づく一意の向きを割り当てられる、ステップと、
   前記特徴点のそれぞれについて、画像の位置、向き、スケールの変化、および前記点の位置と向きを定義するためのピクセルの輝度の変化に対して不変の形で各点を特徴付ける記述子を生成するステップと、
   前記画像間で一致する記述子を検出するステップと、
   異なる画像中に現れる一致する記述子の各集合に関連付けられた前記特徴点を対応する点として指定するステップと
   を備え、
   前記特徴点のそれぞれについて記述子を生成する前記ステップは、
   考察対象である前記特徴点の位置を中心とし、前記特徴点と同じ向きの所定のサイズｐｘｐの記述子領域を確立するステップと、
   前記記述子領域から前記領域内のピクセル輝度値の双線形補間を使用してピクセルあたり１回のサンプリングになるようにサンプリングした前記記述子領域より小さい所定のサイズｄｘｄの記述子ベクトルを構成するステップと、
   前記記述子ベクトルを標準化するステップと、
   前記記述子ベクトルに対してハールのウェーブレット変換を実行して変換ベクトルを生成するステップと
   を備え、
   前記画像間で一致する記述子を検出するステップは、前記変換された記述子ベクトルを、特徴空間内の所定の数の近傍領域とマッチングするステップを備え、
   前記変換された記述子ベクトルをマッチングする前記ステップは、
   変換された記述子ベクトルのそれぞれについて最初の３つの非ゼロウェーブレット係数から３次元ハッシュテーブルを生成して３係数ベクトルのハッシュテーブルを構成するステップと、
   前記ハッシュテーブルの各ビンについて、考察対象の前記ビン内で検出される３係数ベクトルのそれぞれの間の前記距離を計算するステップと、
   ３係数ベクトルのそれぞれについて、考察対象の前記ベクトルに関連付けられた前記画像を除く各画像に個々に関連付けられた前記同じビン内で検出される前記近傍領域を、前記計算された距離に基づいて画像ごとの所定の数まで特定し、一致ベクトル候補の集合を構成するステップと、
   一致ベクトル候補の集合のそれぞれに属する前記ベクトルに関連付けられた前記特徴点を、前記関連の画像内で前記場面の前記同じ要素を表す対応する点として指定するステップと
   を備える、
   ことを特徴とする方法。
7. 前記ハッシュテーブルは次元あたり１０個のビンを備えており、さらに各ビンは半分の重複領域を備えることを特徴とする請求項6に記載の方法。
8. 場面の複数の画像間で対応する点を特定するシステムであって、
   汎用コンピューティングデバイスと、
   前記コンピューティングデバイスで実行可能なプログラムモジュールを備えるコンピュータプログラムであって、前記コンピューティングデバイスは前記コンピュータプログラムの前記プログラムモジュールによって指示されて、
   各特徴点をピクセルの所定の属性によって構成されるパターンに基づいて割り当てられる位置と向きによって定義して、各画像内の対応する点の候補を表す特徴点を特定し、
   前記特徴点のそれぞれについて、画像の位置、向き、スケールの変化、および前記点の位置と向きを定義するためのピクセルのバイアスとゲインの変化に対して不変である形で各点を特徴付ける記述子を生成し、
   前記画像間で一致する記述子を検出し、
   異なる画像中に現れる一致する記述子の集合に関連付けられた前記特徴点を対応する点として指定する
   コンピュータプログラムと
   を備え、
   前記特徴点のそれぞれについて記述子を生成する前記プログラムモジュールは、特徴点ごとに、
   （ａ）前記特徴点の位置を中心とし、前記特徴点と同じ向きの所定のサイズｐｘｐの記述子領域を確立するサブモジュールと、
   （ｂ）前記記述子領域から前記領域内の輝度値に関する双線形補間のサンプリングを使用して、より小さい所定のサイズｄｘｄの記述子ベクトルを構成するサブモジュールと、
   （ｃ）前記記述子ベクトルをバイアスとゲインに関して標準化するサブモジュールと、
   （ｄ）前記標準化された記述子ベクトルに対してハールのウェーブレット変換を適用して前記考察対象の特徴点の前記記述子を構成するサブモジュールと
   を備え、
   前記画像間で一致する記述子を検出する前記プログラムモジュールは、
   （ｅ）各特徴点の最初の３つの非ゼロウェーブレット係数から３次元ハッシュテーブルを生成するサブモジュールと、
   （ｆ）前記ハッシュテーブルのビンごとに、各記述子間の距離を計算するサブモジュールと、
   （ｇ）まだ選択されていない記述子を選択するサブモジュールと、
   （ｈ）前記同じビン内にあるが前記選択された記述子と前記同じ画像には関連付けられていない所定の数の前記選択された記述子の近傍領域を特定するサブモジュールと、
   （ｉ）前記選択された記述子とその近傍領域のアウトライアの距離を計算するサブモジュールと、
   （ｊ）前記選択された記述子とその近傍領域のそれぞれとの前記計算された距離は前記アウトライアの距離の６５％未満かどうかを個々に判断するサブモジュールと、
   （ｋ）前記選択された記述子とその近傍領域の１つとの前記計算された距離は前記アウトライアの距離の６５％未満である場合は、必ず前記近傍領域の記述子を前記選択された記述子に関する一致記述子として指定するサブモジュールと、
   （ｌ）幾何学ベースのアウトライア除去手順を実行し、前記選択された記述子に一致するとして指定された記述子に対応する任意の特徴点は、前記選択された記述子の前記特徴点の位置に対応しないかどうかを判断するサブモジュールと、
   （ｍ）前記選択された記述子に一致するとして指定された任意の記述子が前記選択された記述子の特徴点の位置に対応しない場合に一致記述子から除外するサブモジュールと、
   （ｎ）残っているすべての記述子について処理が完了するまで、サブモジュール（ｇ）から（ｍ）を繰り返すサブモジュールと
   を備える、
   ことを特徴とするシステム。
9. 場面の複数の画像間で対応する点を特定するシステムであって、
   汎用コンピューティングデバイスと、
   前記コンピューティングデバイスで実行可能なプログラムモジュールを備えるコンピュータプログラムであって、前記コンピューティングデバイスは前記コンピュータプログラムの前記プログラムモジュールによって指示されて、
   各特徴点をピクセルの所定の属性によって構成されるパターンに基づいて割り当てられる位置と向きによって定義して、各画像内の対応する点の候補を表す特徴点を特定し、
   前記特徴点のそれぞれについて、画像の位置、向き、スケールの変化、および前記点の位置と向きを定義するためのピクセルのバイアスとゲインの変化に対して不変である形で各点を特徴付ける記述子を生成し、
   前記画像間で一致する記述子を検出し、
   異なる画像中に現れる一致する記述子の集合に関連付けられた前記特徴点を対応する点として指定する
   コンピュータプログラムと
   を備え、
   前記特徴点のそれぞれについて記述子を生成する前記プログラムモジュールは、特徴点ごとに、
   （ａ）前記特徴点の位置を中心とし、前記特徴点と同じ向きの所定のサイズｐｘｐの記述子領域を確立するサブモジュールと、
   （ｂ）前記記述子領域から前記領域内の輝度値に関する双線形補間のサンプリングを使用して、より小さい所定のサイズｄｘｄの記述子ベクトルを構成するサブモジュールと、
   （ｃ）前記記述子ベクトルをバイアスとゲインに関して標準化するサブモジュールと、
   （ｄ）前記標準化された記述子ベクトルに対してハールのウェーブレット変換を適用して前記考察対象の特徴点の前記記述子を構成するサブモジュールと
   を備え、
   前記画像間で一致する記述子を検出する前記プログラムモジュールは、
   （ｅ）各特徴点記述子の最初の３つの非ゼロウェーブレット係数から３次元ハッシュテーブルを生成するサブモジュールと、
   （ｆ）前記ハッシュテーブルのビンごとに、各記述子間の距離を計算するサブモジュールと、
   （ｇ）まだ選択されていない記述子を選択するサブモジュールと、
   （ｈ）前記同じビン内にあるが前記選択された記述子と同じ画像には関連付けられていない所定の数の前記選択された記述子の近傍領域を特定するサブモジュールと、
   （ｉ）前記選択された記述子とその近傍領域のアウトライアの距離を計算するサブモジュールと、
   （ｊ）前記選択された記述子とその近傍領域のそれぞれとの前記計算された距離は前記アウトライアの距離の６５％未満かどうかを個々に判断するサブモジュールと、
   （ｋ）前記選択された記述子とその近傍領域の１つとの前記計算された距離は前記アウトライアの距離の６５％未満である場合は、必ず近傍領域記述子を前記選択された記述子に関する一致記述子として指定するサブモジュールと、
   （ｌ）残っているすべての記述子について処理が完了するまで、サブモジュール（ｇ）から（ｋ）を繰り返すサブモジュールと
   を備える、
   ことを特徴とするシステム。
10. 場面の複数の画像間で対応する点を特定するシステムであって、
    汎用コンピューティングデバイスと、
    前記コンピューティングデバイスで実行可能なプログラムモジュールを備えるコンピュータプログラムであって、前記コンピューティングデバイスは前記コンピュータプログラムの前記プログラムモジュールによって指示されて、
    各特徴点をピクセルの所定の属性によって構成されるパターンに基づいて割り当てられる位置と向きによって定義して、各画像内の対応する点の候補を表す特徴点を特定し、
    前記特徴点のそれぞれについて、画像の位置、向き、スケールの変化、および前記点の位置と向きを定義するためのピクセルのバイアスとゲインの変化に対して不変である形で各点を特徴付ける記述子を生成し、
    前記画像間で一致する記述子を検出し、
    異なる画像中に現れる一致する記述子の集合に関連付けられた前記特徴点を対応する点として指定する
    コンピュータプログラムと
    を備え、
    前記特徴点のそれぞれについて記述子を生成する前記プログラムモジュールは、特徴点ごとに、
    （ａ）前記特徴点の位置を中心とし、前記特徴点と同じ向きの所定のサイズｐｘｐの記述子領域を確立するサブモジュールと、
    （ｂ）前記記述子領域から前記領域内の輝度値に関する双線形補間のサンプリングを使用して、より小さい所定のサイズｄｘｄの記述子ベクトルを構成するサブモジュールと、
    （ｃ）前記記述子ベクトルをバイアスとゲインに関して標準化するサブモジュールと、
    （ｄ）前記標準化された記述子ベクトルに対してハールのウェーブレット変換を適用して前記考察対象の特徴点の前記記述子を構成するサブモジュールと
    を備え、
    前記画像間で一致する記述子を検出する前記プログラムモジュールは、
    （ｅ）各特徴点の最初の３つの非ゼロウェーブレット係数から３次元ハッシュテーブルを生成するサブモジュールと、
    （ｆ）前記ハッシュテーブルのビンごとに、各記述子間の距離を計算するサブモジュールと、
    （ｇ）まだ選択されていない記述子を選択するサブモジュールと、
    （ｈ）前記同じビン内にあるが前記選択された記述子と同じ画像に関連付けられていない所定の数の前記選択された記述子の近傍領域を特定するサブモジュールと、
    （ｉ）幾何学ベースのアウトライア除去手順を実行し、前記近傍領域記述子に対応するどの特徴点が前記選択された記述子の特徴点の位置に対応するかを判断するサブモジュールと、
    （ｊ）前記近傍領域記述子に対応する前記特徴点の位置に対応すると判断した場合にのみ、近傍領域記述子を前記選択された記述子に関する一致記述子として指定するサブモジュールと、
    （ｋ）残っているすべての記述子についての処理が完了するまで、サブモジュール（ｇ）から（ｊ）を繰り返すサブモジュールと
    を備える、
    ことを特徴とするシステム。
11. コンピュータに請求項１〜７の何れか１つに記載のステップを実行させるためのプログラムを記録したコンピュータ可読記録媒体。