JP5848833B2

JP5848833B2 - 画像を比較するための方法およびシステム

Info

Publication number: JP5848833B2
Application number: JP2014550649A
Authority: JP
Inventors: フランシニ，ジャンルーカ; レプソイ，スキャルグ
Original assignee: テレコム・イタリア・エッセ・ピー・アー
Priority date: 2012-01-02
Filing date: 2012-01-02
Publication date: 2016-01-27
Anticipated expiration: 2032-01-02
Also published as: AR089532A1; JP2015504215A; EP2801054A1; WO2013102488A1; BR112014016301A8; CN104115161A; KR20140109463A; US20150016723A1; EP2801054B1; CN104115161B; KR101833953B1; BR112014016301B1; US9245204B2; BR112014016301A2

Description

本発明は、画像解析の分野に関する。

画像解析の分野では、普通の操作によって、２つの画像が同じ風景または同じ物体の少なくとも一部を含む場合、それら画像間に生じる関係を見出すために、その２つの画像が比較される。

多数の用途の間では、画像比較は、マルチカメラシステムに属するビデオカメラを較正する、ビデオ撮影の２つのフレームの間に生じる動きを評価する、および画像（たとえば写真）内の物体を認識するために、もっとも重要なものである。ここで、認識用途は、写真から始めて、その中に撮られた物体（複数可）を識別し、そして識別された物体（複数可）に関係する情報を提供することが可能な、いわゆる視覚探索エンジン、すなわち自動化サービス中で用いるように特に設計される物体認識アルゴリズムの最近の開発のため、ますます大きい重要性を帯びつつある。このタイプの知られたサービスの実施例は、ＧｏｏｇｌｅのＧｏｇｇｌｅｓ、ＮｏｋｉａのＰｏｉｎｔ＆ＦｉｎｄおよびｋｏｏａｂａのＳｍａｒｔＶｉｓｕａｌｓを含む。物体認識用途では、業界用語で「質問画像（ｑｕｅｒｙｉｍａｇｅ）」と言われる、認識すべき物体を描写する第１の画像を複数の基準画像と比較するステップが設けられ、それぞれの基準画像が、各々の知られた物体を描写し、それによって、質問画像中に描写された物体と、基準画像中に描写された物体との間で比較を実施することが可能になる。

基準画像は、通常、適切な基準データベース中に配置される。データベース中に含まれた基準画像数が大きくなるほど、実施される比較する操作数が大きくなる。基準データベースが大変大きくなり得るいくつかの場合、物体認識処理の効率は、悪影響を受ける。たとえば、物体認識がオンラインの買い物シナリオで活用され、各基準画像がオンラインストアによって提供されるアイテム（たとえばブックカバー、ＤＶＤカバーおよび／またはＣＤカバーの写真）に対応する場合、基準画像数は、数百万枚を超える可能性がある。さらに、そのような巨大な数のデータを効率的に管理するために、比較する操作は、十分な処理能力を備える処理ユニットによって処理すべきである。

この１０年間で、物体認識を実施するために必要な時間を短縮するための異なるアルゴリズムが、提案されてきた。これらのアルゴリズムでは、質問画像中に描写された物体を含む候補になる基準画像の数を大幅に減少させるステップが設けられる。

２つの画像の間を比較する操作を実施するための極めて効率的な方法では、業界用語でキーポイントとして言われる、第１の画像中のポイントのセットを選択するステップと、次いでそのセットの各キーポイントを、第２の画像中の対応するキーポイントとマッチさせるステップとが設けられる。第１の画像のどのポイントがキーポイントにならねばならないのかという選択が、そのポイント自体を囲繞する画像の領域の局所的な特徴を考慮することによって実行される。この点に関して、「ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆｃｏｍｐｕｔｅｒｖｉｓｉｏｎ（コンピュータビジョンの国際学術誌）」、２００４年のＤａｖｉｄＧ．Ｌｏｗｅによる「Ｄｉｓｔｉｎｃｔｉｖｅｉｍａｇｅｆｅａｔｕｒｅｓｆｒｏｍｓｃａｌｅ−ｉｎｖａｒｉａｎｔｋｅｙｐｏｉｎｔｓ（スケール不変のキーポイントからの区別的な画像の特徴）」を参照されたい。

第１の画像のキーポイントと第２の画像の対応するキーポイントの間のマッチングが、両方のキーポイントが同じ物体の同じポイント（２つの画像両方中に描写されている）に対応するという意味で正しい場合、そのようなキーポイントのマッチは、「インライア（ｉｎｌｉｅｒ）」として呼ばれる。

反対に、第１の画像のキーポイントと第２の画像の対応するキーポイントの間のマッチングが、２つのキーポイントが同じ物体の同じポイントに対応していないという意味で間違っている場合、そのようなキーポイントのマッチは、「アウトライア（ｏｕｔｌｉｅｒ）」として呼ばれる。

したがって、信頼できる結果を得るためには、インライアとアウトライアを区別することが可能な処置を、キーポイントのマッチが決定された後、実施することが都合がよい。

このタイプの処置のいくつかの実施例が、本技術分野で既に知られている。

もっとも使用される処置は、「ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ（ＡＣＭの通信）」、２４（６）：３８１〜３９５、１９８１年６月のＭａｒｔｉｎＡ．ＦｉｓｃｈｌｅｒおよびＲｏｂｅｒｔＣ．Ｂｏｌｌｅｓによる「Ｒａｎｄｏｍｓａｍｐｌｅｃｏｎｓｅｎｓｕｓ：Ａｐａｒａｄｉｇｍｆｏｒｏｕｔｌｉｅｒｆｉｔｔｉｎｇｗｉｔｈａｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅａｎａｌｙｓｉｓａｎｄａｕｔｏｍａｔｅｄｃａｒｔｏｇｒａｐｈｙ（ランダムサンプルコンセンサス：画像解析および自動化作図法への応用を有するアウトライアフィッティングのためのパラダイム）」に開示されているＲＡＮＳＡＣアルゴリズムを使用する。しかし、このアルゴリズムは、時間がかかる、というのは、反復アプローチに基づくからである。

「ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ（画像処理に関する国際学会）」、２０１０年１０月のＳａｍＳ．Ｔｓａｉ、ＤａｖｉｄｅＣｈｅｎ、ＧａｂｒｉｅｌＴａｋａｃｓ、ＶｉｊａｙＣｈａｎｄｒａｓｅｋｈａｒ、ＲａｍａｋｒｉｓｈｎａＶｅｄａｎｔｈａｍ、ＲａｄｅｋＧｒｚｅｓｚｃｚｕｋ、ＢｅｒｎｄＧｉｒｏｄによる「Ｆａｓｔｇｅｏｍｅｔｒｉｃｒｅ−ｒａｎｋｉｎｇｆｏｒｉｍａｇｅ−ｂａｓｅｄｒｅｔｒｉｅｖａｌ（画像ベースの読み出しのための迅速な幾何形状的な再ランク付け）」中に、および国際特許出願公開第ＷＯ２００９／１３０４５１号中に開示されているアルゴリズムは、キーポイントの距離の間の比が、平行移動、回転およびスケーリングの下で不変であるということに基づく。また、このタイプのさらなるアルゴリズムは、「ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（パターン認識に関する国際学会）」、２０１０年８月、ページ８４２〜８４５のＺｈｉｐｅｎｇＷｕ、ＱｉａｎｑｉａｎＸｕ、ＳｈｕｑｉａｎｇＪｉａｎｇ、ＱｉｎｇｍｉｎｇＨｕａｎｇ、ＰｅｎｇＣｕｉ、ＬｉａｎｇＬｉによる「ＡｄｄｉｎｇＡｆｆｉｎｅＩｎｖａｒｉａｎｔＧｅｏｍｅｔｒｉｃＣｏｎｓｔｒａｉｎｔｆｏｒＰａｒｔｉａｌ−ＤｕｐｌｉｃａｔｅＩｍａｇｅＲｅｔｒｉｅｖａｌ（部分的に複製の画像の読み出しのための追加のアフィン不変幾何形状的な制約）」中に、および第２０回「ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（パターン認識に関する国際学会）」、２０１０年、ページ１８４４〜１８４７のＤａｎｉｅｌＦｌｅｃｋ、ＺｏｒａｎＤｕｒｉｃによる「ＵｓｉｎｇＬｏｃａｌＡｆｆｉｎｅＩｎｖａｒｉａｎｔｓｔｏＩｍｐｒｏｖｅＩｍａｇｅＭａｔｃｈｉｎｇ（局所的なアフィン変数を使用した画像マッチングの向上）」中に開示されている。

さらに、米国特許出願第２０１０／０１３５５２７号Ａ１では、キーポイントベースの比較および領域ベースの色比較を含む画像認識アルゴリズムが開示されている。アルゴリズムを使用して対象画像を識別する方法は、処理装置で入力を受け取るステップであって、その入力は、対象画像と関係するデータを含む、受け取るステップと、画像データベースから画像を読み出すステップ、およびその画像が受け入れられる、または拒絶されるまで、その画像を候補画像として指定するステップを含む読み出すステップを実施するステップと、画像認識アルゴリズム出力を得るために、処理装置を使用して対象画像および候補画像に対して画像認識アルゴリズムを実施するステップを含む画像認識ステップを実施するステップと、画像認識アルゴリズム出力が事前に選択された範囲内にある場合、その候補画像を対象画像として受け入れ、そして画像認識アルゴリズム出力が事前に選択された範囲内にない場合は、その候補画像を拒絶するステップ、および読み出すステップ、画像認識ステップおよび比較ステップを繰り返すステップを含む比較ステップを実施するステップとを含む。

米国特許出願第２０１０／０１８３２２９号Ａ１は、画像をマッチさせるための方法、システムおよびコンピュータプログラム製品に言及している。マッチさせる画像は、特徴ポイントおよび特徴ベクトルおよび特徴ポイントと関連付けられた方向付けによって表される。まず、推定的な対応が、特徴ベクトルを使用することによって決定される。推定的な対応のサブセットが選択され、そのサブセットのトポロジーの同等が決定される。推定的な対応のトポロジー的に同等のサブセットが、動き推定モデルを確立するために使用される。方向付け整合性テスト（ｃｏｎｓｉｓｔｅｎｃｙｔｅｓｔ）が推定的な対応、および決定された対応する動き推定変換に対して実施されて、実行不可能な変換を回避する。カバレッジテスト（ｃｏｖｅｒａｇｅｔｅｓｔ）が、方向付け整合性テストを満足させたマッチに対して実施される。画像の１つのかなりの部分をカバーしない候補のマッチは、拒絶される。最終的なマッチ画像は、複数の画像がテスト要件をすべて満たした場合、マッチングが低下する順に提供される。

「ＡＤＶＡＮＣＥＳＩＮＶＩＳＵＡＬＣＯＭＰＵＴＩＮＧ（ビジュアルコンピューティングの進歩）」、シュプリンガーベルリンハイデルベルグ社、ベルリン、ハイデルベルグ、２００９年１１月３０日、ページ４１７〜４２９のＤａｎｉｅｌＦｌｅｃｋ他による「ＡｎＥｖａｌｕａｔｉｏｎｏｆＡｆｆｉｎｅＩｎｖａｒｉａｎｔ−ＢａｓｅｄＣｌａｓｓｉｆｉｃａｔｉｏｎｆｏｒＩｍａｇｅＭａｔｃｈｉｎｇ（画像マッチングのためのアフィン不変ベースの分類の評価）」では、広範なベースライン画像マッチングのためにアフィン不変数を使用するアプローチの詳細な評価が、開示されている。具体的には、このアプローチでは、形状の面積の比がアフィン変換の下では一定であるという、アフィン不変の性質が使用される。それゆえ、画像ペア中の対応する形状をランダムにサンプリングすることによって、面積の比のヒストグラムを生成することができる。そのとき、最大ヒストグラム値の一因になるマッチは、候補インライアである。

「ＩＭＡＧＥＡＮＡＬＹＳＩＳＡＮＤＲＥＣＯＧＮＩＴＩＯＮ（画像解析および認識）」、シュプリンガーベルリンハイデルベルグ社、ベルリン、ハイデルベルグ、２００９年７月６日、ページ２６８〜２７７のＤａｎｉｅｌＦｌｅｃｋ他による「ＡｆｆｉｎｅＩｎｖａｒｉａｎｔ−ＢａｓｅｄＣｌａｓｓｉｆｉｃａｔｉｏｎｏｆＩｎｌｉｅｒｓａｎｄＯｕｔｌｉｅｒｓｆｏｒＩｍａｇｅＭａｔｃｈｉｎｇ（画像マッチングのためのインライアおよびアウトライアのアフィン不変ベースの分類）」では、広範なベースライン画像マッチングの間、仮の特徴のマッチをインライアまたはアウトライアとして分類するアプローチが、開示されている。具体的には、このアプローチでは、形状の面積の比が、アフィン変換の下では一定であるというアフィン不変の性質が使用される。それゆえ、画像ペア中の対応する形状をランダムにサンプリングすることによって、面積の比のヒストグラムを生成することができる。そのとき、最大ヒストグラム値の一因になるマッチは、候補インライアである。次いで、候補インライアは、フィルタリングされて、頻度がヒストグラム中のノイズレベルより低い、いずれもの候補インライアが除去される。インライアの結果として生じたセットは、画像の間の極めて正確な変換モデルを生成するために使用される。

さらに、「ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｕｌｔｉｍｅｄｉａａｎｄＥｘｐｏ（ＩＣＭＥ）（マルチメディアおよび博覧会に関するＩＥＥＥ国際学会（ＩＣＭＥ））」、２０１１年のＳ．Ｌｅｐｓｏｙ、Ｇ．Ｆｒａｎｃｉｎｉ、Ｇ．Ｃｏｒｄａｒａ、Ｐ．Ｐ．Ｂ．ｄｅＧｕｓｍａｏによる「Ｓｔａｔｉｓｔｉｃａｌｍｏｄｅｌｉｎｇｏｆｏｕｔｌｉｅｒｓｆｏｒｆａｓｔｖｉｓｕａｌｓｅａｒｃｈ（迅速な視覚探索のためのアウトライアの統計的なモデル化）」では、２つの画像中に存在するキーポイントのマッチングが不安定な処理であり、そこでは多くのマッチが間違っている可能性があることが、開示されている。間違っているマッチのペアに関するログ距離比の統計的な性質は、正しいマッチに関するログ距離比の性質と明確に異なっている。統計的なモデルに基づき、２つの画像が同じ物体のビュー（ｖｉｅｗ）を含むのかどうかを確定するために、適合度検定が、提案されている。この技法は、視覚探索のための迅速な幾何形状的な一貫性チェックとして使用することができる。

出願人は、物体認識サービスを実施するための上記で言及した知られたアプローチの多くが、いくつかの欠点によって影響されることに気付いている。具体的には、これらのアプローチは、反復処置に基づき、および／または巨大な量のデータを処理することが必要なことのために、時間がかかる。

出願人は、時間のかかることと処理すべきデータ量に関して、これらのアプローチをどのようにして向上させるのかという問題と取り組んできた。

具体的には、出願人は、データ処理に関して信頼でき、且つ時間消費に関して良好な性能を有する、画像を比較するための方法を提供するために問題に取り組んだ。

出願人は、キーポイントのマッチの対応するセットを形成するために、第１の画像（質問画像）に対して生成され、且つ第２の画像（基準画像）に対して生成されたキーポイントの対応するセットと関連付けられたキーポイントのセットから始めることによって、本発明による画像を比較するための方法は、いくつのキーポイントのマッチがキーポイントのマッチのセット全体の間でインライアであるのかを評価することができることを見出した。

また、本発明による方法は、どのキーポイントのマッチがインライアであり、且つどのキーポイントのマッチがアウトライアであるのかを特に識別することができる。

より具体的には、本発明の一態様によれば、第１の画像を第２の画像と比較するための方法は、第１の画像中の第１のキーポイントおよび第２の画像中の第２のキーポイントを識別するステップと；各第１のキーポイントを対応する第２のキーポイントと関連付けることによって、第１のキーポイントと第２のキーポイントの間のマッチを形成するステップと；複数の第１の距離の比を算出するステップであって、各第１の距離の比は、前記第１のキーポイントのペアの間の距離と、第１のキーポイントのペアとマッチする前記第２のキーポイントの対応するペアの間の距離との比に基づく、算出するステップと；それぞれが第１の距離の比の値の各々の区間に対応する複数の順序付けられたビンを有するヒストグラム中の前記算出された複数の第１の距離の比の値の分布を調整するステップであって、該ヒストグラムは、各ビンについて、値が各々の区間内に含まれる分布の第１の距離の比の対応する数を数え上げる、調整するステップと；第１および第２の画像中のキーポイントのペアのランダム選択に対応する複数の第２の距離の比の統計的な分布を表すアウトライア密度関数を生成するステップであって、前記複数の第２の距離の比は、第１の画像の第１のキーポイントのペアの間の距離と、第２の画像中のランダムに選択された第２のキーポイントの対応するペアの間の距離との比に基づく、生成するステップと；前記ビンのそれぞれについて、対応するアウトライア確率密度値を生成することによって、前記アウトライア密度関数を離散化するステップとを含む。本方法は、正しいキーポイントのマッチ数を決定するステップであって、各マッチは、第１の画像および第２の画像中に描写された同じ物体の同じポイントに対応する第１のキーポイントおよび第２のキーポイントによって形成され、前記正しいキーポイントのマッチ数を決定するステップは、行列を決定するステップであって、前記行列の各要素が、キーポイントのマッチの各々のペアに対応し、且つキーポイントのマッチの各々のペアの距離の比を含むビンでの前記ヒストグラムの値と、前記ビンに対応するアウトライア確率密度値との間の差に対応する値を有し、前記アウトライア確率密度値は、パラメータ（β）によって重み付けられる、行列を決定するステップと；該行列の主固有ベクトル（ｄｏｍｉｎａｎｔｅｉｇｅｎｖｅｃｔｏｒ）が、キーポイントのマッチのペアが正しいキーポイントのマッチである場合、第１の値の要素を有し、且つキーポイントのマッチのペアが間違っているキーポイントのマッチである場合、第２の値の要素を有するベクトル（ｒ）に等しくなるように、パラメータ（β）の値を決定するステップと；正しいキーポイントのマッチ数を、前記主固有ベクトルと関連付けられた主固有値の式（ｅｘｐｒｅｓｓｉｏｎ）として決定するステップを含む、前記正しいキーポイントのマッチ数を決定するステップをさらに含む。前記第１の画像を前記第２の画像と比較するために、決定された正しいキーポイントのマッチ数が活用される。

好ましいのは、前記正しいキーポイントのマッチ数を、主固有値の式として決定するステップが、正しいキーポイントのマッチ数を、主固有値と、キーポイントのマッチの各々のペアの距離の比を含むビンでのヒストグラムの値と前記ビンに対応するアウトライア確率密度値との間の差の最大値との比の式として決定するステップであって、前記アウトライア確率密度値は、前記決定されたパラメータ（β）によって重み付けられる、決定するステップを含むことである。

好ましいのは、前記正しいキーポイントのマッチ数を、主固有値の式として決定するステップが、前記数を、主固有値と前記最大値の間の前記比に１をプラスした数として決定するステップを含むことである。

有利にも、本方法は、どのキーポイントのマッチがもっとも正しそうなキーポイントのマッチであるかを、前記正しいキーポイントのマッチ数に等しい数であって、絶対値がもっとも高い前記主固有ベクトルの要素の数を識別することによって、識別するステップをさらに含む。

好ましいのは、前記複数の第１の距離の比が、前記第１のキーポイントのペアの間の距離と、第１のキーポイントのペアとマッチする前記第２のキーポイントの対応するペアの間の距離との比の対数に対応することである。

好ましいのは、前記パラメータ（β）が、前記離散化されたアウトライア密度関数上への前記ヒストグラムの投影の結果であることである。

本発明の別の態様によれば、第１の画像を第２の画像と比較するための装置は、第１の画像中の第１のキーポイントおよび第２の画像中の第２のキーポイントを識別するように構成される第１の識別ユニットと；各第１のキーポイントを対応する第２のキーポイントと関連付けることによって、第１のキーポイントと第２のキーポイントの間のマッチを形成するように構成される関連付けユニットと；複数の第１の距離の比を算出するように構成される算出ユニットであって、各第１の距離の比は、前記第１のキーポイントのペアの間の距離と、第１のキーポイントのペアとマッチする前記第２のキーポイントの対応するペアの間の距離との比に基づく、算出ユニットと；それぞれが第１の距離の比の値の各々の区間に対応する、複数の順序付けられたビンを有するヒストグラム中の前記算出された複数の第１の距離の比の値の分布を調整するように構成される調整ユニットであって、前記ヒストグラムは、各ビンについて、値が各々の区間内に含まれる分布の第１の距離の比の対応する数を数え上げる、調整ユニットと；第１および第２の画像中のキーポイントのペアのランダム選択に対応する複数の第２の距離の比の統計的な分布を表すアウトライア密度関数を生成するように構成される生成ユニットであって、前記複数の第２の距離の比は、第１の画像中の第１のキーポイントのペアの間の距離と、第２の画像中のランダムに選択された第２のキーポイントの対応するペアの間の距離との比に基づく、生成ユニットと；各ビンについて、対応するアウトライア確率密度値を生成することによって、前記アウトライア密度関数を離散化するように構成される離散化ユニットとを含む。本装置は、正しいキーポイントのマッチ数を決定するように構成される決定ユニットであって、各マッチは、第１および第２の画像中に描写された同じ物体の同じポイントに対応する第１のおよび第２のキーポイントによって形成され、前記決定ユニットは、行列を決定するように構成される第１の決定サブユニットであって、前記行列の各要素が、キーポイントのマッチの各々のペアに対応し、且つキーポイントのマッチの各々のペアの距離の比を含むビンでのヒストグラムの値と、前記ビンに対応するアウトライア確率密度値との間の差に対応する値を有し、前記アウトライア確率密度値は、パラメータ（β）によって重み付けられる、第１の決定サブユニットと；該行列の主固有ベクトルが、キーポイントのマッチのペアが正しいキーポイントのマッチである場合、第１の値の要素を含み、且つキーポイントのマッチのペアが間違っているキーポイントのマッチである場合、第２の値の要素を含むベクトル（ｒ）に等しくなるように、パラメータ（β）の値を決定するように構成される第２の決定サブユニットと；正しいキーポイントのマッチ数を、前記主固有ベクトルに関連付けられた主固有値の式として決定するように構成される第３の決定サブユニットとを含む、決定ユニットをさらに含む。本装置は、決定された正しいキーポイントのマッチ数を活用して、前記第１の画像を前記第２の画像と比較するように構成される、比較ユニットをさらに含む。

好ましいのは、本装置が、どのキーポイントのマッチがもっとも正しそうなキーポイントのマッチであるのかを、前記正しいキーポイントのマッチ数に等しい数であって、絶対値がもっとも大きい前記主固有ベクトルの要素の数を識別することによって識別するように構成される識別ユニットをさらに含むことである。

本発明のさらなる態様では、質問画像を受け取り、前記画像中の対応する第１のキーポイントを識別するように構成されるキーポイント検出ユニットと；対応する第１の局所記述子によって、前記第１のキーポイントの局所的な特色を記述するように構成される特徴計算ユニットと；複数の基準画像を格納する基準データベースであって、前記基準データベースは、各基準画像について、対応する第２のキーポイントおよび第２のキーポイントの対応する第２の局所記述子をさらに格納する、基準データベースと；基準画像の少なくとも１つの群の各基準画像について、第１の局所記述子を前記基準画像の第２の局所記述子と比較し、それに応じて第１のキーポイントを前記基準画像の第２のキーポイントと関連付けて、キーポイントのマッチの対応するセットを生成するように構成される特徴マッチングユニットと；特徴マッチングユニットによって実行された比較に基づき、基準図のサブセットを選択するように構成される選択ユニットと；質問画像およびサブセットの基準画像を含む各ペアについて、上記に述べた装置を使用することによって、正しいキーポイントのマッチ数を算出するように構成される最適化ユニットとを含むシステムが提供される。

好ましいのは、本システムが、視覚探索サーバと、ネットワークを通じて質問画像を視覚探索サーバに提供するように構成される複数の端末とを含み、視覚探索サーバは、キーポイント検出ユニット、特徴計算ユニット、基準データベース、特徴マッチングユニット、選択ユニットおよび最適化ユニットを含むことである。

好ましいのは、本システムが、視覚探索サーバと、ネットワークを通じて質問画像を視覚探索サーバに提供するように構成される複数の端末とを含み、視覚探索サーバは、基準データベース、特徴マッチングユニット、選択ユニットおよび最適化ユニットを含み、各端末は、各々のキーポイント検出ユニットおよび各々の特徴計算ユニットを含むことである。

好ましいのは、本システムが、視覚探索サーバと、ネットワークを通じてデータを視覚探索サーバと交換するように構成される複数の端末とをさらに含み、視覚探索サーバは、基準データベースを含み、各端末は、各々のキーポイント検出ユニット、各々の特徴計算ユニット、各々の特徴マッチングユニット、各々の選択ユニット、各々の最適化ユニットおよび各々の局所データベースを含み、各端末は、第２のキーポイントおよび基準データベース中に格納された第２のキーポイントの対応する第２の局所記述子の各々のセットを視覚探索サーバから受け取るように構成され、端末の局所データベースは、前記第２のキーポイントおよび第２の局所記述子の受け取ったセットを格納するように構成され、前記格納された第２のキーポイントおよび第２の局所記述子のセットは、基準画像の少なくとも１つの群の基準画像に対応することである。

本発明のさらなる態様によれば、画像を読み出すための方法は、質問画像を受け取り、前記画像中の対応する第１のキーポイントを識別するステップと；前記質問画像を複数の基準画像と比較するステップであって、第２のキーポイントは、各基準画像と関連付けられ、それによって第１のキーポイントを前記基準画像の第２のキーポイントと関連付けて、キーポイントのマッチの対応するセットを生成する、比較するステップと；前記質問画像と前記複数の基準画像のそれぞれとの間の正しいキーポイントのマッチ数を、上記に述べた本方法に基づき決定するステップと；基準画像のサブセットを、正しいキーポイントのマッチ数が、それについて予め定めた閾値を超える基準画像として選択するステップとを含む。

本発明のこれらおよび他の特徴および利点は、添付図面とともに読む、本発明のいくつかの例示的な、非限定的な実施形態の次の記述によって明らかにする。

２つの画像のキーポイントが互いに関連付けられて、キーポイントのマッチを形成する実施例を例示する図である。インライアだけが描写された、図１Ａの実施例を例示する図である。図１Ａの実施例に対応するＬＤＲヒストグラムを例示する図である。本発明の一実施形態によるアウトライア密度関数の形状を例示する図である。チューリッヒのビルの画像データベースから取った画像のペアから生成されたＬＤＲヒストグラムの実施例を例示する図である。チューリッヒのビルの画像データベースから取った画像のペアから生成されたＬＤＲヒストグラムの実施例を例示する図である。チューリッヒのビルの画像データベースから取った画像のペアから生成されたＬＤＲヒストグラムの実施例を例示する図である。チューリッヒのビルの画像データベースから取った画像のペアから生成されたＬＤＲヒストグラムの実施例を例示する図である。チューリッヒのビルの画像データベースから取った画像のペアから生成されたＬＤＲヒストグラムの実施例を例示する図である。チューリッヒのビルの画像データベースから取った画像のペアから生成されたＬＤＲヒストグラムの実施例を例示する図である。質問画像および基準画像が、極めて異なる角度から見た同じ平面状の物体を描写する例示的な場合を例示する図である。見る角度の差がほどほどで、ほぼ平面状の物体を示す例示的な場合を例示する図である。見る角度の差がほどほどで、ほぼ平面状の物体を示す例示的な場合を例示する図である。本発明の方法の主なステップを例示するフローチャートである。本発明の方法によって実行された実験の結果を示す図である。本発明の方法によって実行された実験の結果を示す図である。本発明の方法によって実行された実験の結果を示す図である。本発明の方法によって実行された実験の結果を示す図である。本発明の方法によって実行された実験の結果を示す図である。本発明の方法によって実行された実験の結果を示す図である。視覚探索サービスを実現するために、本発明の一実施形態による方法を活用することができる、可能なシナリオを概略的に例示する図である。本発明の一実施形態による、視覚探索サービスを実現するシステムを例示する図である。本発明のさらなる実施形態による、視覚探索サービスを実現するシステムを例示する図である。本発明のまたさらなる実施形態による、視覚探索サービスを実現するシステムを例示する図である。本発明の一実施形態による自動的なビデオカメラ較正方法の主なステップを例示するフローチャートである。

上記で既に述べたように、２つの画像の間の比較には、第１の画像のキーポイントを第２の画像の対応するキーポイントとマッチさせるステップが設けられる。キーポイントのマッチは、２つの画像の対応するキーポイントが同じ物体（２つの画像の両方中に描写された）の同じポイントに対応する場合、正しい（インライア（ｉｎｌｉｅｒ））と言われ、反対に、キーポイントのマッチは、２つのキーポイントが同じ物体の同じポイントに対応しない場合、間違っている（アウトライア（ｏｕｔｌｉｅｒ））と言われる。各画像が同じ物体（教会）の写真である、図１Ａに例示した実施例では、各キーポイントのマッチは、各々の実線を用いて描写されている。図１Ａの例示的な場合に例示したキーポイントのマッチは、インライアとアウトライアの両方を含む。アウトライアが除去された、同じ例示的な場合のバージョンをその代わりとして図１Ｂに描写している。

本明細書の下記で、画像比較方法を述べることにする。提案する方法は、キーポイントのマッチの対応するセットを形成するために、基準画像として参照される第２の画像に対して生成されたキーポイントの対応するセットに関連付けられる、質問画像または単に質問として呼ばれる第１の画像に対して生成されたキーポイントのセットから始めて、いくつのキーポイントのマッチが、キーポイントのマッチのセット全体の間でインライアであるのかを評価し、また、特に、どのキーポイントのマッチがインライアであり、どのキーポイントのマッチがアウトライアであるのかを識別することができる。

本明細書の章１では、本方法で使用する具体的な統計量の性質と、間違っているマッチと正しいマッチの両方に関するログ距離比の概念とを紹介する。それに続く２つの章（章２〜３）では、提案する方法のステージにおける数学的および統計的な側面を開示する。章４では、本方法のステージの主なステップを開示する。最後の章（章５）は、提案する方法の例示的な用途を対象とする。

章１−対数の距離の比
Ｎ個のマッチしたキーポイント（マッチ）のセットを考える。

ただし、ｘ_ｉは、質問画像中のｉ番目のキーポイントの座標を含み、ｙ_ｉは、基準画像中のそのマッチするキーポイントの座標を含む。ペア（ｘ_ｉ、ｙ_ｉ）は、２つのキーポイントが正しくマッチした場合、インライアと呼ばれる。反対に、ペアは、キーポイントが間違ってマッチされた場合、アウトライアと呼ばれる。数Ｎは、通常、最初に実施されたマッチング処理の結果である。Ｎの典型的な値は、５と５００の間の範囲であり、好ましくは２０と４００の間の範囲である。マッチ数が上記の閾値を超えた場合、またはそうでなく、本発明によるインライア選択処理を実施するのに必要な計算リソースと比べると相対的に大きいと高く評価される場合、当業者は、本発明の方法を実行するために使用されるマッチ数をＮ‘＜Ｎとして選択することによって、減少させることができる。

提案する方法は、上記で引用されたＴｓａｉ他による論文中に提案されている、いわゆるログ距離比（略してＬＤＲ：ｌｏｇｄｉｓｔａｎｃｅｒａｔｉｏ）を使用する。

キーポイントは、相異ならねばならない、すなわち、

そして、ＬＤＲは、ｉ＝ｊの場合、無定義である。ＬＤＲは、長さ比の関数であり、相似に対して不変量である。対数演算子のおかげで、質問画像が基準画像と取り替えられた場合（ｘがｙになる、逆もまた同様）、ＬＤＲは、符号が逆になる。

質問画像上にＮ個のキーポイントｘ_ｉおよび基準画像上にＮ個の対応するキーポイントｙ_ｉを含む、Ｎ個のマッチしたキーポイント（ｘ_ｉ、ｙ_ｉ）のセットを考えると、相異なるログ距離比の数、

が存在する。そのようなログ距離比の統計的分布は、対応するヒストグラムの形態で表され、本明細書では「ＬＤＲヒストグラム」と言う。ＬＤＲヒストグラムは、配列

によって表示することにする。ｈは、以降ビンとして参照する、Ｋ個の予め定義した区間Ｔ_１、・・・、Ｔ_Ｋのそれぞれ内に含まれる、観測されたログ距離比をカウントしたとき生じる頻度の配列である。たとえば、そのようなビンは、幅が０．２に等しい、下側値−２．５と上側値２．５の間の２５個の区間とすることができる、すなわち、

である。

図１Ａの場合に対応するＬＤＲヒストグラムの実施例は、図１Ｃに例示する。

なお、ｈ中の要素のすべての和は、ｎ＝Ｎ（Ｎ−１）／２であり、マッチの相異なるペア数である。ｈは、あたかもそれが、確率密度関数ｐｚ（ｚ）を有し、キーポイントのマッチの様々なペアのＬＤＲを表すランダム変数Ｚのｎ個の値を測定することによって得られたかのように、見なすことができる。ｐｚ（ｚ）は、総合密度関数と呼ぶことができる。このようにして、ＬＤＲヒストグラム中のビンにわたる期待値は、

ただし、ｐｚ，_ｋは、ＬＤＲ値が区間Ｔｋ内に入る確率である。ｐｚ，_ｋの最大尤度推定値は、観測数によって割られたヒストグラム値である、

たとえばＲ．Ｊ．ＬａｒｓｅｎおよびＭ．Ｌ．Ｍａｒｘによる「ＡｎｉｎｔｒｏｄｕｃｔｉｏｎｔｏＭａｔｈｅｍａｔｉｃａｌＳｔａｔｉｓｔｉｃｓａｎｄｉｔｓＡｐｐｌｉｃａｔｉｏｎｓ（数理統計学およびその応用概論）」、ニュージャージー、ページ３３８、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ社、第２版、１９８６年を参照されたい。

１．１ヒストグラムおよび確率密度関数の２つの成分
キーポイントのマッチのペアは、２つのカテゴリに整理される、つまり、両方のマッチがインライアである、あるいは、それらの少なくとも１つがアウトライアである（この第２のカテゴリは、混合したアウトライアのペアと呼ぶことにする）。したがって、ヒストグラムは、２つの成分の和であり、それぞれが、１つのカテゴリ中のペアに関する観測されたＬＤＲ値による。インライアのペアに関するヒストグラム成分は、ｈ_ｉｎ＝｛ｈ_ｉｎ（１）、．．．、ｈ_ｉｎ（Ｋ）｝によって表示され、混合したアウトライアのペアに関する成分は、ｈ_ｏｕｔ＝｛ｈ_ｏｕｔ（１）、．．．、ｈ_ｏｕｔ（Ｋ）｝によって表示される。
そのとき、
ｈ（ｋ）＝ｈ_ｉｎ（ｋ）＋ｈ_ｏｕｔ（ｋ）、ｋ＝１、．．．、Ｋ．（５）
である。

ＬＤＲの統計は、次の章で議論するように、カテゴリによって決まる。ＬＤＲヒストグラムについてと同じように、総合確率密度関数は、２つの条件付き確率密度の和として書かれる。Ｐ_ｉｎが、所与のペアが２つのインライアを含む確率を表示し、そしてＰ_ｏｕｔが、ペア中に少なくとも１つのアウトライアが存在する確率を表示するとしよう。条件付き確率密度関数は、インライアのマッチに関してはｐ（ｚ｜ｉｎ）によって表示され、混合したアウトライアのマッチに関してはｐ（ｚ｜ｏｕｔ）によって表示されることになる。そのとき、ｚに関する総合密度関数は、和、
ｐ_Ｚ（ｚ）＝Ｐ_ｉｎｐ（ｚ｜ｉｎ）＋Ｐ_ｏｕｔｐ（ｚ｜ｏｕｔ）（６）
になる。

方程式４で示すように、右側の項は、積分して、２つのヒストグラム成分の期待値を得ることができる。

確率密度関数およびその積分Ｅ（ｈ（ｋ））、Ｅ（ｈ_ｉｎ（ｋ））、Ｅ（ｈ_ｏｕｔ（ｋ））は、有用な抽象概念である。観測された量だけがＬＤＲヒストグラムであるが、しかし、それは、総合密度関数についての情報を提供する。次の原理が、方程式４の最大尤度推定に沿って、適用される。

総合密度関数ｐｚ（ｚ）は、期待されるＬＤＲヒストグラムが観測されたＬＤＲヒストグラムに等しくなるようなものである。

したがって、
ｈ（ｋ）＝Ｅ（ｈ（ｋ））＝Ｅ（ｈ_ｉｎ（ｋ））＋Ｅ（ｈ_ｏｕｔ（ｋ））、ｋ＝１、．．、Ｋ．（９）
である。

次の章では、両方のカテゴリに関する条件付き確率密度関数を議論する。

１．２条件付き確率
ＬＤＲは、２つの通則的なキーポイントペア、すなわち（ｘ_ｉ、ｙ_ｉ）および（ｘ_ｊ、ｙ_ｊ）の関数である。３つの可能な条件が生じる可能性がある、すなわち、両方のペアがアウトライアである、両方がインライアである、あるいは、１つのペアがインライアであり、さらに他のペアがアウトライアであるという条件である。

１．２．１両方のペアがアウトライアであるときのＬＤＲ
マッチング処理は、画像中の風景の幾何形状についてのどのような知識によっても制約されない、というのは、そのような知識は、マッチングを実行する前には得ることができないからである。たとえ２つの画像が同じ物体を示すとしても、誤りのあるマッチを防止するメカニズムは、存在しない。２つの画像が、同じまたは極めて類似した物体を示していない場合、どのようなマッチングも間違っていると見なすべきである。

たとえマッチング処理が決定論的なものであるとしても、間違ってマッチしたキーポイントの位置は、予測できない。一般に、アウトライアに関して何らかの幾何形状的なパターンを見つけることは、不可能であり、そのようなパターンをそれによって推測できるかもしれない、第１級の原理は、まったく存在しない。したがって、間違っているマッチングは、ランダムプロセスとして見なされ、アウトライアの振る舞いは、アウトライア密度関数として参照する、適切な密度関数によってモデル化される。

アウトライア密度関数の定義
ＡおよびＢを長方形としよう。ポイント、

および

は、ランダムに取り出された、ランダム変数、Ｘｉ、ＸｊおよびＹｉ、Ｙｊに対応すると仮定する。ランダム変数ＺをＬＤＲとすると、

である。

アウトライア密度関数は、Ｚに関する確率密度関数ｆ_Ｚ（ｚ）であり、それは、条件付き確率密度関数として使用することにする。

アウトライア密度関数は、２つのタイプ、つまり正規の、および一様なキーポイント分布について表すことができる。

正規に分布したキーポイント座標
キーポイントが正規に分布しているという仮定は、アウトライア密度関数の簡単な公式化をもたらし、それは、実ケースを良好に近似する。

質問画像のキーポイントが独立であって、同一に分布しており（ｉ．ｉ．ｄ．）、そして正規に分散して平均がμで分散が（１／２）Ｉであるランダム変数Χとして振る舞うと仮定する。

座標は、キーポイントが画像全体にわたって分散するように、適切にスケーリングされていると仮定する（なお、分散は、水平および垂直の方向で同じである）。それゆえ、２つのキーポイントの間の差は、また正規分布を有する。

基準画像中のキーポイント｛Ｙ_ｎ｝は、｛Ｘ_ｎ｝と同じ統計を有し、キーポイントＸ_ｎは、キーポイントＹ_ｎとマッチしていると仮定する。それゆえ、二乗した距離の比は、（２、２）の自由度を備えるＦ−分布を有し、

たとえば、Ｒ．Ｊ．ＬａｒｓｅｎおよびＭ．Ｌ．Ｍａｒｘによる「ＡｎｉｎｔｒｏｄｕｃｔｉｏｎｔｏＭａｔｈｅｍａｔｉｃａｌＳｔａｔｉｓｔｉｃｓａｎｄｉｔｓＡｐｐｌｉｃａｔｉｏｎｓ（数理統計学およびその応用概論）」、ニュージャージー、ページ３３８、Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ社、第２版、１９８６年に示されている。

確率密度関数Ｆ（２、２）は、

である。ただし、方程式１２のランダム変数

に関するシンボルは、簡単化のために、Ｓと置き換えている。ログ距離比を考えているので（二乗した距離の比でない）、平方根および対数が、ランダム変数

に適用される。さらにまた、２つの画像のサイズが異なることを、または２つの画像中のキーポイントの広がりが異なることを説明するために、関数は、２つの画像中のキーポイントの標準偏差の比に対応するパラメータα、すなわち、

をランダム変数に掛けることによって、そのようなケースに拡張される。Ｆ（２、２）確率密度関数に対するこれらの修正によって、次のアウトライア密度関数がもたらされる。

アウトライア密度関数
２つの画像がランダムなキーポイント｛Ｘ_ｎ｝および｛Ｙ_ｎ｝を有するとしよう、それゆえ、そのすべては、二変数の正規分布を有し、第１の画像中の分散が

であり、第２の画像中の分散が

である。α^２を分散の比とすると、

である。

出願人らは、ログ距離比が確率密度関数、

を有すると決定した。

α＝２の場合のアウトライア密度関数の形状は、図２に例示する。このアウトライア密度関数は、長方形の画像のアスペクト比を説明していない、というのは水平および垂直の方向の分散が同じであると仮定しているからであることに留意しなければならない。

図３Ａ〜３Ｆは、いくつかの実施例を例示し、それぞれが、チューリッヒのビルの画像データベース（１００５の画像からなり、それぞれが、５つの図で、２０１個のビルを含む）から取った画像の各々のペア（質問画像−基準画像）を示す。キーポイントは、円によって示し、さらにラインによって、他の画像中のマッチしたキーポイントの位置を指し示す。各画像のペアについて、方程式１５の公式化の形でＬＤＲヒストグラムおよび対応するアウトライア密度関数を例示する。キーポイントのマッチのすべては、アウトライアとして見なさなければならない、というのは画像が異なるビルを示しているからであることに留意すべきである。これらの実施例から、アウトライア密度関数は、すべてのマッチがアウトライアであるときはいつも、ＬＤＲヒストグラムをうまく近似すると見なすことができる。

また、「離散化されたアウトライア密度関数」の概念を導入する。

ビン、すなわちＬＤＲヒストグラムを構成するために使用されるＬＤＲ値に関する区間を

によって表示しよう。離散化されたアウトライア密度関数は、確率値が、各ｋ番目のビンでは、そのビンにわたるアウトライア密度関数の積分

に等しくなるように、確率値をＫ個のビン

のそれぞれに割り当てる。ただし、各値ｆ（ｋ）は、「アウトライア確率」と呼ばれる。

１．２．２両方のペアがインライアであるときのＬＤＲ
一般に、キーポイントのマッチのすべてがインライアである場合、ＬＤＲヒストグラムは、アウトライアに関するＬＤＲヒストグラムと極めて異なることがしばしばである。多数の実際的なケースでは、インライアだけのＬＤＲヒストグラムは、アウトライアだけのＬＤＲヒストグラムより狭い、すなわち、それは、ＬＤＲアウトライアヒストグラムがゼロでないところで、いくつかのビンにわたってゼロに等しい（具体的には、横方向のビン）。

２つの画像中の関連付けられたキーポイントｘ_ｉおよびｙ_ｉは、見た物体上の同じポイントのマッピングによって関係付けられるので、ＬＤＲヒストグラムの上側および下側の限界を、確率的なモデル化を使用する代わりに考えると、都合がよい。１つの画像中の２つの相異なるキーポイントは、互いに対して極端に接近することは決してない、少なくとも画像の１つ中だけではないと仮定する。それゆえ、極めて大きくもなく、極めて小さくもない（どれくらい長さを、２つの画像の間で圧縮する、拡張することができるのかによって決まる）、数ａおよびｂが存在し、したがって、

である。この場合、ＬＤＲは、区間に

に制限される。

また、平面状の表面の画像のほとんどの結合では、キーポイントの間の距離は、極めて大きく圧縮されず、拡張もされない。スケール不変特徴変換ＳＩＦＴ（Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）および迅速なロバスト特徴ＳＵＲＦ（ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）のような特徴が、相似変換に対して不変であるが、しかしアフィン変換に対してそうではなく、いうまでもなくホモグラフィーに対してもそうでない。これは、

が理論的には広くなる可能性があるかもしれないように、射影歪みがそれほど厳格である場合、極端なＬＤＲ値を生じるかもしれないキーポイントが、関連付けられないことになる、というのはそれらの特徴が異なる記述子を有することになるからであることを意味する。その結果として、正しく関連付けられたキーポイントに関するインライアのヒストグラムは、比較的狭い区間中に留まりそうである。

図４は、質問画像および基準画像が、極めて異なる角度から見た（問題の実施例では、−７５および０度である）、同じ平面状物体（長方形）を描いている例示的な場合を例示する。図４の底部の図は、前記画像ペアから算出されたＬＤＲヒストグラムおよびアウトライア密度関数を描いている。

図５Ａおよび５Ｂは、ほぼ平面状物体（ビルの面）が、見る角度の差が適度である状態で示されている、２つの例示的な場合を例示する。図５Ａおよび５Ｂの底部の図は、対応するＬＤＲヒストグラムおよびアウトライア密度関数を描いている。

１．２．３ペアが両方のタイプであるＬＤＲ
第３の代替実施形態は、ペアｘ_ｉ、ｙ_ｉがインライアであり、ペアｘ_ｊ、ｙ_ｊがアウトライアである（または、その逆も同様）場合を提示する。この場合もまた、１つの画像中のキーポイントは、ランダムに分布すると仮定する、というのは未知の画像中に含まれるキーポイントの場所を制約する、どのような幾何形状的なパターンまたはルールも事前に知ることはできないからである。

したがって、各キーポイントは、たとえば方程式１０中のような正規分布を有するランダム変数によって表すことができる。２つのキーポイントの間の差ベクトルは、方程式１１で示すようにモデル化される、というのは一方がインライアと考えられ、他方がアウトライアと考えられ、そしてそれらの間に相関が存在することができない。

しかし、方程式１２のＦ−分布は、厳密には成り立たない、というのは分子および分母が、Ｆ−分布に対する前提に反して、独立でないからである。インライア／アウトライアのペアの場合のキーポイントは、

である。ただし、πは、一方の画像中のインライアのキーポイントの他方の画像上へのマッピング（未知ではあるが）である。二乗した距離の比を表すランダム変数は、この場合、

になるはずである。ただし、分子および分母は、疑いもなく、独立でない、というのは、両方が、Ｘ_ｊの関数であるからである。方程式１２中の変数に関する確率密度関数を見つけ出すことは、極めて困難であるが、しかし提案する方法が関与する限り、それは、必要でないかもしれない。経験によると、わずかな誤差で、これら２つの場合（インライア／アウトライアのペアと対照的なものとして両方のインライアペア）に関するＬＤＲのヒストグラムを、同じモデル確率でモデル化、すなわち方程式１５のアウトライアモデル関数にすることが可能であると仮定できる。

１．３アウトライアに関する非パラメトリック確率密度関数
アウトライアに関する対数の距離の比は、２つのランダムなラインセグメントの長さの比（その比の対数）として見なすことができる。アウトライアが予測できないマッチング誤差によって形成されるので、ラインセグメントの終点は、独立のランダム変数としてモデル化される。さらに、１つの画像内の終点は、同一に分布する。前に、終点が平面上に正規分布を有すると考えたが、ここでは、終点がキーポイント（正しさにかかわらず、マッチング後に残されたそれら）のセットに限定されるという仮定に基づく、代替のアウトライア確率密度関数を導入する。この代替処置の目標は、アウトライアに関するＬＤＲヒストグラムのピークをよりうまく識別することである。多くの場合、これは、画像を比較してインライアを見つけ出すための性能を向上させることができる。

すべてのラインセグメントが等しいように起こりそうであると仮定すると、

である。ただし、Ａ、Ｂは、一方の画像中の終点に関するランダム変数を表示し、Ｃ、Ｄは、他方の画像中の終点に関するランダム変数を表示する。ランダムなＬＤＲは、差、

として表すことができ、したがって２つの項のそれぞれに関して別々に確率を推定することができる。この目的のために、ビンが拡張されたセット、

のサブセットを、インデックスを

、ただしｋ＝１、．．．、Ｋ、のように並べて形成するように、ヒストグラムのビンへの拡張を導入する。

ラインセグメントに関するすべての可能な終点を考慮することによって、項が所与のビン内に含まれる確率を推定することができ、

および

である。関数νは、引数（たとえば

）が真であるとき、１であり、それが偽であるとき、０である。ビンは、

であるような、スカラーの量子化器ｑ、

を必然的に含む。量子化器は、方程式１９中の項を整数値のランダム変数に変換する。第１の項は、離散的な確率関数、

を有する

になり、そして第２の項は、離散的な確率関数、

を有する、

になる。差に関する離散的な確率関数は、差に関する畳み込み公式、

によって得られる。方程式２０中の関数は、離散的なアウトライア確率密度関数の代替の公式化として使用することができる。

章２−インライアのカウントおよび識別
２．１アウトライアノーマル（ｏｕｔｌｉｅｒｎｏｒｍａｌ）
提案する方法に基づき、ここで、ＬＤＲ値を解析することによって、インライアのマッチを識別する方法を述べる。正しいインライアセットを期待値として生じる、スペクトルのクラスタ化（ｃｌｕｓｔｅｒｉｎｇ）アルゴリズムが開発されている。

方程式２のＬＤＲは、キーポイントのマッチの各結合について知られている。

所与のＬＤＲ値がインライアのマッチのペアを表しているのかどうかについての情報を知らせる関数は、出願人が探し求めてきたものである。出願人は、計算するのに安価であるアルゴリズムによってインライアのマッチの識別を可能にする関数が、形態、

を有すべきであることを見出した。ただし、ｐ_ｚ（ｚ）は、キーポイントのマッチの様々なペアのＬＤＲを表す総合確率密度関数であり、ｆ_ｚ（ｚ）は、アウトライア確率密度関数であり、αはパラメータである。ＬＤＲヒストグラムのビンにわたって積分することによって、ｋ（ビンのインデックス）の関数、

が得られる。

第１の項は、ビンＴｋ中の総合ＬＤＲヒストグラムの期待値に比例する。第２の項中のアウトライア確率密度関数の積分は、ｆ（ｋ）として書くことができる。

方程式２３は、ここで、

として書くことができる、というのは、総合確率密度関数は、ヒストグラムがその期待値に等しいようにするものであると仮定できるからである。ｄ（ｋ）＝ｎｇ（ｋ）およびβ＝ｎαを代入することによって、インライアを識別するために使用することになる関数、

が、最終的に得られる。

２．２インライア証拠行列
方程式２１および２６は、インライア証拠行列と呼ぶ、極めて有用な行列を生じる。リンク（ｌｉｎｋ）が、量子化ｑによって与えられ、ヒストグラムのビンに包含され、それは、ＬＤＲ値をインデックスにマッピングする。

そのとき、方程式２１のＬＤＲ値は、要素（ｉ、ｊ）中に値ｚ_ｉｊを有する行列

中で整理される。その対角は、任意にゼロに固定される。そのとき、Ｚは、同じサイズの行列Ｄにマッピングされ、したがって、

ただし、対角の値は、やはりゼロに設定される。これは、インライアを明らかにするために解析されることになる行列である。次の事項では、ｄ_ｑが、合成

の代わりに書かれることになる。

アルゴリズムを開発するために、Ｄ中の非対角の要素中の量子化されたＬＤＲ値は、あたかもそれらが独立のランダム変数の値であるかのように見なされる。これらの変数はいずれも、２つの密度関数、つまり１つがマッチのインライアのペアに関するものであり、１つがマッチの混合した／アウトライアのペアに関するものである、のうちの１つによって特徴付けられる。インライアのマッチのペアをモデル化するために、独立であり、同一に分布し、その条件付き密度関数がｐ（ｖ｜ｉｎ）（方程式１５参照）であるランダム変数

が、

のように定義される。ただしｋ＝ｑ（Ｖ_ｉｊ）である。確率密度関数ｐ（ｖ｜ｉｎ）は、無定義のままである。

同様に、アウトライアの、または混合したペアに関して独立であって同一に分布した（ｉ．ｉ．ｄ．）変数

は、密度関数がアウトライア密度関数ｐ（ｚ｜ｏｕｔ）＝ｆ_Ｚ（ｚ）によって与えられて、

として定義される。ただしｆは、方程式２５の離散的な確率密度関数である。どのペアがインライアであり、どのペアが混合した、またはアウトライアのペアであるのかを確立することが可能である場合、上記の定義によって、ランダムな行列Ｆが生成され、その要素（その対角の要素はゼロである）が、

である。

２．３固有値および固有ベクトルによって明らかにされるインライア
目標は、

になるようにベクトル

として定義される、真のインライア表示子ベクトルを決定することである。

出願人は、βの具体的な選択のために、Ｆに対する期待値の主固有ベクトルが、真のインライア表示子ベクトルと同一であることに注目してきた。さらにまた、出願人は、観測された行列Ｄが、インライアを識別するために使用することができるように、インライア表示子ベクトルに極めて類似する主固有ベクトルを有することに注目してきた。

具体的には、β（方程式２６の）は、期待される積Ｆｒがインライアベクトルｒ自体に比例するように決定される。

まず、積Ｆｒの特別の場合を調べる。

５個のキーポイントのペアが存在し、インライア表示子ベクトルが、

であることを仮定する。

第１の、第２の、および第４の要素が、インライアのマッチを示す。行列Ｆは、次のようである。

積は、

である。

積Ｆｒ中のいくつかの要素、すなわち１、２および４のうちのいずれの行ｉについても２つの項の和であり、Ｆ_ｉｉのゼロには要素ｒ_ｉ＝１が掛けられ、それゆえ結果として生じる内積の項は「落とされる」。行ｉ＝３およびｉ＝５について、Ｆ中の対角のゼロにはｒ_ｉ＝０が掛けられ、Ｆの行中の非ゼロの要素にはすべて、表示子ｒ中の非ゼロの要素が掛けられ、それゆえどの項も落とされない。

一般の場合では、ｍ個のインライアが存在すると仮定する。ベクトルＥ（Ｆｒ）中のｉ番目の要素は、Ｆのｉ番目の行とベクトルｒの内積の期待値である。ｉ番目のマッチがインライアのペアである場合、Ｆ中の行は、対角を除き、ｒの非ゼロの位置（インライア位置）にｄ_ｑ（Ｖ_ｉｊ）を含み、それゆえ、それは、ｍ−１個の要素の和である。ｉ番目のマッチがアウトライアである場合、この内積は、ｍ個の要素ｄ _ｑ（Ｚ_ｉｊ）の和である。Ｖ_ｉｊが同一に分布しているので、期待値は、（ｉ、ｊ）に依存しない、すなわちＥ（ｄ_ｑ（Ｖ_ｉｊ））＝Ｅ（ｄ_ｑ（Ｖ））である。同じ理由で、Ｅ（ｄ_ｑ（Ｚ_ｉｊ））＝Ｅ（ｄ_ｑ（Ｚ））である。

上記の式が２つの値だけを有するということは、固有ベクトルｒが真のインライア表示子であるということと互換性がある。
パラメータβ
まず、Ｆ中のアウトライア行に関してＥ（Ｆｒ）中の期待される要素を考える。この要素の期待値は、

に比例する。

ここで、この要素がゼロに等しい（それは、μｒ中の対応する要素の値である）という条件を課すことにすると、

になる。

出願人は、方程式３８が、重要な結果であることに、すなわちファクタβが、総合ＬＤＲヒストグラムを離散化されたアウトライア確率密度関数上に投影することから生じることに注目してきた。したがって、方程式２６の項βｆ（ｋ）は、ヒストグラムのアウトライア成分と呼ぶことができる。関数ｄ（ｋ）は、アウトライア成分に対して直交し、それゆえ名をアウトライアノーマルとする（「表面ノーマル（ｓｕｒｆａｃｅｎｏｒｍａｌ）」が表面に対して垂直なベクトルとするのと同じように）。

これは、固有ベクトルｒの要素の２つの値の一方がゼロであることを立証する。固有ベクトルｒの要素の他の値は、方程式３５によって一定値である。それゆえ、固有ベクトルｒは、真のインライア表示子ベクトルである。
インライア数
ここで、Ｆ中のインライア行に関してＦｒ中の期待される要素を考える。この要素は、μに、すなわちμｒ中の対応する要素の値に等しくなければならない。期待値、

を考えることから始める。ただしビンＴ_ｋにわたるインライア確率密度関数の積分をｐ（ｋ｜ｉｎ）によって表示する。これは、インライア数の式、

をもたらす。

この方程式中に見られる分母は、未知のままである、というのは、積分された確率密度関数ｐ（ｋ｜ｉｎ）（方程式３９参照）が得られないからである。出願人は、この未知の分母Ｅ（ｄ_ｑ（Ｖ））をアウトライアノーマルｄ（ｋ）（方程式２６）の最大値と置き換えることを提案する。

この値は、知られている、というのは項のすべて、すなわちＬＤＲヒストグラムｈ、投影係数βおよび積分したアウトライア確率密度関数ｆが利用できるからである。

が得られる。

出願人は、この数

が、インライア数ｍをわずかに低く見積もっていると裁定している。具体的には、出願人は、たとえ計算に使用する行列Ｄの統計的な性質に、且つ同じ行列Ｄの次数Ｎが制限されていることに関係するノイズが存在しても、固有ベクトルｒの

のもっとも大きい要素に対応するキーポイントのマッチとしてインライアを選択すると、アウトライアに対するインライアの選択が向上されると裁定している。

主固有値
方程式３４で肯定的に仮定され、方程式４０で規定された固有値は、実際に主固有値である。

行列Ｆ中の要素ｉ、ｊの期待値は、方程式３２および３７に従って、

になる。

したがって、行列は、

として書くことができる。ただし、ｒは、方程式４２のインライア表示子ベクトルである。行列ｄｉａｇ（ｒ）は、対角上にｒを有し、他のすべての要素は、ゼロである。Ｅ（Ｆ）の固有値は、

である。

固有値μ_１は、方程式４０のμに等しい、そしてそれは、インライア数ｍが３以上である場合、主固有値である。

２．４迅速な固有ベクトル計算
ランダム行列Ｆは、インライア証拠行列Ｄに関係付けられる。行列Ｄは、行列Ｅ（Ｆ）とノイズに対応する項Ｗとの和Ｄ＝Ｅ（Ｆ）＋Ｗとして書くことができる。

出願人は、本発明の目的にはノイズ成分Ｗの存在を無視することができ、且つインライア証拠行列Ｄが計算のために活用することができると裁定している。具体的には、出願人は、インライア証拠行列Ｄが、インライア表示子ベクトルに対して極めて相似である、主固有ベクトルを有すると裁定している。したがって、インライア証拠行列Ｄの主固有ベクトルは、インライアを識別するために使用することができる。

推定したインライアは、Ｄの主固有ベクトル中のｍがもっとも大きい要素に対応する。目標は、また、いくらか精度を犠牲にしても固有ベクトル計算をできるだけ迅速なものに保つことである。主固有ベクトルを見出すための方法は、本技術分野で知られている（たとえば、Ｌ．ＴｒｅｄｅｔｈｅｎおよびＤ．Ｂａｕによる「ＮｕｍｅｒｉｃａｌＬｉｎｅａｒＡｌｇｅｂｒａ（数値線形代数）」、「ＴｈｅＳｏｃｉｅｔｙｆｏｒＩｎｄｕｓｔｒｉａｌａｎｄＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ（応用数理学会）」、１９９７年に開示されているべき乗法およびレイリー商反復法を参照）。

両方の方法は、反復的であり、主固有ベクトルの最初の推測に依存し、間に合わせの候補が、平均列であり、それは、Ｄのような行列の主固有ベクトルに対する密接な近似である。

章３−提案する方法の主なステップ
ここで、前に述べた方法の主なステップを図６に例示する。

具体的には、図６は、提案する方法の主なステップを例示するフローチャートである。

比較すべき画像、すなわちＮ個のキーポイントｘ_ｉを含む第１の画像（質問画像）およびＮ個のキーポイントｙ_ｉを含む第２の画像（基準画像）のペアから始めると仮定する。質問画像上の各キーポイントｘ_ｉは、各々のキーポイントのマッチ（ｘ_ｉ、ｙ_ｉ）を定めるために、基準画像上の対応するキーポイントｙ_ｉに関連付けられる。

次いで、相似に対して不変である距離の比の関数を使用して、キーポイントのマッチ（ｘ_ｉ、ｙ_ｉ）からの距離の比のヒストグラムが生成される。たとえば、ログ距離比（ＬＤＲ）のヒストグラムは、方程式２（ブロック６０２）を使用して、キーポイントのマッチ（ｘ_ｉ、ｙ_ｉ）から生成される。

さらなるステップでは（ブロック６０４）、アウトライア密度関数が、第１および第２の画像中でランダムに選択された第１のキーポイントと第２のキーポイントの間の距離の比を使用して算出される、方程式１５（ブロック６０４）参照。

別のステップは、たとえば方程式１５ａを前に算出されたアウトライア密度関数に適用することによって、そのアウトライア密度関数の離散化されたバージョンを得るために、前に算出されたアウトライア密度関数を離散化するステップからなる（ブロック６０６）。提案する方法の次のステップによって、いくつのキーポイントのマッチが、キーポイントのマッチの全セットの間でインライアであるのか評価し、そして任意選択で、特に、どのキーポイントのマッチがインライアであるのか、且つどのキーポイントのマッチがアウトライアであるのかを識別することが可能になる。より具体的には、提案する方法のさらなるステップ（ブロック６０８）は、行列を決定することによって、正しいキーポイントのマッチ数を決定するステップをもたらし（正しいキーポイントのマッチは、第１および第２の画像中に描写された同じ物体の同じポイントに対応する第１および第２のキーポイントから形成される）（ブロック６１０）、その行列の各要素は、キーポイントのマッチの各々のペアに対応し、且つキーポイントのマッチの各々のペアの距離の比を含むビンでのヒストグラムの値と、前記ビンに対応する離散化されたアウトライア密度関数の値との間の差に対応する値を有し、前記離散化されたアウトライア密度関数の値は、パラメータβによって重み付けられる。提案する方法は、行列の主固有ベクトルが、キーポイントのマッチのペアが正しいキーポイントのマッチである場合、第１の値の要素を有し、且つキーポイントのマッチのペアが間違っているキーポイントのマッチである場合、第２の値の要素を有するベクトルｒに等しいように、パラメータβの値を決定するステップと；前記主固有ベクトルに関連付けられた主固有値の式として、正しいキーポイントのマッチ数を決定するステップとをさらに含む。次いで、決定された正しいキーポイントのマッチ数が、前記第１の画像を前記第２の画像と比較するために活用される。

具体的には、上記に述べた方法によって決定された正しいキーポイントのマッチ数は、比較した画像が、共通の１つまたは複数の物体を有しているのかどうかを確立するために使用することができる。インライアの次の識別は、質問画像と基準画像の間の空間関係に基づく操作、たとえば２つの画像、すなわちステレオビジョン中の同じ物体の位置決め、２つの画像中の同じ物体の動きの算出などを実施するために使用することができる。

本方法は、拡張現実（ａｕｇｍｅｎｔｅｄｒｅａｌｉｔｙ）のようないくつかの用途のために使用される場合、前記正しいキーポイントのマッチ数に等しい数であって、絶対値がもっとも大きい前記主固有ベクトルの要素の数を識別することによって、どのキーポイントのマッチがもっとも正しそうなキーポイントのマッチであるのかを識別するさらなるステップを任意選択で含むことができる（ブロック６１８）。

この章で述べた本方法のステップは、適切な処理ユニットによって実行することができ、それらユニットの構造および機能は、それらの目的とするように定められた、指定された応用分野に依存する。たとえば、各処理ユニットは、本方法の１つまたは複数のステップを実施するように特に設計されるハードウェアユニットとすることができる。さらに、本方法のステップは、命令の対応するセットの制御下でプログラム可能なマシン（たとえばコンピュータ）によって実行することができる。

章４−実験結果
図７Ａは、ほぼ平面状物体（ビルの面）が、異なるズーミングで、見る角度の差をほどほどにして示されている実施例を示す。キーポイント選択ステージで識別された４５個のキーポイントが、円によって示され、さらにラインが、他の画像中のマッチしたキーポイントの位置を指し示している。

図７Ｃは、図７Ａに示すキーポイントのマッチに対応する方程式２７による、グレースケールで表された（４５×４５）の行列Ｄの値を示す。上記に述べた方法によって、行列Ｄに対して決定されたインライア数は、９である。

図７Ｄは、ＬＤＲヒストグラムｈ（ｋ）を実線として、離散化されたアウトライア密度関数ｆ（ｋ）を点線として、そしてアウトライアノーマル関数ｄ（ｋ）を１点鎖線として示す。アウトライアノーマル関数ｄ（ｋ）は、約１．４のＬＤＲ値に対応するピークを有する。このピークは、正しいインライアが位置する領域に対応する。このピークは、ＬＤＲヒストグラムの二次的なピークに対応し、主のピークに対応しないことに気付くべきである。

図７Ｅは、上記に述べた方法によって決定された、図７Ｃの行列Ｄの主固有ベクトルを示す。

降順に配列された、同じベクトルの要素を図７Ｆに示す。本方法の前のステージで決定された、すなわち９であるインライア数を知ることによって、インライア、すなわち主固有ベクトル中の９というもっとも大きい要素（絶対値で）に対応する主固有ベクトルの要素の同じ数を識別することが可能になる。

図７Ｂは、上記に述べた方法によって識別された、図７Ａの２つの画像の間の正しいキーポイントのマッチ（インライア）を示す。

章５−本方法のいくつかの例示的な用途
図８は、前に述べた方法を、本発明の実施形態によって視覚探索サービスを実施するために活用することができる、可能なシナリオを概略的に例示する。参照８００によって識別される図８のシナリオは、クライアント−サーバ構成によって構築され、そこでは視覚探索サーバ８１０が、外部ネットワーク８３０、たとえばＭＡＮ、ＷＡＮ、ＶＰＮ、インターネットまたは電話網を介してデータを交換するための複数の端末８２０と相互作用するように構成される。各端末８２０は、パーソナルコンピュータ、ノートブック、ラップトップ、携帯情報端末、スマートフォンまたはデジタル画像を管理することが可能などれもの電子装置とすることができる。

図９Ａに例示する本発明の一実施形態によれば、視覚探索サービスの主な操作すべては、視覚探索サーバ８１０によって実行される。

端末８２０のユーザは、写真中に描写された物体に関連した情報を要求して、前記写真（これは質問画像になる）を視覚探索サーバ８１０にネットワーク８３０を介して送る。

視覚探索サーバ８１０は、端末８２０とデータを送受信するために、ネットワーク８３０と相互作用するように適合させるサーバインターフェース９０２を含む。サーバインターフェース９０２を介して、視覚探索サーバ８１０は、解析すべき質問画像を受け取る。

質問画像は、前記画像中に含まれたキーポイントを識別するように構成されるキーポイント検出ユニット９０４に提供される。

ひとたびキーポイントが生成されると、その局所的な特色が、特徴計算ユニット９０６によって記述される。この操作は、知られた局所記述子、たとえばスケール不変特徴変換（ＳＩＦＴ：Ｓｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）および迅速なロバスト特徴（ＳＵＲＦ：ＳｐｅｅｄｅｄＵｐＲｏｂｕｓｔＦｅａｔｕｒｅｓ）を使用して、特徴計算ユニット９０６によって実行される。

視覚探索サーバ８１０は、画像認識のために活用される基準画像を格納する基準データベース９１０と結合される特徴マッチングユニット９０８をさらに含む。質問画像から抽出された局所記述子と基準データベース中に格納された基準画像の局所記述子との間の比較が、知られた画像特徴比較技法を使用して、たとえば記述子の間のユークリッド距離に基づき、特徴マッチングユニット９０８によって実行される。特徴マッチングユニット９０８は、基準データベースの各基準画像について、キーポイントのマッチの対応するセットを含む、対応するリストを出力する。このリストは、質問画像中に描写された物体が、どれかの基準画像中に描写された、いずれもの物体にも対応しない場合、空にすることができる。

特徴マッチングユニット９０８によって生成されたリストに基づき、選択ユニット９１２が、質問画像とのキーポイントのマッチのもっとも大きい数を共有する、第１のｑ個の基準画像を選択する。これらの基準画像は、質問画像中に描写された物体を含むものに関する最良の候補と想定される。

本発明の一実施形態によれば、視覚探索サーバ８１０は、前に述べた方法を実施するように構成される最適化ユニット９１４をさらに含む。最適化ユニット９１４は、前記方法を、選択ユニット９１２によって選択されたｑ個の基準画像のセットに対応するキーポイントのマッチに適用し、そして最適化ユニット９１４は、質問画像および該セットの基準画像中に存する各ペアについて、正しいキーポイントのマッチ（インライア）数を算出する。この算出は、本発明の方法によって実行される。十分な数の、質問画像の対応するキーポイントと正しくマッチしたキーポイントを含むように結果として生じたセットの基準画像は、質問画像中に描写された同じ物体を少なくとも（その一部を）含むと考えられる。次いで、これらの今述べた基準画像は、ネットワーク８３０を介して、視覚探索要求の結果として、恐らくカウントされたインライア数に基づき順序付けられて端末８２０に送り返される。

図９Ｂに例示する本発明のさらなる実施形態によれば、キーポイント検出ユニット９０４および特徴計算ユニット９０６は、視覚探索サーバ８１０中に含まれる代わりに、端末８２０中に含まれる。この場合、質問画像を視覚探索サーバ８１０に送る代わりに、各端末８２０は、質問画像からローカルに生成された局所記述子を直接送ることが可能である。

前の実施形態に比べて、この解決策には、必要なデータの送信量がより少ない（質問画像全体の代わりに局所記述子を送る）。さらに、この実施形態によれば、視覚探索サーバ８１０によって管理される計算負荷が、より低くなり、視覚探索サーバがより多くの画像探索要求を同じ時間枠で管理することが可能になる。

図９Ｃに例示する、本発明のまたさらなる実施形態によれば、視覚探索サービスの主な操作のほとんどすべては、基準画像のキーポイントおよび局所記述子を単に格納し、それらの選択されたサブセットを、端末のユーザによって要求された特定の視覚探索に基づき端末に送る視覚探索サーバ８１０とともに、端末８２０によって実行される。たとえば、端末８２０がＧＰＳシステムを備えるスマートフォンであって、質問画像がスマートフォン自体のカメラを用いて撮られた写真である場合、どのキーポイントおよび局所記述子を視覚探索サーバ８１０によって送るべきであるのかという選択は、端末８２０の実際の位置に基づくことができる。この解決策は、いくつかの視覚探索サービス、たとえば記念建造物の認識サービスのために、都合よく活用することができる。

画像比較操作を管理することを可能にするために、端末８２０は、局所基準データベース９１６および更新ユニット９２０を備え、更新ユニットは、視覚探索サーバ８１０によって送られたキーポイントおよび局所記述子を受け取り、それに応じてキーポイントを更新するように適合させる。画像比較を実行する必要があるたびに、厳格に局所基準データベース９１６を更新することが必要でなく、その中に既に格納されたキーポイントおよび局所記述子が十分に活用されることを認識すべきである。たとえば、局所基準データベース９１６は、視覚探索サーバ８１０によって１日に一回だけ更新してもよい。

前の実施形態と比べると、この解決策は、より迅速である、というのは送信されるデータ量がかなり減少されるからである。したがって、この解決策は、拡張現実用途に特に適している。

提案する方法のさらなる可能な応用は、立体カメラシステムに属するビデオカメラの自動的な較正である。較正の目的は、いわゆる基本行列、すなわち、取得システムの固有のパラメータおよび外的なパラメータを記述する行列の生成である。固有のパラメータは、カメラ構成（たとえば焦点距離）を記述し、さらに外的なパラメータは、空間内のカメラの位置を記述する。

図１０の概略フローチャートに例示するように、第１のカメラ１００２が第１の画像を取得し（ブロック１００４）、それは、対応する第１のキーポイントを識別するために、処理される（ブロック１００６）。ひとたび第１のキーポイントが識別されると、その局所的な特色が、対応する第１の局所記述子によって記述される（ブロック１００８）。同様に、第２のカメラ１０１０が第２の画像を取得し（ブロック１０１２）、それは、対応する第２のキーポイントを見出すために、処理される（ブロック１０１４）。次いで、それらキーポイントの局所的な特色が、対応する第２の局所記述子によって記述される（ブロック１０１６）。

第１の局所記述子を第２の局所記述子と比較することによって、第１の画像と第２の画像の間のキーポイントのマッチが生成される（ブロック１０１８）。次いで、本発明の方法を適用することによって、インライアであるキーポイントのマッチが、識別される（ブロック１０２０）。

ひとたびインライアが識別されると、新しいキーポイントのマッチを見出すために（ブロック１０２４）、反復処置が、基本行列を推定するために実行される（ブロック１０２２）。これらの操作は、Ｒ．Ｈａｒｔｌｅｙによる「ＩｎｄｅｆｅｎｓｅｏｆｔｈｅＥｉｇｈｔ−ＰｏｉｎｔＡｌｇｏｒｉｔｈｍ（８ポイントアルゴリズムを守るために）」、「ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎｐａｔｔｅｒｎａｎａｌｙｓｉｓａｎｄｍａｃｈｉｎｅｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＥＥＥパターン解析および人工知能会報）」、Ｖｏｌ１９、Ｎｏ．６、１９９７年６月に述べられている処置に従って実行することができる。次いで、新しいキーポイントのマッチは、インライアを識別するために、やはり本発明の方法によって処理される（ブロック１０２６）。この処置（すなわちブロック１０２２、１０２４および１０２６に対応する処置）は、インライア数が安定するまで繰り返される。

前の記述は、本発明のいくつかの実施形態を詳細に提示し議論している。それでもなお、述べた実施形態に対するいくつかの変更、さらにまた異なる発明の実施形態が、添付の請求項によって定義される範囲から逸脱せずに可能である。

たとえば、本記述では、ログ距離比（ＬＤＲ）を参照しているが、ヒストグラムが差の距離の比、たとえば対数でなく単純な距離の比を用いて解釈される場合、同様の考慮が適用できる。さらにまた、ヒストグラムがログ距離比の倍数および／または累乗を用いて解釈される場合、同様の考慮が適用できる。

さらに、たとえヒストグラムのビンの幅が互いに異なる場合でさえ、本発明の概念を適用することができる。

Claims

第１の画像を第２の画像と比較するための方法であって、
前記第１の画像中の第１のキーポイントおよび前記第２の画像中の第２のキーポイントを識別するステップと、
各第１のキーポイントを対応する第２のキーポイントと関連付けることによって、第１のキーポイントと第２のキーポイントの間のマッチを形成するステップと、
複数の第１の距離の比を算出するステップであって、各第１の距離の比は、前記第１のキーポイントのペアの間の距離と、第１のキーポイントの前記ペアにマッチする、前記第２のキーポイントの対応するペアの間の距離との比に基づく、算出するステップと、
それぞれが前記第１の距離の比の値の各々の区間に対応する、複数の順序付けられたビンを有するヒストグラム中の前記算出された複数の第１の距離の比の値の分布を調整するステップであって、前記ヒストグラムは、各ビンについて、値が前記各々の区間内に含まれる前記分布の第１の距離の比の対応する数を数え上げる、調整するステップと、
前記第１の画像および前記第２の画像中のキーポイントのペアのランダムな選択に対応する、複数の第２の距離の比の統計的な分布を表すアウトライア密度関数を生成するステップであって、前記複数の第２の距離の比は、前記第１の画像中の第１のキーポイントのペアの間の距離と、前記第２の画像中のランダムに選択された第２のキーポイントの対応するペアの間の距離との比に基づく、生成するステップと、
前記ビンのそれぞれについて、対応するアウトライア確率密度値を生成することによって、前記アウトライア密度関数を離散化するステップと
を含み、
正しいキーポイントのマッチの数を求めるステップであって、正しいキーポイントのマッチのそれぞれが、前記第１の画像および前記第２の画像中に描写された同じ物体の同じポイントに対応する第１のキーポイントおよび第２のキーポイントによって形成され、正しいキーポイントのマッチの数を求める前記ステップは、
行列を求めるステップであって、前記行列の各要素は、キーポイントのマッチの各々のペアに対応し、キーポイントのマッチの前記各々のペアの前記距離の比を含む前記ビンでの前記ヒストグラムの値と、パラメータ（β）によって重み付けられた、前記ビンに対応する前記アウトライア確率密度値との間の差に対応する値を有する、行列を求めるステップと、
前記行列の主固有ベクトルがあるベクトル（ｒ）に等しくなるように、前記パラメータ（β）の値を求めるステップであって、前記あるベクトル（ｒ）の各要素は、該要素に対応するキーポイントのマッチが正しいキーポイントのマッチである場合、非ゼロ値であり、該要素に対応するキーポイントのマッチが間違っているキーポイントのマッチである場合、ゼロ値である、ステップと、
前記主固有ベクトルに関連付けられた主固有値の関数として、正しいキーポイントのマッチの数を求めるステップと
を含む、正しいキーポイントのマッチの数を決定するステップ
を含み、
前記第１の画像を前記第２の画像と比較するために、求められた正しいキーポイントのマッチの数が活用されることを特徴とする、方法。
主固有値の式として、正しいキーポイントのマッチの数を求める前記ステップは、
正しいキーポイントのマッチの数を、主固有値とある差の最大値との比の式として求めるステップであって、前記ある差は、キーポイントのマッチの前記各々のペアの距離の比を含む前記ビンでの前記ヒストグラムの値と、前記ビンに対応する前記アウトライア確率密度値との間の差であり、前記アウトライア確率密度値は、前記求められたパラメータ（β）によって重み付けられる、求めるステップ
を含む、請求項１に記載の方法。
主固有値の式として、正しいキーポイントのマッチの数を求める前記ステップは、主固有値と前記最大値との前記比に１をプラスした数として、正しいキーポイントのマッチの数を求めるステップを含む、請求項２に記載の方法。
前記正しいキーポイントのマッチの前記数に等しい数であって、絶対値がもっとも大きい前記主固有ベクトルの要素の数を識別することによって、どのキーポイントのマッチがもっとも正しそうなキーポイントのマッチであるのかを識別するステップをさらに含む、請求項１から３のいずれか一項に記載の方法。
前記複数の第１の距離の比は、前記第１のキーポイントのペアの間の距離と、第１のキーポイントの前記ペアとマッチする前記第２のキーポイントの対応するペアの間の距離との比の対数に対応する、請求項１から４のいずれか一項に記載の方法。
前記パラメータ（β）は、前記ヒストグラムを前記離散化されたアウトライア密度関数上に投影した結果である、請求項１から５のいずれか一項に記載の方法。
第１の画像を第２の画像と比較するための装置であって、
前記第１の画像中の第１のキーポイントおよび前記第２の画像中の第２のキーポイントを識別するように構成される第１の識別ユニットと、
各第１のキーポイントを対応する第２のキーポイントと関連付けることによって、第１のキーポイントと第２のキーポイントの間のマッチを形成するように構成される関連付けユニットと、
複数の第１の距離の比を算出するように構成される算出ユニットであって、各第１の距離の比は、前記第１のキーポイントのペアの間の距離と、第１のキーポイントの前記ペアにマッチする前記第２のキーポイントの対応するペアの間の距離との比に基づく、算出ユニットと、
それぞれが前記第１の距離の比の値の各々の区間に対応する、複数の順序付けられたビンを有するヒストグラム中の前記算出された複数の第１の距離の比の値の分布を調整するように構成される調整ユニットであって、前記ヒストグラムは、各ビンについて、値が前記各々の区間内に含まれる分布の第１の距離の比の対応する数を数え上げる、調整ユニットと、
前記第１の画像および前記第２の画像中のキーポイントのペアのランダムな選択に対応する複数の第２の距離の比の統計的な分布を表すアウトライア密度関数を生成するように構成される生成ユニットであって、前記複数の第２の距離の比は、前記第１の画像中の第１のキーポイントの前記ペアの間の距離と、前記第２の画像中の前記ランダムに選択された第２のキーポイントの対応するペアの間の距離との比に基づく、生成ユニットと、
各ビンについて対応するアウトライア確率密度値を生成することによって、前記アウトライア密度関数を離散化するように構成される離散化ユニットと
を含み、
正しいキーポイントのマッチの数を求めるように構成される決定ユニットであって、正しいキーポイントのマッチのそれぞれは、前記第１の画像および前記第２の画像中に描写された同じ物体の同じポイントに対応する第１のキーポイントおよび第２のキーポイントによって形成され、前記決定ユニットは、
行列を求めるように構成される第１の決定サブユニットであって、前記行列の各要素は、キーポイントのマッチの各々のペアに対応し、キーポイントのマッチの前記各々のペアの前記距離の比を含むビンでの前記ヒストグラムの値と、パラメータ（β）によって重み付けられた、前記ビンに対応するアウトライア確率密度値との差に対応する値を有する、第１の決定サブユニットと、
前記行列の主固有ベクトルがあるベクトル（ｒ）に等しくなるように、前記パラメータ（β）の値を求めるように構成される第２の決定サブユニットであって、前記あるベクトル（ｒ）の各要素は、該要素に対応するキーポイントのマッチが正しいキーポイントのマッチである場合、非ゼロ値であり、該要素に対応するキーポイントのマッチが間違っているキーポイントのマッチである場合、ゼロ値である、第２の決定サブユニットと、
正しいキーポイントのマッチの数を、前記主固有ベクトルに関連付けられた主固有値の式として求めるように構成される第３の決定サブユニットと
を含む、決定ユニット
を含み、
前記装置は、求められた正しいキーポイントのマッチの数を活用して、前記第１の画像を前記第２の画像と比較するように構成される比較ユニットをさらに含むことを特徴とする、装置。
前記正しいキーポイントのマッチの前記数に等しい数であって、絶対値がもっとも大きい前記主固有ベクトルの要素の数を識別することによって、どのキーポイントのマッチが、もっとも正しそうなキーポイントのマッチであるのかを識別するように構成される識別ユニットをさらに含む、請求項７に記載の装置。
システムであって、
質問画像を受け、前記画像中の対応する第１のキーポイントを識別するように構成されるキーポイント検出ユニットと、
対応する第１の局所記述子によって、前記第１のキーポイントの局所的な特色を記述するように構成される特徴計算ユニットと、
複数の基準画像を格納する基準データベースであって、前記基準データベースは、各基準画像について、対応する第２のキーポイントおよび前記第２のキーポイントの対応する第２の局所記述子をさらに格納する、基準データベースと、
基準画像の少なくとも１つの群の各基準画像について、前記第１の局所記述子を前記基準画像の前記第２の局所記述子と比較し、それに応じて前記第１のキーポイントを前記基準画像の前記第２のキーポイントと関連付けて、キーポイントのマッチの対応するセットを生成するように構成される特徴マッチングユニットと、
前記特徴マッチングユニットによって実行された比較に基づき、基準図のサブセットを選択するように構成される選択ユニットと、
前記質問画像および前記サブセットの基準画像を含む各ペアについて、正しいキーポイントのマッチの数を算出するように構成される最適化ユニットであって、前記最適化ユニットは、請求項７または８に記載の前記装置を含む、最適化ユニットと
を含む、システム。
視覚探索サーバと、質問画像を前記視覚探索サーバにネットワークを介して提供するように構成される複数の端末とをさらに含み、
前記視覚探索サーバは、前記キーポイント検出ユニットと、前記特徴計算ユニットと、前記基準データベースと、前記特徴マッチングユニットと、前記選択ユニットと、前記最適化ユニットとを含む、請求項９に記載のシステム。
視覚探索サーバと、質問画像を前記視覚探索サーバにネットワークを介して提供するように構成される複数の端末とをさらに含み、
前記視覚探索サーバは、前記基準データベースと、前記特徴マッチングユニットと、前記選択ユニットと、前記最適化ユニットとを含み、
各端末は、各々のキーポイント検出ユニットと、各々の特徴計算ユニットとを含む、請求項９に記載のシステム。
視覚探索サーバと、データを前記視覚探索サーバとネットワークを介して交換するように構成される複数の端末とをさらに含み、
前記視覚探索サーバは、前記基準データベースを含み、
各端末は、各々のキーポイント検出ユニットと、各々の特徴計算ユニットと、各々の特徴マッチングユニットと、各々の選択ユニットと、各々の最適化ユニットと、各々の局所データベースとを含み、
各端末は、前記基準データベース中に格納された第２のキーポイントおよび前記第２のキーポイントの対応する第２の局所記述子の各々のセットを前記視覚探索サーバから受けるように構成され、
前記端末の局所データベースは、第２のキーポイントおよび第２の局所記述子の受けた前記セットを格納するように構成され、第２のキーポイントおよび第２の局所記述子の格納された前記セットは、前記基準画像の少なくとも１つの群の基準画像に対応する、請求項９に記載のシステム。
画像を読み出すための方法であって、
質問画像を受け、前記画像中の対応する第１のキーポイントを識別するステップと、
前記質問画像を複数の基準画像と比較するステップであって、第２のキーポイントが、各基準画像と関連付けられ、それに応じて前記第１のキーポイントを前記基準画像の前記第２のキーポイントに関連付けて、キーポイントのマッチの対応するセットを生成する、比較するステップと、
前記質問画像と前記複数の基準画像のそれぞれとの間の正しいキーポイントのマッチの数を、請求項１から６のいずれか一項に記載の前記方法に基づき求めるステップと、
正しいキーポイントのマッチの数が予め定めた閾値を超える基準画像としての基準画像のサブセットを選択するステップと
を含む、方法。