JP5654127B2 - インクリメントな特徴抽出を使用するオブジェクト認識 - Google Patents

Description

本開示は、画像処理システムに関連し、さらに詳細には、画像中のオブジェクト認識に関連する。

コンピューティングデバイスまたはコンピュータのコンテキスト中の視覚探索は、コンピュータまたは他のデバイスが、１つ以上の画像中のオブジェクトに対するアイデンティティ情報を提供することを可能にする技術のことを指す。視覚サーチにおける最近の関心は、部分的に隠蔽されたオブジェクトを、および／または、画像スケール、ノイズ、照度および局所的な幾何学的な歪みにおける変化を含む、幅広いさまざまな可変画像条件中の特徴を、コンピュータが識別することを可能にするアルゴリズムを結果として生じている。これと同期間中に、カメラを備える移動デバイスが登場しているが、このような移動デバイスは、テキストを入力するための限定されたユーザインターフェース、または、そうでなければ、他の移動デバイスとのインターフェースを有しているかもしれない。移動デバイスおよび移動デバイスアプリケーションの開発者は、移動デバイスとのユーザ対話を強化するために、移動デバイスのカメラを利用しようとしている。

１つの強化を説明すると、移動デバイスのユーザは、店舗で買い物をする間に、移動デバイスのカメラを使用して、何らかの所定の製品の画像を取り込んでもよい。移動デバイスはその後、さまざまな画像に対するアーカイブの特徴記述子のセット内で視覚サーチアルゴリズムを開始させ、マッチング画像に基づいて製品を識別してもよい。製品を識別した後に、移動デバイスはその後、インターネットベースのサーチを開始し、識別した製品についての情報を含むウェブページを提示する。ウェブページは、例えば、近くの売買業者および／またはオンライン売買業者から製品が入手可能な最低価格を含む。別の例では、オブジェクト認識は、拡張現実感と呼ばれるものを達成するように、移動デバイスのディスプレイ中にオーバーレイできる補足的な情報を発生させるために使用してもよい。

概要

一般的に、本開示は、デジタル画像中のオブジェクト識別に対する技術を記述している。これらの技術は、画像中のオブジェクトを識別する計算の複雑性を低減できる。予め定められている数のオクターブから特徴記述子を抽出することよりむしろ、本開示の技術は、オクターブを通して進行する、インクリメントな特徴記述子抽出を提供する。さらに、本開示は、開始オクターブを選択する技術と、特徴記述子を抽出する後続するオクターブを選択する技術とを提供する。

１つの例では、方法は、受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出することと、キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算することと、記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、結果は、受信した画像中のオブジェクトのアイデンティティを記述する情報を含むことと、信頼値が信頼しきい値を超えないときに、受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出することとを含む。

別の例では、装置はプロセッサを具備し、プロセッサは、受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出し、キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算し、記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、結果は、受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、信頼値が信頼しきい値を超えないときに、受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出するように構成されている。

別の例では、装置は、受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出する手段と、キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算する手段と、記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、結果は、受信した画像中のオブジェクトのアイデンティティを記述する情報を含む手段と、信頼値が信頼しきい値を超えないときに、受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出する手段とを具備する。

別の例では、コンピュータプログラムプロダクトは、その上に記憶されている命令を有するコンピュータ読取可能媒体を含む。命令は、実行されるとき、受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットをプロセッサに抽出させ、キーポイントの第１のセットに対する１つ以上の記述子の第１のセットをプロセッサに計算させ、記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値をプロセッサに受信させ、結果は、受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、信頼値が信頼しきい値を超えないときに、受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットをプロセッサに抽出させる。

図１は、インクリメントな特徴記述子抽出に対する技術が適用される例示的なシステムを図示しているブロックダイヤグラムである。 図２は、キーポイント抽出において使用するために決定されているガウシアンの差分（ＤｏＧ）ピラミッドを図示している概念図である。 図３は、キーポイントの検出をより詳細に図示している概念図である。 図４は、特徴抽出ユニットが勾配分布および方向ヒストグラムを取得できる例示的な技術を図示している概念図である。 図５は、さまざまなガウシアンスケール空間にわたる例示的なキーポイント分布を図示しているチャートの線図である。 図６は、インクリメントな特徴記述子抽出を実行するための例示的な方法を図示しているフローチャートである。

詳細な説明

一般的に、本開示は、デジタル画像中のオブジェクト識別に対する技術を記述している。これらの技術は、画像中のオブジェクトを識別する計算の複雑性を低減できる。予め定められている数のオクターブから特徴記述子を抽出することよりむしろ、本開示の技術は、オクターブを通して進行する、インクリメントな特徴記述子抽出を提供する。特徴記述子は、一般的に１つ以上のオクターブから抽出され、各オクターブは、画像の特定のサイズ（例えば、ピクセル解像度）に対応する。所定のオクターブに対して、入力画像は、解像度に関係するサイズにスケーリングされてもよい。さらに、次第にガウシアンぼけする複数の画像が形成されてもよく、各々は、オクターブに関係する解像度を有する。オクターブに対して次第にぼけるこれらの画像は、特徴記述子を抽出するために解析されてもよい。

予め定められている数のオクターブに対する特徴記述子を抽出することよりむしろ、本開示の技術は、第１のオクターブに対する特徴記述子を抽出して、この特徴記述子の第１のセットに基づいて、画像中のオブジェクトを検出するように試行することに向けられている。これらの特徴記述子を使用してオブジェクトを検出できる場合に、それ以上のオクターブが解析される必要はない。しかしながら、第１のオクターブからオブジェクトを決定できない場合に、後続するオクターブから特徴記述子が検出されてもよい。

さらに、本開示は、開始オクターブを選択する技術と、特徴記述子を抽出する後続するオクターブを選択する技術とを提供する。さまざまなファクタを使用して、開始オクターブを選択してもよい。例えば、画像に対する倍率（スケーリングファクタ）は初めに、例えば、画像が屋内または屋外で取り込まれたか、および／または、その画像を取り込むために使用したカメラに対する、画像中のオブジェクトの深度（すなわち、カメラから画像中のオブジェクトまでの距離）に基づいて、推定されてもよい。

カメラを含むデバイス、例えば、スマートフォン、タブレットコンピューティングデバイス、ラップトップコンピュータまたは他の移動デバイスのような、移動デバイスは、画像が取り込まれたときに、デバイスが屋内または屋外にあったかを推定するために使用できるセンサを備えていてもよい。例えば、グローバルポジショニングシステム（ＧＰＳ）ユニットは、画像が取り込まれたときのカメラのロケーションを示す情報を提供してもよい。このロケーションは、カメラが屋内または屋外にあったかを決定するために使用されてもよい。別の例として、デバイスが、画像が取り込まれたときにワイヤレスアクセスポイントに接続されていたワイヤレスネットワークインターフェースを備えていた場合、このことは、カメラが取り込まれたときに、デバイスが屋内にあったか否かを推定するためのファクタとして使用されてもよい。さらに別の例として、画像中のオブジェクトに対する深度情報は、例えば、デバイスがステレオカメラ配置を有するときに決定されてもよい。

いくつかの例では、デバイスは、ステレオカメラ配置を使用して実行される深度推定の他に、または、ステレオカメラ配置を使用して実行される深度推定の代わりに、画像中のオブジェクトに対する深度を推定するように構成されている深度推定ユニットを備えていてもよい。例えば、デバイスは、シーン中のオブジェクトの相対的な深度を推定するために、１つ以上の赤外線センサから測定データを収集する深度推定ユニットを備えていてもよい。別の例として、デバイスは、画像中のオブジェクトの深度を推定する、光検出および測距（ＬＩＤＡＲ）ユニットのような、アクティブプロービングセンサを備えていてもよい。ＬＩＤＡＲユニットは、オブジェクトを投影するために紫外線、可視光線または赤外線を使用して、戻ってきた信号を処理し、オブジェクトに対する深度を推定してもよい。これらの深度推定ユニットは、画像中のオブジェクトの深度を推定するために、単独で、または、互いに任意の組み合わせで使用されてもよい。深度推定ユニットは、ユニットが、カメラからの画像データを実際に処理することなく、カメラによって取り込まれた画像中のオブジェクトに対する深度を決定できるように、画像を取り込むカメラと実質的に同時に動作してもよい。

デバイスは、推定したオブジェクトスケールとともに、例えば、画像、および、デバイスの追加のセンサに基づいて、さまざまなファクタに関係付けるコンフィグレーションデータを備えていてもよい。例えば、コンフィグレーションデータは、特定の開始オクターブおよびスケールをオブジェクトに対するさまざまなロケーションセル（または、“ロクセル（loxel）”）（すなわち、オブジェクトが生じるロクセル）にマッピングしてもよい。例として、使用量統計は、所定のロクセル中でオブジェクトが生じるときに、開始スケールおよび／またはオクターブとともに、後続するスケールおよび／またはオクターブを決定するために、最も可能性の高いスケールおよび／またはオクターブに対する推定を提供してもよい。言い換えると、いくつかの例では、本開示の技術は、オブジェクトが生じるロクセルに基づいて、オブジェクトに対する開始オクターブおよび／またはスケール（とともに、後続するオクターブ）を選択してもよい。

いくつかの例では、キーポイント分布を使用して、オブジェクトに対するスケールを推定してもよい。キーポイントは、一般的に、特徴記述子を生成させるために使用できる画像のエリアである。一般的に、比較的大きなスケールにおいて検出されたキーポイントは、オブジェクトの比較的大きな特徴に対応する。同様に、画像解像度が減少するにつれて、より細かいディテールを認識することがより困難になる。それゆえ、より大きな解像度に対してより大きなスケールで検出されるディテールは、典型的に、より小さな解像度に対してより低いスケールで検出される（したがって、より細かいディテールになる）。スケール空間にわたるキーポイントの分布を示す統計を収集することができ、統計は、画像の倍率を推定するために使用されてもよい。前のオクターブに対して検出されたキーポイントを使用して、制御ユニットは、問い合わせ（クエリ）画像のオブジェクトに対するスケールを推定し、推定したスケールを使用して、サーチする特徴記述子のデータベースの最低オクターブを選択してもよい。すなわち、制御ユニットは、最低オクターブ以上であって、最低オクターブよりも低くないオクターブにおける特徴記述子のみをデータベースに問い合わせさせてもよい。

いくつかのケースでは、デバイスのカメラは継続的に画像を取り込んでもよく、プロセッサ、または、オブジェクト認識のための他のユニットは、取り込んだ画像のすべて、または、取り込んだ画像のうちのサブセットの中でオブジェクトを検出しようと試行してもよい。いくつかのケースでは、プロセッサは、先の画像のうちの１つの中でオブジェクトスケールの近似に到達してもよい。本開示の技術は、例えば、ユーザが移動して、画像トラッカーが前もって獲得したターゲットを見失った後に、前のピクチャに対する前もって決定されたオブジェクトスケール情報を使用して、現在の画像に対するオブジェクトスケールの推定を初期化してもよい。

一般的に、オブジェクト認識に対して、特徴記述子のセットおよび他の差別的な情報のデータベースが、トレーニング画像から導出される。その後、特徴記述子が、ターゲット画像から抽出され、データベースに問い合わせて、所定の問い合わせ画像のコンテンツを評価するために使用される。拡張現実感または視覚探索アプリケーションに対して、クライアント（例えば、セル電話機）は、対象のオブジェクトの画像を取り込み、画像、特徴およびメタデータ情報のデータベースとそれを比較する。このデータベースは、ネットワーク上のサーバ上に記憶されることができ、局所的な処理のために、または、代替的に、クライアントによって取り出すことができ、問い合わせは、サーバに送信されて、ネットワークリソースを使用して処理されることができる。本開示の技術は、一般的に、キーポイントのローカリゼーションおよび特徴記述子の抽出を実行するスケール不変特徴変換（ＳＩＦＴ）アルゴリズムに関して記述されている。各ＳＩＦＴ特徴は以下の属性を有していてもよい：２Ｄ（ｘ，ｙ）特徴ロケーション、特徴が検出されるスケール、特徴の近隣（feature neighborhood）における最も強い画像勾配の特徴により与えられる特徴の回転方向、および、判別法（discriminating way）で局所的なピクセル変化を、本質的には局所的な画像勾配のヒストグラムを記述するベクトル。

キーポイント識別および記述子抽出は、計算的に要求が厳しい。例えば、典型的なハーフサイズビデオグラフィックアレイ（ＨＶＧＡ）画像は、数千のＳＩＦＴ特徴を生成させることができる。反復マッチングプロセスを含むＳＩＦＴアルゴリズムの実現は、いくつかの移動体プラットフォーム上で利用可能な計算のリソースを上回ることになる。しかしながら、最も現実的なケースでは、データベース中の特徴記述子とのマッチにつながる実際の特徴記述子の数は、実際に計算される特徴記述子の数よりもはるかに少ない傾向がある。つまり、計算された特徴記述子のセットのうちの、小さなサブセットがオブジェクト識別結果をもたらしてもよい。これは、最終的に少数のみがデータベース中の特徴とマッチするように特徴記述子に影響する、問い合わせ画像中の異なる画像化条件（例えば、照度、遠近感等）によっていくぶん引き起こされるかもしれない。本開示の技術は、スケール空間中のキーポイント間での相互関係を活用し、記述子抽出およびマッチングプロセスにより課せられる計算的な負荷を減少させるように支援してもよい。また、所定のシーン内に複数のオブジェクトを認識／追跡するとき、偽陽性は、特にいくつかのオブジェクトが類似している場合に問題を引き起こすことになる。いくつかの例では、これらの技術は、偽陽性を低減させるためにマッチングを制約する、シーンの大まかで相対的な深度マップの計算を含んでいてもよい。

図１は、インクリメントな特徴記述子抽出に対する技術を適用できる例示的なシステム２を図示しているブロックダイヤグラムである。この例では、システム２は、ネットワーク４０を介して通信する、クライアントデバイス１０およびサーバデバイス５０を備える。クライアントデバイス１０は、この例では、ラップトップ、ネットブックと呼ばれるもの、タブレットコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、（“スマートフォン”と呼ばれるものを含む）セルラもしくは移動電話機もしくはハンドセット、グローバルポジショニングシステム（ＧＰＳ）デバイス、デジタルカメラ、デジタルメディアプレイヤ、ゲームデバイス、または、サーバデバイス５０と通信することが可能な他の任意の移動デバイスのような、移動デバイスを表す。本開示では、移動クライアントデバイス１０に関して記述されているが、本開示中で記述されている技術は、この点に関して移動クライアントデバイスに限定されるべきではない。代わりに、技術はローカルオブジェクトデータベースを記憶することが可能な、および／または、ネットワーク４０または他の任意の通信媒体を介してサーバデバイス５０と通信することが可能な任意のデバイスにより実現されてもよい。

サーバデバイス５０は、接続、例えば、伝送制御プロトコル（ＴＣＰ）接続を受け入れ、問い合わせデータを受信して、識別データを提供するＴＣＰセッションを形成するために、それ自体のＴＣＰ接続により応答するサーバデバイスを表す。サーバデバイス５０は、サーバデバイス５０が、画像内の１つ以上の特徴またはオブジェクトを識別する視覚探索アルゴリズムを実行、または、そうでなければ実現する、視覚探索サーバデバイスを表してもよい。

ネットワーク４０は、クライアント１０およびサーバデバイス５０を相互接続する、インターネットのような、パブリックネットワークを表す。通常、ネットワーク４０は、オープンシステム相互接続（ＯＳＩ）モデルのさまざまなレイヤを実現して、クライアントデバイス１０とサーバデバイス５０との間の通信またはデータの転送を促進する。ネットワーク４０は、典型的に、スイッチ、ハブ、ルータ、サーバのような、クライアントデバイス１０とサーバデバイス５０との間のデータの転送を可能にする任意の数のネットワークデバイスを含む。単一のネットワークとして示されているが、ネットワーク４０は、ネットワーク４０を形成するために相互接続されている１つ以上のサブネットワークを備えていてもよい。これらのサブネットワークは、ネットワーク４０全体を通してデータの転送を提供するための、サービスプロバイダネットワーク、アクセスネットワーク、バックエンドネットワーク、または、通常パブリックネットワーク中で用いられる他の任意のタイプのネットワークを含む。この例では、パブリックネットワークとして記述されているが、ネットワーク４０は、一般的に公共でアクセス可能ではないプライベートネットワークを含んでもよい。

図１の例の中で示されているように、クライアントデバイス１０は、カメラ１２、センサ１４、制御ユニット２０、ローカルオブジェクトデータベース３０およびネットワークインターフェース３２を備える。制御ユニット２０は、この例では、特徴抽出ユニット２２、スケール推定ユニット２４、および、深度情報ユニット２６を備える。いくつかの例では、制御ユニット２０はまた、サーバデバイス５０の特徴マッチングユニット６２および信頼評価ユニット６４に類似するユニットを備える。例示の目的のために、これらのユニットは、サーバデバイス５０に関して論じられるが、類似したユニットがクライアントデバイス１０の制御ユニット２０内に含まれていてもよいことを理解すべきである。

制御ユニット２０および制御ユニット６０ならびにこれらのサブユニットに帰する機能性は、ハードウェア、ソフトウェアおよび／またはファームウェアの任意の組み合わせにより実現されてもよい。制御ユニット２０に帰する１つ以上の機能が、ソフトウェアまたはファームウェアで実現されるとき、制御ユニット２０は、ソフトウェアに対する命令を記憶する１つ以上のコンピュータ読取可能記憶媒体とともに、ソフトウェアを実行する１つ以上のハードウェアベースの処理ユニットを備えていてもよい。処理ユニットは、１つ以上の汎用プロセッサを備えていてもよい。制御ユニット２０および制御ユニット６０は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または、他の同等な集積または離散論理回路のような、１つ以上のハードウェアユニットを追加的にまたは代替的に備えていてもよい。制御ユニット２０および制御ユニット６０に帰する機能性のうちのいくつかまたはすべては、それらの、任意のそれぞれのハードウェア、ソフトウェアまたはファームウェアにより実行されてもよい。したがって、図１の例では、制御ユニット２０および６０内に別々のユニットが図示されているが、実際には、これらのような別々のユニットは、任意の妥当な方法で組み合わせられてもよい。

カメラ１２は、例えば、行および列で構成された、個々の画像センサエレメントの２次元アレイを含んでもよい。カメラ１２は、例えば、相補的金属酸化膜半導体（ＣＭＯＳ）センサのような、ソリッドステートセンサエレメントまたは他のセンサエレメントのアレイを備えていてもよい。カメラ１２内の画像センサエレメントは、シーンから光情報を取得し、シーンのデジタル画像を取り込むためにシーンにさらされている。デジタル画像は、ピクセル値の２次元行列を含んでいてもよく、ピクセル値の２次元行列は、例えば、赤−緑−青の値を有する、または、ピクセル輝度（強度もしくは明るさ）値ならびにピクセルクロミナンス（カラー）値を有する、特定のカラー空間中に規定されてもよい。

センサ１４は、情報を制御ユニット２０に提供する１つ以上の環境センサを備える。制御ユニット２０は、この情報を使用して、カメラ１２により取り込まれた画像中のオブジェクトのスケールを予想してもよい。いくつかの例では、センサ１４は、グローバルポジショニングシステム（ＧＰＳ）衛星と対話して、クライアントデバイス１０の地理的ロケーションを決定する、ＧＰＳユニットを備えていてもよい。ＧＰＳユニットはまた、画像が取り込まれたときにカメラ１２が向けられていた方位の指示を提供する。制御ユニット２０は、このロケーションおよび方位情報を使用して、カメラ１２の照準線上にある可能性がある潜在的なオブジェクトにサーチを限定してもよい。

例えば、遠隔オブジェクトデータベース５２は、遠隔オブジェクトデータベース５２のオブジェクトに対する地理的ロケーションを記憶してもよい。センサ１４のＧＰＳユニットがカメラ１２の地理的ロケーションおよび方位を決定するとき、制御ユニット２０は、カメラ１２の照準線上にある地理的ロケーションを有するデータのサブセットを遠隔オブジェクトデータベース５２から取り出して、取り出したデータをローカルオブジェクトデータ３０として記憶させる。特徴抽出ユニット２２はその後、画像から特徴記述子を抽出して、抽出した特徴記述子によりローカルオブジェクトデータベース３０に問い合わせてもよい。

別の例として、特徴抽出ユニット２２は、地理的ロケーション方位を使用して、カメラ１２の照準線上にあるオブジェクトの最初のスケールを予想してもよい。例えば、遠隔オブジェクトデータベース５２は、センサ１４のＧＰＳユニットによって決定されたクライアントデバイス１０のロケーションに基づいて、クライアントデバイス１０の近くの地理的ロケーションにおけるオブジェクト、および、カメラ１２の照準線上にあるオブジェクトに対する最も可能性の高いスケールを記憶してもよい。特徴抽出ユニット２２はその後、遠隔オブジェクトデータ５２に問い合わせために、この最初のスケールを使用して、特徴記述子を初めに抽出し、ネットワーク４０を介してサーバデバイス５０に問い合わせを送ってもよい。問い合わせは、いくつかの例では、特徴記述子に加えて、ロケーション情報を含んでもよい。

センサの他の例は、例えば、温度センサ、圧力センサ（例えば、気圧センサ）、光センサ、赤外線センサ、紫外線センサ、湿度センサ、二酸化炭素（ＣＯ２）センサ、あるいは、これらのような他の環境センサを含んでもよく、これらのうちのいくつかまたはすべては、それぞれの感知した値に対して値を提供してもよい。制御ユニット２０は、屋内および屋外環境を示す、これらのセンサのうちのいくつかまたはすべてに対するデータ領域を含んでもよい。制御ユニット２０は、センサのうちのいくつかまたはすべてに対する現在の値を対応するデータ領域と比較して、カメラ１２が問い合わせ画像を取り込んだときに、クライアントデバイス１０が屋内または屋外にあったかを決定してもよい。

特徴抽出ユニット２２は、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、勾配の圧縮ヒストグラム（ＣＨｏＧ）アルゴリズム、または、他のキーポイントもしくは特徴記述子抽出アルゴリズムのような、特徴抽出アルゴリズムにしたがって、特徴抽出を実行するユニットを表す。一般的に、特徴抽出ユニット２２は、カメラ１２、または、クライアントデバイス１０内に備えられている他の画像取り込みデバイスを使用して局所的に取り込まれてもよい画像データについて動作する。代替的に、クライアントデバイス１０は、例えば、ネットワーク４０を介して、別のコンピューティングデバイスとのワイヤード接続を介して局所的に、または、接続の他の任意のワイヤードまたはワイヤレス形態を介して、画像データをダウンロードすることにより、この画像データ自体を取り込まずに、画像データを記憶させてもよい。

スケール推定ユニット２４は、例えば、カメラ１２により取り込まれた問い合わせ画像中のオブジェクトに対するスケールを推定するユニットを表す。例えば、スケール推定ユニット２４は、画像に対するさまざまなスケールからの実際のキーポイント分布と比較して、（例えば、トレーニング画像のセットから導き出された）さまざまなスケールから予期されるキーポイントの分布に基づいて、問い合わせ画像中のオブジェクトに対するスケールを推定してもよい。特徴抽出ユニット２２は、画像に対する前のオクターブに対してのキーポイントを抽出し、スケール推定ユニット２４にこれらのキーポイントを提供し、スケール推定ユニット２４は、これらのキーポイントを使用し、コンフィグレーションデータを使用して、問い合わせ画像中のオブジェクトに対するスケールを予想してもよい。推定したスケールを使用して、スケール推定ユニット２４は、サーチするデータベース（例えば、ローカルオブジェクトデータベース３０および／または遠隔オブジェクトデータベース５２のうちのいずれか、または、双方）の最低オクターブを計算してもよい。

スケール推定ユニット２４は、さまざまなスケールに対するキーポイント分布を記述するコンフィグレーションデータを記憶してもよい。スケール推定ユニット２４はその後、問い合わせ画像に対するキーポイントの分布をコンフィグレーションデータの分布と比較してもよい。スケール推定ユニット２４はその後、問い合わせ画像中のオブジェクトに対するおおよそのスケールを、最良のマッチングキーポイント分布を有するスケールとして決定する。すなわち、スケール推定ユニット２４は、さまざまなスケールにおける、問い合わせ画像に対するキーポイント分布を表す値を決定し、それらの値を、コンフィグレーションデータのさまざまなスケールのキーポイント分布に対して予期される値とを比較してもよい。スケール推定ユニット２４は、問い合わせ画像からのキーポイント分布値が、対応するスケールに対してコンフィグレーションデータから推定されたキーポイント分布値に最もよくマッチするスケールとして、オブジェクトのスケールを予想してもよい。

本開示の技術にしたがって、特徴抽出ユニット２２は、問い合わせ画像に対する推定されたスケールに対応するオクターブにおいて開始してもよい。すなわち、特徴抽出ユニット２２は、推定されたスケールに対応するオクターブに対する特徴記述子を、そのオクターブから抽出したキーポイントを使用して抽出してもよい。その後、制御ユニット２０は、問い合わせ画像中のオブジェクトのアイデンティティが、それらの特徴記述子のみを使用して決定できるか否かを決定し、決定できない場合は、後続するオクターブに対する特徴記述子を抽出するように進めてもよい。

深度推定ユニット２６は、一般的に、カメラ１２により取り込まれた画像中の１つ以上のオブジェクトに対する深度を推定するように構成されている。深度推定ユニット２６は、飛行時間センサ、構造光センサまたはキネクト（Kinect）のような、深度センサを備えていてもよい。いくつかの例では、クライアントデバイス１０は、例えば、３次元の画像および／またはビデオデータを取り込むために、２つ以上のカメラを有するカメラアレイを備えていてもよい。このような例では、深度推定ユニット２６は、カメラアレイにより取り込まれた画像中のオブジェクトに対する深度情報を計算するように構成されていてもよい。例えば、深度推定ユニット２６は、カメラアレイにより取り込まれたシーンのうちの２つ以上の画像を受け取ってもよい。画像の類似したピクセルの水平ロケーションを比較することにより、深度推定ユニット２６は、画像間の類似したピクセルの水平格差（すなわち、視差）を計算し、この格差に基づいて、ピクセルに対応するオブジェクトの深度を決定してもよい。深度推定ユニット２６は、１つ以上の深度値（例えば、深度マップ）を特徴抽出ユニット２２に送ってもよく、特徴抽出ユニット２２は、特定記述子を抽出する開始オクターブを決定するときに、深度値を使用してもよい。

いくつかの例では、デバイスは、深度推定ユニットを備えている必要はなく、本開示の特定の技術は依然として動作可能であってもよい。しかしながら、デバイスが、深度推定ユニット２６のような深度推定ユニットを備えるとき、デバイスは、特徴が計算されるオクターブと、オクターブが処理される順序とを選択するために、深度情報を使用するように構成されていてもよい。例えば、カメラ１２が、比較的大きなオブジェクトに直接（すなわち、正面から）向かい合って場合に、オブジェクトに対応するピクセルは、一般的に、クライアントデバイス１０からの同じ距離において生じてもよい。このような情報は、いくつかの例では、最も価値あるキーポイントが見つかることになるだろうスケールを決定するために使用されてもよい。加えて、または、代替として、深度情報は、最も価値あるキーポイントが見つかるスケールを決定するために、信頼値に加えて使用できる。同様に、いくつかの例では、オブジェクトが、カメラに対して斜めに置かれている場合に、オブジェクト中の、最も近いポイントと最も遠いポイントとの間の深度差は、最も価値あるキーポイントが見つかるスケールの領域を識別するために使用することが可能である。この方法では、深度情報は、画像中のオブジェクトに対するスケール値を推定するために、少なくとも一部使用されてもよい。

以下で説明するように、ネットワークインターフェース３２は、ワイヤレスネットワークインターフェースを含んでいてもよい。ネットワークインターフェース３２が、ワイヤレスネットワークインターフェースを含むとき、ワイヤレスネットワークインターフェースは、ＩＥＥＥ８０２．１１標準規格（例えば、８０２．１１ａ／ｂ／ｇ／ｎ）、第３世代移動体電気通信（３Ｇ）標準規格、第４世代電気通信標準規格（モバイルワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（モバイルＷｉＭＡＸ（登録商標））、３Ｇロングタームエボリューション（ＬＴＥ）、ＬＴＥアドバンスド、ワイヤレスＭＡＮ−アドバンスド（ＩＥＥＥ８０２．１６）を含んでもよい）、または、他のワイヤレスネットワークプロトコルのうちの１つ以上のもののような、１つ以上のワイヤレスネットワークプロトコルを実現してもよい。一般的に、ワイヤレスネットワークが利用可能な場合、制御ユニット２０は、クライアントデバイス１０が屋内にある可能性が非常に高いことを決定してもよい。クライアントデバイス１０が屋内にあるとき、制御ユニット２０は、カメラ１２により取り込まれた画像中のオブジェクトのサイズが比較的小さい可能性が高いことを決定してもよい。したがって、特徴抽出ユニット２２は、問い合わせ画像に対する特徴記述子を抽出する開始オクターブを決定する際のファクタとして、ワイヤレスネットワークが利用可能であるか否かを取り扱うように構成されていてもよい。

図１の例では、クライアントデバイス１０がローカルオブジェクトデータベース３０を記憶する一方で、サーバデバイス５０は遠隔オブジェクトデータベース５２を記憶する。クライアントデバイス１０は、ネットワーク４０を介して、サーバデバイス５０から、ローカルオブジェクトデータベース３０に対するデータを取り出してもよい。したがって、ローカルオブジェクトデータベース３０は、遠隔オブジェクトデータベース５２のすべてまたは一部を表してもよい。いくつかの例では、ローカルオブジェクトデータベース３０は、遠隔オブジェクトデータベース５２からのデータとともに、（図１中には示されていない）他のサーバデバイスの他の遠隔オブジェクトデータベースからのデータを含んでもよい。一般的に、本開示の技術は、画像中のオブジェクトのアイデンティティを決定するために、ローカルオブジェクトデータベース３０および／または遠隔オブジェクトデータベース５２のうちのいずれかまたは双方を問い合わせる。

以下でより詳細に記述されるように、特徴抽出ユニット２２は、一般的に、オリジナル画像に基づいてフィルタリングされた画像のさまざまなセットからキーポイントを抽出してもよい。いくつかの例では、オリジナル画像はガウシアンフィルタを使用してフィルタリングされ、ガウシアンぼかし画像のセットが生成されてもよい。さまざまなフィルタリング技術が適用されてもよいことを理解すべきである一方、本開示は、主に、例としてガウシアンフィルタに的を絞っている。しかしながら、他の類似したフィルタリング技術も、本開示の技術から逸脱することなく適用されてもよい。一般的に、１つのセット中のフィルタリングされた画像のそれぞれは、（例えば、ピクセル解像度の点から）類似したサイズを有していてもよく、ここで、セット中の各画像は、漸進的にさらにフィルタリングされてもよい。セットのそれぞれは、“オクターブ”と呼ばれてもよい。ガウシアンぼかしは、一般的に、規定されたスケールにおいて、特定のオクターブに対する画像データとガウシアンぼかし関数の畳み込みをとることを含む。特徴抽出ユニット２２は、インクリメントに画像データの畳み込みをとってもよく、ここで、可変シグマ（σ）により参照される固定乗法的因子（fixed multiplicative factor）は、オクターブ内の結果としてのガウシアンフィルタをインクリメントさせる。特徴抽出ユニット２２は、特定のオクターブに対して、ガウシアンぼかし画像のそれぞれを有する、“ガウシアンピラミッド”と呼ばれるものを形成してもよい。特徴抽出ユニット２２は、その後、ピラミッド中の連続してスタックされた２つのガウシアンぼかし画像を比較して、ガウシアンの差分（ＤｏＧ）画像を発生させる。ＤｏＧ画像は、“ＤｏＧ空間”と呼ばれるものを形成してもよい。

このＤｏＧ空間に基づいて、特徴抽出ユニット２２は、キーポイントを検出してもよく、ここで、キーポイントは、幾何学的な観点から潜在的に関心がある画像データ中の、特定のサンプルポイントまたはピクセルの周りの、ピクセルの領域またはパッチのことを指す。一般的に、特徴抽出ユニット２２は、構築されたＤｏＧ空間中の局所的な最大値および／または局所的な最小値として、キーポイントを識別する。特徴抽出ユニット２２は、その後、キーポイントが検出されたパッチに対する局所的な画像勾配の方位に基づいて、１つ以上の方向、すなわち方位をこれらのキーポイントに割り振ってもよい。これらの方向を特徴付けるために、特徴抽出ユニット２２は、勾配方向ヒストグラムに関して方向を規定してもよい。特徴抽出ユニット２２は、その後、ロケーションおよび（例えば、勾配方向ヒストグラムによる）方向として特徴記述子を規定してもよい。特徴記述子を規定した後、特徴抽出ユニット２２は、例えば、特徴記述子によりローカルオブジェクトデータベース３０または遠隔データベース５２に問い合わせることにより、特徴記述子を出力してもよい。特徴抽出ユニット２２は、このプロセスを使用して、特徴記述子のセットを出力してもよい。

ネットワークインターフェース３２は、ワイヤレスインターフェースおよびワイヤードインターフェースを含む、ネットワーク４０を介してサーバデバイス５０と通信することができる任意のタイプのインターフェースを表す。ネットワークインターフェース３２は、ワイヤレスセルラインターフェースを表してもよく、ワイヤレスセルラネットワークを介してネットワーク４０と、ネットワーク４０を介してサーバデバイス５０と通信するための、アンテナ、変調器およびこれらに類するもののような、必要なハードウェアまたは他のコンポーネントを含む。この例では、図１の例中では示されていないが、ネットワーク４０は、ワイヤレスセルラネットワークインターフェース３２がネットワーク４０と通信するワイヤレスセルラアクセスネットワークを含む。図１中には図示されていないが、クライアントデバイス１０はさらに、ディスプレイ、例えば、オブジェクトアイデンティティが決定されている画像データ、または、他の任意のタイプのデータのような、画像を表示することができる任意のタイプのディスプレイユニットを備えていてもよい。ディスプレイは、例えば、発光ダイオード（ＬＥＤ）ディスプレイデバイス、オーガニックＬＥＤ（ＯＬＥＤ）ディスプレイデバイス、液晶ディスプレイ（ＬＣＤ）デバイス、プラズマディスプレイデバイス、または、他の任意のタイプのディスプレイデバイスを含んでもよい。

サーバデバイス５０は、ネットワークインターフェース５４、遠隔オブジェクトデータベース５２および制御ユニット６０を備える。制御ユニット６０は、この例では、特徴マッチングユニット６２および信頼評価ユニット６４を備える。ネットワークインターフェース５４は、ネットワーク４０のようなネットワークと通信することができる任意のタイプのインターフェースをネットワークインターフェース５４が表している点で、クライアントデバイス１０のネットワークインターフェース３２に類似しているかもしれない。特徴マッチングユニット６２は、クライアントデバイス１０から受信した特徴記述子に基づいて、画像データ中の１つ以上の特徴またはオブジェクトを識別するために、特徴マッチングを実行するユニットは表す。

特徴マッチングユニット６２は、この特徴識別を実行するために、遠隔オブジェクトデータベース５２にアクセスしてもよく、ここで、遠隔オブジェクトデータベース５２は、特徴記述子を規定するデータを記憶し、受信した特徴記述子のうちの少なくともいくつかを、画像データから抽出された対応する特徴またはオブジェクトを識別する識別データに関係付ける。信頼評価ユニット６４は、受信した特徴識別子に対応するとして識別されたオブジェクトが、画像データ中のオブジェクトの実際のアイデンティティであるという信頼を表す信頼値を決定する。

遠隔オブジェクトデータベース５２中に記憶されているオブジェクトは、複数の特徴記述子を含んでいてもよく、クライアントデバイス１０から受信した特徴記述子は、遠隔オブジェクトデータベース５２中のオブジェクトの特徴記述子のサブセットのみにマッチしてもよい。一般的に、信頼値は、受信した特徴記述子と、対応するオブジェクトに関係する特徴記述子との間のマッチ間の対応を表す。したがって、より大きい信頼値は、受信した特徴記述子が、遠隔オブジェクトデータベース５２により記憶されているオブジェクトの相対的に多数の特徴記述子にマッチすることを反映してもよい一方で、より小さい信頼値は、受信した特徴記述子が、遠隔オブジェクトデータベース５２により記憶されているオブジェクトの相対的に少数の特徴記述子にマッチすることを反映してもよい。

クライアントデバイス１０から受信した特徴記述子に対するオブジェクトのアイデンティティを決定した後に、特徴マッチングユニット６２は、決定したアイデンティティを表す識別データを提供する。同様に、信頼評価ユニット６４は、決定したアイデンティティが、受信した特徴記述子に適切にマッチするという信頼を評価し、対応する信頼値を発生させ、信頼値をクライアントデバイス１０に提供する。クライアントデバイス１０は、信頼値がしきい値を超えているか否かを決定し、超えていない場合には、画像データに対するさらなるオクターブからの追加の特徴記述子を抽出し、さらなる解析のために、それらの追加の特徴記述子をサーバデバイス５０に送ってもよい。

初めに、クライアントデバイス１０のユーザは、クライアントデバイス１０とインターフェースして、視覚探索を開始させてもよい。ユーザは、ユーザインターフェースと、または、クライアントデバイス１０のディスプレイにより示されている他のタイプのインターフェースとインターフェースして、画像データを選択し、その後、１つ以上の特徴を、または、画像データとして記憶されている画像の焦点であるオブジェクトを識別する視覚探索を開始する。例えば、画像データは、一枚の著名な芸術作品の画像に対応していてもよい。ユーザは、クライアントデバイス１０のカメラ１２を使用して、この画像を取り込んだとしてもよく、ネットワーク４０からこの画像をダウンロードしたとしてもよく、または、別のコンピュータデバイスとのワイヤードもしくはワイヤレス通信を介して、画像を局所的に取り込んだとしてもよい。何らかのイベントにおいて、画像データを選択した後に、ユーザは、視覚探索を開始して、この例では、例えば、名称、芸術家および完成日により、一枚の著名な芸術作品を識別してもよい。

視覚探索を開始することに応答して、クライアントデバイス１０は、特徴抽出ユニット２２を読み出して、画像データの解析を通して見つかった“キーポイント”と呼ばれるもののうちの１つを記述する少なくとも１つの特徴記述子を抽出する。制御ユニット２０は、特徴記述子を使用してローカルオブジェクトデータベース３０に問い合わせてもよく、および／または、ネットワーク４０を介してサーバデバイス５０に特徴記述子を送って、特徴記述子を使用して遠隔オブジェクトデータベース５２に問い合わせてもよい。いくつかの例では、特徴抽出ユニット２２は、特徴記述子を特徴圧縮ユニット（この例には示されていない）に転送し、特徴圧縮ユニットは、ネットワーク４０を介しての特徴記述子の送信の前に特徴記述子を圧縮してもよい。サーバデバイス５０送られるとき、制御ユニット２０は、例えば、ＴＣＰ／ＩＰパケットのような、ネットワークパケットとして、特徴記述子（カプセル化の前に圧縮されていてもよい）をカプセル化してもよい。

本開示では、開示した技術を実行するように構成されているデバイスの機能的な態様を強調するために、さまざまなコンポーネント、モジュールまたはユニットが記載されているが、これらのユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするわけではない。むしろ、さまざまなユニットは、ハードウェアユニット中で組み合わせられていてもよく、あるいは、コンピュータ読取可能媒体に記憶されている適切なソフトウェアおよび／またはファームウェアとともに、上述した１つ以上のプロセッサを含む相互動作可能なハードウェアユニットの集合によって提供されてもよい。この態様では、本開示中のユニットへの参照は、別々のハードウェアユニット、ならびに／あるいは、ハードウェアおよびソフトウェアユニットとして、実現されてもよく、または、実現されなくてもよい異なる機能ユニットを提案することが意図されている。

上記で論じたように、本開示の技術にしたがった特徴抽出ユニット２２は、カメラ１２により取り込まれた画像から、特徴記述子をシーケンシャルに抽出するように構成されていてもよい。つまり、特徴抽出ユニット２２は、第１のオクターブから特徴記述子を抽出し、それらの特徴記述子を使用して、画像中のオブジェクトのアイデンティティを正確に決定できるか否かを決定し、決定できない場合に、１つ以上の後続するオクターブから特徴記述子を抽出してもよい。さらに、特徴抽出ユニット２２にデータを提供してもよい、センサ１４、ネットワークインターフェース３２、ローカルオブジェクトデータベース３０中に記憶されているデータ、スケール推定ユニット２４、および／または、深度推定ユニット２６のような、クライアントデバイス１０のエレメントは、第１および／または後続のオクターブを選択するために使用してもよい。一般的に、上位オクターブは、比較的よりスムーズであり、下位オクターブよりも比較的安定していてもよい。したがって、いくつかの例では、特徴抽出ユニット２２は、第１のオクターブが結果を出さなかった場合に、最後のオクターブを試してもよく、最後のオクターブが結果を出さない場合には、より高いオクターブにより後続される。いくつかの例では、オクターブゼロ（０）を試すときにマッチが存在しない場合、データベース中の参照画像は、より高いスケールにおいて存在しているかもしれず、したがって、特徴抽出ユニット２２は、特徴抽出のために、より高いオクターブに移動してもよい。

トレーニング画像またはテスト画像からの特徴属性は、特徴生成およびマッチングにおける複雑性を低減させるために使用されてもよい。これらの統計は、特徴抽出プロセス中に含まれているパラメータを初期化するために使用されてもよい。いったん初期化されると、特徴抽出ユニット２２は、特徴をインクリメントに抽出し、認識および／または推測を実行し、認識が、画像中のオブジェクトのアイデンティティに関する信頼できる決定に対して十分ではなかった場合に、特徴抽出の次のセットのために、特徴抽出パラメータを更新してもよい。トレーニングデータ（ローカルオブジェクトデータベース３０中に記憶されていてもよく、および／または、遠隔オブジェクトデータベース５２から取り出されてもよい）と、過去の問い合わせ統計とを使用して、問い合わせ画像中のオブジェクトの認識は、より少ないステップで達成でき、結果として計算を省くことができる。

スケール推定ユニット２４は、特徴属性に基づいて、オブジェクトのスケールを識別するように試行してもよい。オブジェクトのスケールは、問い合わせる、データベースの最低オクターブを選択するために使用されてもよい。つまり、特徴記述子をデータベースにサブミットするとき、データベースは、最低オクターブが特定されているときに、最低オクターブ以上であり、最低オクターブより少なくないオクターブをサーチしてもよい。したがって、キーポイントの各セットが抽出された後に、スケール推定ユニット２４は、キーポイントの分布を使用して、画像中のオブジェクトに対するスケールを予想してもよく、スケールを使用して、最低オクターブを推定してもよい。以下の図５は、キーポイント分布と対応する最低オクターブとの間の例示的な関係を図示している。データベースの最低オクターブを推定するためのキーポイント分布の使用に関連するさらなる詳細が、図５に関して以下に論じられる。任意のケースでは、特徴記述子のインクリメントな抽出とともに、最低オクターブを使用することは、初めに、より少ない特徴記述子を抽出することと、実際にサーチされるデータベースの量を低減させることとの双方により、相対的により速いサーチを提供してもよい。

深度推定ユニット２６は、問い合わせ画像に対する深度値を決定してもよい。例えば、深度推定ユニット２６は、問い合わせ画像に対する深度マップを発生させてもよく、ここで、深度マップは、問い合わせ画像中のピクセルまたはオブジェクトに対する深度値を含んでいてもよい。深度マップを使用して、特徴抽出ユニット２２は、マッチングまたはトラッキングを制約してもよく、このことは、結果として偽陽性を少なくすることができる。さらに、特徴抽出ユニット２２は、特定の深度レベルへのマッチングまたはトラッキングを制限してもよく、このことは、結果として複雑性を低減できる。

この方法で、本開示の技術は、特徴記述子抽出における特定の観測の利益を得てもよい。それらの観測は、初めに、問い合わせ画像中のオブジェクトのスケールが、一般的に、そのキーポイントがスケール空間中でどのように分散されるかを決定してもよいことを含む。より小さいオブジェクトは、スケール空間中でより低いスケールへ圧縮される分布を有する傾向がある。また、画像中の特定の領域が他の領域よりもざらつきがある場合に、結果としてのキーポイントは、それらの安定性の点で異なる傾向がある。同様に、キーポイントにおいてくくられる特徴記述子に対する品質も、それらの安定性の点で異なる。さらに、画像品質は、一般的に、より良い造影条件（例えば、良好な照度）により向上し、このことは、結果として画像からのキーポイントがより多くなってもよい。しかしながら、解像度が相対的に高いときに、それに対するデータが、例えば、ローカルオブジェクトデータベース３０および／または遠隔オブジェクトデータベース５２中に記憶されているトレーニング画像と比べて、より大きな変化、つまり、より大きなディテールであるために、実際の特徴記述子の数はより少なくなる傾向がある。これらの差分は、異なる照度、遠近感、または、他の写真技術パラメータからの結果であってもよい。

上記で論じたローカルオブジェクトデータベース３０および／または遠隔オブジェクトデータベース５２は、一般的に、トレーニング画像のセットに対するさまざまなデータを記憶する。このデータは、さまざまなオブジェクトに対する特徴記述子とともに、スケール推定、深度マッピング、および／または、画像中のオブジェクト認識の複雑性を低減する他の技術を支援するデータを含む。例えば、データベースは、画像の所定のロケーションセル（すなわち、“ロクセル”）における特徴記述子をいずれのオクターブおよびスケールから抽出するかを示すデータを記憶してもよい。画像は、ロクセルと呼ばれる２次元行列の領域に分割されてもよい。データベースデータは、オクターブおよびスケールの順序、および／または、マッチング特徴がいずれのオクターブおよびスケールに典型的に属するかについてのサイド情報を含んでもよい。データベースはまた、所定のロクセル内にうまくマッチする可能性が最も高いスケールまたはオクターブを記述する使用量統計を記憶してもよい。

いくつかの例では、データベースは、画像スケール推定に基づくキーポイント分布を記憶してもよい。データベースはまた、いくつかの例では、センサベースのロケーション情報に対応するデータを記憶してもよく、センサベースのロケーション情報は、特徴抽出において供給するスケールおよびオクターブパラメータを初期化するために使用されてもよい。例えば、制御ユニット２０は、センサ１４からＧＰＳ情報を使用して、問い合わせ画像が屋外環境のものであることを決定してもよく、データベースは、問い合わせ画像が取り込まれるときに、クライアントデバイス１０の地理的ロケーションに対するオブジェクトのロケーションについての情報を記憶してもよい。制御ユニット２０は、ワイヤレスネットワークが利用可能であるか否かを決定することのような屋内ポジショニング技術に基づいて、問い合わせ画像が屋内環境であることを決定してもよい。ステレオカメラは、問い合わせ画像中のオブジェクトの深度を推定するために使用されてもよく、オブジェクトの深度は、オクターブ選択を初期化する際に支援してもよい。カメラ内部パラメータ（例えば、焦点距離、、、主点、画像フォーマット）を使用して、オブジェクトに対する深度を推定してもよい。いくつかの例では、内部パラメータは、希薄な深度マップに対してアプリオリに構成される必要はない。いくつかの例では、制御ユニット２０は、例えば、８点アルゴリズムを使用して、特徴対応から内部パラメータおよび外部パラメータを計算してもよい。一般的に、８点アルゴリズムは、ステレオ画像対に対する本質的な行列または基礎となる行列を計算するために、ステレオ画像対中の８個の対応するポイントを使用することを含む。

いくつかの例では、制御ユニット２０は、特徴抽出を実行する最初のスケールまたはオクターブを決定するために、履歴データを使用するように構成されていてもよい。例えば、制御ユニット２０により実行される（示されていない）トラッカーは、カメラ１２により取り込まれた画像中のオブジェクトに対する深度またはスケールを決定する。トラッカーがターゲットを見失った場合、制御ユニット２０は、より新しい画像中のオブジェクトに対するスケールを決定するときに、追跡したターゲットのスケールについての１番最近の“良好な”情報を使用してもよい。

上述したデータのうちのいくつかまたはすべてを使用して、制御ユニット２０は、問い合わせ画像中のオブジェクトのアイデンティティを決定するように構成されていてもよい。例えば、特徴抽出ユニット２２は、初めに、好ましいオクターブおよびスケールのセットを選択し、好ましいオクターブおよびスケールのセットに対する特徴記述子を抽出してもよい。特徴抽出ユニット２２は、必要とされるときに、スケール空間中に次のオクターブを漸進的に追加してもよく、このことは、プロセスを早まって終了させるリスクなしで、オブジェクト認識プロセスの早い終了を可能にしてもよい。オクターブおよびスケールのセットに対するプリファレンスは、ローカルオブジェクトデータベース３０および／または遠隔オブジェクトデータベース５２からのデータから、ならびに／あるいは、トラッカーからの問い合わせ統計から、取り出すことができる。スケール推定ユニット２４は、キーポイント抽出の各反復の後に、累積のしきい値統計を使用して、オブジェクトのスケールを推定してもよく、これはまた、データベースのデータを使用して精錬されてもよい。さらに、推定されたスケールは、センサ１４からのデータ、深度推定ユニット２６により決定された深度情報、または、他のデータのような、追加の入力に基づいて精錬されてもよい。

本開示の技術は、１つ以上の利点を提供してもよい。例えば、これらの技術は、例えば、ＳＩＦＴに対して、ＳＩＦＴが別の方法で達成するだろうものよりも、より速い特徴記述子の局所的な抽出を提供してもよい。これらの技術は、処理に対するスケール空間レベル（例えば、オクターブレベル）の最も適切なサブセットの推定を可能にしてもよく、このことは、オブジェクト認識のスピードおよび複雑性を向上させてもよい。これらの技術はさらに、クライアントデバイス１０（例えば、移動電話機）のローカルオブジェクトデータベース３０中をより速くサーチすることを可能にしてもよい。つまり、これらの技術は、初めに、上位レベルからの特徴記述子抽出を、そして、十分な正確度に到達するときにアルゴリズムを終了させることを可能する。この方法では、図１のシステム２のような、分配された視覚探索システムにおける比較的短い応答とすることができる。特徴記述子は、初めに、上位レベルで開始して、ネットワーク４０を介して、サーバデバイス５０に漸進的に送信されてもよく、サーバデバイス５０は、受信したデータについてのサーチのいくつかの反復を実行して、いったん十分な正確なマッチがみつかると、結果をまたは終了信号を送り返してもよい。クライアントデバイス１０は、サーチの結果または終了信号を受信した後に、サーバデバイス５０に特徴記述子を送ることを終了してもよい。

本開示の技術はまた、トラッキングの複雑性を低減させて、スピードを向上させてもよい。いったん画像中のオブジェクトが認識されると、その関連するスケールも同様に既知になってもよい。トラッカーがオブジェクトを見失った場合、次のサーチ動作は、以前に追跡されていたオブジェクトのスケールを使用して簡略化されてもよい。これらの技術は、推定されたスケールを使用して、キーポイントのクラスタ化に対するカーネルサイズを初期化し、その後、関連する深度マップ推定に基づいて、セグメント化を実行してもよい。

この方法で、クライアントデバイス１０は、プロセッサを備えるデバイスの例を表す。プロセッサは、受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出し、キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算し、記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、結果は、受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、信頼値が信頼しきい値を超えないときに、受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出するように構成されている。

図２は、キーポイント抽出において使用するために決定されているガウシアンの差分（ＤｏＧ）ピラミッド１０４を図示している概念図である。図２の例は、ガウシアンピラミッド１０２および対応するＤｏＧピラミッド１０４中の画像のセット１００を図示しており、ここで、セット１００は、第１の選択されたオクターブ、ならびに、ガウシアンピラミッド１２２および対応するＤｏＧピラミッド１２４中の画像の第２のセット１２０に対応し、セット１２０は、第２のオクターブに対応する。この開示の技術にしたがうと、制御ユニット２０は、セット１００に対するデータを使用して識別されたオブジェクトが、しきい値を下回る信頼値を生じさせるときに、セット１２０に対してデータを発生させるように構成されていてもよい。

図１の特徴抽出ユニット２２は、ガウシアンピラミッド１０２中の任意の２つの連続するガウシアンぼかし画像の差分を計算することにより、ＤｏＧピラミッド１０４を構築してもよい。図１の例の中の特徴抽出ユニット２２によってカメラ１２から受け取られたかもしれない入力画像Ｉ（ｘ，ｙ）は、ガウシアンピラミッド１０２を構築するために、段階的にガウシアンぼかしされる。ガウシアンぼかしは、一般的に、ガウシアンぼかし関数Ｌ（ｘ，ｙ，ｃ）がＬ（ｘ，ｙ，ｃ）＝Ｇ（ｘ，ｙ，ｃ）＊Ｉ（ｘ，ｙ）として規定されるように、スケールｃにおいてオリジナル画像Ｉ（ｘ，ｙ）とガウシアンぼかし関数Ｇ（ｘ，ｙ，ｃ）の畳み込みをとるプロセスを含む。ここで、Ｇは、ガウシアンカーネルであり、ｃは、画像Ｉ（ｘ，ｙ）をぼかすために使用される、ガウシアン関数の標準偏差を示す。ｃが変化するにつれて（ｃ₀＜ｃ₁＜ｃ₂＜ｃ₃＜ｃ₄）、標準偏差ｃは変化し、段階的なぼかしが取得される。シグマは、ベーススケール変数（本質的には、ガウシアンカーネルの幅）である。最初の画像Ｉ（ｘ，ｙ）がインクリメントにガウシアンＧと畳み込まれ、ぼかし画像Ｌを生成させるとき、ぼかし画像Ｌは、スケール空間中で定数因子ｃにより分離される。ＳＩＦＴの例では、ガウシアンカーネルは、スケール空間を発生させるために使用されてもよい。いくつかの例では、代替的な、ローパスカーネルを使用して、スケール空間、例えば、直方体関数、三角関数または他のこのような関数を発生させてもよい。

ＤｏＧ空間またはピラミッド１０４では、Ｄ（ｘ，ｙ，ａ）＝Ｌ（ｘ，ｙ，ｃ_n）−Ｌ（ｘ，ｙ，ｃ_n-1）である。ＤｏＧ画像Ｄ（ｘ，ｙ，）は、スケールｃ_nおよびｃ_n-1における２つの近接するガウシアンぼかし画像Ｌ間での差分である。Ｄ（ｘ，ｙ，）のスケールは、ｃ_nとｃ_n-1との間のどこかに存在する。ガウシアンぼかし画像Ｌの数が増加し、ガウシアンピラミッド１０２に対して提供された近似が連続空間に近づくにつれて、２つのスケールも１つのスケールに近づく。畳み込みまれた画像Ｌは、オクターブによりグループ化されてもよく、ここで、オクターブは、標準偏差の値の倍加に対応する。さらに、畳み込まれた画像Ｌの固定数がオクターブ毎に取得されるように、乗数ｋの値（例えば、ｃ₀＜ｃ₁＜ｃ₂＜ｃ₃＜ｃ₄）が選択される。その後、ＤｏＧ画像Ｄは、オクターブ毎の近似ガウシアンぼかし画像Ｌから取得されてもよい。

本開示の技術にしたがうと、所定のオクターブに対して画像Ｄが取得された後に、特徴抽出ユニット２２は、オクターブに対するキーポイントを抽出し、それらの抽出したキーポイントに対する特徴記述子を決定してもよい。現在のオクターブ（および任意の以前のオクターブ）に対する特徴記述子は、画像中のオブジェクトのアイデンティティを決定するように試行するために使用されてもよい。オブジェクトのアイデンティティが決定された後に、制御ユニット２０は、決定されたアイデンティティに対する信頼値を取得してもよい。信頼値がしきい値より小さい場合に、特徴抽出ユニット２２は、後続のオクターブに進んでもよく、後続のオクターブに対する追加の特徴記述子を決定し、再び、画像中のオブジェクトのアイデンティティを決定するように試行する。その一方で、信頼値がしきい値を超えるときは、特徴抽出ユニット２２は、後続するオクターブへ進む必要はない。下記でより詳細に記述するように、制御ユニット２０は、例えば、画像中のオブジェクトに対して予想されたスケール、問い合わせ画像が屋内または屋外環境で取り込まれたかを示すセンサデータ、および／または、問い合わせ画像中のオブジェクトに対する深度値を示す、問い合わせ画像に対する深度マップのような、さまざまなファクタに基づいて、第１のオクターブおよび後続するオクターブを選択してもよい。

特徴抽出ユニット２２は、その後、ＤｏＧピラミッド１０４を使用して、画像Ｉ（ｘ，ｙ）に対するキーポイントを識別してもよい。キーポイント抽出を実行する際に、特徴抽出ユニット２２は、画像中の特定のサンプルポイントまたはピクセルの周りの局所的な領域またはパッチが、潜在的に（幾何学的に言って）対象のパッチであるか否かを決定する。一般的に、特徴抽出ユニット２２は、ＤｏＧ空間１０４中の局所的な最大値および／または局所的な最小値を識別し、ＤｏＧ空間１０４中のキーポイントロケーションとして、これらの最大値および最小値のロケーションを使用する。図２中で図示されている例では、特徴抽出ユニット２２は、パッチ１０６内のキーポイント１０８を識別する。（局所的極値検出としても知られている）局所的な最大値および最小値の発見は、ＤｏＧ空間１０４中の各ピクセル（例えば、キーポイント１０８に対するピクセル）を、同一のスケールにおけるその８個の隣接するピクセルと、両側の隣接スケールのそれぞれにおける（近接パッチ１１０および１１２中の）９個の隣接するピクセルとの合計２６ピクセル（９×２＋８＝２６）とを比較することにより達成されてもよい。キーポイント１０６に対するピクセル値が、パッチ１０６、１１０および１０８における、２６個のすべての比較されたピクセルの中で最大値または最小値である場合に、特徴抽出ユニット２２はキーポイントとしてこれを選択する。特徴抽出ユニット２２は、これらロケーションがより正確に識別されるように、キーポイントをさらに処理してもよい。特徴抽出ユニット２２は、いくつかの例では、低コントラストのキーポイントおよびエッジのキーポイントのような、キーポイントのうちのいくつかを廃棄してもよい。

図３は、キーポイントの検出をより詳細に図示している概念図である。図３の例では、パッチ１０６、１１０および１１２のそれぞれが３×３ピクセル領域を含む。特徴抽出ユニット２２は、初め、対象（例えば、キーポイント１０８）のピクセルを、同一スケール（例えば、パッチ１０６）におけるその８個の隣接するピクセル１３２、ならびに、キーポイント１０８の両側の隣接するスケールのそれぞれにおける隣接するパッチ１１０および１１２中の９個の隣接するピクセル１３４および１３６と比較する。

特徴抽出ユニット２２は、局所的な画像勾配の方位に基づいて、１つ以上の方向、すなわち方位を各キーポイントに割り振ってもよい。局所的な画像プロパティに基づいて、各キーポイントに矛盾のない方向を割り振ることにより、特徴抽出ユニット２２は、この方向に関連するキーポイント記述子を表し、それゆえ、画像回転に対する不変性を達成してもよい。特徴抽出ユニット２２は、その後、ガウシアンぼかし画像Ｌ中の、および／または、キーポイントスケールにおける、キーポイント１０８の周りの隣接する領域中のすべてのピクセルに対する大きさおよび方位を計算する。（ｘ，ｙ）に位置付けられているキーポイント１０８に対する勾配の大きさは、ｍ（ｘ，ｙ）として表されてもよく、（ｘ，ｙ）におけるキーポイントに対する勾配の方向または方位は、Γ（ｘ，ｙ）として表されてもよい。

特徴抽出ユニット２２は、その後、すべての計算がスケールが変化しない方法で実行されるように、キーポイントのスケールを使用して、キーポイント１０８のスケールに最も近いスケールを持つガウシアン平滑化画像Ｌを選択する。このスケールにおける各画像サンプルＬ（ｘ，ｙ）に対して、特徴抽出ユニット２２は、ピクセル差分を使用して、勾配の大きさｍ（ｘ，ｙ）および方向Γ（ｘ，ｙ）を計算する。例えば、大きさｍ（ｘ，ｙ）は、以下の方程式（１）にしたがって計算されてもよい。

特徴抽出ユニット２２は、以下の方程式（２）にしたがって、方位または方向Γ（ｘ，ｙ）を計算してもよい。

方程式（２）では、Ｌ（ｘ，ｙ）は、キーポイントのスケールでもあるスケールにおける、ガウシアンぼかし画像Ｌ（ｘ，ｙ，）のサンプルを表す。

特徴抽出ユニット２２は、ＤｏＧ空間中のキーポイントの面よりも高いスケールにおける、上側にあるガウシアンピラミッド中の面に対するキーポイント、または、キーポイントよりも低いスケールにおける、下側にあるガウシアンピラミッドの面中のキーポイントのうちのいずれかに対する勾配を矛盾なく計算してもよい。いずれにしても、各キーポイントに対して、特徴抽出ユニット２２は、キーポイントを囲む長方形エリア（例えば、パッチ）中の同一のスケールにおける勾配を計算する。さらに、画像信号の周波数は、ガウシアンぼかし画像のスケールにおいて反映される。しかしながら、ＳＩＦＴ、および、勾配の圧縮ヒストグラム（ＣＨｏＧ）アルゴリズムのような他のアルゴリズムは単に、パッチ（例えば、長方形エリア）中のすべてのピクセルにおける勾配値を使用する。パッチは、キーポイントの周りで規定され、サブブロックはブロック内で規定され、サンプルはサブブロック内で規定され、この構造は、たとえキーポイントのスケールが異なるときでもすべてのキーポイントに対して同じものが維持される。それゆえ、画像信号の周波数は、同一のオクターブにおける、ガウシアン平滑フィルタの連続のアプリケーションによって変化するが、異なるスケールにおいて識別されたキーポイントは、スケールにより表される、画像信号の周波数における変化に関わらず、同数のサンプルによりサンプリングされてもよい。

キーポイント方向を特徴付けるために、特徴抽出ユニット２２は、例えば、勾配の圧縮ヒストグラム（ＣＨｏＧ）を使用して、勾配方向ヒストグラム（図４参照）を生成されてもよい。各隣接するピクセルのコントリビューションは、勾配の大きさおよびガウシアンウィンドウにより重み付けされてもよい。ヒストグラム中のピークは、優位方向に対応する。特徴抽出ユニット２２は、キーポイント方向に関連するキーポイントのすべてのプロパティを測定してもよく、これは、回転に対する不変性を提供してもよい。

１つの例では、特徴抽出ユニット２２は、各ブロックに対するガウシアン重み付け勾配の分布を計算し、ここでは、各ブロックは、２サブブロック×２サブブロックの合計４サブブロックである。ガウシアン重み付け勾配の分布を計算するために、特徴抽出ユニット２２は、いくつかのビンを持つ方向ヒストグラムを形成し、各ビンは、キーポイントの周りのエリアの一部をカバーする。例えば、方向ヒストグラムは、３６個のビンを有していてもよく、各ビンは、方向の３６０度の範囲のうちの１０度をカバーする。代替的に、ヒストグラムは８個のビンを有していてもよく、それぞれは、３６０度の範囲のうちの４５度をカバーする。ここに記述するヒストグラムコーディング技術は、任意の数のビンのヒストグラムに適応可能であってもよいことは明白であるべきである。

図４は、特徴抽出ユニット２２が勾配分布および方向ヒストグラムを取得できる例示的な技術を図示している概念図である。ここで、２次元勾配分布（ｄｘ，ｄｙ）（例えば、ブロック１５６）は、１次元分布（例えば、ヒストグラム１６４）に変換される。キーポイント１０８は、キーポイント１０８を囲む（セルまたは領域とも呼ばれる）パッチ１５６の中心に位置付けられている。ピラミッドの各レベルに対して予め計算されている勾配が、各サンプルロケーション１５８における小さな矢印として示されている。示されているように、サンプル１５８の４×４グループは、サブブロック１６０を形成し、サブブロックの２×２グループは、ブロック１５６を形成する。ブロック１５６を、記述子ウィンドウと呼ぶこともある。

ガウシアン重み付け関数は、円１５２により示され、サンプルポイント１５８のそれぞれの大きさに重みを割り振るために使用されてもよい。円形ウィンドウ１５２中の重みはスムーズに減少する。ガウシアンウィンドウ１５２の目的は、ウィンドウのポジションにおける小さな変化により記述子における突然の変化を回避し、記述子の中心から遠い勾配に少ない強調を与えることである。方向ヒストグラム１６２の２×２＝４アレイは、ヒストグラムの各ビン中に８方向を持つ２×２サブブロック、結果として、（２×２）×８＝３２次元特徴記述子ベクトルから取得される。例えば、方向ヒストグラム１６３および１６５は、サブブロック１６０に対する勾配分布に対応してもよい。しかしながら、各ヒストグラム中の８方向を持つヒストグラム（８ビンヒストグラム）の４×４アレイ、結果として、各キーポイントに対する（４×４）×８＝１２８次元特徴記述子ベクトルを使用することは、より良好な結果をもたらす場合がある。（例えば、異なるボロノイセル構造を持つ）他のタイプの量子化ビン配列もまた、勾配分布を取得するために使用されてもよいことに留意すべきである。

ここで使用されるヒストグラムはマッピングｋ_iであり、マッピングｋ_iは、ビンとして知られている、さまざまな互いに素なカテゴリに分類される、観測、サンプルまた実現値（例えば、勾配）の数をカウントする。ヒストグラムのグラフは、ヒストグラムを表す１つの方法に過ぎない。したがって、ｋが、観測、サンプルまたは実現値の総数であり、ｍがビンの総数である場合、ヒストグラムｋ_i中の周波数は、以下の条件を満たす。

ここで、Σは、加算演算子である。

ヒストグラム１６２に追加される各サンプルは、標準偏差を持つ、ガウシアン重み付け円状ウィンドウ１５２内のその勾配の大きさ、つまり、キーポイントのスケールの１．５倍により重み付けされてもよい。結果としての方向ヒストグラム１６４中のピークは、局所的な勾配の優位方位に対応する。ヒストグラム中の最も高いピークが検出され、その後、最も高いピークのうちの、８０％のような、特定のパーセンテージ内である、他の何らかの局所的なピークも使用されて、その方向を持つキーポイントを作成する。それゆえ、類似した大きさの複数のピークを持つロケーションに対して、同一のロケーションおよびスケールではあるが、異なる方向において、複数のキーポイントを作成できる。

サブブロックからのヒストグラムは、キーポイントに対する特徴記述子ベクトルを取得するために連結されてもよい。１６個のサブブロックからの８個のビンのヒストグラム中の勾配が使用される場合、１２８次元特徴記述子ベクトルが結果として生じてもよい。

この方法では、各キーポイントに対して、記述子が取得されてもよく、ここで、このような記述子は、ガウシアン重み付け勾配の分布の、ロケーション（ｘ，ｙ）、方向および記述子により特徴付けられてもよい。画像は、１つ以上のキーポイント記述子（画像記述子とも呼ばれる）により特徴付けられてもよいことに留意すべきである。

いくつかの例示的なアプリケーションでは、画像は、移動デバイスにより取得および／または取り込まれてもよく、オブジェクト認識は、取り込まれた画像上、または、取り込まれた画像の一部について実行されてもよい。第１のオプションにしたがうと、取り込まれた画像は移動デバイスによりサーバへ送られてもよく、そこで、画像は（例えば、１つ以上の記述子を取得するために）処理され、および／または、複数の画像（例えば、複数の画像に対する１つ以上の記述子）と比較されて、マッチ（例えば、取り込まれた画像またはその中のオブジェクトの識別）を取得してもよい。しかしながら、このオプションでは、取り込まれた画像全体が送られ、このことは、そのサイズにより望ましくないかもしれない。第２のオプションでは、移動デバイスは、画像を処理（例えば、画像について特徴抽出を実行）して、１つ以上の画像記述子を取得し、画像および／またはオブジェクト識別のために、記述子をサーバに送る。画像よりもむしろ、画像に対するキーポイント記述子が送られることから、これには、画像に対するキーポイント記述子が画像自体よりも小さい限り、より少ない送信時間を要してもよい。したがって、キーポイント記述子のサイズを圧縮することは、極めて望ましいことかもれしない。

キーポイント記述子のサイズを最小化するために、勾配の分布の記述子を圧縮することが有益であるかもしれない。勾配の分布の記述子はヒストグラムにより表されるので、ヒストグラムに対する効率的なコーディング技術をここに記述する。

特徴記述子を効率的に表すおよび／または圧縮するために、分布の記述子（例えば、方向ヒストグラム）は、より効果的に表されてもよい。したがって、ヒストグラムの効率的なコーディングに対する１つ以上の方法または技術をここに記述する。これらの方法または技術は、圧縮された形態でヒストグラムを効率的に（または、もっと言えば最適に）コード化するために、任意のタイプのヒストグラムインプリメンテーションにより実現されてもよい。ヒストグラムの効率的なコーディングは、従来のエンコーディング技術により取り扱われない特異な問題である。従来のエンコーディング技術は、値のシーケンスの効率的なエンコーディングに的を絞っていた。ヒストグラムでは、シーケンス情報が使用されないことから、ヒストグラムの効率的なエンコーディングは、従来の技術により取り扱われた問題とは異なる問題である。

第１のステップにおいて、ヒストグラムの最適な（最小サイズまたは長さの）コーディングが考慮される。情報理論上の原理を適用して、ヒストグラムの無損失および／または有損失のエンコーディングに対する最大の長さを取得してもよい。

上記で述べたように、（例えば、セルまたは領域とも呼ばれることが多い）特定のパッチに対して、パッチ中の勾配の分布はヒストグラムで表されてもよい。ヒストグラムは、ｍ個のシンボル（２≦ｍ≦∞）の長さを持つアルファベットＡで表されてもよく、ここで、各シンボルは、ヒストグラム中のビンに関係する。それゆえ、ヒストグラムは、ｍ個のビンの総数を有する。例えば、アルファベットＡ中の各シンボル（ビン）は、規定されている勾配／方向のセットからの勾配／方向に対応してもよい。ここで、

になるように、ｎは、観測、サンプルまたは実現値（セル、パッチまたは領域中の勾配サンプル）の総数を表してもよく、ｋは、特定のビン中の観測、サンプルまたは実現値の数を表す（例えば、ｋ₁は、第１のビン中の勾配サンプルの数であり．．．ｋ_mは、ｍ番目のビン中の勾配サンプルの数である）。つまり、ヒストグラムのビン中のすべての勾配サンプルの合計は、パッチ中の勾配サンプルの総数に等しい。ヒストグラムは、セル、マッチまたは領域内の勾配サンプルの第１の分布に対する確率分布を表してもよいことから、勾配サンプルの（第１の分布とは異なる）第２の分布を有する異なるセル、パッチまたは領域がそれでもなお同一のヒストグラムを有する可能性がある。

Ｐが、ｍに関する確率分布［ｐ₁，．．．ｐm］を示す場合、この分布のエントロピーＨ（Ｐ）は、

のように規定できる。

このケースでは、２つの既知の分布ＰおよびＱの間の相対エントロピーＤ（Ｐ||Ｑ）は、

により与えられる。

勾配分布の所定のサンプルｗに対して、各勾配値が現れる回数は、（ｉ＝１，．．．ｍに対して）ｋ_iにより与えられると仮定する。サンプルｗの確率Ｐ（ｗ）は、したがって、

により与えられる。

ここで、Πは積演算子である。

例えば、セルまたはパッチのケースでは、確率Ｐ（ｗ）は、特定のセルまたはパッチの確率である。

しかしながら、方程式６は、分布Ｐが既知であると仮定する。ソース分布が既知ではないケースでは、パッチ中に典型的な勾配を持つケースであるとして、サンプルｗの確率は、Krichecvsky-Trofimov（ＫＴ）推定により与えられてもよい。

ここで、

であるように、Γはガンマ関数である。

サンプルｗは、その確率のＫＴ推定を使用してエンコードされることになる場合に、（実際の分布Ｐの下での）このようなエンコーディングの長さＬは、

を満たす。

方程式８は、ヒストグラムの無損失エンコーディングに対する最大コード長を提供する。ＫＴ推定量ベースのコードの冗長は、

により与えられてもよい。

これは、実際のソース分布に依存しない。このことは、このようなコードが普遍的であることを意味する。したがって、ＫＴ推定量は、使用されるサンプルｗが十分長い限りは、実際の確率Ｐに近い近似を提供する。

ＫＴ推定量は、分布に対する確率を計算する唯一の方法であることに留意すべきである。例えば、最尤（ＭＬ）推定量も使用されてもよい。

また、ヒストグラムをコード化するとき、エンコーダおよびデコーダの双方は、ヒストグラム中のサンプルの総数ｎおよびヒストグラムに対するビンの数ｍを決定できる、または、ヒストグラム中のサンプルの総数ｎおよびヒストグラムに対するビンの数ｍにより構成されていることが仮定されてもよい。したがって、このケースでは、この情報はエンコードされる必要がない。それゆえ、エンコーディングは、ｍ個のビンのそれぞれに対するサンプルの数にフォーカスされる。

キーポイント（または画像）記述子の一部としてヒストグラム自体を送信するよりもむしろ、ヒストグラムの圧縮形態を使用してもよい。これを達成するために、ヒストグラムをタイプにより表してもよい。一般的に、タイプは、ヒストグラムの圧縮表示である（例えば、タイプは、ヒストグラム全体よりもむしろ、ヒストグラムの形状を表す）。サンプルｗのタイプｔは、タイプｔ（ｗ）が、そのシンボルの周波数のセット（例えば、勾配分布ｋ_iの周波数）を表すように、

として規定されてもよい。タイプはまた、サンプルｗを生成させたソースの真の分布の推定として理解できる。したがって、タイプｔ（ｗ）のエンコーディングおよび送信は、それが特定のサンプルｗに基づいて推定できることから、分布の形状のエンコーディングおよび送信と同等なものである。

しかしながら、従来のエンコーディング技術は、値のシーケンスの効率的なエンコーディングにフォーカスされていた。ヒストグラムではシーケンス情報が使用されないことから、ヒストグラムの効率的なエンコーディングは、従来のエンコーディング技術により取り扱われた問題とは異なる問題である。ビンの数がエンコーダおよびデコーダに対して既知であると仮定すると、ヒストグラムのエンコーディングは、ポイント（例えば、勾配）の総数、および、ビン毎のポイントの総数のエンコーディングを含む。

以下、１つの目標は、タイプｔ（ｗ）をどのように効率的にエンコードするかを見つけ出すことである。何らかの所定のタイプｔは、

として規定できることに注目されたい。

ここで、Ｋ₁からＫ_mは、サンプルの総数ｎを与えられた、可能性あるタイプｔの数を示す。それゆえ、タイプｔを持つ可能性あるシーケンスの総数は、

により与えられることができる。

ここで、ξ（ｔ）は、母集団ｔを持つシンボルの可能性ある配置の総数である。

可能性あるタイプの総数は、本質的に、ｋ₁．．．＋ｋ_m＝ｎになるように、すべての整数ｋ₁，．．．，ｋ_mの数であり、これは、マルチセット係数により与えられる。

タイプｔの任意のサンプルｗの実現値の確率は、Ｐ（ｔ）により示されてもよい。可能性あるサンプルのようなξ（ｔ）が存在し、それらがすべて同一の確率を有ていることから、それなら：

である。

この密度Ｐ（ｔ）は、タイプの分布として参照されてもよい。これは、明らかに、

における最大値（モード）を持つ多項分布である。

タイプの分布のエントロピーが、（集合プロパティにより）後続する。

長さｎのサンプルｗが与えられると、ユニバーサルエンコーダのタスクは、その最も悪いケースの平均冗長：

が最小になるように、コードｆ（ｗ）（または、同等に、その誘導分布Ｐ_f（ｗ））を設計することである。方程式１７および１８は、ユニバーサルコーディングにより取り扱われる問題を描いており、シーケンスが与えられ、平均コード長とｎ＊Ｈ（Ｐ）との間の差分が、すべての可能性ある入力分布に対して最小であるコード長が求められる。つまり、最小の最も悪いケースのコード長は、予め分布を知らずに求められる。

同一のタイプのサンプルの確率が同一であることから、コード誘導分布Ｐｆ（ｗ）は、このプロパティを保つことが予期され、Ｐｆ（ｗ）は、

として規定できる。ここで、Ｐf（ｔ）は、タイプｔ（ｗ）の確率であり、ξ（ｔ）は、同一タイプｔ（ｗ）内のシーケンスの総数である。タイプｔ（ｗ）に割り振られたコードの確率Ｐ_fは、したがって、

は、タイプのコード誘導分布である、として規定できる。

このような分解を方程式１８に当てはめて、タイプを超えて（個々のサンプルの代わりに）加法を変更することにより、平均冗長Ｒ＊（ｎ）は、

として、規定できる。ここで、“ｓｕｐ”は、上限（supremum）演算子であり、値は、それが少なくともそのセットのうちの任意のエレメントと同じくらいの大きさである場合、セットに関する上限である。これらの方程式は、タイプのコーディングの問題は、最小冗長ユニバーサル（minimum redundancy universal）コーディングの問題と同等であることを意味する。

結果として、タイプの無損失コーディングの問題は、タイプのＫＴ推定分布を使用することにより、漸近的に最適に解決できる。

この方程式２２．２に基づいて、単一の母集団を持つタイプ（０回のカウントを持つもの）がそのピークになる一方で、近くの均一な母集団を持つタイプが推定密度の谷に落ちることは明白になる。

図５は、さまざまなガウシアンスケール空間にわたる例示的なキーポイント分布を図示しているチャート１８０の線図である。グラフ１８０に対するデータは、トレーニング画像のセット、すなわち、７００×１０００ピクセルの解像度を持つ１０５個の画像から発生された。各画像に対して、データは、１．０（グラフ１８６）、０．７５（グラフ１８８）、０．５（グラフ１９０）、および、０．２５（グラフ１９２）のスケールに対して収集された。チャート１８０は、スケール空間にわたる、キーポイントの典型的な分布を示す。この観測に基づいて、制御ユニット２０（図１）は、画像の倍率の推定を可能にする統計を計算してもよい。

グラフ１８０のＸ軸１８４は、データのこの特定の例示的なセットに対するガウシアンスケール空間（ＧＳＳ）中の、可能性あるスケールインデックスおよび対応するスケールを表す。Ｙ軸１８２は、この例に対するキーポイントの数を表す。

自然な画像に対して、示されているガウシアンスケール空間にしたがう、スケールパラメータに関して検出されたキーポイントの分布が存在してもよい。より高いスケールにおいて検出されたキーポイントは、一般的により大きな特徴に対応する。画像解像度が増加するにつれて（例えば、ユーザがターゲットから遠くに離れていくにつれて）、より細かいディテールは低減され、より高いスケール（粗いディテールに対応する）において検出されたディテールは、より低いスケール（より細かなディテールに対応する）に移動する。キーポイントのうちのほとんどは、それゆえ、より低いスケールに属する。ビン中心としてスケール空間レベルにより構築されたキーポイントのヒストグラムは、画像サイズが増加するにつれて、ヒストグラムのエリアのうちのほとんどは、より低いビン中心に集中してもよいという特性を有していてもよい。実質上、これは、スケール空間におけるキーポイントの分布はテクスチャに依存しており、そして、オブジェクトからのカメラの距離にしたがって変化することを意味している。

所定のシーンにおいて、多数のオブジェクトが現れる可能性があり、それぞれは、カメラからのそれ独自の距離において、それゆえ、一意的なスケールにある。ユーザが対話することを望むオブジェクトに関係するスケールを適切に評価するために、いくつかの粗いセグメント化を実行して、画像中の他のものからオブジェクトを分離して、オブジェクトのスケールについての局所的な推論を行ってもよい。これは、例えば、ダイナミックウィンドウ、または、オブジェクト領域間の境界をおおよそ描く他のアルゴリズムを使用することにより達成できる。

サーチするデータベースの最低オクターブを決定するのに使用できるカットオフスケールを計算するために、スケール推定ユニット２４は、キーポイントＰ（ｓ）のヒストグラムにより、スケール空間レベルｓにわたるキーポイントの分布を推定してもよい。次に、スケール推定ユニット２４は、キーポイントのうちのおよそ９０％が、カットオフスケールｓ_cまでのスケールレベル内に保たれるように、ｓ_cを推定してもよい。形式的には、スケール推定ユニット２４は、以下の公式（２３）を計算してもよい。

その後、スケール推定ユニット２４は、追跡したスケール空間カットオフレベルを画像倍率Ｙにマッピングする関数を推定する。すなわち、スケール推定ユニット２４は、

を計算してもよい。

ここで、Ｙは画像倍率であり、ｓ_cはカットオフスケール空間レベルである。関数を知るために、スケール推定ユニット２４は、最も反復されたパス、例えば、グラフ１８６、１８８、１９０または１９２の１つから、Ｙおよびｓ_cデータポイントを拾ってもよい。

一般的に、画像解像度が増加するにつれて、ｓ_cはスケール空間においてさらに上に移動し、逆もまた同じである。グラフ１８０はまた、この例示的なデータセットにおける、１．０（ポイント１９８）、０．７５（ポイント１９６）、および、０．５（ポイント１９４）のスケールに対する、例示的なカットオフスケール（最低オクターブに対応する）を図示している。この例から、解像度が減少するにつれて、カットオフスケールは、左に向かって移動することが分かる。つまり、解像度が減少するにつれて、カットオフスケールが減少する。

図６は、インクリメントな特徴記述子抽出を実行するための例示的な方法を図示しているフローチャートである。説明の目的のために、図６の方法は、クライアントデバイス１０のコンポーネントに関して記述されている。しかしながら、図６の方法は、他のデバイスにより実行されてもよく、または、さまざまなデバイスにより共同で実行されてもよいことを理解すべきである。例えば、サーバデバイス５０（図１）の制御ユニット６０は、図６の方法を実行するように構成されていてもよい。同様に、追加のステップが実行されてもよく、または、特定のステップが省略され、方法のステップが、本開示の技術から逸脱することなく、異なる順序で（または、並行して）実行されてもよい。

図６の例では、初めに、制御ユニット２０は、オブジェクトの（問い合わせ画像とも呼ばれる）画像を受信する（２００）。例えば、制御ユニット２０は、カメラ１２から画像を受信してもよい。代替的に、制御ユニット２０は、クライアントデバイス１０のメモリから、記憶された画像を取り出してもよい。制御ユニット２０の特徴抽出ユニット２２はその後、特徴記述子を抽出する画像に対する第１のオクターブを選択してもよい（２０２）。

特徴抽出ユニット２２は、本開示において論じた、技術の組み合わせを含む、さまざまな技術のうちの任意のものを使用して、第１のオクターブを選択してもよい。例えば、特徴抽出ユニット２２は、特徴抽出ユニット２２が第１のオクターブを選択するために使用してもよいセンサ１４から、データを受信してもよい。特徴抽出ユニット２２は、例えば、クライアントデバイス１０のロケーションを示す、センサ１４のＧＰＳユニットからのロケーションデータを受信してもよい。特徴抽出ユニット２２は、ロケーションデータを使用して、クライアントデバイス１０の近くのオブジェクトのロケーションを決定してもよい。特徴抽出ユニット２２は、画像中のオブジェクトに対するスケールを予想するために、クライアントデバイス１０の近くのオブジェクトを使用してもよい。

例えば、ＧＰＳデータが、クライアントデバイス１０がフランスのパリのエッフェル塔付近にあると示す場合に、特徴抽出ユニット２２は、画像中のオブジェクトの可能性あるスケールは比較的大きいと決定してもよい。この決定は、画像がエッフェル塔のものであるという（コンフィグレーションデータを通しての）仮定に基づいていてもよく、この仮定は、特徴記述子抽出および比較を通して確定されてもよい。一方で、ＧＰＳデータが、クライアントデバイス１０がフランスのパリのルーブル美術館付近もしくは中にあると示す場合に、特徴抽出ユニット２２は、画像中のオブジェクトのスケールが比較的小さいと決定してもよい。この決定は、例えば、画像がルーブル美術館内に保存されている作品のものであるという（コンフィグレーションデータを通しての）仮定に基づいていてもよい。

ＧＰＳユニットからのロケーションデータ、または、他のタイプの感知されたデータに加えて、または、代替実施形態において、制御ユニット２０は、深度推定ユニット２６によって計算された深度マップに基づいて第１のオクターブを選択してもよい。深度推定ユニット２６は、深度マップを計算するさまざまな技術のうちの任意のものを使用してもよい。例えば、深度推定ユニット２６は、ステレオカメラによって取り込まれた２つ以上の画像のピクセル間での、水平差異（すなわち視差）を解析してもよい。これらの画像のうちの１つは、問い合わせ画像に対応してもよい。問い合わせ画像中のオブジェクトに対する深度に基づいて、制御ユニット２０は、オブジェクトに対するスケールを決定し、このスケールは第１のオクターブに対応してもよい。第１のオクターブに影響し得る他のファクタは、例えば、画像中でオブジェクトが存在するロクセル、ワイヤレスネットワークが利用可能であるか否か（例えば、ワイヤレスアクセスポイントが領域内にあるか否か）、トラッカーが見失って以来の以前の新しい問い合わせ画像に対してスケールが決まっていたか否か、または、他のファクタを含む。

第１のオクターブを決定した後に、特徴抽出ユニット２２は、第１のオクターブに対するキーポイントを抽出してもよい（２０４）。上記で論じたように、特徴抽出ユニット２２は、上で選択した第１のオクターブに対応するサイズに、問い合わせ画像の解像度をスケーリングすることにより、問い合わせ画像から、第１のオクターブに対する画像を計算してもよい。特徴抽出ユニット２２は、その後、種々の第１のオクターブ画像にガウシアンぼかしフィルタを適用して、キーポイントをそこから抽出するガウシアンの差分ピラミッドを計算してもよい。キーポイントを使用して、特徴抽出ユニット２２は、問い合わせ画像の第１のオクターブに対して、１つ以上の特徴記述子を抽出してもよい（２０６）。

特徴抽出ユニット２２は、その後、特徴記述子を使用して、問い合わせ画像中のオブジェクトのアイデンティティを決定するように試行してもよい（２０８）。いくつかの例では、制御ユニット２０は、遠隔オブジェクトデータベース５２のすべてまたは一部を取り出して、データをローカルオブジェクトデータベース３０として局所的に記憶してもよい。他の例では、制御ユニット２０は、抽出された特徴記述子のうちの１つ以上をネットワーク４０を介してサーバデバイス５０に送ってもよい。特徴マッチングユニット６２は、クライアントデバイス１０から受信した特徴記述子のいくつかまたはすべてが、遠隔オブジェクトデータベース５２のオブジェクトにマッチするか否かを決定してもよい。特徴マッチングユニット６２は、特徴記述子に対する１つ以上のマッチを決定してもよい。特徴マッチングユニット６２が、サーチする最低オクターブの指示を受信していた場合に、特徴マッチングユニット６２は、最低オクターブにおける、または、最低オクターブを上回るオクターブであるが、特定された最低オクターブを下回るオクターブに対する特徴記述子のみをサーチしてもよい。信頼評価ユニット６４は、その後、マッチがどのくらいうまく特徴記述子に適合するかを示す、マッチのそれぞれに対する信頼値を決定してもよい。制御ユニット６０は、その後、決定されたマッチのそれぞれに対する識別子およびそれぞれの信頼値を含む情報を、ネットワーク４０を介してクライアントデバイス１０送ってもよい。

サーバデバイス５０から情報を受信した後に、クライアントデバイス１０の制御ユニット２０は、オブジェクトのさまざまな決定されたアイデンティティに対する信頼値のうちのいずれかのものがしきい値を超えるか否かを決定してもよい（２１０）。例えば、制御ユニット２０は、最も大きな信頼値がしきい値を超えるか否かを決定してもよい。最も大きい信頼値がしきい値を超えない場合（２１０の“いいえ”の枝）、制御ユニット２０は、下記に記述するように、特徴記述子を抽出するための次のオクターブとともに、いくつかの例において問い合わせされているデータベースの（最低オクターブとも呼ばれる）カットオフスケールを決定してもよい。

スケール推定ユニット２４は、いずれのスケールが最も厳密にキーポイント分布に適合するかを決定し、その後、最良に適合しているスケールが、オブジェクトのスケールである可能性が高いことを決定してもよい（２１２）。スケールのこの近似に基づいて、特徴抽出ユニット２２は、抽出された特徴記述子と比較するための、データベース中の最低オクターブを選択してもよい（２１４）。特徴抽出ユニット２２はまた、キーポイントを抽出する次のオクターブを選択してもよい（２１６）。特徴抽出ユニット２２は、その後、この次に決定されたオクターブに対するキーポイントを抽出し（２１８）、抽出したキーポイントを使用して、現在のオクターブに対する特徴記述子を抽出してもよい（２０６）。特徴抽出ユニット２２は、その後、再び、抽出された特徴記述子を使用して、オブジェクトアイデンティティを決定してもよい（２０８）。特に、特徴抽出ユニット２２は、抽出された特徴記述子を使用して選択した最低オクターブにおける、または、選択した最低オクターブを上回るデータベースのオクターブにおいて、データベースにオブジェクトをサーチさせ、オブジェクトの決定されたアイデンティティにおける新たな信頼値を受け取らせてもよい。

決定されたオブジェクトのアイデンティティ中の信頼値がしきい値を超える場合（２１０の“はい”の枝）、特徴抽出ユニット２２は、画像中のオブジェクトに対するアイデンティティ情報を出力してもよい（２１８）。いくつかの例では、特徴抽出ユニット２２は、制御ユニット２０により実行されるウェブブラウザと対話して、ウェブブラウザに、サーチ用語またはキーワードとして決定されたアイデンティティを使用して、インターネットベースのサーチエンジンにサーチ問い合わせをサブミットさせてもよい。サーチは、例えば、オブジェクトの別の画像、（例えば、オブジェクトがランドマークである場合に）オブジェクトのロケーション情報、（例えば、オブジェクトまたはそのレプリカが購入可能である場合に）プライス情報、オブジェクトに対するより多くの情報を持つウェブアドレスへのリンク（例えば、ユニフォームリソースロケータ（ＵＲＬ））、または、これらのような他の情報のような、画像中のオブジェクトに対するさまざまな情報をウェブブラウザに表示させてもよい。

この方法で、図６は、受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出することと、キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算することと、記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、結果は、受信した画像中のオブジェクトのアイデンティティを記述する情報を含むことと、信頼値が信頼しきい値を超えないときに、受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出することとを含む方法の例を表す。

１つ以上の例において、記述される機能は、ハードウェア、ソフトウェア、ファームウェア、あるいはそれらの任意の組み合わせで実現されてもよい。ソフトウェアで実現された場合、機能は、１つ以上の命令またはコードとしてコンピュータ読取可能媒体上に記憶されてもよく、あるいは、１つ以上の命令またはコードとしてコンピュータ読取可能媒体へ送信されてもよく、ハードウェアベースの処理ユニットにより実行されてもよい。コンピュータ読取可能媒体は、データ記憶媒体のような有形の媒体に対応するコンピュータ読取可能記憶媒体、あるいは、例えば、通信プロトコルにしたがって、１つの場所から別の場所へのコンピュータプログラムの伝送を促進する任意の媒体を含む通信媒体を含んでもよい。この方法では、コンピュータ読取可能媒体は、一般的に、（１）一時的ではない有形のコンピュータ読取可能記憶媒体、あるいは、（２）信号または搬送波のような通信媒体に対応してもよい。データ記憶媒体は、本開示中で説明した技術のインプリメンテーションのための命令、コードおよび／またはデータ構造を取り出すために、１つ以上のコンピュータ、または、１つ以上のプロセッサによってアクセスできる任意の利用可能な媒体であってもよい。コンピュータプログラムプロダクトは、コンピュータ読取可能媒体を含んでもよい。

限定ではなく例として、有形のコンピュータ読取可能記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、フラッシュメモリ、あるいは、コンピュータによってアクセスでき、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用可能である他の任意の媒体を備えることができる。また、任意の接続は、コンピュータ読取可能媒体と適切に呼ばれる。例えば、命令が、ウェブサイトから、サーバから、あるいは、同軸ケーブル、光ファイバケーブル、撚り対、デジタル加入者線（ＤＳＬ）、または、赤外線、無線、マイクロ波のようなワイヤレス技術を使用する他の遠隔ソースから送信された場合、同軸ケーブル、光ファイバケーブル、撚り対、ＤＳＬ、あるいは、赤外線、無線およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ読取可能記憶媒体およびデータ記憶媒体は、接続、搬送波、信号または他の一時的な媒体を含まず、代わりに、一時的ではない、有形の記憶媒体に向けられていることを理解すべきである。ここで使用するようなディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、および、ブルーレイ（登録商標）ディスクを含んでいる。ここで、ディスク（ｄｉｓｋ）が通常、データを磁気的に再生する一方で、ディスク（ｄｉｓｃ）はデータをレーザによって光学的に再生する。上記のものの組み合わせも、コンピュータ読取可能媒体の範囲内に含められるべきである。

命令は、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または、他の同等な集積または離散論理回路のような、１つ以上のプロセッサにより実行されてもよい。したがって、ここで使用される“プロセッサ”という用語は、前述の構造のうちの任意のもの、または、ここで記述した技術のインプリメンテーションに適切な他の何らか構造のことを指してもよい。加えて、いくつかの態様では、ここで記述した機能性は、エンコーディングおよびデコーディングのために構成されている、あるいは、組み合わせたコーデック中に組み込まれている、専用のハードウェアおよび／またはソフトウェアモジュール内で提供されてもよい。また、技術は、１つ以上の回路または論理エレメント中で完全に実現できる。

本開示の技術は、ワイヤレスハンドセット、集積回路（ＩＣ）、または、ＩＣのセット（例えば、チップセット）を含む、幅広いさまざまなデバイスまたは装置で実現してもよい。開示した技術を実行するように構成されているデバイスの機能的な態様を強調するために、本開示中では、さまざまなコンポーネント、モジュールまたはユニットが記述されているが、必ずしも異なるハードウェアユニットによる実現を必要とするわけではない。むしろ、上述したように、さまざまなユニットは、適切なソフトウェアおよび／またはファームウェアと併用して、コーデックハードウェアユニット中で組み合わされてもよく、または、上述したような１つ以上のプロセッサを含む、相互動作可能なハードウェアユニットを集めたものによって提供されてもよい。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］画像中のオブジェクトに対するアイデンティティを決定する方法において、
受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出することと、
前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算することと、
前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含むことと、
前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出することとを含む方法。
［２］前記信頼値が前記信頼しきい値を超えていないことを決定することと、
前記決定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記
キーポイントの第２のセットを抽出することと、
前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを計算することと、
前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに問い合わせることとをさらに含む［１］記載の方法。
［３］前記受信した画像中の前記オブジェクトに対するスケール値を推定することと、
前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを選択することと、
前記特徴記述子データベース中の前記選択した最低オクターブにおいて、または、前記特徴記述子データベース中の前記選択した最低オクターブより上で、特徴記述子をサーチするための前記特徴記述子データベースのサーチを起こすように、前記特徴記述子データベース中の最低オクターブの指示を提供することとをさらに含む［１］記載の方法。
［４］前記スケール値を推定することは、
スケール空間にわたる前記キーポイントの第１のセットの分布を解析することと、
前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを決定することと、
前記決定したカットオフポイントの関数として、前記スケール値を推定することとを含む［３］記載の方法。
［５］前記オブジェクトに対する深度情報を取得することをさらに含み、
前記スケール値を推定することは、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を推定することを含む［３］記載の方法。
［６］前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を解析することと、
前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを決定することとをさらに含む［１］記載の方法。
［７］前記センサ情報を解析することは、グローバルポジショニングシステム（ＧＰＳ）情報を解析して、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定することを含む［６］記載の方法。
［８］前記センサ情報を解析することは、ＧＰＳ情報を解析して、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定することと、前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを決定することとを含む［６］記載の方法。
［９］前記センサ情報を解析することは、前記受信した画像が取り込まれたときに、前記カメラを備えているデバイスがワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを決定することを含む［６］記載の方法。
［１０］前記センサ情報を解析することは、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す深度情報を計算することを含む［６］記載の方法。
［１１］前記センサ情報を解析することは、アクティブプロービングセンサにより提供されるデータを使用して、前記オブジェクトに対する深度値を推定することを含む［６］記載の方法。
［１２］前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせることをさらに含み、
前記信頼値を受信することは、前記問い合わせに応答して前記サーバから前記信頼値を受信することを含む［１］記載の方法。
［１３］画像中のオブジェクトに対するアイデンティティを決定するための装置において、
プロセッサを具備し、
前記プロセッサは、
受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出し、
前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算し、
前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、
前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出するように構成されている装置。
［１４］前記画像を取り込み、前記画像を前記プロセッサに提供するように構成されているカメラをさらに具備する［１３］記載の装置。
［１５］前記プロセッサが、前記信頼値が前記信頼しきい値を超えないと決定するときに、前記プロセッサは、
前記決定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記
キーポイントの第２のセットを抽出し、
前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを計算し、
前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに問い合わせるようにさらに構成されている［１３］記載の装置。
［１６］前記プロセッサは、
前記受信した画像中の前記オブジェクトに対するスケール値を推定し、
前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを選択し、
前記特徴記述子データベース中の記述子をサーチするようにさらに構成され、
前記サーチした記述子は、前記選択した最低オクターブにおける、または、前記選択した最低オクターブより上の、前記特徴記述子データベース中のオクターブに対応する［１５］記載の装置。
［１７］前記スケール値を推定するために、前記プロセッサは、
スケール空間にわたる前記キーポイントの第１のセットの分布を解析し、
前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを決定し、
前記決定したカットオフポイントの関数として、前記スケール値を計算するように構成されている［１６］記載の装置。
［１８］前記オブジェクトに対する深度情報を取得するように構成されている深度推定ユニットをさらに具備し、
前記プロセッサは、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を推定するように構成されている［１６］記載の装置。
［１９］前記プロセッサは、
前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を解析し、
前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを決定するようにさらに構成されている［１３］記載の装置。
［２０］前記装置に対するロケーション情報を決定するように構成されているグローバルポジショニングシステム（ＧＰＳ）ユニットをさらに具備し、
前記センサ情報を解析するために、前記プロセッサは、前記ＧＰＳユニットにより決定されたロケーション情報に基づいて、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定するように構成されている［１９］記載の装置。
［２１］前記装置に関連するロケーション情報を決定するように構成されているＧＰＳユニットをさらに具備し、
前記センサ情報を解析するために、前記プロセッサは、前記ＧＰＳユニットにより決定されたロケーション情報を解析して、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定し、前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを決定するように構成されている［１９］記載の装置。
［２２］ワイヤレスネットワークインターフェースをさらに具備し、
前記センサ情報を解析するために、前記プロセッサは、前記受信した画像が取り込まれたときに、前記ワイヤレスネットワークインターフェースがワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを決定するように構成されている［１９］記載の装置。
［２３］前記受信した画像を取り込んだカメラを含む少なくとも２つのカメラを備えるカメラアレイをさらに具備し、
前記センサ情報を解析するために、前記プロセッサは、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す、前記カメラアレイにより取り込まれた画像からの深度情報を計算するように構成されている［１９］記載の装置。
［２４］前記１つ以上のセンサは、前記オブジェクトに対する深度値を推定するように構成されているアクティブプロービングセンサを備える［１９］記載の装置。
［２５］前記プロセッサは、前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせ、前記問い合わせに応答して前記サーバから前記信頼値を受信するように構成されている［１３］記載の装置。
［２６］前記装置は、
集積回路と、
マイクロプロセッサと、
前記プロセッサを含むワイヤレス通信デバイスとのうちの少なくとも１つを具備する［１３］記載の装置。
［２７］画像中のオブジェクトに対するアイデンティティを決定する装置において、
受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出する手段と、
前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算する手段と、
前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含む手段と、
前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出する手段とを具備する装置。
［２８］前記信頼値が前記信頼しきい値を超えていないことを決定する手段と、
前記決定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記
キーポイントの第２のセットを抽出する手段と、
前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを計算する手段と、
前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに問い合わせる手段とをさらに具備する［２７］記載の装置。
［２９］前記受信した画像中の前記オブジェクトに対するスケール値を推定する手段と、
前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを選択する手段と、
前記特徴記述子データベース中の前記選択した最低オクターブにおいて、または、前記特徴記述子データベース中の前記選択した最低オクターブより上で、特徴記述子をサーチするための前記特徴記述子データベースのサーチを起こすように、前記特徴記述子データベース中の最低オクターブの指示を提供する手段とをさらに具備する［２８］記載の装置。
［３０］前記スケール値を推定する手段は、
スケール空間にわたる前記キーポイントの第１のセットの分布を解析する手段と、
前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを決定する手段と、
前記決定したカットオフポイントの関数として、前記スケール値を推定する手段とを具備する［２９］記載の装置。
［３１］前記オブジェクトに対する深度情報を取得する手段をさらに具備し、
前記スケール値を推定する手段は、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を推定する手段を備える［２９］記載の装置。
［３２］前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を解析する手段と、
前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを決定する手段とをさらに具備する［２７］記載の装置。
［３３］グローバルポジショニングシステム（ＧＰＳ）情報を受信する手段をさらに具備し、
前記センサ情報を解析する手段は、前記ＧＰＳ情報を解析して、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定する手段を備える［３２］記載の装置。
［３４］ＧＰＳ情報を受信する手段をさらに具備し、
前記センサ情報を解析する手段は、
前記ＧＰＳ情報を解析して、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定する手段と、
前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを決定する手段とを備える［３２］記載の装置。
［３５］少なくとも１つのワイヤレスネットワークプロトコルを介して通信する手段をさらに具備し、
前記センサ情報を解析する手段は、前記受信した画像が取り込まれたときに、前記ワイヤレスネットワークプロトコルを介して通信する手段がワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを決定する手段を備える［３２］記載の装置。
［３６］シーンのうちの２つ以上の画像を取り込む手段をさらに具備し、
前記２つ以上の画像のうちの１つは、前記受信した画像を含み、
前記センサ情報を解析する手段は、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す、前記シーンのうちの２つの画像からの深度情報を計算する手段を備える［３２］記載の装置。
［３７］前記センサ情報を解析する手段は、アクティブプロービングセンサにより提供されるデータを使用して、前記オブジェクトに対する深度値を推定する手段を備える［３２］記載の装置。
［３８］前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせる手段をさらに具備し、
前記信頼値を受信する手段は、前記問い合わせに応答して前記サーバから前記信頼値を受信する手段を備える［２７］記載の装置。
［３９］その上に記憶されている命令を有するコンピュータ読取可能媒体を含むコンピュータプログラムプロダクトにおいて、
前記命令は、実行されるとき、
受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットをプロセッサに抽出させ、
前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを前記プロセッサに計算させ、
前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を前記プロセッサに受信させ、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、
前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを前記プロセッサに抽出させるコンピュータプログラムプロダクト。
［４０］前記信頼値が前記信頼しきい値を超えていないことを前記プロセッサに決定させ、
前記決定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記
キーポイントの第２のセットを前記プロセッサに抽出させ、
前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを前記プロセッサに計算させ、
前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに前記プロセッサに問い合わせさせる命令をさらに含む［３９］記載のコンピュータプログラムプロトコル。
［４１］前記受信した画像中の前記オブジェクトに対するスケール値を前記プロセッサに推定させ、
前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを前記プロセッサに選択させ、
前記特徴記述子データベース中の前記選択した最低オクターブにおいて、または、前記特徴記述子データベース中の前記選択した最低オクターブより上で、特徴記述子をサーチするための前記特徴記述子データベースのサーチを起こすように、前記特徴記述子データベース中の最低オクターブの指示を前記プロセッサに提供させる命令をさらに含む［３９］記載のコンピュータプログラムプロダクト。
［４２］前記スケール値を前記プロセッサに推定させる命令は、
スケール空間にわたる前記キーポイントの第１のセットの分布を前記プロセッサに解析させ、
前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを前記プロセッサに決定させ、
前記決定したカットオフポイントの関数として、前記スケール値を前記プロセッサに推定させる［４１］記載のコンピュータプログラムプロダクト。
［４３］前記オブジェクトに対する深度情報を前記プロセッサに取得させる命令をさらに含み、
前記スケール値を前記プロセッサに推定させる命令は、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を前記プロセッサに推定させる命令を有する［４１］記載のコンピュータプログラムプロダクト。
［４４］前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を前記プロセッサに解析させ、
前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを前記プロセッサに決定させる命令をさらに含む［３９］記載のコンピュータプログラムプロダクト。
［４５］前記センサ情報を前記プロセッサに解析させる命令は、グローバルポジショニングシステム（ＧＰＳ）情報を前記プロセッサに解析させ、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定させる命令を含む［４４］記載のコンピュータプログラムプロダクト。
［４６］前記センサ情報を前記プロセッサに解析させる命令は、ＧＰＳ情報を前記プロセッサに解析させ、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定させ、前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを前記プロセッサに決定させる命令を含む［４４］記載のコンピュータプログラムプロダクト。
［４７］前記センサ情報を前記プロセッサに解析させる命令は、前記受信した画像が取り込まれたときに、前記カメラを備えているデバイスがワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを前記プロセッサに決定させる命令を含む［４４］記載のコンピュータプログラムプロダクト。
［４８］前記センサ情報を前記プロセッサに解析させる命令は、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す深度情報を前記プロセッサに計算させる命令を含む［４４］記載のコンピュータプログラムプロダクト。
［４９］前記センサ情報を前記プロセッサに解析させる命令は、アクティブプロービングセンサにより提供されるデータを使用して、前記オブジェクトに対する深度値を前記プロセッサに推定させる命令を含む［４４］記載のコンピュータプログラムプロダクト。
［５０］前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせるように前記プロセッサにさせる命令をさらに含み、
前記信頼値を前記プロセッサに受信させる命令は、前記問い合わせに応答して前記サーバから前記信頼値を前記プロセッサに受信させる命令を含む［３９］記載のコンピュータプログラムプロダクト。

Claims (50)

1. 画像中のオブジェクトに対するアイデンティティを決定する方法において、
   受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出することと、
   前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算することと、
   前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含むことと、
   前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出することとを含む方法。
2. 前記信頼値が前記信頼しきい値を超えていないとの判定に応じて、前記判定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記キーポイントの第２のセットを抽出することと、前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを計算することと、前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに問い合わせることとをさらに含む請求項１記載の方法。
3. 前記受信した画像中の前記オブジェクトに対するスケール値を推定することと、
   前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを選択することと、
   前記特徴記述子データベース中の前記選択した最低オクターブにおいて、または、前記特徴記述子データベース中の前記選択した最低オクターブより上で、特徴記述子をサーチするための前記特徴記述子データベースのサーチを起こすように、前記特徴記述子データベース中の最低オクターブの指示を提供することとをさらに含む請求項１記載の方法。
4. 前記スケール値を推定することは、
   スケール空間にわたる前記キーポイントの第１のセットの分布を解析することと、
   前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを決定することと、
   前記決定したカットオフポイントの関数として、前記スケール値を推定することとを含む請求項３記載の方法。
5. 前記オブジェクトに対する深度情報を取得することをさらに含み、
   前記スケール値を推定することは、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を推定することを含む請求項３記載の方法。
6. 前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を解析することと、
   前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを決定することとをさらに含む請求項１記載の方法。
7. 前記センサ情報を解析することは、グローバルポジショニングシステム（ＧＰＳ）情報を解析して、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定することを含む請求項６記載の方法。
8. 前記センサ情報を解析することは、ＧＰＳ情報を解析して、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定することと、前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを決定することとを含む請求項６記載の方法。
9. 前記センサ情報を解析することは、前記受信した画像が取り込まれたときに、前記カメラを備えているデバイスがワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを決定することを含む請求項６記載の方法。
10. 前記センサ情報を解析することは、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す深度情報を計算することを含む請求項６記載の方法。
11. 前記センサ情報を解析することは、アクティブプロービングセンサにより提供されるデータを使用して、前記オブジェクトに対する深度値を推定することを含む請求項６記載の方法。
12. 前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせることをさらに含み、
    前記信頼値を受信することは、前記問い合わせに応答して前記サーバから前記信頼値を受信することを含む請求項１記載の方法。
13. 画像中のオブジェクトに対するアイデンティティを決定するための装置において、
    プロセッサを具備し、
    前記プロセッサは、
    受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出し、
    前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算し、
    前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、
    前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出するように構成されている装置。
14. 前記画像を取り込み、前記画像を前記プロセッサに提供するように構成されているカメラをさらに具備する請求項１３記載の装置。
15. 前記プロセッサが、前記信頼値が前記信頼しきい値を超えないと判定するときに、前記プロセッサは、
    前記判定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記キーポイントの第２のセットを抽出し、
    前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを計算し、
    前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに問い合わせるようにさらに構成されている請求項１３記載の装置。
16. 前記プロセッサは、
    前記受信した画像中の前記オブジェクトに対するスケール値を推定し、
    前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを選択し、
    前記特徴記述子データベース中の記述子をサーチするようにさらに構成され、
    前記サーチした記述子は、前記選択した最低オクターブにおける、または、前記選択した最低オクターブより上の、前記特徴記述子データベース中のオクターブに対応する請求項１５記載の装置。
17. 前記スケール値を推定するために、前記プロセッサは、
    スケール空間にわたる前記キーポイントの第１のセットの分布を解析し、
    前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを決定し、
    前記決定したカットオフポイントの関数として、前記スケール値を計算するように構成されている請求項１６記載の装置。
18. 前記オブジェクトに対する深度情報を取得するように構成されている深度推定ユニットをさらに具備し、
    前記プロセッサは、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を推定するように構成されている請求項１６記載の装置。
19. 前記プロセッサは、
    前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を解析し、
    前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを決定するようにさらに構成されている請求項１３記載の装置。
20. 前記装置に対するロケーション情報を決定するように構成されているグローバルポジショニングシステム（ＧＰＳ）ユニットをさらに具備し、
    前記センサ情報を解析するために、前記プロセッサは、前記ＧＰＳユニットにより決定されたロケーション情報に基づいて、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定するように構成されている請求項１９記載の装置。
21. 前記装置に関連するロケーション情報を決定するように構成されているＧＰＳユニットをさらに具備し、
    前記センサ情報を解析するために、前記プロセッサは、前記ＧＰＳユニットにより決定されたロケーション情報を解析して、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定し、前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを決定するように構成されている請求項１９記載の装置。
22. ワイヤレスネットワークインターフェースをさらに具備し、
    前記センサ情報を解析するために、前記プロセッサは、前記受信した画像が取り込まれたときに、前記ワイヤレスネットワークインターフェースがワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを決定するように構成されている請求項１９記載の装置。
23. 前記受信した画像を取り込んだカメラを含む少なくとも２つのカメラを備えるカメラアレイをさらに具備し、
    前記センサ情報を解析するために、前記プロセッサは、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す、前記カメラアレイにより取り込まれた画像からの深度情報を計算するように構成されている請求項１９記載の装置。
24. 前記１つ以上のセンサは、前記オブジェクトに対する深度値を推定するように構成されているアクティブプロービングセンサを備える請求項１９記載の装置。
25. 前記プロセッサは、前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせ、前記問い合わせに応答して前記サーバから前記信頼値を受信するように構成されている請求項１３記載の装置。
26. 前記装置は、
    集積回路と、
    マイクロプロセッサと、
    前記プロセッサを含むワイヤレス通信デバイスとのうちの少なくとも１つを具備する請求項１３記載の装置。
27. 画像中のオブジェクトに対するアイデンティティを決定する装置において、
    受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットを抽出する手段と、
    前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを計算する手段と、
    前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を受信し、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含む手段と、
    前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを抽出する手段とを具備する装置。
28. 前記信頼値が前記信頼しきい値を超えていないと判定する手段と、
    前記判定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記キーポイントの第２のセットを抽出する手段と、
    前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを計算する手段と、
    前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに問い合わせる手段とをさらに具備する請求項２７記載の装置。
29. 前記受信した画像中の前記オブジェクトに対するスケール値を推定する手段と、
    前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを選択する手段と、
    前記特徴記述子データベース中の前記選択した最低オクターブにおいて、または、前記特徴記述子データベース中の前記選択した最低オクターブより上で、特徴記述子をサーチするための前記特徴記述子データベースのサーチを起こすように、前記特徴記述子データベース中の最低オクターブの指示を提供する手段とをさらに具備する請求項２８記載の装置。
30. 前記スケール値を推定する手段は、
    スケール空間にわたる前記キーポイントの第１のセットの分布を解析する手段と、
    前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを決定する手段と、
    前記決定したカットオフポイントの関数として、前記スケール値を推定する手段とを具備する請求項２９記載の装置。
31. 前記オブジェクトに対する深度情報を取得する手段をさらに具備し、
    前記スケール値を推定する手段は、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を推定する手段を備える請求項２９記載の装置。
32. 前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を解析する手段と、
    前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを決定する手段とをさらに具備する請求項２７記載の装置。
33. グローバルポジショニングシステム（ＧＰＳ）情報を受信する手段をさらに具備し、
    前記センサ情報を解析する手段は、前記ＧＰＳ情報を解析して、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定する手段を備える請求項３２記載の装置。
34. ＧＰＳ情報を受信する手段をさらに具備し、
    前記センサ情報を解析する手段は、
    前記ＧＰＳ情報を解析して、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定する手段と、
    前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを決定する手段とを備える請求項３２記載の装置。
35. 少なくとも１つのワイヤレスネットワークプロトコルを介して通信する手段をさらに具備し、
    前記センサ情報を解析する手段は、前記受信した画像が取り込まれたときに、前記ワイヤレスネットワークプロトコルを介して通信する手段がワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを決定する手段を備える請求項３２記載の装置。
36. シーンのうちの２つ以上の画像を取り込む手段をさらに具備し、
    前記２つ以上の画像のうちの１つは、前記受信した画像を含み、
    前記センサ情報を解析する手段は、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す、前記シーンのうちの２つの画像からの深度情報を計算する手段を備える請求項３２記載の装置。
37. 前記センサ情報を解析する手段は、アクティブプロービングセンサにより提供されるデータを使用して、前記オブジェクトに対する深度値を推定する手段を備える請求項３２記載の装置。
38. 前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせる手段をさらに具備し、
    前記信頼値を受信する手段は、前記問い合わせに応答して前記サーバから前記信頼値を受信する手段を備える請求項２７記載の装置。
39. その上に記憶されている命令を有するコンピュータ読取可能記録媒体において、
    前記命令は、実行されるとき、
    受信した画像の第１のオクターブのぼかし画像の第１のセットから、１つ以上のキーポイントの第１のセットをプロセッサに抽出させ、
    前記キーポイントの第１のセットに対する１つ以上の記述子の第１のセットを前記プロセッサに計算させ、
    前記記述子の第１のセットにより特徴記述子データベースに問い合わせることにより生じた結果に対する信頼値を前記プロセッサに受信させ、前記結果は、前記受信した画像中のオブジェクトのアイデンティティを記述する情報を含み、
    前記信頼値が信頼しきい値を超えないときに、前記受信した画像の第２のオクターブのぼかし画像の第２のセットから、１つ以上のキーポイントの第２のセットを前記プロセッサに抽出させるコンピュータ読取可能記録媒体。
40. 前記信頼値が前記信頼しきい値を超えていないことを前記プロセッサに判定させ、
    前記判定に基づいて、前記第２のオクターブのぼかし画像の第２のセットから、前記キーポイントの第２のセットを前記プロセッサに抽出させ、
    前記キーポイントの第２のセットから、１つ以上の記述子の第２のセットを前記プロセッサに計算させ、
    前記記述子の第１のセットおよび前記記述子の第２のセットを含む記述子のセットにより、前記特徴記述子データベースに前記プロセッサに問い合わせさせる命令をさらに含む請求項３９記載のコンピュータ読取可能記録媒体。
41. 前記受信した画像中の前記オブジェクトに対するスケール値を前記プロセッサに推定させ、
    前記推定したスケールに基づいて、前記特徴記述子データベースの最低オクターブを前記プロセッサに選択させ、
    前記特徴記述子データベース中の前記選択した最低オクターブにおいて、または、前記特徴記述子データベース中の前記選択した最低オクターブより上で、特徴記述子をサーチするための前記特徴記述子データベースのサーチを起こすように、前記特徴記述子データベース中の最低オクターブの指示を前記プロセッサに提供させる命令をさらに含む請求項３９記載のコンピュータ読取可能記録媒体。
42. 前記スケール値を前記プロセッサに推定させる命令は、
    スケール空間にわたる前記キーポイントの第１のセットの分布を前記プロセッサに解析させ、
    前記キーポイントのうちのおおよそ９０％がスケールレベルより下に属するように、前記分布中の前記スケールレベルに対応するカットオフポイントを前記プロセッサに決定させ、
    前記決定したカットオフポイントの関数として、前記スケール値を前記プロセッサに推定させる請求項４１記載のコンピュータ読取可能記録媒体。
43. 前記オブジェクトに対する深度情報を前記プロセッサに取得させる命令をさらに含み、
    前記スケール値を前記プロセッサに推定させる命令は、前記オブジェクトに対する深度情報の少なくとも一部に基づいて、前記スケール値を前記プロセッサに推定させる命令を有する請求項４１記載のコンピュータ読取可能記録媒体。
44. 前記受信した画像を取り込んだカメラに関係する１つ以上のセンサからのセンサ情報を前記プロセッサに解析させ、
    前記センサ情報の解析に基づいて、前記第１のオクターブおよび前記第２のオクターブのうちの少なくとも１つに対するオクターブレベルを前記プロセッサに決定させる命令をさらに含む請求項３９記載のコンピュータ読取可能記録媒体。
45. 前記センサ情報を前記プロセッサに解析させる命令は、グローバルポジショニングシステム（ＧＰＳ）情報を前記プロセッサに解析させ、前記受信した画像が取り込まれたときに前記カメラが屋外環境に位置付けられていたか否かを決定させる命令を含む請求項４４記載のコンピュータ読取可能記録媒体。
46. 前記センサ情報を前記プロセッサに解析させる命令は、ＧＰＳ情報を前記プロセッサに解析させ、前記受信した画像が取り込まれたときの、前記カメラに比較的近いオブジェクトのロケーションを決定させ、前記オブジェクトに対する記述データから、前記オブジェクトに対するサイズを前記プロセッサに決定させる命令を含む請求項４４記載のコンピュータ読取可能記録媒体。
47. 前記センサ情報を前記プロセッサに解析させる命令は、前記受信した画像が取り込まれたときに、前記カメラを備えているデバイスがワイヤレスネットワークに通信可能に結合されていたか否かを示すネットワークデータに基づいて、前記カメラが屋内環境に位置付けられていたか否かを前記プロセッサに決定させる命令を含む請求項４４記載のコンピュータ読取可能記録媒体。
48. 前記センサ情報を前記プロセッサに解析させる命令は、前記受信した画像が取り込まれたときの、前記受信した画像中の１つ以上のオブジェクトと前記カメラとの間の距離を示す深度情報を前記プロセッサに計算させる命令を含む請求項４４記載のコンピュータ読取可能記録媒体。
49. 前記センサ情報を前記プロセッサに解析させる命令は、アクティブプロービングセンサにより提供されるデータを使用して、前記オブジェクトに対する深度値を前記プロセッサに推定させる命令を含む請求項４４記載のコンピュータ読取可能記録媒体。
50. 前記１つ以上の記述子をサーバに送って、前記サーバに、前記１つ以上の記述子を使用して前記特徴記述子データベースに問い合わせさせるように前記プロセッサにさせる命令をさらに含み、
    前記信頼値を前記プロセッサに受信させる命令は、前記問い合わせに応答して前記サーバから前記信頼値を前記プロセッサに受信させる命令を含む請求項３９記載のコンピュータ読取可能記録媒体。

Images