JP5960375B2 - モーションブラー感知ビジュアルポーズ追跡 - Google Patents

Description

関連出願
本出願は、その全体が参照によって本明細書に組み込まれる、2013年3月13日に出願された米国非仮特許出願第13/801,601号の優先権を主張するPCT出願である。

１．分野
本明細書で開示される主題は、電子デバイスに関し、より詳細には、電子デバイスによって使用され、モーションブラー効果を参照デジタル画像のキーポイントに適用することに少なくとも部分的に基づいて2つ以上のデジタル画像にわたって物体を追跡する方法、装置、製造物品に関する。

２．情報
コンピュータヴィジョンをサポートするために、物体の識別および追跡の様々な技術が開発され、また開発が続いている。例として、異なるデジタル画像、たとえば異なる時間に撮影された一連のデジタル画像やビデオストリームなど、にわたる物体の特徴(たとえば、キーポイント)の検出およびマッチングを提供する特定の技術が開発されている。

コンピュータヴィジョンの用途は無限であるようにみえる。そのような技術の初期における使用の1つとして、製造プロセスに含まれる特定の物体を識別するロボットを製造するためのコンピュータヴィジョンの使用が含まれる。そのような場合、非常に大きい処理能力とたくさんのセンサおよび/またはカメラを提供して、非常に静的なシーンおよび/または少なくとも予測可能な動的なシーンであり得るシーンの処理における支援を行うことが可能であり得る。

最近における、コンピュータヴィジョンのドラスティックな使用の1つとして、ポータブル電子デバイスのユーザにとっての「拡張現実(augmented reality)」のための使用がある。ここで、たとえば、ポータブル電子デバイスは、周囲の環境内で特定の物体を識別し追跡するためにコンピュータヴィジョン技術を使用することができ、その周囲を認識すると、撮影されユーザに対して表示されるリアルタイムビデオに、追加的な情報を重畳することができる。したがって、たとえば、モバイル電話のユーザは特定の対象、たとえば特に、ビジネス、製品、サービス、情報などを拡張することができる。

残念ながら、適正に制御された環境でのロバストなロボット製造の例とは異なり、ポータブル電子デバイスはその処理能力が限られ得るとともに、たとえば、ユーザが混雑したショッピングモールや空港ターミナルなどを歩行中であるなど、時として極めて動的になり得る環境に置かれ得る。

これらのおよび他の理由で、コンピュータヴィジョンに適用され得る技術、具体的には、動的に活発な環境において効果的に物体を識別し、できる限り追跡する技術が引き続き必要とされている。

いくつかの態様によれば、電子デバイスにおいて実施され得る方法は、参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき物体の少なくともキーポイントを表す参照パッチを特定するステップと、キーポイントのデジタル表現にモデル化された姿勢変化効果(modeled pose change effect)を選択的に適用することによって、参照パッチに対応する複数の歪曲パッチ(warped patch)を生成するステップと、デジタル表現キーポイントにモーションブラー効果が適用された参照パッチに対応するブラー付き歪曲パッチ(blurred warped patch)を形成するために、複数の歪曲パッチのうちの少なくとも2つを組み合わせるステップとを備え得る。

いくつかの他の態様によれば、電子デバイスにおいて使用される装置が提供され得る。この装置は、参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき物体の少なくともキーポイントを備える参照パッチを特定するための手段と、キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、参照パッチに対応する複数の歪曲パッチを生成するための手段と、デジタル表現キーポイントにモーションブラー効果が適用された参照パッチに対応するブラー付き歪曲パッチを形成するために、複数の歪曲パッチのうちの少なくとも2つを組み合わせるための手段とを備え得る。

さらにいくつかの他の態様によれば、電子デバイスであって、メモリと、参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき物体の少なくともキーポイントを備える参照パッチを特定すること、キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、参照パッチに対応する複数の歪曲パッチを生成すること、およびデジタル表現キーポイントにモーションブラー効果が適用された参照パッチに対応するブラー付き歪曲パッチを形成するために、複数の歪曲パッチのうちの少なくとも2つを組み合わせることを実行するプロセッシングユニットとを備える電子デバイスが提供され得る。

さらに別の態様によれば、製造物品であって、参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき物体の少なくともキーポイントを備える参照パッチを特定することと、キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、参照パッチに対応する複数の歪曲パッチを生成することと、デジタル表現キーポイントにモーションブラー効果が適用された参照パッチに対応するブラー付き歪曲パッチを形成するために、複数の歪曲パッチのうちの少なくとも2つを組み合わせることとを実行するために、電子デバイス内のプロセッシングユニットによって実行可能なコンピュータ実施可能命令を内部に記憶する非一時的コンピュータ可読媒体を備える製造物品が提供され得る。

非限定的かつ非網羅的な態様について、以下の図面を参照して説明する。ここで、別段の定めがない限り、各種の図を通じて同様の参照番号は同様の部分を表す。

一実施形態による、参照デジタル画像のキーポイントへのモーションブラー効果の適用に少なくとも部分的に基づいて、2つ以上のデジタル画像にわたって物体を追跡する少なくとも1つの電子デバイスを含む代表的な電子デバイスの配置を示す概略ブロック図である。 一実施形態による、例示的な単一のデジタル画像サンプル、例示的なデジタル画像、例示的な複数のデジタル画像サンプルのための露光時間を示す3つの時系列グラフを備える図であり、このうちの後者は参照デジタル画像のキーポイントにモーションブラー効果を適用する際の使用に適用され得る。 一実施形態による、例示的なフォワードマッピング技術および例示的なバックワードマッピング技術を示す2つの概略図を備える図であり、そのうちの1つまたは複数は参照デジタル画像のキーポイントにモーションブラー効果を適用する際の使用に適用され得る。 一実施形態による、モーションブラー感知ビジュアルポーズ追跡をサポートする電子デバイスにおいて実施され得る例示的ワークフローを示す概略ブロック図である。 一実施形態による、参照デジタル画像のキーポイントに少なくともモーションブラー効果を適用するために、電子デバイスにおいて実施され得る例示的な処理を示すフロー図である。 一実施形態による、参照デジタル画像のキーポイントに少なくともモーションブラー効果を適用するための例示的な電子デバイスの特定の特徴を示す概略図である。

コンピュータヴィジョンをサポートするために、物体の識別および追跡の様々な技術が開発され、また開発が続いている。例として、2つ以上のデジタル画像にわたる物体の特徴(たとえば、キーポイント)の検出およびマッチングを提供する特定の技術が開発されている。

そのような例示的技術はまた、静的または動的なシーンのデジタル画像内において追跡される物体がどのように現れるかに影響し得る特定の変化(たとえば、モデル化された姿勢変化)を明らかにするために、選択的に画像の全体または一部を変形し、かつ/またはこれに別の形で影響を与えるように、様々な歪曲技術および/または同様のものを適用し、または他の方法で利用し得る。

例として、歪曲技術および/または同様のものは、デジタル画像の撮影に使用されたカメラに関連する変化を明らかにするために、画像の全体または一部に影響し得る。たとえば、モデル化された姿勢変化は、カメラの視点、カメラによって撮影された画像スケールの変化、カメラの視野の変化、カメラの向きの変化、撮影された画像の露光時間の変化などに関連し得る。したがって、歪曲技術および/または同様のものは、時間の経過に伴うカメラの位置や操作などの変化の結果として、特定のデジタル画像内において1つまたは複数の物体がどのように現れ得るかに関連する変化を明らかにするために、画像の全体または一部に影響し得る。

さらに、特定の歪曲技術および/または同様のものは、動的なシーン内における変化の結果として、特定のデジタル画像内において1つまたは複数の物体がどのように現れ得るかに関連する変化を明らかにするために、画像の全体または一部に影響し得る。したがって、モデル化された姿勢変化は、物体が経験し得る各種の動き(たとえば、6自由度(6DOF)のうちの1つまたは複数の動き)に関連し得る。したがって、たとえば、モデル化された姿勢変化は、上向きまたは下向きの平行移動、右または左への平行移動、カメラから離れる方向またはカメラに向かう方向の平行移動、物体のピッチに影響する回転移動、物体のヨーに影響する回転移動、および/または物体のロールに影響する回転移動に関連し得る。

コンピュータヴィジョンにおいて適用されるリアルタイムおよびオフラインの技術には、デジタル画像はカメラの露光時間によって影響されないと仮定しているものがあり、おそらく、そのような露光時間はシーン内での物体の特定の動きと比較して非常に短時間である傾向があること、そのような露光時間中はカメラとシーンが静的であると見なされること、または計算上の制約があることがその理由である。

それにもかかわらず、場合によっては、特にモバイル電話のようなポータブル電子デバイスに関しては、シーンに対するカメラの位置は露光時間の持続する期間に静的ではない場合があり、それによってデジタル画像にモーションブラーが生じ得る。同様に、シーン内での1つまたは複数の物体の動きの結果、露光時間中にモーションブラーがデジタル画像にもたらされ得る。予測され得るように、デジタル画像の全体または一部に現れるモーションブラーの量は変化し得、また、露光時間が増えるにつれて増加する傾向がある。したがって、様々な動きなどに対して十分に短い露光時間が与えられれば、デジタル画像の全体または一部に現れるモーションブラーの量は減少し得るし、またはことによるとモーションブラーを回避することさえも可能である。しかしながら、より短い露光時間は選択不能であったり、かつ/または望ましい結果に適切ではなかったりすることがある。それよりむしろ、よく知られているように、露光時間は、イメージキャプチャユニットに関わる要因(たとえば、カメラおよび/もしくはカメラレンズ、補助的な電子機器の能力ならびに/または操作設定など)、シーンに関わる要因(たとえば、光の量など)、特定の所望の結果に関わる要因(たとえば、ユーザによる入力に基づくものなど)および/または同様のもの、またはいくつかのこれらの組合せなど、様々な要因に基づいて選択され得る。

いくつかの態様によれば、本明細書において、たとえば、一連の画像やビデオストリームなど、ある期間にわたって撮影された1つまたは複数のデジタル画像にもたらされ得る特定のモーションブラーを明らかにし、できる限り特定のモーションブラーを測定するために実施され得る技術が提供される。

より詳細には、最初の例として、本明細書において、複数のデジタル画像にわたって追跡すべき物体に対する参照デジタル画像の少なくとも一部分(たとえば、実質的にブラーがかかっていない参照パッチ)に対するモーションブラー効果を推定するために実施され得る技術が提供される。場合によっては、特定の参照パッチに対応するブラー付き歪曲パッチが、モーションブラー効果に少なくとも部分的に基づいて生成され得る。より詳細には、たとえば、モーションブラー効果は、参照パッチ内で識別された物体のキーポイントのデジタル表現に意図的にブラーをかけるために適用され得る。さらに、場合によっては、キーポイントのデジタル表現を歪曲させるために、モデル化された姿勢変化効果が適用され得る。

したがって、場合によっては、追跡すべき物体の少なくとも1つの識別されたキーポイントに対応する参照パッチの選択的にブラーがかかり歪曲されたバージョンを表すブラー付き歪曲パッチが生成され得る。したがって、たとえば、トラッカー機能および/または同様のものは、ブラー付き歪曲パッチがデジタル画像の少なくとも一部分と十分にマッチングするかを判断し得る。

いくつかの実施態様によれば、十分なマッチングを特定する取組みにおいて、様々なブラー付き歪曲パッチの候補を生成しそのテストを行うために、様々な反復的および/または適応的な技術が使用され得る。いくつかの実施態様によれば、たとえば、十分に適用されたモーションブラー効果を特定することに少なくとも部分的に基づいて、特定のデジタル画像の少なくとも一部分に対するモーションブラーの量を推定するための技術が適用される。さらに、了解され得るように、そのような推定されたモーションブラーの量の情報は、後続のデジタル画像に対応するブラー付き歪曲パッチの候補を生成する際に考慮に入れることができる。

当業者は、そのようなブラー付き歪曲参照パッチの有用性が、追跡のロバスト性、品質および/またはスピードを著しく向上し得ることを認識すべきである。たとえば、特定の実施態様は、モーションブラーのある状態でのより正確でロバストな追跡を提供し得、これによって処理時間と消費電力を削減し得る。

当業者はまた、本明細書において提供される技術が、一連のデジタル画像、ビデオストリームなどの全体または一部をリアルタイムに撮影し生成してもよくかつ/またはそのようなコンテンツの全体または一部をリアルタイムおよび/もしくはオフラインで処理し得る、たとえばポータブル電子デバイスを含む種々の電子デバイスによって実施され得ることも認識すべきである。

いくつかの実施形態によれば、電子デバイスは、少なくとも1つの参照デジタル画像中に表現される物体の少なくとも一部分に対応する少なくとも1つの参照パッチを特定し得る。ここで、たとえば、そのような参照パッチは、たとえば一連の画像内、ビデオストリーム内などで追跡すべき物体の少なくとも1つのキーポイントを備え得る。電子デバイスは、たとえば、キーポイントに適用された少なくとも1つのモーションブラー効果に少なくとも部分的に基づいて参照パッチに対応する少なくとも1つのブラー付き歪曲パッチを生成し得る。電子デバイスは、たとえば、ブラー付き歪曲パッチが少なくとも1つのデジタル画像の少なくとも一部分と十分にマッチングするかを判断し得る。

いくつかの実施形態によれば、電子デバイスは、たとえば、少なくとも1つのキーポイントの少なくとも1つのデジタル表現を歪曲させるために適用された少なくとも1つのモデル化された姿勢変化効果に少なくとも部分的に基づいて、少なくとも1つの参照パッチに対応する少なくとも1つのブラー付き歪曲パッチを生成し得る。

いくつかの実施形態によれば、電子デバイスは、たとえば、「バックワードマッピング」手法に少なくとも部分的に基づいて、少なくとも1つの参照パッチに対応する少なくとも1つのブラー付き歪曲パッチを生成し得る。たとえば、特定のバックワードマッピング手法においては、複数の時点において所与のキーポイントを表す複数のデジタル画像サンプルを取得可能であり、参照画像内でパッチがサンプリングされた位置が変化したとしても、デジタル画像サンプル内でそのキーポイントの位置は依然として変化しない。

したがって、たとえば、電子デバイスは、モーションブラー効果を生成するために複数のデジタル画像サンプルを組み合わせることで、ブラー付き歪曲パッチを生成し得る。たとえば、場合によっては、電子デバイスは、たとえばバックワードマッピング手法の一部として、ピクセルの平均化および/または同様のものを使用して複数のデジタル画像サンプルの対応する部分を組み合わせ得る。

いくつかの実施形態によれば、たとえばブラー付き歪曲パッチが十分にマッチングを生じているという判断に応じて、電子デバイスが、キーポイントはブラーが十分に欠けていると判断し得るように、ブラー付き歪曲パッチは単一のデジタル画像サンプルに基づき得る。したがって、場合によっては、たとえばいくらかのブラーが適用される1つまたは複数の追加のブラー付き歪曲パッチを続けるのに十分なブラーが現在のデジタル画像にかかっているか否かを判断するために、最初のブラー付き歪曲パッチは参照画像の単一のデジタルサンプルに基づき得る。

いくつかの実施形態によれば、電子デバイスは、たとえば、ブラー付き歪曲パッチが十分なマッチングを生じるのに失敗しているという判断に応じて、キーポイントに適用された別の(異なる)モーションブラー効果に少なくとも部分的に基づいて、参照パッチに対応する後続のブラー付き歪曲パッチを、選択的に生成し得る。

いくつかの実施形態によれば、電子デバイスは、たとえば、少なくとも1つの参照デジタル画像に表現される物体の少なくとも別の部分に対応する第2の参照パッチを特定し得る。ここで、たとえば、第2の参照パッチは、2つ以上のデジタル画像内で追跡すべき物体の第2のキーポイントを備え得る。さらに、いくつかの実施形態において、物体に対して推定されたモーションブラー効果が正確性の閾値レベルを満たすという判断に応じて、電子デバイスは、第2のキーポイントに適用されたモーションブラー効果に少なくとも部分的に基づいて、少なくとも1つの第2の参照パッチに対応する少なくとも1つの第2のブラー付き歪曲パッチを生成し得る。

いくつかの実施形態によれば、電子デバイスは、たとえば、参照デジタル画像、デジタル画像サンプル、および/またはデジタル画像のうちの1つまたは複数の少なくとも一部分を、選択的にスケール変更し得る。

ここで図1に注目すると、図1は、一実施形態による、参照デジタル画像120内の物体122の少なくともキーポイント126のデジタル表現へのモーションブラー効果の適用に少なくとも部分的に基づいて、一連の画像129やビデオストリーム130などにおける各デジタル画像132にわたって物体を追跡する少なくとも1つの電子デバイス110を含む代表的な電子デバイスの配置100を示す概略ブロック図である。

図示されているように、電子デバイス110はブラー付き歪曲パッチ116を生成するもしくは生成を支援する装置112を備えてもよく、ブラー付き歪曲パッチ116はモーションブラー感知ビジュアルポーズトラッカー114によって考慮され得る。この例において、ブラー付き歪曲パッチ116は、参照画像120内で物体122のデジタル表現の一部として示されている、参照パッチ128に対応し得る。さらに図示されているように、参照パッチ128は、ここでは物体122の視覚的特徴の一部として示されている、少なくとも1つのキーポイント126を備え得る。この例の参照画像120は、たとえばシーン102内の実際の空間にある3次元の物体122'を表すことをこの例においては意図している物体122の2次元的投影を備える。

すでに述べたように、場合によっては、シーン102は、物体122'が、少なくともデジタル画像132の撮影に関する露光時間中は静止しているような静的なシーンを表し得る。したがって、静的なシーンはいかなるモーションブラーもデジタル画像132にもたらすべきではないが、カメラ106がデジタル画像132の撮影に関する露光時間の少なくとも一部の期間において動いたことの結果として、そのようなモーションブラーは依然として発生し得る。他の場合において、シーン102は、デジタル画像132の撮影に関する露光時間の少なくとも一部の期間において物体122'が何らかの移動をしているような動的なシーンを表し得る。したがって、動的なシーンによっておよび/またはカメラ106がデジタル画像132の撮影に関する露光時間の少なくとも一部の期間において動いたことの結果として、モーションブラーがデジタル画像132にもたらされ得る。

この例において、カメラ106は、デジタル画像132の選択的な撮影を可能にし得るレンズ108を備えるように示されている。この例において、電子デバイス110は、接続109を介してカメラ106に接続されるように示されている。ここで、接続109は、電子デバイス110がそれを通じてデジタル画像129および/またはビデオストリーム130を取得可能な、1つまたは複数の他のデバイス、接続、ネットワークおよび/または同様のもの、またはその任意の組合せの、全体または一部を表すことを意図しており、デジタル画像129および/またはビデオストリーム130は、少なくとも部分的に、カメラ106によって生成されたものである。したがって、たとえば、場合によっては、接続109は、デジタル画像129および/またはビデオストリーム130の全体または一部に対応するデータおよび/またはコンピュータが実施可能な命令を表す1つまたは複数の電子信号の処理、記憶、転送および/または他の何らかの方法での取扱いを行うことのできるイメージキャプチャユニット(カメラ106を含み得る)を表し得る。さらに、接続109は、1つまたは複数の有線もしくは光ファイバ接続および/または1つまたは複数のワイヤレス通信リンクを表し得ることを理解すべきである。

図1においてカメラ106は電子デバイス110に接続されているように示されているが、他のいくつかの実施態様においては、電子デバイス110はカメラ106およびレンズ108を備え得ることに留意すべきである。そのような電子デバイスの明確な例には、セルラー電話、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、ウェアラブルコンピュータ、デジタルカメラなどの種々のポータブル電子デバイスが含まれる。したがって、たとえば、接続109は、電子デバイス110内の内部コネクタおよび/または様々な回路を表し得る。

いくつかの実施形態において、装置112は、参照画像120中に表現される物体122の少なくとも一部分に対応する参照パッチ128を特定し得、たとえば少なくともキーポイント126に適用されたモーションブラー効果に少なくとも部分的に基づいて、参照パッチ128に対応するブラー付き歪曲パッチ116を生成し得る。本明細書に提示されるように、参照パッチ128と、ブラー付き歪曲パッチ116と、デジタル画像132の部分134とは、それぞれ特定のサイズのピクセルアレイを備え得る。したがって、そのようなピクセルアレイはN×Mピクセルのアレイを備え得る。ここで、NおよびMはそれぞれ2よりも大きい整数値を表してもよく、場合によっては、NとMが等しくてもよい。したがって、非限定的な例として、いくつかの実施態様において、N=8であり、M=8である。デジタル画像132の部分134によって示されているように、部分134は、デジタル画像132を構成する2次元的なピクセルアレイよりも著しく小さいと想定されている。

すでに述べたように、いくつかの実施形態において、ブラー付き歪曲パッチ116を生成するために、装置112はまた、少なくともキーポイント126のデジタル表現を歪曲させるためにモデル化された姿勢変化効果を適用し得る。

装置112および/またはトラッカー114は、続いて、ブラー付き歪曲パッチ116がデジタル画像132の少なくとも一部分134と十分にマッチングするかを判断し得る。

特定の実施形態において、物体122におけるキーポイント126は、物体の姿勢(位置および向き)の各デジタル画像にわたる追跡を可能にするために特定され得る。ポイントを基準とした各方法は、たとえば、画像内のサポートエリア(各キーポイントをカバーまたは視覚的に表現するパッチ)を比較することによって各キーポイントをマッチングし得る。これらの方法は、参照画像120とデジタル画像132との間で十分な数のキーポイントをマッチングすることによって、物体の姿勢の取得を可能にし得る。したがって、例示的なトラッカー114は、何らかの目標または閾値が満たされるまで(たとえば、100件のマッチング)、任意の数のキーポイントを比較してよい。参照画像内での各キーポイントのマッチングは、次いで、カメラに対する物体の姿勢を特徴づけるために使用され得る。

特定の実施態様において、参照画像からのクリーンな(ブラーのかかっていない)参照パッチを現在のカメラ画像からのブラー付きパッチに対して比較する代わりに、たとえば、ブラー付き歪曲パッチがデジタル画像132に撮影されている各キーポイントを視覚的により適切に表現し得るように、1つまたは複数のブラー効果を適用することによって、対応する参照パッチからブラー付き歪曲パッチ116を生成してもよい。たとえば、そのような技術においては、デジタル画像内に目標数のマッチング部分が見つかるまでに処理が必要なキーポイントの数がより少なくなり得るので、少ない処理によって向上したマッチングが可能になる。

特定の実施態様において、非常に短い露光によって撮影された複数の画像が、より長い相対露光時間による単一の画像の撮影処理を近似するために使用され得る(下記の図2参照)。すでに述べたように、そのようなサンプルは、近似されるべきブラーから極めて独立的に生成することができ、そのため、効率的な方法(単純な双一次歪曲(bilinear warping)など)が使用され得る。したがって、いくつかの実施態様において、たとえば参照画像内のキーポイントにわたる一時的なサンプルパッチに適用されるピクセル平均化操作を、少なくとも部分的に使用してブラー付き歪曲パッチ116を生成し得る。いくつかの実施形態において、各サンプルは、6DOFのカメラ姿勢情報に基づくアフィンワーピングによって作成され得るので、たとえばいくつかのデジタルスチル写真向上アプリケーションなどで提供される純粋な2次元的フル画像ブラー操作では必ずしも取り扱うことができないズームを含む任意のカメラモーションを正確にモデル化するように、ブラー付き歪曲パッチを処理し得る。

それに応じて、図2は、例示的な単一のデジタル画像サンプルに対する露光時間(タイムライン上の幅)であって、ブラーが十分に欠ける程度に短い可能性がある露光時間を示す第1の時系列グラフ200と、例示的なデジタル画像に対する相対的により長い露光時間であって、いくらかのブラーを生じさせるのに十分な程度に長い可能性がある露光時間を示す第2の時系列グラフ202と、複数のデジタル画像サンプルを組み合わせることによって、時系列グラフ202の相対的に長い露光時間がいかにして近似され得るかを示す第3の時系列グラフ204とを備える。したがって、場合によっては、複数のデジタル画像サンプルを組み合わせて、参照デジタル画像のキーポイントにモーションブラー効果を適用するときに使用することができる。第3の時系列グラフ204は5つのデジタル画像サンプルを備えるが、他の実施形態においては、複数のデジタル画像サンプルとして2つ以上のデジタル画像サンプルを備えればよいことに留意すべきである。

いくつかの実施形態において、たとえば第3の時系列グラフ204にあるような、複数のデジタル画像サンプルを撮影するための全体の時間は、たとえば第2の時系列グラフ202にあるような、一枚のデジタル画像のための露光時間の持続期間と実質的に等しくなり得る。

いくつかの態様によれば、ブラー付きパッチを作成するための取組みは、ブラー付き歪曲パッチ当たりに必要なサンプルの数と直接的に関連している。例として、サンプルの数は、期待されるまたはモデル化されたモーションブラーの量によって決まり得る。したがって、比較的少ない量のモーションブラーに対しては、場合によっては、必要なサンプルはほんの数個でよく、実のところ、目立ったブラーが著しく少ない場合は、必要となるのは単一のサンプルのみでよい。サンプルの数は、たとえば、ブラーの核をどれだけ正確に近似したいと望むかによって決まり得る。このことに留意しつつ、しかしながら、場合によっては、あるレベルの正確性を達成しつつ、取得するサンプルの数を制限することも可能となり得る。したがって、たとえば、いくつかの実施態様において、請求される主題はそのように限定されることを意図していないが、8枚以下のサンプルに頼ることも可能となり得る。

すでに述べたように、様々なマッピングおよび/または他の同様の既知の歪曲/変形技術、たとえば図3の概略図300に示されるフォワードマッピング技術、図3の概略図302に示されるバックワードマッピング技術および/または同様のものまたはこれらのいくつかの組合せを使用して、モーションブラー効果および/またはモデル化された姿勢変化効果を適用することで、ブラー付き歪曲パッチ116が生成され得る。いくつかの実施形態において、概略図302に示されるバックワードマッピング技術は、概略図300に示されるフォワードマッピング技術よりも効率的であると証明し得る。

述べたように、場合によっては、ブラー付き歪曲パッチ116を生成するために、複数のデジタル画像サンプル(その各々は実質的にブラーがかかっていなくてよい)を組み合わせ得る。バックワードマッピングを使用すると、参照画像内でパッチがサンプルされた位置が変化したとしても、カメラ画像内でキーポイントの位置は変化しないままとすることができる。ここで、デジタル画像サンプルは同一のサイズ(たとえば、8×8ピクセル)であってもよく、たとえば単純なピクセル当たりの平均化操作および/または同様のものを使用して、ブラー付き歪曲パッチ116を少なくとも部分的に生成するために組み合わされ得る。

次に図4に注目する。図4は、一実施形態による、モーションブラー感知ビジュアルポーズ追跡をサポートする電子デバイスにおいて実施され得る例示的ワークフロー400を示す概略ブロック図であり、ここでは、少なくともモーションブラー効果が参照デジタル画像のキーポイントに適用され得る。この例においては、電子デバイス110において実施され得る技術が示されるとともに、考え得る任意の処理アクションは破線を使用して示されている。

場合によっては、例示的ワークフローはアクション402から開始し得、ここでは、参照画像内の参照パッチに対応するブラー付き歪曲パッチを生成することができ、たとえば、本明細書においてモーションブラーおよび歪曲を明らかにするために提供される技術を適用する。

アクション404において、トラッカーおよび/または他の同様の機能は、ブラー付き歪曲パッチがデジタル画像の一部分と十分にマッチングするかを判断し得る。アクション404の一部として、たとえば特定の物体の所望の追跡を許可するために、あるいは逆に特定の物体の追跡を一時的に断念するために、十分なマッチングが特定されたか否かが判断され得る。したがって、特定の閾値または目標を満たす十分なマッチングがないと判断された場合、次いでワークフロー400は矢印406で示される反復処理へと進み得、たとえば、別のブラー付き歪曲パッチが、同一の物体のためにおよび/または場合によっては追跡され得る異なる物体のために生成され得る。したがって、アクション402およびアクション404は、十分なマッチングが特定されたと判断されるまで続き得、ワークフローは終了され得る。

図示されているように、いくつかの実施態様において、ワークフロー400には、アクション408のような追加のアクションが含まれてもよく、アクション408によって、各ブラー付き歪曲パッチとデジタル画像の各部分との間である程度の数のマッチングを(アクション402とアクション404とを介して)特定したことなどに基づいて、デジタル画像の少なくとも一部分に関連するモーションブラーの量を測定することが可能となり得る。すでに述べたように、モーションブラーを測定することによって、より正確に各ブラー付き歪曲パッチを、たとえば同様に推定されたモーションブラー効果および/またはモデル化された姿勢変化効果を選択することによって、続いて提供することが可能となり得る。アクション408は、たとえば、アクション404からのループに含まれてもよい。

一実施形態によると、デジタル画像内の物体のブラー感知トラッカーは所与のカメラフレームに対して取り扱われるべきブラーの量についての情報を持つことができる。キーポイントに影響するモーションブラーの量は、カメラの動きと露光時間との積であり得る。モーションブラーを測定するための適応的手法が適用可能であり、そこでは、異なるモーションブラー効果が適用され得、数個のブラー付き歪曲パッチとともにテストされ得る。最初のマッチングのスコア/判断に基づいて、装置112および/またはトラッカー114は、現在のフレームに対して、どのモーションブラー効果および/または測定されたモーションブラーの量を想定するかを決定し得る。したがって、アクション402では、次いで、この測定されたモーションブラーおよび/または同様のものを残りのパッチを生成するために使用し得る。最初のテストの数はフレームあたりのマッチングの全体数と比較すると小さくなり得るので、そのようなテストは全体の処理時間にほとんど影響を与え得ない。

図示されているように、いくつかの実施態様において、ワークフロー400には、アクション410のような追加のアクションが含まれてもよく、アクション410では、様々な処理中のデジタル画像に関連する画像スケールへ影響を与えることができ、たとえば、スケールの増加または減少を適用する。

したがって、いくつかの実施形態において、ワークフロー400はマルチスケールトラッカーとともに用いるのに適し得る。ここで、たとえば、異なるスケールレベルは、モーションブラー効果および/またはモデル化された姿勢変化効果から、異なる影響を受け得る。

その結果、図4に示されるように、ワークフロー400は、アクション410が考慮されるべき画像スケールに何らかの影響を与え、ワークフロー400が図示される線412を介してアクション402へと戻る、という対話型機能を備え得る。

前述の各例に留意しつつ、さらに別の例が図5において、一実施形態による、参照デジタル画像のキーポイントに少なくともモーションブラー効果を適用するために、電子デバイスにおいて実施され得る処理500のフロー図として示される。

例示ブロック502において、参照デジタル画像中に表現される物体の少なくとも一部分に対応する参照パッチが特定される。ここで、たとえば、参照パッチは、一連のデジタル画像内、ビデオストリーム内などで追跡すべき物体の少なくともキーポイントを表し得る。例示ブロック504において、キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、参照パッチに対応する複数の歪曲パッチが生成され得る。例示ブロック506において、キーポイントの少なくともデジタル表現にモーションブラー効果が適用された参照パッチに対応するブラー付き歪曲パッチを形成するために、複数の歪曲パッチのうちの2つ以上が組み合わされ得る。

例示ブロック510において、ブラー付き歪曲パッチがデジタル画像の一部分と十分にマッチングするかが判断され得る。いくつかの実施形態において、例示ブロック510において、モーションブラーの量が、たとえば少なくとも部分的にモーションブラー効果に基づいて測定され得る。いくつかの実施形態において、処理500に先立っておよび/または処理500の一部として、参照デジタル画像、複数のデジタル画像サンプルおよび/または1つまたは複数のデジタル画像のうちの1つまたは複数の少なくとも一部分のスケールが何らかの影響を受け得る。

次に図6に注目する。図6は、一実施形態による、参照デジタル画像のキーポイントに少なくともモーションブラー効果を適用するための例示的な電子デバイス110の特定の特徴を示す概略図であり、電子デバイス110は例示的な専用コンピューティングプラットフォーム600の形態をとってもよい。

図示されているように、専用コンピューティングプラットフォーム600は、メモリ604に1つまたは複数の接続606を介して接続される1つまたは複数のプロセッシングユニット602(たとえば、本明細書で提供される技術に従ってデータ処理を行う、装置112および/またはトラッカー114など)を備え得る。プロセッシングユニット602は、たとえば、ハードウェアまたはハードウェアとソフトウェアの組合せで実装し得る。プロセッシングユニット602は、データ計算手続またはデータ計算処理の少なくとも一部分を実行するように構成可能な1つまたは複数の回路を表し得る。例として、プロセッシングユニットは、1つまたは複数のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路、デジタル信号プロセッサ、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、または同様のもの、またはこれらの組合せを含み得るが、これらに限定されるものではない。

メモリ604は、任意のデータ記憶機構を表し得る。メモリ604は、たとえば、一次メモリ604-1および/または二次メモリ604-2を含み得る。一次メモリ604-1は、たとえば、ランダムアクセスメモリ、リードオンリーメモリなどを備え得る。本例ではプロセッシングユニットとは別体であるように図示されているが、一次メモリの全体または一部は、モバイルデバイス110内のプロセッシングユニット602もしくは他の同様の回路内に設けられ得、または、プロセッシングユニット602もしくは他の同様の回路と同じ場所に配置され/これらに接続され得ることを理解すべきである。二次メモリ604-2は、たとえば、一次メモリと同一のまたは同種のタイプのメモリおよび/または1つまたは複数のデータ記憶デバイスもしくはシステム、たとえばディスクドライブ、光ディスクドライブ、テープドライブ、ソリッドモーションステートメモリなどを備え得る。

いくつかの実施態様において、二次メモリは、非一時的コンピュータ可読媒体620を動作可能に受入れ可能であり得、または非一時的コンピュータ可読媒体620と接続するように構成可能であり得る。メモリ604および/または非一時的コンピュータ可読媒体620は、たとえば本明細書で提供される適用可能な技術に従ってデータ処理を実行するときに使用される命令622を備え得る。

専用コンピューティングプラットフォーム600は、たとえば、1つまたは複数のネットワークインターフェースユニット608をさらに備え得る。ネットワークインターフェースユニット608は、たとえば、1つまたは複数の有線および/またはワイヤレス通信インターフェースを備え得、ここでは1つまたは複数の受信機610および1つまたは複数の送信機612によって表されている。いくつかの実施態様において、通信インターフェース608は1つまたは複数の送受信機および/または同様のものを備え得ることを理解すべきである。さらに、図示されていないが、通信インターフェース608は、通信インターフェース機能/能力が与えられると、適用可能な1つまたは複数のアンテナおよび/または他の回路を備え得ることを理解すべきである。

いくつかの実施形態によれば、ネットワークインターフェースユニット608は、たとえば、電話システム、ローカルエリアネットワーク、ワイドエリアネットワーク、パーソナルエリアネットワーク、イントラネット、インターネットなどの様々な有線インジケーションネットワークとともに使用することを可能にされ得る。

いくつかの実施形態によれば、ネットワークインターフェースユニット608は、たとえば、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの様々なワイヤレス通信ネットワークとともに使用することを可能にされ得る。本明細書では、「ネットワーク」と「システム」という用語は互換的に使用され得る。WWANは符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワークなどであり得る。CDMAネットワークは、1つまたは複数の無線接続技術(RAT)、たとえば、ほんのいくつかの無線技術を例として挙げると、cdma2000、広帯域CDMA(W-CDMA)、時分割同期符号分割多元接続(TD-SCDMA)などを実装し得る。ここで、cdma2000はIS-95規格、IS-2000規格、およびIS-856規格に従って実装される技術を含み得る。TDMAネットワークは、モバイル通信のためのグローバルシステム(GSM(登録商標):Global System for Mobile Communications)、デジタルアドバンストモバイルフォンシステム(D-AMBP能力)または何らかの他のRATを実装し得る。GSM(登録商標)およびW-CDMAは「第3世代パートナーシッププロジェクト」(3GPP:3rd Generation Partnership Project)と称する団体からの文書に記載されている。cdma2000は「第3世代パートナーシッププロジェクト2」(3GPP2:3rd Generation Partnership Project 2)と称する団体からの文書に記載されている。3GPPおよび3GPP2の文書は公的に入手可能である。WLANは、たとえば、IEEE 802.11xネットワークを含み得、WPANは、たとえば、Bluetooth(登録商標)、IEEE 802.15xを含み得る。ワイヤレス通信ネットワークは、たとえばロングタームエボリューション(LTE)、アドバンストLTE、WiMAX、ウルトラモバイルブロ
ードバンド(UMB)および/または同様のものなどの、いわゆる次世代技術(たとえば、「4G」)を含み得る。加えて、通信インターフェース608はさらに、1つまたは複数の他のデバイスとの赤外線ベースの通信を提供し得る。WLANは、たとえば、IEEE 802.11xネットワークを備え得、WPANは、たとえば、Bluetooth(登録商標)、IEEE 802.15xを備え得る。本明細書で説明されるワイヤレス通信の実施態様はまた、WWAN、WLAN、またはWPANの任意の組合せと関連して使用され得る。別の態様において、ワイヤレス送信デバイスは、セルラー電話サービスをビジネスや家庭へと拡大するために利用されるフェムトセルを備え得る。そのような実施態様において、1つまたは複数のモバイルデバイスは、たとえば、CDMAセルラー通信プロトコルを介してフェムトセルと通信し得、フェムトセルは、インターネットなどの別のブロードバンドネットワークを介してより大きいセルラー遠距離通信ネットワークへのアクセスをモバイルデバイスに提供し得る。

モバイルデバイス110は、たとえば、1つまたは複数の入力/出力ユニット614をさらに備え得る。入力/出力ユニット614は、1つまたは複数の他のデバイスおよび/またはモバイルデバイス110のユーザから入力を取得しかつ/またはそれに出力を提供するために使用され得る1つまたは複数のデバイスまたは他の同様の機構を表し得る。したがって、たとえば、入力/出力ユニット614は、様々なボタン、スイッチ、タッチパッド、トラックボール、ジョイスティック、タッチスクリーン、マイクロフォン、カメラおよび/または同様のものを備え得、それらは1つまたは複数のユーザ入力を受け取るために使用され得る。場合によっては、入力/出力ユニット614は、ユーザに対する視覚的出力、聴覚的出力、および/または触覚的出力の生成に使用し得る様々なデバイスを備え得る。たとえば、入力/出力ユニット614は、ユーザに要請を提示し、特定の対応するユーザ入力を取得するために使用し得る。したがって、たとえば、本明細書で提供される特定のコンピュータヴィジョン技術は拡張現実、すなわちユーザのジェスチャ入力など、に関連する様々な情報の受信または表示などを可能にし得、これは物体の識別および追跡に少なくとも部分的に基づき得る。

モバイルデバイス110は、たとえば、1つまたは複数のセンサ616を備え得る。たとえば、センサ616は、1つまたは複数の慣性センサ、1つまたは複数の環境センサなどを表し得、これらは環境および/またはモバイルデバイス110の状態の検知に有用であり得る。したがって、たとえば、センサ616は、1つまたは複数の加速度計、1つまたは複数のジャイロスコープまたはジャイロメータ、1つまたは複数の磁気計および/または同様のもの、1つまたは複数の気圧計、1つまたは複数の温度計などを備え得る。さらに、場合によっては、センサ616は、1つまたは複数の入力デバイス、たとえばマイクロフォン、カメラ、光センサなど、を備え得る。場合によっては、センサベースの測位能力は、自然環境の中でのモバイルデバイス110の動きに対応する現在の推定される運動状態を特定し得、かつ/または、それを特定可能ないくつかの他の処理に影響し得る。センサ616は、1つまたは複数の適用例、たとえば測位またはナビゲーション動作を目的とする適用例の支援のために、メモリ604に記憶され得るとともにDPS(不図示)またはプロセッシングユニット602によって処理され得るアナログ信号またはデジタル信号を生成し得る。

いくつかの実施態様において、電子デバイス110は、デジタル画像132を撮影および/または他の方法で取得可能なイメージキャプチャユニット618を備え得る。したがって、たとえば、場合によっては、イメージキャプチャユニット618はカメラ106、レンズ108および/または接続109の全体もしくは一部を備え得る。加えて、イメージキャプチャユニット618は、デジタル画像に関連する1つまたは複数の音声チャンネルを取込み可能な1つまたは複数のマイクロフォンを備え得る。

本明細書で説明した技術は、特定の特徴および/または例に従って適用例に応じて様々な手段によって実施され得る。たとえば、そのような方法は、ソフトウェアに加えて、ハードウェア、ファームウェアおよび/またはそれらの組合せにおいて実施され得る。ハードウェアにおける実施態様では、たとえば、プロセッシングユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実行するように設計された他のデバイスユニット、および/またはそれらの組合せにおいて実装され得る。

以上の詳細な説明において、多くの具体的な詳細が、請求される主題の徹底した理解を提供するために説明されている。しかしながら、請求される主題がこれらの具体的な詳細がなくとも実施され得ることは、当業者によって理解されるであろう。他の例において、当業者には知られているであろう方法および装置は、請求される主題を不明瞭にしないために詳細には説明されていない。

上記の詳細な説明のいくつかの部分は、特定の装置あるいは専用コンピューティングデバイスまたはプラットフォームのメモリ内に記憶された2値デジタル電子信号に対する演算のアルゴリズムまたは記号表現の観点から提示されている。この特定の明細書のコンテキストでは、特定の装置などの用語は、ひとたびプログラムされるとプログラムソフトウェアからの命令に従って特定の機能を実行する汎用コンピュータを含む。アルゴリズムの説明または記号表現は、信号処理または関連技術において当業者がそれらの働きの本質を他の当業者に伝達するために使用する技術の例である。アルゴリズムは、ここでは、また一般に、所望の結果につながる自己矛盾のない一連の演算または同様の信号処理であると考えられる。このコンテキストでは、演算または処理は物理量の物理的操作を伴う。典型的には、必ずしも必要ではないが、そのような量は、情報を表現する電子信号として記憶、転送、結合、比較、または他の方法で操作されることが可能な電気信号または磁気信号の形態をとり得る。主に一般的な用法という理由で、そのような信号をビット、データ、値、要素、記号、文字、項、数、数字、情報などと呼ぶことは時に便利であることが判明している。ただし、これらまたは同様の用語はすべて、適切な物理量に関連すべきものであり、便利なラベルにすぎないことを理解すべきである。動きについて別段に申し立てのない限り、以下の説明から明らかなように、本明細書全体にわたって、「処理する」、「算出する」、「計算する」、「判断する」、「生成する」「取得する」「変更する」「選択する」および/または同様の用語を利用する説明は、専用コンピュータまたは同様の専用電子コンピューティングデバイスなど、特定の装置の動作または処理を指すことを諒解されたい。したがって、本明細書のコンテキストでは、専用コンピュータまたは同様の専用電子コンピューティングデバイスは、専用コンピュータまたは同様の専用電子コンピューティングデバイスのメモリ、レジスタ、または他の情報記憶デバイス、送信デバイス、またはディスプレイデバイス内の、電子的または磁気的な物理量として典型的に表される信号を操作または変換することが可能である。この特定の特許出願のコンテキストでは、「特定の装置」という用語は、ひとたびプログラムされるとプログラムソフトウェアからの命令に従って特定の機能を実行する汎用コンピュータを含み得る。

本明細書で使用される「および」、「または」、および「および/または、かつ/または」という用語は、そのような用語が使用されるコンテキストに少なくとも部分的に依存することも想定される様々な意味を含み得る。典型的には、「または」は、A、BまたはCなどのリストを関連付けるために使用される場合、本明細書では包含的な意味で使用されるA、BおよびCを意味するとともに、本明細書では排他的な意味で使用されるA、BまたはCを意味するものとする。さらに、本明細書で使用される「1つまたは複数」という用語は、単数形の任意の特徴、構造、または特性を記述するのに使用され得、または複数の特徴、構造、または特性またはこれらのいくつかの他の組合せを記述するのに使用され得る。しかしながら、これは単なる例示的な例であり、請求される主題がこの例に限定されるわけではないことに注意すべきである。

例示的な特徴と現在のところ考えられることについて図示し説明したが、請求される主題から逸脱することなく、様々な他の変更が行われ得、均等物が代用され得ることが、当業者には理解されよう。さらに、本明細書で説明した中心概念から逸脱することなく、請求される主題の教示に特定の状況を適応させるために多くの変更が行われ得る。

したがって、請求される主題は、開示される特定の例に限定されることはなく、そのような請求される主題はまた、添付の特許請求の範囲内に入るすべての態様とそれらの均等物とを含み得るものとする。

100 配置
102 シーン
106 カメラ
108 レンズ
109 接続
110 電子デバイス、モバイルデバイス
112 装置
114 モーションブラー感知ビジュアルポーズトラッカー、トラッカー
116 ブラー付き歪曲パッチ
120 参照画像、参照デジタル画像
122 物体
126 キーポイント
128 参照パッチ
129 画像、デジタル画像
130 ビデオストリーム
132 デジタル画像
134 部分
200 第1の時系列グラフ
202 第2の時系列グラフ
204 第3の時系列グラフ
300 概略図
302 概略図
400 ワークフロー
402 アクション
404 アクション
406 矢印
408 アクション
410 アクション
412 線
500 処理
600 専用コンピューティングプラットフォーム
602 プロセッシングユニット
604 メモリ
604-1 一次メモリ
604-2 二次メモリ
606 接続
608 通信インターフェース、ネットワークインターフェースユニット
610 受信機
612 送信機
614 入力/出力ユニット
616 センサ
618 イメージキャプチャユニット
620 非一時的コンピュータ可読媒体
622 命令

Claims (16)

1. 電子デバイスを用いた、
   参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき前記物体の少なくともキーポイントを表す参照パッチを特定するステップと、
   前記キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、前記参照パッチに対応する複数の歪曲パッチを生成するステップと、
   前記キーポイントの少なくとも前記デジタル表現にモーションブラー効果が適用された前記参照パッチに対応するブラー付き歪曲パッチを形成するために、前記複数の歪曲パッチのうちの少なくとも2つを組み合わせるステップであって、前記電子デバイスの画像撮影露光時間に少なくとも部分的に基づくステップと
   を備える、方法。
2. 前記電子デバイスを用いた、
   前記ブラー付き歪曲パッチが前記複数のデジタル画像のうちの1つのデジタル画像の少なくとも一部分と実質的にマッチングするかを判断するステップをさらに備える、請求項1に記載の方法。
3. 前記電子デバイスを用いた、
   前記複数の画像のうちの前記デジタル画像の少なくとも前記一部分と実質的にマッチングする前記ブラー付き歪曲パッチを形成するために前記複数の歪曲パッチのうちの何枚を組み合わせるべきかを表す値を適応的に判断するステップをさらに備える、請求項2に記載の方法。
4. 前記ブラー付き歪曲パッチを生成するステップが、
   バックワードマッピング手法に少なくとも部分的に基づいて前記参照パッチに対応する前記ブラー付き歪曲パッチを生成するステップをさらに備える、請求項1に記載の方法。
5. 電子デバイスにおいて使用される装置であって、
   参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき前記物体の少なくともキーポイントを表す参照パッチを特定するための手段と、
   前記キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、前記参照パッチに対応する複数の歪曲パッチを生成するための手段と、
   前記キーポイントの少なくとも前記デジタル表現にモーションブラー効果が適用された前記参照パッチに対応するブラー付き歪曲パッチを形成するために、前記複数の歪曲パッチのうちの少なくとも2つを組み合わせるための手段であって、前記複数の歪曲パッチのうちの前記少なくとも2つを組み合わせることは、前記電子デバイスの画像撮影露光時間に少なくとも部分的に基づく手段と
   を備える、装置。
6. 前記ブラー付き歪曲パッチが前記複数のデジタル画像のうちの1つのデジタル画像の少なくとも一部分と実質的にマッチングするかを判断するための手段をさらに備える、請求項5に記載の装置。
7. 前記デジタル画像の少なくとも前記一部分と実質的にマッチングする前記ブラー付き歪曲パッチを形成するために前記複数の歪曲パッチのうちの何枚を組み合わせるべきかを表す値を適応的に判断するための手段をさらに備える、請求項6に記載の装置。
8. バックワードマッピング手法に少なくとも部分的に基づいて前記参照パッチに対応する前記ブラー付き歪曲パッチを生成するための手段をさらに備える、請求項5に記載の装置。
9. メモリと、
   プロセッシングユニットであって、
   参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき前記物体の少なくともキーポイントを表す参照パッチを特定することと、
   前記キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、前記参照パッチに対応する複数の歪曲パッチを生成することと、
   前記キーポイントの少なくとも前記デジタル表現にモーションブラー効果が適用された前記参照パッチに対応するブラー付き歪曲パッチを形成するために、前記複数の歪曲パッチのうちの少なくとも2つを組み合わせることであって、前記複数の歪曲パッチのうちの前記少なくとも2つを組み合わせることは、前記電子デバイスの画像撮影露光時間に少なくとも部分的に基づく、組み合わせることと
   行わせるプロセッシングユニットと
   を備える、電子デバイス。
10. 前記プロセッシングユニットがさらに、
    前記ブラー付き歪曲パッチが前記複数のデジタル画像のうちの1つのデジタル画像の少なくとも一部分と実質的にマッチングするかを判断する、請求項9に記載の電子デバイス。
11. 前記プロセッシングユニットがさらに、
    前記デジタル画像の少なくとも前記一部分と実質的にマッチングする前記ブラー付き歪曲パッチを形成するために前記複数の歪曲パッチのうちの何枚を組み合わせるべきかを表す値を適応的に判断する、請求項10に記載の電子デバイス。
12. 前記プロセッシングユニットがさらに、
    バックワードマッピング手法に少なくとも部分的に基づいて前記参照パッチに対応する前記ブラー付き歪曲パッチを生成する、請求項11に記載の電子デバイス。
13. 参照デジタル画像中に表現される物体の少なくとも一部分に対応し、複数のデジタル画像内において追跡すべき前記物体の少なくともキーポイントを表す参照パッチを特定することと、
    前記キーポイントのデジタル表現にモデル化された姿勢変化効果を選択的に適用することによって、前記参照パッチに対応する複数の歪曲パッチを生成することと、
    前記キーポイントの少なくとも前記デジタル表現にモーションブラー効果が適用された前記参照パッチに対応するブラー付き歪曲パッチを形成するために、前記複数の歪曲パッチのうちの少なくとも2つを組み合わせることであって、前記複数の歪曲パッチのうちの前記少なくとも2つを組み合わせることは、前記電子デバイスの画像撮影露光時間に少なくとも部分的に基づく、組み合わせることと
    を行わせるために、電子デバイス内のプロセッシングユニットによって実行可能なコンピュータ実施可能命令を内部に記憶する非一時的コンピュータ可読記録媒体。
14. 前記コンピュータ実施可能命令は、
    前記ブラー付き歪曲パッチが前記複数のデジタル画像のうちの1つのデジタル画像の少なくとも一部分と実質的にマッチングするかを判断するために、前記プロセッシングユニットによってさらに実行可能である、請求項13に記載の非一時的コンピュータ可読記録媒体。
15. 前記コンピュータ実施可能命令は、
    前記デジタル画像の少なくとも前記一部分と実質的にマッチングする前記ブラー付き歪曲パッチを形成するために前記複数の歪曲パッチのうちの何枚を組み合わせるべきかを表す値を適応的に判断するために、前記プロセッシングユニットによってさらに実行可能である、請求項14に記載の非一時的コンピュータ可読記録媒体。
16. 前記コンピュータ実施可能命令は、
    バックワードマッピング手法に少なくとも部分的に基づいて前記参照パッチに対応する前記ブラー付き歪曲パッチを生成するために、前記プロセッシングユニットによってさらに実行可能である、請求項13に記載の非一時的コンピュータ可読記録媒体。

Images