JP5774226B2 - 方位センサに基づくホモグラフィ分解の曖昧性の解決 - Google Patents

方位センサに基づくホモグラフィ分解の曖昧性の解決 Download PDF

Info

Publication number
JP5774226B2
JP5774226B2 JP2014529731A JP2014529731A JP5774226B2 JP 5774226 B2 JP5774226 B2 JP 5774226B2 JP 2014529731 A JP2014529731 A JP 2014529731A JP 2014529731 A JP2014529731 A JP 2014529731A JP 5774226 B2 JP5774226 B2 JP 5774226B2
Authority
JP
Japan
Prior art keywords
angle
homography
measurement
solution
relative rotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014529731A
Other languages
English (en)
Other versions
JP2014526736A (ja
Inventor
ボラン・ジャン
デーラジ・アフジャ
クリストファー・ブラナー
Original Assignee
クアルコム，インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クアルコム，インコーポレイテッド filed Critical クアルコム，インコーポレイテッド
Publication of JP2014526736A publication Critical patent/JP2014526736A/ja
Application granted granted Critical
Publication of JP5774226B2 publication Critical patent/JP5774226B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Description

係属仮出願の相互参照
本出願は、それらの両方が本出願の譲受人に譲渡され、参照によりその全体が本出願に組み込まれている2011年9月12日に出願した、「Resolving Homography Decomposition Ambiguity」という表題の米国仮特許出願第61/533,733号に対して米国特許法第119条による優先権を主張する、2011年12月2日に出願した、「Resolving Homography Decomposition Ambiguity Based on Orientation Sensors」という表題の米国特許出願第13/310,204号の優先権を主張するものである。
視覚ベースの追跡技法は、その環境内のオブジェクトに対するモバイルプラットフォームの位置および方位(ポーズ)を判断するために、モバイルプラットフォームによって取り込まれた画像を使用する。追跡は、仮想オブジェクトが実世界のユーザの視野内に挿入されるナビゲーションおよび拡張現実感など、多くのアプリケーションにとって有用である。
1つのタイプの視覚ベースの追跡は、その環境内の平面を検出することによって、基準パッチ(reference patch)を初期化する。この表面は、典型的には、その表面の複数の画像を使用して検出され、2つの画像の間のホモグラフィが計算されて、その表面上で検出された点に関する3D位置を推定するために使用される。同じ平面の何らかの2つのカメラ画像は3×3ホモグラフィ行列hによって関連付けられる。ホモグラフィhは、2つの画像の間の回転Rと変換tとに分解可能である。ポーズ情報[R|t]は、次いで、ナビゲーション、拡張現実感、または他のそのようなアプリケーションに関して使用可能である。
しかしながら、ほとんどの場合、ホモグラフィhの分解は、複数の考えられる解をもたらす。しかしながら、これらの解の1つだけが実際の平面を表す。したがって、ホモグラフィhの分解において解決しなければならない曖昧性が存在する。ホモグラフィ分解曖昧性を解決する、知られている方法は、追加の画像、または平面の事前知識など、正確な解を選択するための余剰情報を使用することを必要とする。
例として、Georg KleinおよびDavid Murray、「Parallel Tracking and Mapping on a Camera Phone」、In Proc. International Symposium on Mixed and Augmented Reality (ISMAR)、4頁、2009(「PTAM」)によって説明されたものなど、追跡技術には、ホモグラフィ分解後のポーズ選択の際の曖昧性という欠点がある。PTAMは、曖昧性を解決するために、追加のビデオフレーム、すなわち、画像を必要とする。各可能な解に関して、PTAMは、3Dカメラポーズを計算して、いくつかの後続のフレームに関して、そのポーズ再投影誤差を比較する。1つの解に関する平均投影誤差が別の解よりも、2倍など、より大きいとき、より大きな誤差を有する解は除去される。ポーズ再投影を使用して曖昧性を解決することは、しかしながら、収束に時間がかかり、時々、不正確な結果をもたらす。
曖昧性を解決するために使用される別の手法は、カメラの初期方位に最も近接する法線を有するホモグラフィ解を選択することである。しかしながら、この手法は、常に正面方位に近接することから始めて、カメラをその位置から離すことをユーザに強いる。
D. Santosh Kumar and C.V. Jawahar、「“Robust Homography-Based Control for Camera Positioning in Piecewise Planar Environments」、Indian Conference on Computer Vision、Graphics and Image Processing(ICVGIP)、906-918頁(2006)によって説明される手法では、正確な解を選択するためには、空間内の別の平面が必要とされるか、またはその平面に関する事前知識が必要とされる。したがって、この手法は実際的応用を限定する。
Georg KleinおよびDavid Murray、「Parallel Tracking and Mapping on a Camera Phone」、In Proc. International Symposium on Mixed and Augmented Reality (ISMAR)、4頁、2009(「PTAM」) D. Santosh Kumar and C.V. Jawahar、「"Robust Homography-Based Control for Camera Positioning in Piecewise Planar Environments」、Indian Conference on Computer Vision、Graphics and Image Processing(ICVGIP)、906-918頁(2006) Faugeras、O.、Lustman、F.:「Motion and structure from motion in a piecewise planar environment」、International Journal of Pattern Recognition and Artificial Intelligence 2(1988)485-508頁
平面オブジェクトの2つの取り込み画像の間のホモグラフィは、少なくとも1つの可能な解、典型的には、少なくとも2つの曖昧な解に分解される。方位センサからの測定値を使用して、2つの解の間の曖昧性が取り除かれるか、または、単一の解が検証される。相対的回転行列から導出された、1つもしくは複数の解に関するヨー角度、ピッチ角度、および/またはロール角度のうちの少なくとも1つを方位センサからの測定値から導出されたヨー角度、ピッチ角度、および/またはロール角度のうちの対応する少なくとも1つと比較することによって、方位センサからの測定値を使用することが可能である。
一実施形態では、方法は、異なる位置から平面オブジェクトの2つの画像を取り込むステップと、2つの画像の間のホモグラフィを判断するステップと、ホモグラフィを分解して、少なくとも1つの可能な解を得るステップと、少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するステップと、正確な解を記憶するステップとを含む。
別の実施形態では、装置は、平面オブジェクトの画像を取り込むためのカメラと、カメラの方位を感知するための方位センサと、異なる位置からの平面オブジェクトの2つの画像、および2つの画像が取り込まれたときの方位センサからの測定値を受信するために結合されたプロセッサであって、2つの画像の間のホモグラフィを判断することと、ホモグラフィを分解して、少なくとも1つの可能な解を得ることと、少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用することと、正確な解をメモリ内に記憶することとを行うように構成されたプロセッサとを含む。
別の実施形態では、装置は、異なる位置から平面オブジェクトの2つの画像を取り込むための手段と、2つの画像の間のホモグラフィを判断するための手段と、ホモグラフィを分解して、少なくとも1つの可能な解を得るための手段と、方位センサからの測定値を使用して、少なくとも1つの可能な解が正確かどうかを判断するための手段と、正確な解を記憶するための手段とを含む。
さらに別の実施形態では、その上に記憶されたプログラムコードを含む非一時的コンピュータ可読媒体は、異なる位置から取り込まれた、平面オブジェクトの2つの画像の間のホモグラフィを判断するためのプログラムモードと、ホモグラフィを分解して、少なくとも1つの可能な解を得るためのプログラムコードと、少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するためのプログラムコードと、正確な解を記憶するためのプログラムコードとを含む。
2つの異なる位置において平面オブジェクトの画像を取り込むモバイルプラットフォームを例示する図である。 異なる位置において取り込まれた2つの画像上への平面オブジェクト上の三次元(3D)点の投影を例示する図である。 ホモグラフィ分解に対する解の曖昧性を例示する図である。 世界座標系と、カメラ座標系と、センサ座標系とを含む、モバイルプラットフォームに対する異なる座標系を例示する図である。 方位センサからの測定値を使用して、ホモグラフィ分解の曖昧性を解決するプロセスを例示する流れ図である。 少なくとも1つの可能な解を除去するために、方位センサからの測定値を使用するプロセスを例示する流れ図である。 平面オブジェクトの2つの画像だけを使用して、平面オブジェクトの何らかの事前知識なしに、ホモグラフィ分解の曖昧性を解決することが可能なモバイルプラットフォームのブロック図である。
図1は、カメラ112を含み、2つの異なる位置AおよびBにおいてカメラ112を用いて平面オブジェクト102の画像を取り込むモバイルプラットフォーム100を例示し、この場合、位置Aが第1の(すなわち、初期)取り込み画像102Aに対応し、位置Bが第2の(すなわち、現在の)取り込み画像102Bに対応する。取り込み画像102Aおよび102Bは、ディスプレイ114によって示されているとして例示される。実際には、図1で、破線矢印によって示されるように、単一のモバイルプラットフォーム100は、そのモバイルプラットフォーム100が位置Aから位置Bに移動する間に、生のビデオストリームから一連のフレームを取り込むことが可能である。あるいは、2つの異なるモバイルプラットフォームを使用して、異なる位置AおよびBから平面オブジェクト102の画像を取り込むことが可能である。モバイルプラットフォーム100は、加速度計、磁気計、および/またはジャイロスコープなど、方位センサ116をやはり含む。加速度計などのセンサは直線運動を測定し、ジャイロスコープなどのセンサは角運動を測定するのに対して、2つの位置間の相対的方位はそのようなセンサを使用して判断可能であり、したがって、すべてのそのようなセンサは、本明細書で、方位センサ116と呼ばれることに留意されたい。
図2に示されるように、平面π上の3D点が2つの画像I'およびI上に見られるとき、画像I'上のその2D投影q'=(x',y',1)と画像I上のq=(x,y,1)とはホモグラフィhによって次のように関連付けられる:
Figure 0005774226
参照により本明細書に組み込まれている、Faugeras、O.、Lustman、F.:「Motion and structure from motion in a piecewise planar environment」、International Journal of Pattern Recognition and Artificial Intelligence 2(1988)485-508頁で説明される、よく知られている手順を使用して、平面の2つのビュー間のホモグラフィhを回転行列Rと、変換行列tと、法線nとに分解することが可能である。最も一般的な事例では、ホモグラフィhの分解は4つの可能な解、すなわち、回転行列Rおよび変換行列tの4つの可能なセットを生成する。2つの解は、非交差制約(non-crossing constraints)および可視性制約を行使することによって除去可能である。非交差制約は、2つのカメラ画像が平面オブジェクトの同じ側から取り込まれること、たとえば、両方の画像が平面オブジェクトの上から取り込まれることを必要とする。可視性制約は、画像が取り込まれるとき、平面オブジェクト上のすべての3D点がカメラの前面になければならないことを必要とする。しかしながら、他の2つの可能な解の間の曖昧性は残る。
図3は、平面オブジェクト102に対する初期位置Aおよび(ユーザ201に沿った)現在の位置Bにおけるモバイルプラットフォーム100の別の例示である。初期位置Aおよび現在の位置Bで生み出された画像からのホモグラフィ分解は、2つの可能な解200および202を生み出し、解200はモバイルプラットフォーム100の正確な位置Bに対応し、解202は不正確であり、破線によって例示される。上で議論されたように、ホモグラフィ分解に対する各解200および202は、図3に示される面法線n、ならびに図3で矢印R200およびR202によって例示される回転行列R、ならびに図3に示されない変換行列tを含む。上で議論されたように、ホモグラフィ分解は最高で4つの可能な解を生み出すことができるが、2つの解は、非交差制約および可視性制約を行使することによって容易に除去可能であり、したがって、図3に示されないことを理解されたい。図3に示される、2つの残りの可能な解200および202は、両方ともホモグラフィ分解からの有効な解であり、したがって、曖昧性を解決することが望ましい。加えて、ホモグラフィ分解は、1つの可能な解、たとえば、解200だけを生み出す場合があるが、その解を検証することが望ましい場合があることを理解されたい。
2つの残りの解の間の曖昧性は、可能な解を除去するために、方位センサ116からの測定値を使用することによって、解決(または、1つの解だけが存在する場合、検証)可能である。方位センサ116からの測定値を使用して、カメラ座標系内で(時々、本明細書で、集合的に、測定ベースの角度と呼ばれる)測定ベースのヨー(αMB)角度、ピッチ(βMB)角度、およびロール(γMB)角度を導出することができる。同様に、ホモグラフィhの分解からの可能な解200および202に関連する相対的回転行列R200およびR202を使用して、(時々、本明細書で、集合的に、ホモグラフィベースの角度と呼ばれる)ヨー角度、ピッチ角度、およびロール角度を導出することができる。言い換えれば、図3に例示されるように、ヨー角度(α200)、ピッチ角度(β200)、およびロール角度(γ200)を回転行列R200から導出することができ、ヨー角度(α202)、ピッチ角度(β202)、およびロール角度(γ202)を回転行列R202から導出することができる。次いで、測定ベースの角度のうちの1つまたは複数を可能な解に関連する、対応する1つもしくは複数の角度と比較して、どの解が正確であるか判断すること(または、1つの解だけが存在する場合、検証すること)ができる。
方位センサ116は、ベクトルを時間tにおいてセンサ座標系から世界座標系に変換する回転行列
Figure 0005774226
を測定する。加えて、時間tにおいて、回転行列
Figure 0005774226
は、ベクトルをカメラ座標系から世界座標系に変換する。これらの行列
Figure 0005774226
および
Figure 0005774226
の間の関係は
Figure 0005774226
として定義され、式中、Rscは、知られている定数である、ベクトルをカメラ座標系からセンサ座標系に変換する回転行列であり、たとえば、Rscは、モバイルプラットフォーム100に関して事前に較正可能である。
図4は、例として、時間t1および時間t2における2つの異なる位置でのモバイルプラットフォーム100に対する異なる座標系を示す。座標系は、世界座標系302、ならびにカメラ座標系304およびセンサ座標系306を含む。矢印によって例示されるように、回転行列Rscは、ベクトルをカメラ座標系304からセンサ座標系306に変換し、モバイルプラットフォーム100に関して定数のままである。
同じ平面オブジェクトの2つのカメラ画像が、たとえば、図4に示される時間t1および時間t2において異なる位置から取り込まれた場合、2つの画像はカメラ座標系内で3×3ホモグラフィ行列hによって関連付けられる。ホモグラフィ行列hを、面法線nと、矢印を用いて図4に例示された、時間t1および時間t2におけるモバイルプラットフォーム100間の相対的回転行列ΔRcと、変換行列Δtとに分解することができる。上で議論されたように、ホモグラフィhの分解は、一般に、複数の解をもたらし、したがって、図4の相対的回転行列ΔRcは、図3の可能な解200および202に関連する相対的回転行列R200およびR202に対応する。
時間t1および時間t2において取り込まれた2つの画像の間の相対的回転行列ΔRcは、ベクトルをカメラ座標系304から世界座標系302に変換する回転行列
Figure 0005774226
に基づいて、以下のように判断可能である:
Figure 0005774226
式2を式3に置換することによって、回転行列
Figure 0005774226
を、以下のように、知られている定数回転行列Rscに沿って、ベクトルをセンサ座標系306から世界座標系302に変換する(方位センサ116によって測定された)回転行列
Figure 0005774226
と置換することが可能である。
Figure 0005774226
したがって、式4を使用すると、時間t1および時間t2における方位センサ116からの測定値(すなわち、時間t1において測定された回転行列
Figure 0005774226
および(
Figure 0005774226
に変換された)時間t2において測定された回転行列
Figure 0005774226
)と、知られている回転行列Rscとを使用して、測定ベースの相対的回転行列ΔRc-MBを計算することができる。カメラ座標系内にある測定ベースの相対的回転行列ΔRc-MBは、図3の位置Aから位置Bへの変化に関連する相対的回転行列RMBに対応する。次いで、測定ベースの相対的回転行列ΔRc-MBを使用して、たとえば、測定ベースの相対的回転行列ΔRc-MBから測定ベースの角度を導出して、各解に関連する相対的回転行列ΔRcからホモグラフィベースの角度を導出して、それらの角度のうちの1つもしくは複数を比較して、最も近接する整合、または、正確な解と判断されてよい、しきい値内の差を見出すことによって、ホモグラフィ分解hに関する正確な解を選択することができる。
ホモグラフィ分解から生成された可能な解が1つだけ存在する場合、2D点の不良な相関により、解は不正確な可能性がある。この場合、同じプロセスを使用して、1つの解を検証することができ、すなわち、(1つまたは複数の)差がしきい値内であるかどうかを判断するために、その1つの解に関する測定ベースの角度のうちの1つまたは複数がホモグラフィベースの角度と比較される。しきい値が満たされない場合、その解は不合格になり、その1つの解だけが正確であると仮定するのではなく、プロセスをリセットすることができる。
図5は、方位センサ116からの測定値を使用して、ホモグラフィ分解の曖昧性を解決するプロセスを例示する流れ図である。例示されるように、異なる位置から1つのカメラ(または、異なる複数のカメラ)によって平面オブジェクトの2つの画像が取り込まれる(402)。2つの異なるカメラが使用される場合、方位の測定は同じ世界座標に対するべきである。たとえば、Xは、ベクトル積Y・Zと定義可能であり、デバイスの現在の位置において地面と接線方向にあり、およそ東を指し、Yは、デバイスの現在の位置において地面と接線方向にあり、磁北極を指し、Zは、上を指し、地面に対して直角である。平面オブジェクトの2つの画像の間のホモグラフィhが判断される(404)。2つの画像に関してホモグラフィ分解を実行して、少なくとも1つの可能な解を得る(406)。たとえば、方位センサ116からの測定値を使用して検証可能な、1つの可能な解だけを得ることができる。しかしながら、典型的には、いくつかの可能な解を得ることができ、非交差制約および可視性制約を使用してその一部を除去して、2つの曖昧な可能な解を残すことが可能である。解が正確であるかどうかを判断するために、方位センサ116からの測定値を使用して(408)、正確な解はカメラの位置および方位として記憶される(410)。
図6は、方位センサ116からの測定値を使用して、解が正確であるかどうかを判断するプロセス(408)を例示する流れ図である。図5のステップ506でホモグラフィhを分解する間に、各解に関する相対的回転行列ΔRcが生み出される。典型的には、最高で4つの可能な解が取得され、非交差制約および可視性制約を使用してその一部を除去して、2つの曖昧な可能な解を残すことが可能である。したがって、残りのプロセスは、2つの解が存在すると仮定して説明されるが、単一の解を検証するために同じプロセスを実行することが可能である。図4に例示されるように、相対的回転行列ΔRcから、各解に関するホモグラフィベースの角度、すなわち、ヨー角度、ピッチ角度、およびロール角度が導出される(452)。回転行列からヨー角度、ピッチ角度、およびロール角度を導出することは、当業者によく理解されている。式4に示されるように、測定ベースの相対的回転行列ΔRc-MBを判断するために、方位センサ116からの測定値を使用する(454)。次いで、測定ベースの相対的回転行列ΔRc-MBから測定ベースの角度、すなわち、ヨー角度、ピッチ角度、およびロール角度が導出される(456)。各解に関する測定ベースの角度のうちの1つまたは複数を対応する1つまたは複数のホモグラフィベースの角度と比較して、正確な解を判断する。たとえば、対応する測定ベースの角度に対して最小差(または、2つ以上の角度が使用される場合、最小平均差)を有する角度を有する解を正確な解として選択することができる。あるいは、1つまたは複数の測定ベースの角度とホモグラフィベースの角度との間の差をしきい値と比較して、正確な解を選択することができ、または1つの解だけが存在するとき、その解を検証することができる。
所望される場合、ヨー角度、ピッチ角度、およびロール角度の3つすべてよりも少ない角度を比較のために使用することができる。たとえば、2つの可能な解が存在するとき、対応する測定ベースの角度と比較するために2つの解の間で最大の差を有するホモグラフィベースの角度、すなわち、ヨー、ピッチ、またはロールを選択することができる。その上、ヨー角度は磁気異常による影響をより容易に受け、したがって、正確な解がロール角度およびピッチ角度のうちの1つまたはそれらの両方に基づくように、ヨー角度を比較から除くことが望ましい場合があることに留意されたい。
図7は、平面オブジェクトの2つの画像だけを使用して、平面オブジェクトの何らかの事前知識なしに、ホモグラフィ分解内の曖昧性を解決することが可能なモバイルプラットフォームのブロック図である。モバイルプラットフォーム100は、カメラ112または複数のカメラなど、平面オブジェクトの画像を取り込むための手段を含む。モバイルプラットフォーム100は、加速度計、ジャイロスコープ、電気方位磁石、または他の類似の感知要素であってよい、方位センサ116など、方位を感知するための手段をやはり含む。モバイルプラットフォーム100は、ディスプレイ114など、環境の画像を表示するための手段を含むユーザインターフェース150をさらに含むことが可能である。ユーザインターフェース150は、それによってユーザが情報をモバイルプラットフォーム100内に入力できる、キーパッド152または他の入力デバイスをやはり含むことが可能である。所望される場合、タッチセンサ(または、ジェスチャ制御)を備えた仮想キーパッドをディスプレイ114内に統合することによってキーパッド152を除去することができる。たとえば、モバイルプラットフォーム100が、セルラ電話などのモバイルプラットフォームである場合、ユーザインターフェース150は、マイクロフォン154およびスピーカ156をやはり含むことが可能である。もちろん、モバイルプラットフォーム100は、本開示に無関係な他の要素を含むことが可能である。
モバイルプラットフォーム100は、カメラ112および方位センサ116に接続され、カメラ112および方位センサ116と通信する制御ユニット160をやはり含む。制御ユニット160は、カメラ112または複数のカメラによって取り込まれた画像、および方位センサ116からの信号を受け取って、処理し、ディスプレイ114を制御する。制御ユニット160は、プロセッサ161および関連メモリ164、ハードウェア162、ソフトウェア165、ならびにファームウェア163によって提供可能である。制御ユニット160は、カメラ112によって取り込まれた2つの画像に関してホモグラフィ分解を実行する画像処理ユニット166を含むことが可能である。制御ユニット160は、ホモグラフィ分解から解を受け取って、たとえば、図5および図6で説明されたように、方位センサ116からの測定値に基づいて、その解が正確かどうかを判断する解検証ユニット168をさらに含む。選択された解は、モバイルプラットフォーム100の位置および方位として、メモリ164内または他の記憶装置内に記憶可能である。
画像処理ユニット166および解検証ユニット168は、分かりやすくするために、プロセッサ161から切り離されて例示されているが、プロセッサ161の一部であってよく、またはプロセッサ161内で実行するソフトウェア165内の命令に基づいてプロセッサ内で実施されてもよい。本明細書で使用される場合、プロセッサ161は、1つまたは複数のマイクロプロセッサ、埋め込み式プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含むことが可能であるが、これらを必ずしも含まなくてよいことを理解されよう。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能について説明することが意図される。その上、本明細書で使用される場合、「メモリ」という用語は、モバイルプラットフォームに関連する長期メモリ、短期メモリ、または他のメモリを含めて、何らかのタイプのコンピュータ記憶媒体を指し、何らかの特定のタイプのメモリもしくは何らかの特定の数のメモリ、またはメモリが記憶される媒体のタイプに限定されない。
本明細書で説明された方法は、用途に応じて、様々な手段で実施可能である。たとえば、これらの方法は、ハードウェア162、ファームウェア163、ソフトウェア165、またはそれらの何らかの組合せの形で実施可能である。ハードウェア実装の場合、処理ユニットは、本明細書で説明された機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せの中で実施可能である。
ファームウェア実装および/またはソフトウェア実装の場合、これらの方法は、本明細書で説明された機能を実行するモジュール(たとえば、手順、機能など)を用いて実施可能である。本明細書で説明された方法を実施する際に、命令を有形に実施する、何らかの機械可読媒体を使用することが可能である。たとえば、ソフトウェアコードをメモリ164内に記憶して、プロセッサ161によって実行することが可能である。メモリは、プロセッサ161内で実施可能であり、またはプロセッサ161の外でも実施可能である。ファームウェアおよび/またはソフトウェアの形で実施される場合、これらの機能は、コンピュータ可読媒体上の1つもしくは複数の命令またはコードとして記憶可能である。例えば、データ構造を用いて符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムを用いて符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセス可能な何らかの利用可能な媒体であってよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、命令またはデータ構造の形で所望されるプログラムコードを記憶するために使用可能であり、かつコンピュータによってアクセス可能なRAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは何らかの他の媒体を含むことが可能であり、この場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー（登録商標）ディスク、およびBlu-ray（登録商標）ディスクを含み、ディスク(disk)は、通常、データを磁気的に再生するのに対して、ディスク(discs)は、レーザを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲に含まれるべきである。
本発明は、教育のために特定の実施形態に関して例示されているが、本発明はそれらに限定されない。本発明の範囲から逸脱せずに、様々な適応および修正を行うことが可能である。したがって、添付の請求項の趣旨および範囲は前述の説明に限定されるべきではない。
100 モバイルプラットフォーム
102 平面オブジェクト
102A 第1の(すなわち、初期)取り込み画像
102B 第2の(すなわち、現在の)取り込み画像
112 カメラ
114 ディスプレイ
116 方位センサ
150 ユーザインターフェース
152 キーパッド
154 マイクロフォン
156 スピーカ
160 制御ユニット
161 プロセッサ
162 ハードウェア
163 ファームウェア
164 メモリ
165 ソフトウェア
166 画像処理ユニット
168 解検証ユニット
200 解
201 ユーザ
202 解
302 世界座標系
304 カメラ座標系
306 センサ座標系

Claims (24)

  1. 異なる位置から平面オブジェクトの2つの画像を取り込むステップと、
    前記2つの画像の間のホモグラフィを判断するステップと、
    前記ホモグラフィを分解して、少なくとも1つの可能な解を得るステップであって、前記ホモグラフィを分解する前記ステップが、前記少なくとも１つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出す、ステップと、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するステップであって、前記方位センサからの前記測定値を使用する前記ステップが、
    前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断するステップと、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用するステップと
    を含むステップと、
    正確な解を記憶するステップと
    を含む方法。
  2. 複数の可能な解が得られ、前記複数の可能な解のうちの少なくとも1つを除去するために、前記方位センサからの前記測定値が使用される、請求項1に記載の方法。
  3. 前記方位センサからの前記測定値を使用する前記ステップが、
    前記少なくとも1つの相対的回転行列からのホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出するステップと、
    前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出するステップと、
    前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確であるかどうかを判断するステップと
    を含む、請求項1に記載の方法。
  4. 前記ホモグラフィを分解する前記ステップが、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度が導出され、前記測定ベースのヨー角度、ピッチ角度、およびロール角度の前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度の前記少なくとも1つと比較される、請求項3に記載の方法。
  5. 第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断するステップと、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較されるとき、前記最大の差を有する前記角度だけを使用するステップとをさらに含む、請求項4に記載の方法。
  6. 前記少なくとも1つの可能な解が正確かどうかを判断するために、前記方位センサからの前記測定値を使用するステップが、前記平面オブジェクトの事前知識を使用せず、前記平面オブジェクトの追加の画像を使用しない、請求項1に記載の方法。
  7. 平面オブジェクトの画像を取り込むためのカメラと、
    前記カメラの方位を感知するための方位センサと、
    異なる位置から取り込まれた前記平面オブジェクトの2つの画像と、前記2つの画像が取り込まれたときの前記方位センサからの測定値とを受信するために結合されたプロセッサであって、
    前記2つの画像の間のホモグラフィを判断することと、
    前記ホモグラフィを分解して、少なくとも1つの可能な解を得ることであって、前記ホモグラフィを分解することは、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出すことと、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、前記方位センサからの前記測定値を使用することであって、前記方位センサからの前記測定値を使用することは、前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断し、前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも１つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用することを含むことと、
    正確な解をメモリ内に記憶することと
    を行うように構成されたプロセッサと
    を含む装置。
  8. 複数の可能な解が得られ、前記プロセッサが、前記複数の可能な解のうちの少なくとも1つを除去するために、前記方位センサからの前記測定値を使用することを行うように構成された、請求項7に記載の装置。
  9. 前記プロセッサが、
    前記少なくとも1つの相対的回転行列に関するホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出することと、
    前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出することと、
    前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確かどうかを判断することと
    を行うように構成されることによって、前記方位センサからの前記測定値を使用して、前記少なくとも1つの可能な解が正確かどうかを判断することを行うように構成された、請求項7に記載の装置。
  10. 前記ホモグラフィを分解する前記ステップが、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記プロセッサが、前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出することと、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つを前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較することとを行うように構成された、請求項9に記載の装置。
  11. 前記プロセッサが、第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断することと、前記最大の差を有する前記角度だけを使用して、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つを前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較することとを行うようにさらに構成された、請求項10に記載の装置。
  12. 前記プロセッサが、前記方位センサからの前記測定値を使用して、前記平面オブジェクトの事前知識なしに、前記平面オブジェクトの追加の画像なしに、前記少なくとも1つの可能な解が正確かどうかを判断することを行うように構成された、請求項7に記載の装置。
  13. 異なる位置から平面オブジェクトの2つの画像を取り込むための手段と、
    前記2つの画像の間のホモグラフィを判断するための手段と、
    前記ホモグラフィを分解して、少なくとも1つの可能な解を得るための手段であって、前記ホモグラフィを分解する前記手段が、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出す、手段と、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するための手段であって、前記方位センサからの前記測定値を使用する前記手段が、
    前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断する手段と、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用する手段と
    を含む手段と、
    正確な解を記憶するための手段と
    を含む装置。
  14. 前記ホモグラフィを分解するための前記手段が複数の可能な解を生み出し、前記方位センサからの前記測定値を使用するための前記手段が、前記複数の可能な解のうちの少なくとも1つを除去する、請求項13に記載の装置。
  15. 前記方位センサからの前記測定値を使用するための前記手段が、
    前記少なくとも1つの相対的回転行列からホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出するための手段と、
    前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出するための手段と、
    前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確かどうかを判断するための手段と
    を含む、請求項13に記載の装置。
  16. 前記ホモグラフィを分解するための前記手段が、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度が導出され、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較される、請求項15に記載の装置。
  17. 第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断する手段と、前記測定ベースのヨー角度、ピッチ角度、およびロール角度の前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較されるとき、前記最大の差を有する前記角度だけを使用するための手段とをさらに含む、請求項16に記載の装置。
  18. 前記方位センサからの前記測定値を使用して、前記少なくとも1つの可能な解が正確かどうかを判断するための前記手段が、前記平面オブジェクトの事前知識を使用せず、前記平面オブジェクトの追加の画像を使用しない、請求項13に記載の装置。
  19. その上に記憶されたプログラムコードを含む非一時的コンピュータ可読媒体であって、
    異なる位置から取り込まれた、平面オブジェクトの2つの画像の間のホモグラフィを判断するためのプログラムコードと、
    前記ホモグラフィを分解して、少なくとも1つの可能な解を得るためのプログラムコードであって、前記ホモグラフィを分解する前記プログラムコードが、前記少なくとも１つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出す、プログラムコードと、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するためのプログラムコードであって、前記方位センサからの前記測定値を使用する前記プログラムコードが、
    前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断するプログラムコードと、
    前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用するプログラムコードと
    を含む、プログラムコードと、
    正確な解を記憶するためのプログラムコードと
    を含む非一時的コンピュータ可読媒体。
  20. 複数の可能な解が得られ、前記複数の可能な解のうちの少なくとも1つを除去するために、前記方位センサからの前記測定値が使用される、請求項19に記載の非一時的コンピュータ可読媒体。
  21. 前記方位センサからの前記測定値を使用するための前記プログラムコードが、
    前記少なくとも1つの相対的回転行列に関するホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出するためのプログラムコードと、
    前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出するためのプログラムコードと、
    前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確かどうかを判断するためのプログラムコードと
    を含む、請求項19に記載の非一時的コンピュータ可読媒体。
  22. 前記ホモグラフィを分解するための前記プログラムコードが、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記プログラムコードが、前記2つの解の各々に関するホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出し、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較される、請求項21に記載の非一時的コンピュータ可読媒体。
  23. 第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断するためのプログラムコードをさらに含み、比較するための前記プログラムコードが、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つを前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較するとき、前記最大の差を有する前記角度だけを使用する、請求項22に記載の非一時的コンピュータ可読媒体。
  24. 前記少なくとも1つの可能な解が正確であるかどうかを判断するために、前記方位センサからの前記測定値を使用するための前記プログラムコードが、前記平面オブジェクトの事前情報を使用せず、前記平面オブジェクトの追加の画像を使用しない、請求項19に記載の非一時的コンピュータ可読媒体。
JP2014529731A 2011-09-12 2012-08-15 方位センサに基づくホモグラフィ分解の曖昧性の解決 Expired - Fee Related JP5774226B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161533733P 2011-09-12 2011-09-12
US61/533,733 2011-09-12
US13/310,204 2011-12-02
US13/310,204 US9305361B2 (en) 2011-09-12 2011-12-02 Resolving homography decomposition ambiguity based on orientation sensors
PCT/US2012/050963 WO2013039641A1 (en) 2011-09-12 2012-08-15 Resolving homography decomposition ambiguity based on orientation sensors

Publications (2)

Publication Number Publication Date
JP2014526736A JP2014526736A (ja) 2014-10-06
JP5774226B2 true JP5774226B2 (ja) 2015-09-09

Family

ID=47829524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014529731A Expired - Fee Related JP5774226B2 (ja) 2011-09-12 2012-08-15 方位センサに基づくホモグラフィ分解の曖昧性の解決

Country Status (7)

Country Link
US (2) US9305361B2 (ja)
EP (1) EP2756482B1 (ja)
JP (1) JP5774226B2 (ja)
KR (1) KR101592798B1 (ja)
CN (1) CN103875020B (ja)
IN (1) IN2014MN00422A (ja)
WO (2) WO2013039641A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305361B2 (en) 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US9846974B2 (en) * 2014-12-05 2017-12-19 Stmicroelectronics S.R.L. Absolute rotation estimation including outlier detection via low-rank and sparse matrix decomposition
US9852550B2 (en) * 2015-08-05 2017-12-26 Civic Resource Group International Inc. System and method of markerless injection of ads in AR
CN106843709B (zh) 2015-12-04 2020-04-14 阿里巴巴集团控股有限公司 根据实时信息显示展现对象的方法和装置
EP3516860A4 (en) 2016-09-23 2020-05-27 Qualcomm Incorporated IMAGE PROCESSING IN AN UNMANNED AUTONOMOUS VEHICLE
US11042984B2 (en) * 2016-11-10 2021-06-22 Movea Systems and methods for providing image depth information
JP6663838B2 (ja) * 2016-12-16 2020-03-13 日本電信電話株式会社 法線推定装置、法線推定方法、及び法線推定プログラム
CN107976146B (zh) * 2017-11-01 2019-12-10 中国船舶重工集团公司第七一九研究所 一种线阵ccd相机的自标定方法及测量方法
CN108846861B (zh) * 2018-06-12 2020-12-29 广州视源电子科技股份有限公司 图像单应矩阵计算方法、装置、移动终端及存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6520647B2 (en) 2000-08-17 2003-02-18 Mitsubishi Electric Research Laboratories Inc. Automatic keystone correction for projectors with arbitrary orientation
US7242818B2 (en) 2003-01-17 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Position and orientation sensing with a projector
US7071970B2 (en) * 2003-03-10 2006-07-04 Charles Benton Video augmented orientation sensor
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7613361B2 (en) 2004-05-14 2009-11-03 Canon Kabushiki Kaisha Information processing method and device
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
US7403658B2 (en) 2005-04-15 2008-07-22 Microsoft Corporation Direct homography computation by local linearization
JP4595733B2 (ja) 2005-08-02 2010-12-08 カシオ計算機株式会社 画像処理装置
JP4916167B2 (ja) 2005-12-15 2012-04-11 キヤノン株式会社 指標識別方法及び指標識別装置
WO2007100303A1 (en) 2006-03-01 2007-09-07 Agency For Science, Technology & Research A method and system for obtaining multiple views of an object for real-time video output
FR2898824B1 (fr) 2006-03-27 2009-02-13 Commissariat Energie Atomique Dispositif interface intelligent pour la saisie d'un objet par un robot manipulateur et procede de mise en oeuvre de ce dispositif
JP4958497B2 (ja) 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
JP5403861B2 (ja) 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
WO2008076910A1 (en) 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
JP4958610B2 (ja) 2007-04-06 2012-06-20 キヤノン株式会社 画像防振装置、撮像装置及び画像防振方法
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
US8315756B2 (en) * 2009-08-24 2012-11-20 Toyota Motor Engineering and Manufacturing N.A. (TEMA) Systems and methods of vehicular path prediction for cooperative driving applications through digital map and dynamic vehicle model fusion
US8264553B2 (en) 2009-11-12 2012-09-11 Microsoft Corporation Hardware assisted image deblurring
EP2549762B1 (en) 2010-03-19 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
EP2689393A1 (en) * 2011-03-23 2014-01-29 Metaio GmbH Method for registering at least one part of a first and second image using a collineation warping function
US8638986B2 (en) 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
US9342886B2 (en) 2011-04-29 2016-05-17 Qualcomm Incorporated Devices, methods, and apparatuses for homography evaluation involving a mobile device
US9202278B2 (en) 2011-08-19 2015-12-01 Adobe Systems Incorporated Plane-based self-calibration for structure from motion
US9305361B2 (en) 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors

Also Published As

Publication number Publication date
KR101592798B1 (ko) 2016-02-18
US20130064421A1 (en) 2013-03-14
IN2014MN00422A (ja) 2015-06-19
EP2756482B1 (en) 2017-06-28
KR20140060575A (ko) 2014-05-20
WO2013039641A1 (en) 2013-03-21
CN103875020A (zh) 2014-06-18
JP2014526736A (ja) 2014-10-06
WO2013039640A1 (en) 2013-03-21
US9305361B2 (en) 2016-04-05
US20130063589A1 (en) 2013-03-14
EP2756482A1 (en) 2014-07-23
CN103875020B (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
JP5774226B2 (ja) 方位センサに基づくホモグラフィ分解の曖昧性の解決
JP5660648B2 (ja) マルチユーザ拡張現実におけるオンライン参照生成および追跡
JP6043856B2 (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
EP2936060B1 (en) Display of separate computer vision based pose and inertial sensor based pose
US8638986B2 (en) Online reference patch generation and pose estimation for augmented reality
KR102169309B1 (ko) 정보 처리장치 및 그 제어방법
KR20160003066A (ko) 일반적인 카메라 움직임 및 파노라마 카메라 움직임을 갖는 단안 시각 slam
KR20140014298A (ko) 모바일 디바이스들에 대한 평면 맵핑 및 트래킹
JP2010279023A (ja) 情報処理装置およびその制御方法
KR20150130483A (ko) 평면의 자연스러운 특성 타겟들의 인시츄 생성
JP6240706B2 (ja) グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング
KR20140134090A (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
KR101828710B1 (ko) 객체 가려짐 검출 장치 및 그 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150630

R150 Certificate of patent or registration of utility model

Ref document number: 5774226

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees