JP5722502B2 - モバイルデバイスのための平面マッピングおよびトラッキング - Google Patents
モバイルデバイスのための平面マッピングおよびトラッキング Download PDFInfo
- Publication number
- JP5722502B2 JP5722502B2 JP2014513519A JP2014513519A JP5722502B2 JP 5722502 B2 JP5722502 B2 JP 5722502B2 JP 2014513519 A JP2014513519 A JP 2014513519A JP 2014513519 A JP2014513519 A JP 2014513519A JP 5722502 B2 JP5722502 B2 JP 5722502B2
- Authority
- JP
- Japan
- Prior art keywords
- new
- pose
- key frame
- keyframe
- new image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Description
マップを生成するためのマッピングコンポーネント130のための入力は、キーフレームのセットおよびそれらの間で計測されたホモグラフィである。キーフレームIiに対応するカメラポーズは、世界座標系からローカルカメラ座標系(local camera coordinate system)への剛体変換および後続の射影を表す3×4変換行列Pi=(R|t)として表される。いくつかのキーフレームペア(i,j)について、図3で示されているようにキーフレームIiからキーフレームIjへ点をマッピングするホモグラフィHj,iが計測される。
3Dの点のマップを作成するために、キーフレームに対応する未知のカメラポーズPiが推定される。平面に対する未知のキーフレームカメラポーズの算出のために、レクティフィケーションアルゴリズムが採用され得る。画像間の既知のホモグラフィを使用して平面を推定する問題を解決するための2つの一般的なアプローチは、ホモグラフィ分解(homography decomposition)および画像レクティフィケーションを含む。ホモグラフィ分解は、平面オブジェクトの2つの画像間のホモグラフィ行列を所与として、カメラモーションを計算することを指す。画像レクティフィケーションアルゴリズムは、例えば1D探索空間における点マッチングの目的で、画像ペアのエピポーラ線をアラインする、画像ペアに適用される既知のエピポーラ幾何学(または、平面のケースではホモグラフィ)から射影変換を計算する。専用の基準カメラと他のカメラとの間における可変数のホモグラフィ計測を使用する、2DOFだけの計算的に効率の良い非線形最適化スキームが使用され得る。
最適化スキームの数学的定式化が提供される。シーン平面が、(x,y)平面に対応する標準位置(canonical position)z=0に位置すると定義する。したがって、平面上の点は、ゼロに等しいz座標を有し、同次座標において(x,z,0,1)と書くことができる。最適化において未知なものは、この平面に対するカメラポーズPiである。すべての世界点は平面上にあるという仮定のもとで、カメラポーズは、ポーズ行列Piの第3列(third column)を消去することによって容易に2Dホモグラフィとして再定式化されることができる:
式7の費用関数、および結果として生じる2DOF費用表面(cost surface)の形状と深度(depth)が分析された。基準カメラの選択およびキーフレーム間の動きに応じて、以下に説明されるような様々な効果が見いだされた。
以上で述べたように、マッピングコンポーネント130は、トラッキングコンポーネント120によって提供されたキーフレーム候補を処理する。キーフレーム候補は、平面再構成を改善するために使用され得、リファインされ拡張されたマップをもたらす、平面シーンについての新しい情報を提供する。
前述のように、図7のステップ222では、各キーフレーム候補について、隣接キーフレームノードのセットが後のホモグラフィ推定に関してグラフから選択される。その目的のためにペアワイズ画像オーバーラップが計算され得る。
図7のステップ224で言及されるように、候補キーフレームを以前に選択された隣接キーフレームのセットと組み合わせることで、ペアワイズホモグラフィが両方向で推定される。例として、ロバスト推定のために、ランダムサンプリングコンセンサス(RANSAC:RANdom SAmple Consensus)アルゴリズムが使用され得る。結果として生じるホモグラフィは、現在マッピングされている平面と矛盾する平面によって誘導され得る。例えば、不十分な画像のオーバーラップ、不均衡な特徴の分布、または(高いノイズまたはアウトライアに起因する)低い対応カウント(correspondence count)から、推定誤りが発生し得る。
平面再構成プロシージャは、キーフレームカメラポーズおよびマップ点の初期化およびリファインメントを組み込む。キーフレームカメラポーズは、グラフから読み出されたホモグラフィを使用する平面推定アルゴリズムによって再評価される選択された基準キーフレームポーズに関して計算される。マップ点は、各マップ点に関連付けられた画像観測から計算される。
基準キーフレームの選択(ステップ280)は、すべてのキーフレームポーズが基準キーフレームに関して計算されるので、再構成の全体的な質にかなりの影響を与える。
基準キーフレームの選択と共に、平面推定アルゴリズムが入力ホモグラフィのセットと一緒に初期化され、その後、すべてのキーフレームポーズが基準キーフレームのアップデートされたカメラポーズに関して再算出される。
再構成のこの段階において、平面に関しての基準キーフレームのポーズは既知である。残りのキーフレームポーズは、基準ポーズをキーフレーム間のホモグラフィで乗算することによって計算される(図9のステップ284)。マップ作成は、マップの点を再評価することによって完了する(図9のステップ286)。
平面推定アルゴリズムから得られる基準ポーズホモグラフィCrを、キーフレームポーズホモグラフィCkを取得するためにホモグラフィHk,rで乗算することによって、キーフレームポーズPkが計算される。次いで、完全なポーズPkが、回転行列の第3列を算出することを通じて復元される。追加的に、平面座標系の原点を第1のキーフレームの逆投影された主点(principle point)へと動かす、相似変換Sが適用され得る:
マップの点の位置は、対応するキーフレームカメラポーズを使用して、その逆投影されたキーフレーム画像観測のセントロイドが割り当てられる。観測からセントロイドまでの平均距離を算出し、ある特定の閾値(例えば、平均距離の2倍)の外の観測を破棄することによって、全体のアウトライア観測が検出される。こうしたケースでは、セントロイドは、インライア(inlier)観測だけを使用して再評価される。
図11は、平面点マップに対するカメラポーズをトラッキングする方法のフローチャートである。トラッキングコンポーネント120は、較正された単眼カメラ110から入ってくる画像ストリームからのキャプチャされた画像を処理し、マッピングコンポーネント130によって提供される平面点マップに対するカメラポーズを計算する。こうして、図11に示されているように、画像ストリームが受信される(300)。システムの起動時において、マップは、まだ存在せず、それに応じて、システムは、例えば2つのキーフレームを使用して、初期化される(302)。システムが初期化されると、マップは、マッピングコンポーネント130から受信され(304)、マップからの点を使用しそれらを現在の画像とマッチングすることでポーズが推定される(306)。カメラポーズは、動きモデルおよびロバストポーズリファイナ(robust pose refiner)を使用して推定される。画像が既存のキーフレームとわずかなオーバーラップしか持たない良質なポーズを生み出した場合、その画像は候補キーフレームキューに加えられる(308)。こうして、候補キーフレームは、トラッキングコンポーネント120によって選択され、マッピングコンポーネント130に渡され、その結果として、拡張されリファインされたマップを生じる。
マッピングおよびトラッキングシステムが、例えば、第1のキーフレームを手動で選択し得るユーザによって、初期化される(図11のステップ300)。例えば、ユーザによってマッピングおよびトラッキングアプリケーションが初期化されたときには、第1のキーフレームは、第1の画像フレームであり得る。あるいは、ユーザは、マッピングおよびトラッキングアプリケーションが初期化された後で、タッチスクリーンディスプレイ102に触れることによって所望の第1のキーフレームを選択し得る。そのキーフレームと現在の入力画像との間のホモグラフィは継続的に推定される。追加的に、各ホモグラフィは、上述の画像レクティフィケーションアルゴリズムに渡され、第1のキーフレームに関して現在の画像についてポーズ推定が生み出される。
キーフレームは、異なる画像スケールレベルでの顕著な画像計測の固定されたセットをフィーチャーする。例えば、スケールインバリアンスを改善するために、3つのレベルを持つローパス(low-pass)画像ピラミッドが生成され得る。各ピラミッドレベルで、コーナー計測のセットを生成するためにFAST(Features from Accelerated Segment Test)コーナー検出器が適用され得る。SIFTまたはSURF(Speeded-up Robust Features)または任意の他の所望の方法のような、キーポイント(keypoint)を抽出するための他の方法が使用され得る。例えば、FAST特徴を低いスコアでフィルタリングすることによって、後の計算費用を制限するために、キーポイントカウントは、限定され得る。
第2のキーフレームの自動選択を用いて、マッピングコンポーネント130は、結果として生じたキーフレームのペアおよび対応するホモグラフィから初期のマップを計算する。第2のキーフレームは、画像のオーバーラップおよび平面推定の質に基づいて選択される。第1のキーフレームと現在の画像との間の画像のオーバーラップが、ある特定の閾値(例えば、0.75)を超過し、レクティフィケーションアルゴリズムが第1のキーフレームを基準として使用して有効でありかつ不明確ではない平面推定をもたらす場合、第2のキーフレームが選択され、マップが初期化される。
初期の平面マップの作成後、トラッキングコンポーネント120は、マップを受信し(図11の304)、マップからの点を使用してカメラポーズを推定し、それらを現在の画像とマッチングする(306)。追加的に、キーフレームが画像ストリームから選択され、マッピングコンポーネント130に渡される。
トラッキングコンポーネント120は、マッピングコンポーネント130によって提供された平面マップに対する6DOFカメラポーズをロバストに推定する。継続的に衰える動きモデル(constant decaying motion model)は以前のポーズ観測に基づいて現在の画像のポーズを予測する。動きモデルポーズは、現在の画像には見えないマップ点を破棄するために使用されるカメラフラスタム(frustum)を初期化するために使用される。残りのマップ点は、予測されたポーズを使用して現在の画像へと射影され、結果として可視点のセットを生じる。
キーフレーム候補は、現在のポーズの質および画像ストリームからの画像オーバーラップに基づいて選択され得る。前述のように良質のポーズ推定を生じる画像だけが、キーフレームとみなされる。現在の画像と十分にオーバーラップする既存のキーフレームまたは候補キーフレームキューからの候補キーフレームが発見されない場合、例えば最大のオーバーラップ比が0.75または0.60未満である場合、現在の画像はマッピングコンポーネント130によって処理されたキーフレーム候補キューに追加される(ステップ308)。オーバーラップパラメータは、マップデータ量に影響を及ぼし得、それゆえに、全体的なシステムパフォーマンスに影響を及ぼし得る。オーバーラップの増加に伴って、キーフレームの数は徐々に増加し、3D空間のより高密度なサンプリングを結果として生じる。その結果として、候補キーフレームは、より多くの隣接キーフレームをフィーチャーし、より多くのホモグラフィの推定を可能にし、グラフの連結性に影響を与える。しかしながら、オーバーラップパラメータは、精度に対して有意な影響を及ぼさないように思われる。驚くべきことに、データを増やすことは、オブジェクト空間誤差も再投影誤差も大いには改善しない。60%のオーバーラップが、再投影誤差が3ピクセル未満でありオブジェクト空間誤差が軌道サイズの1.5%未満である、良質で平面再構成を解決するのに十分なデータを提供するように思われる。
以下に、本願の出願当初請求項に記載された発明を付記する。
[C1]
平面オブジェクトの複数の画像をキャプチャすることと、
新しい画像を新しいキーフレームとして選択することと、
空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出することと、
前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成することと、
前記平面オブジェクトのマップを作成するために前記グラフ構造を使用することと、
前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングすることと、
を備える、方法。
[C2]
前記グラフ構造は木ベースのグラフ構造であり、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、請求項1に記載の方法。
[C3]
前記グラフ構造を使用して前記平面オブジェクトの前記マップを作成することが、
前記複数の以前のキーフレームから基準キーフレームを選択することと、
前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出することと、
前記基準キーフレームの前記ポーズ、および前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出することと、
前記マップを作成するために、前記基準キーフレームの前記ポーズおよび前記キーフレームの残りのセットについての前記ポーズを使用することと、
を含む、請求項1に記載の方法。
[C4]
前記基準キーフレームが、前記グラフ構造のセンタノードへの近さおよび前記新しいキーフレームへの近さのうちの1つに基づいて選択される、請求項3に記載の方法。
[C5]
前記新しい画像を前記新しいキーフレームとして選択することが、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較することと、前記オーバーラップを閾値と比較することと、を含む、請求項1に記載の方法。
[C6]
前記新しい画像を前記新しいキーフレームとして選択することが、前記新しい画像が前記平面オブジェクトのものであることを検証することを含む、請求項1に記載の方法。
[C7]
前記新しい画像が前記平面オブジェクトのものであることを検証することが、
隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定することと、
前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較することと、
前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定することと、
を含む、請求項6に記載の方法。
[C8]
平面オブジェクトの複数の画像をキャプチャすることが可能なカメラと、
前記カメラに結合されたプロセッサであって、新しい画像を新しいキーフレームとして選択することと、空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出することと、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成することと、前記平面オブジェクトのマップを作成するために前記グラフ構造を使用することと、前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングすることと、を行うように構成されたプロセッサと、
を備える装置。
[C9]
前記グラフ構造は木ベースのグラフ構造であり、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、上記C8に記載の装置。
[C10]
前記プロセッサが、前記複数の以前のキーフレームから基準キーフレームを選択することと、前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出することと、前記基準キーフレームの前記ポーズ、および前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出することと、前記基準キーフレームの前記ポーズおよび前記キーフレームの残りのセットについての前記ポーズを使用して、前記マップを作成することと、を行うように構成されていることによって、前記グラフ構造を使用して前記平面オブジェクトの前記マップを作成するように構成された、上記C8に記載の装置。
[C11]
前記プロセッサが前記グラフ構造のセンタノードへの近さおよび前記新しいキーフレームへの近さのうちの1つに基づいて前記基準キーフレームを選択するように構成された、上記C10に記載の装置。
[C12]
前記プロセッサが、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較することと、前記オーバーラップを閾値と比較することと、を行うように構成されていることによって、前記新しい画像を前記新しいキーフレームとして選択するように構成された、上記C8に記載の装置。
[C13]
前記プロセッサが、前記新しい画像が前記平面オブジェクトのものであることを検証するように構成されていることによって、前記新しい画像を前記新しいキーフレームとして選択するように構成された、上記C8に記載の装置。
[C14]
前記プロセッサが、隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定することと、前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較することと、前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定することと、を行うように構成されていることによって、前記新しい画像が前記平面オブジェクトのものであることを検証するように構成された、上記C13に記載の装置。
[C15]
平面オブジェクトの複数の画像をキャプチャする手段と、
新しい画像を新しいキーフレームとして選択する手段と、
空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出する手段と、
前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成する手段と、
前記グラフ構造を使用して前記平面オブジェクトのマップを作成する手段と、
前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングする手段と、
を備える装置。
[C16]
前記グラフ構造は木ベースのグラフ構造であり、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、上記C15に記載の装置。
[C17]
前記グラフ構造を使用して前記平面オブジェクトの前記マップを作成するための前記手段が、
前記複数の以前のキーフレームから基準キーフレームを選択する手段と、
前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出する手段と、
前記基準キーフレームの前記ポーズおよび前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出する手段と、
前記基準キーフレームの前記ポーズ、および前記キーフレームの残りのセットについての前記ポーズを使用して、前記マップを作成する手段と、
を含む、上記C15に記載の装置。
[C18]
前記新しい画像を前記新しいキーフレームとして選択するための前記手段が、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較する手段と、前記オーバーラップを閾値と比較する手段と、を含む、上記C15に記載の装置。
[C19]
前記新しい画像を前記新しいキーフレームとして選択するための前記手段が、前記新しい画像が前記平面オブジェクトのものであることを検証する手段を含む、上記C15に記載の装置。
[C20]
前記新しい画像が前記平面オブジェクトのものであることを検証するための前記手段が、
隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定する手段と、
前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較する手段と、
前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定する手段と、
を含む、上記C19に記載の装置。
[C21]
プログラムコードが記憶された非一時的なコンピュータ可読媒体であって、
キャプチャされた平面オブジェクトの複数の画像から、新しい画像を新しいキーフレームとして選択するプログラムコードと、
空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出するプログラムコードと、
前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成するプログラムコードと、
前記グラフ構造を使用して前記平面オブジェクトのマップを作成するプログラムコードと、
前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングするプログラムコードと、
を備える、非一時的なコンピュータ可読媒体。
[C22]
前記グラフ構造は木ベースのグラフ構造であり、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、上記C21に記載の非一時的なコンピュータ可読媒体。
[C23]
前記グラフ構造を使用して前記平面オブジェクトの前記マップを作成する前記プログラムコードが、
前記複数の以前のキーフレームから基準キーフレームを選択するプログラムコードと、
前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出するプログラムコードと、
前記基準キーフレームの前記ポーズ、および前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出するプログラムコードと、
前記基準キーフレームの前記ポーズ、および前記キーフレームの残りのセットについての前記ポーズを使用して、前記マップを作成するプログラムコードと、
を含む、上記C21に記載の非一時的なコンピュータ可読媒体。
[C24]
前記新しい画像を前記新しいキーフレームとして選択する前記プログラムコードが、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較するプログラムコードと、前記オーバーラップを閾値と比較するプログラムコードとを含む、上記C21に記載の非一時的なコンピュータ可読媒体。
[C25]
前記新しい画像を前記新しいキーフレームとして選択する前記プログラムコードが、前記新しい画像が前記平面オブジェクトのものであることを検証するプログラムコードを含む、上記C21に記載の非一時的なコンピュータ可読媒体。
[C26]
前記新しい画像が前記平面オブジェクトのものであることを検証する前記プログラムコードが、
隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定するプログラムコードと、
前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較するプログラムコードと、
前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定するプログラムコードと、
を含む、上記C25に記載の非一時的なコンピュータ可読媒体。
Claims (18)
- 平面オブジェクトの複数の画像をキャプチャすることと、
新しい画像を新しいキーフレームとして選択することと、
空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出することと、
前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成することであって、前記グラフ構造では、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、グラフ構造を生成することと、
前記平面オブジェクトのマップを作成するために前記グラフ構造を使用することと、
前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングすることと、
を備える、方法、
ここにおいて、前記平面オブジェクトの前記マップを作成するために前記グラフ構造を使用することが、
前記複数の以前のキーフレームから基準キーフレームを選択することと、
前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出することと、
前記基準キーフレームの前記ポーズ、および前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出することと、
前記マップを作成するために、前記基準キーフレームの前記ポーズおよび前記キーフレームの残りのセットについての前記ポーズを使用することと、を含む。 - 前記基準キーフレームが、前記グラフ構造のセンタノードへの近さおよび前記新しいキーフレームへの近さのうちの1つに基づいて選択される、請求項1に記載の方法。
- 前記新しい画像を前記新しいキーフレームとして選択することが、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較することと、前記オーバーラップを閾値と比較することと、を含む、請求項1に記載の方法。
- 前記新しい画像を前記新しいキーフレームとして選択することが、前記新しい画像が前記平面オブジェクトのものであることを検証することを含む、請求項1に記載の方法。
- 前記新しい画像が前記平面オブジェクトのものであることを検証することが、
隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定することと、
前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較することと、
前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定することと、
を含む、請求項4に記載の方法。 - 平面オブジェクトの複数の画像をキャプチャすることが可能なカメラと、
前記カメラに結合されたプロセッサであって、新しい画像を新しいキーフレームとして選択することと、空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出することと、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成することであって、前記グラフ構造では、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、グラフ構造を生成することと、前記平面オブジェクトのマップを作成するために前記グラフ構造を使用することと、前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングすることと、を行うように構成されたプロセッサと、
を備える装置、
ここにおいて、前記プロセッサは、前記複数の以前のキーフレームから基準キーフレームを選択することと、前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出することと、前記基準キーフレームの前記ポーズ、および前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出することと、前記基準キーフレームの前記ポーズおよび前記キーフレームの残りのセットについての前記ポーズを使用して、前記マップを作成することと、を行うように構成されていることによって、前記グラフ構造を使用して前記平面オブジェクトの前記マップを作成するように構成される。 - 前記プロセッサが前記グラフ構造のセンタノードへの近さおよび前記新しいキーフレームへの近さのうちの1つに基づいて前記基準キーフレームを選択するように構成された、請求項6に記載の装置。
- 前記プロセッサが、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較することと、前記オーバーラップを閾値と比較することと、を行うように構成されていることによって、前記新しい画像を前記新しいキーフレームとして選択するように構成された、請求項6に記載の装置。
- 前記プロセッサが、前記新しい画像が前記平面オブジェクトのものであることを検証するように構成されていることによって、前記新しい画像を前記新しいキーフレームとして選択するように構成された、請求項6に記載の装置。
- 前記プロセッサが、隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定することと、前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較することと、前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定することと、を行うように構成されていることによって、前記新しい画像が前記平面オブジェクトのものであることを検証するように構成された、請求項9に記載の装置。
- 平面オブジェクトの複数の画像をキャプチャする手段と、
新しい画像を新しいキーフレームとして選択する手段と、
空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出する手段と、
前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成する手段であって、前記グラフ構造では、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、グラフ構造を生成する手段と、
前記グラフ構造を使用して前記平面オブジェクトのマップを作成する手段と、
前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングする手段と、
を備える装置、
ここにおいて、前記グラフ構造を使用して前記平面オブジェクトの前記マップを作成するための前記手段が、
前記複数の以前のキーフレームから基準キーフレームを選択する手段と、
前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出する手段と、
前記基準キーフレームの前記ポーズおよび前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出する手段と、
前記基準キーフレームの前記ポーズ、および前記キーフレームの残りのセットについての前記ポーズを使用して、前記マップを作成する手段とを含む。 - 前記新しい画像を前記新しいキーフレームとして選択するための前記手段が、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較する手段と、前記オーバーラップを閾値と比較する手段と、を含む、請求項11に記載の装置。
- 前記新しい画像を前記新しいキーフレームとして選択するための前記手段が、前記新しい画像が前記平面オブジェクトのものであることを検証する手段を含む、請求項11に記載の装置。
- 前記新しい画像が前記平面オブジェクトのものであることを検証するための前記手段が、
隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定する手段と、
前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較する手段と、
前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定する手段と、
を含む、請求項13に記載の装置。 - プログラムコードが記憶された非一時的なコンピュータ可読記憶媒体であって、
キャプチャされた平面オブジェクトの複数の画像から、新しい画像を新しいキーフレームとして選択することをプロセッサに実行させるプログラムコードと、
空間的に分散した前記平面オブジェクトについて、前記新しいキーフレームと複数の以前のキーフレームの各々と間のホモグラフィを算出することをプロセッサに実行させるプログラムコードと、
前記新しいキーフレームおよび前記複数の以前のキーフレームの各々ならびに前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィを使用して、グラフ構造を生成することをプロセッサに実行させるプログラムコードであって、前記グラフ構造では、前記新しいキーフレームおよび前記複数の以前のキーフレームの各々はノードであり、前記新しいキーフレームと前記複数の以前のキーフレームの各々との間の前記ホモグラフィは前記ノード間のエッジである、プログラムコードと、
前記グラフ構造を使用して前記平面オブジェクトのマップを作成することをプロセッサに実行させるプログラムコードと、
前記マップおよび後でキャプチャされた画像に基づいて前記平面オブジェクトをトラッキングすることをプロセッサに実行させるプログラムコードと、
を備え、
前記グラフ構造を使用して前記平面オブジェクトのマップを作成することをプロセッサに実行させる前記プログラムコードが、さらに、
前記複数の以前のキーフレームから基準キーフレームを選択することをプロセッサに実行させるプログラムコードと、
前記平面オブジェクトに関して前記基準キーフレームについてのポーズを算出することをプロセッサに実行させるプログラムコードと、
前記基準キーフレームの前記ポーズ、および前記基準キーフレームとキーフレームの残りのセットとの間のホモグラフィを使用して、キーフレームの残りのセットについてのポーズを算出することをプロセッサに実行させるプログラムコードと、
前記基準キーフレームの前記ポーズ、および前記キーフレームの残りのセットについての前記ポーズを使用して、前記マップを作成することをプロセッサに実行させるプログラムコードとを含む、非一時的なコンピュータ可読記憶媒体。 - 前記新しい画像を前記新しいキーフレームとして選択することをプロセッサに実行させる前記プログラムコードが、前記新しい画像と前記複数の以前のキーフレームとのオーバーラップを決定するために前記新しい画像を前記複数の以前のキーフレームと比較することをプロセッサに実行させるプログラムコードと、前記オーバーラップを閾値と比較することをプロセッサに実行させるプログラムコードとを含む、請求項15に記載の非一時的なコンピュータ可読記憶媒体。
- 前記新しい画像を前記新しいキーフレームとして選択することをプロセッサに実行させる前記プログラムコードが、前記新しい画像が前記平面オブジェクトのものであることを検証することをプロセッサに実行させるプログラムコードを含む、請求項15に記載の非一時的なコンピュータ可読記憶媒体。
- 前記新しい画像が前記平面オブジェクトのものであることを検証することをプロセッサに実行させる前記プログラムコードが、
隣接キーフレームのポーズ、および前記新しい画像と前記隣接キーフレームとの間の対応するホモグラフィに基づいて、前記新しい画像についての複数のポーズを決定することをプロセッサに実行させるプログラムコードと、
前記複数のポーズを、前記マップに関して前記新しい画像をトラッキングすることによって生み出された前記新しい画像についてのトラッカポーズと比較することをプロセッサに実行させるプログラムコードと、
前記複数のポーズと前記トラッカポーズとの間のペアワイズポーズ差分の和が閾値内にあり、前記新しい画像が前記平面オブジェクトのものであることを示していること、を決定することをプロセッサに実行させるプログラムコードと、
を含む、請求項17に記載の非一時的なコンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161490764P | 2011-05-27 | 2011-05-27 | |
US61/490,764 | 2011-05-27 | ||
US13/463,643 US9020187B2 (en) | 2011-05-27 | 2012-05-03 | Planar mapping and tracking for mobile devices |
US13/463,643 | 2012-05-03 | ||
PCT/US2012/036624 WO2012166293A1 (en) | 2011-05-27 | 2012-05-04 | Planar mapping and tracking for mobile devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014515530A JP2014515530A (ja) | 2014-06-30 |
JP5722502B2 true JP5722502B2 (ja) | 2015-05-20 |
Family
ID=47219248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014513519A Expired - Fee Related JP5722502B2 (ja) | 2011-05-27 | 2012-05-04 | モバイルデバイスのための平面マッピングおよびトラッキング |
Country Status (6)
Country | Link |
---|---|
US (1) | US9020187B2 (ja) |
EP (1) | EP2715667B1 (ja) |
JP (1) | JP5722502B2 (ja) |
KR (1) | KR101532864B1 (ja) |
CN (1) | CN103858148B (ja) |
WO (1) | WO2012166293A1 (ja) |
Families Citing this family (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8913055B2 (en) * | 2011-05-31 | 2014-12-16 | Honda Motor Co., Ltd. | Online environment mapping |
US9237340B2 (en) * | 2012-10-10 | 2016-01-12 | Texas Instruments Incorporated | Camera pose estimation |
US10674135B2 (en) * | 2012-10-17 | 2020-06-02 | DotProduct LLC | Handheld portable optical scanner and method of using |
US9332243B2 (en) * | 2012-10-17 | 2016-05-03 | DotProduct LLC | Handheld portable optical scanner and method of using |
US9684941B2 (en) * | 2012-10-29 | 2017-06-20 | Digimarc Corporation | Determining pose for use with digital watermarking, fingerprinting and augmented reality |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9940553B2 (en) * | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US10733798B2 (en) * | 2013-03-14 | 2020-08-04 | Qualcomm Incorporated | In situ creation of planar natural feature targets |
US10262462B2 (en) * | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
JP6144826B2 (ja) | 2013-06-11 | 2017-06-07 | クアルコム,インコーポレイテッド | データベース作成のための対話型および自動的3dオブジェクト走査方法 |
US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
US9036044B1 (en) * | 2013-07-22 | 2015-05-19 | Google Inc. | Adjusting camera parameters associated with a plurality of images |
JP6071142B2 (ja) * | 2013-08-28 | 2017-02-01 | Kddi株式会社 | 画像変換装置 |
JP6168601B2 (ja) * | 2013-09-27 | 2017-07-26 | Kddi株式会社 | 画像変換装置 |
KR20150097251A (ko) * | 2014-02-18 | 2015-08-26 | 한국전자통신연구원 | 다중 영상간 대응점을 이용한 카메라 정렬 방법 |
US9547935B2 (en) * | 2014-02-24 | 2017-01-17 | Vricon Systems Ab | Method and a system for building a three-dimensional model from satellite images |
GB2524960B (en) * | 2014-04-04 | 2019-05-15 | Imagineer Systems Ltd | Processing of digital motion images |
EP3213251A1 (en) * | 2014-10-27 | 2017-09-06 | FTS Computertechnik GmbH | Computer vision monitoring for a computer vision system |
US10185775B2 (en) * | 2014-12-19 | 2019-01-22 | Qualcomm Technologies, Inc. | Scalable 3D mapping system |
US9791264B2 (en) * | 2015-02-04 | 2017-10-17 | Sony Corporation | Method of fast and robust camera location ordering |
EP3078935A1 (en) * | 2015-04-10 | 2016-10-12 | The European Atomic Energy Community (EURATOM), represented by the European Commission | Method and device for real-time mapping and localization |
US9558424B2 (en) * | 2015-06-30 | 2017-01-31 | Mitsubishi Electric Research Laboratories, Inc. | On-road stereo visual odometry without explicit pose determinations |
US9852550B2 (en) * | 2015-08-05 | 2017-12-26 | Civic Resource Group International Inc. | System and method of markerless injection of ads in AR |
CN105719314A (zh) * | 2016-01-30 | 2016-06-29 | 西北工业大学 | 基于单应性估计和扩展卡尔曼滤波的无人机位置估计方法 |
JP6775969B2 (ja) * | 2016-02-29 | 2020-10-28 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US10558881B2 (en) * | 2016-08-24 | 2020-02-11 | Electronics And Telecommunications Research Institute | Parallax minimization stitching method and apparatus using control points in overlapping region |
US10466953B2 (en) | 2017-03-30 | 2019-11-05 | Microsoft Technology Licensing, Llc | Sharing neighboring map data across devices |
US10379606B2 (en) | 2017-03-30 | 2019-08-13 | Microsoft Technology Licensing, Llc | Hologram anchor prioritization |
US10990829B2 (en) * | 2017-04-28 | 2021-04-27 | Micro Focus Llc | Stitching maps generated using simultaneous localization and mapping |
US10614591B2 (en) | 2017-05-31 | 2020-04-07 | Google Llc | Hand tracking based on articulated distance field |
CN109215077B (zh) * | 2017-07-07 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 一种相机姿态信息确定的方法及相关装置 |
US10762713B2 (en) * | 2017-09-18 | 2020-09-01 | Shoppar Inc. | Method for developing augmented reality experiences in low computer power systems and devices |
JP6831765B2 (ja) * | 2017-10-10 | 2021-02-17 | Kddi株式会社 | 情報処理装置、方法及びプログラム |
US10636205B2 (en) | 2018-01-05 | 2020-04-28 | Qualcomm Incorporated | Systems and methods for outlier edge rejection |
US10593014B2 (en) | 2018-03-26 | 2020-03-17 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method |
KR102561263B1 (ko) * | 2018-04-04 | 2023-07-28 | 삼성전자주식회사 | 지도 데이터를 생성하는 전자 장치 및 그 동작 방법 |
CN108734736B (zh) * | 2018-05-22 | 2021-10-26 | 腾讯科技(深圳)有限公司 | 相机姿态追踪方法、装置、设备及存储介质 |
CN113762068A (zh) * | 2018-05-31 | 2021-12-07 | 谷歌有限责任公司 | 用于估计手的当前姿势的方法和电子装置 |
CN110866936B (zh) * | 2018-08-07 | 2023-05-23 | 创新先进技术有限公司 | 视频标注方法、跟踪方法、装置、计算机设备及存储介质 |
KR102212825B1 (ko) | 2019-04-08 | 2021-02-08 | 네이버랩스 주식회사 | 이미지를 기반으로 포즈 계산을 위한 지도의 최신성을 유지하는 방법 및 시스템 |
CN114430800B (zh) * | 2019-10-02 | 2024-04-02 | 富士通株式会社 | 生成方法、记录介质和信息处理装置 |
KR102297103B1 (ko) * | 2020-02-19 | 2021-09-03 | 한국과학기술원 | 3차원 장면 그래프 생성 방법 및 장치 |
KR20220004460A (ko) | 2020-07-03 | 2022-01-11 | 삼성전자주식회사 | 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치 |
CN112230194B (zh) * | 2020-08-05 | 2024-01-26 | 北京航空航天大学杭州创新研究院 | 一种基于平移阵列的解模糊方法、设备及存储介质 |
CN112150558B (zh) | 2020-09-15 | 2024-04-12 | 阿波罗智联(北京)科技有限公司 | 用于路侧计算设备的障碍物三维位置获取方法及装置 |
US20220358671A1 (en) * | 2021-05-07 | 2022-11-10 | Tencent America LLC | Methods of estimating pose graph and transformation matrix between cameras by recognizing markers on the ground in panorama images |
CN117195138B (zh) * | 2023-11-07 | 2024-02-20 | 湖南展通科技集团有限公司 | 基于人工智能的生产设备安全生产管理方法及相关装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6137491A (en) | 1998-06-05 | 2000-10-24 | Microsoft Corporation | Method and apparatus for reconstructing geometry using geometrically constrained structure from motion with points on planes |
JP2004198211A (ja) | 2002-12-18 | 2004-07-15 | Aisin Seiki Co Ltd | 移動体周辺監視装置 |
GB2400287A (en) | 2003-04-02 | 2004-10-06 | Autodesk Canada Inc | Three-Dimensional Image Compositing |
US7565004B2 (en) | 2003-06-23 | 2009-07-21 | Shoestring Research, Llc | Fiducial designs and pose estimation for augmented reality |
GB0625455D0 (en) * | 2006-12-20 | 2007-01-31 | Mitsubishi Electric Inf Tech | Graph-based multiple panorama extraction from unordered image sets |
WO2009003225A1 (en) | 2007-06-29 | 2009-01-08 | Adelaide Research & Innovation Pty Ltd | Method and system for generating a 3d model from images |
JP4337929B2 (ja) | 2007-12-25 | 2009-09-30 | トヨタ自動車株式会社 | 移動状態推定装置 |
US20100045701A1 (en) | 2008-08-22 | 2010-02-25 | Cybernet Systems Corporation | Automatic mapping of augmented reality fiducials |
JP2011043419A (ja) * | 2009-08-21 | 2011-03-03 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
CN101763647A (zh) * | 2010-02-02 | 2010-06-30 | 浙江大学 | 一种基于关键帧的实时摄像机跟踪方法 |
CN102075686B (zh) * | 2011-02-10 | 2013-10-30 | 北京航空航天大学 | 一种鲁棒的实时在线摄像机跟踪方法 |
-
2012
- 2012-05-03 US US13/463,643 patent/US9020187B2/en not_active Expired - Fee Related
- 2012-05-04 EP EP12724199.0A patent/EP2715667B1/en not_active Not-in-force
- 2012-05-04 JP JP2014513519A patent/JP5722502B2/ja not_active Expired - Fee Related
- 2012-05-04 CN CN201280026188.6A patent/CN103858148B/zh not_active Expired - Fee Related
- 2012-05-04 KR KR1020137034637A patent/KR101532864B1/ko active IP Right Grant
- 2012-05-04 WO PCT/US2012/036624 patent/WO2012166293A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
US20120300979A1 (en) | 2012-11-29 |
EP2715667A1 (en) | 2014-04-09 |
KR20140014298A (ko) | 2014-02-05 |
JP2014515530A (ja) | 2014-06-30 |
CN103858148A (zh) | 2014-06-11 |
US9020187B2 (en) | 2015-04-28 |
KR101532864B1 (ko) | 2015-06-30 |
CN103858148B (zh) | 2017-12-01 |
EP2715667B1 (en) | 2019-01-23 |
WO2012166293A1 (en) | 2012-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5722502B2 (ja) | モバイルデバイスのための平面マッピングおよびトラッキング | |
EP2915138B1 (en) | Systems and methods of merging multiple maps for computer vision based tracking | |
JP5950973B2 (ja) | フレームを選択する方法、装置、及びシステム | |
JP6348574B2 (ja) | 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam | |
Middelberg et al. | Scalable 6-dof localization on mobile devices | |
Chen et al. | Rise of the indoor crowd: Reconstruction of building interior view via mobile crowdsourcing | |
WO2016199605A1 (ja) | 画像処理装置および方法、並びにプログラム | |
Paletta et al. | 3D attention: measurement of visual saliency using eye tracking glasses | |
US20210274358A1 (en) | Method, apparatus and computer program for performing three dimensional radio model construction | |
US20140028714A1 (en) | Maintaining Continuity of Augmentations | |
Pirchheim et al. | Homography-based planar mapping and tracking for mobile phones | |
CN107657644B (zh) | 一种移动环境下稀疏场景流检测方法和装置 | |
CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
JP6609640B2 (ja) | 電子デバイス上における環境マッピング用のフィーチャ・データの管理 | |
JP2011008687A (ja) | 画像処理装置 | |
JP6240706B2 (ja) | グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング | |
Ekekrantz et al. | Adaptive iterative closest keypoint | |
TW202244680A (zh) | 位置姿勢獲取方法、電子設備及電腦可讀儲存媒體 | |
CN114882106A (zh) | 位姿确定方法和装置、设备、介质 | |
Liu et al. | Instant SLAM initialization for outdoor omnidirectional augmented reality | |
CN116894876A (zh) | 基于实时图像的6-dof的定位方法 | |
Wang | Hybrid panoramic visual SLAM and point cloud color mapping | |
Maiero et al. | A Method for Fast Initialization of Markerless Object Tracking. | |
Persad et al. | Integration of Video Images and CAD Wireframes for 3d Object Localization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5722502 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |