JP5668091B2 - 3dカメラポーズ推定方法 - Google Patents
3dカメラポーズ推定方法 Download PDFInfo
- Publication number
- JP5668091B2 JP5668091B2 JP2013078439A JP2013078439A JP5668091B2 JP 5668091 B2 JP5668091 B2 JP 5668091B2 JP 2013078439 A JP2013078439 A JP 2013078439A JP 2013078439 A JP2013078439 A JP 2013078439A JP 5668091 B2 JP5668091 B2 JP 5668091B2
- Authority
- JP
- Japan
- Prior art keywords
- pose
- camera
- detected
- frame
- observations
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 77
- 238000013519 translation Methods 0.000 claims description 10
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 35
- 238000004422 calculation algorithm Methods 0.000 description 22
- 239000011159 matrix material Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000011084 recovery Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012067 mathematical method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
解決すべき問題は、リアルタイムに、あるいは記録された一連の画像に基づいて、物理的カメラのポーズを推定することである。このように物理的カメラのポーズを知ろうとする動機は、画像ストリームの中にバーチャルオブジェクトをリアルタイムに埋め込み、拡張リアリティ効果を得ることが可能となるためである。典型的な一式の装置としては、ユーザが身に付けるヘッド装着型のディスプレー(HMD)およびカメラであり、カメラからの画像が該カメラのポーズひいてはHMDのポーズを再構築するために利用される。このポーズは、バーチャルオブジェクトをHMDのスクリーン上に(カメラ画像の上(ビデオ・シースルー)もしくは光学的に透けて見えるスクリーン上のいずれかに)正確に整合させるために利用され、これにより、カメラで撮影された現実のシーンには実際には存在しないバーチャルオブジェクト/エレメントが、ユーザを囲む現実の中の実在のオブジェクトのように現れる。
上記の問題についての従来の技術は、カメラ画像からカメラポーズをリアルタイムに判定するために用いられる方法やアルゴリズムが遅く、かつ効率的でないことから、リアルタイムの利用に適しておらず、あるいは、得られた結果の不正確性、低いリピータビリティ、ドリフト、ポーズの回復の利用不可能、ポーズ推定の非ロバスト性、といった欠点があることが知られている。
2.1 環境の既知の3Dモデルを用いたトラッキング
トラッキングもしくはフレーム・トゥ・フレーム・トラッキングについては、4.23章に述べている。一般に、フレーム・トゥ・フレーム・トラッキング法は、ドリフトおよび(実際上は)ポーズ法の回復の利用不可能という欠点がある。カメラのごく僅かな動きでは、フレーム・トゥ・フレーム・トラッキングは良好に機能するが、現実のシナリオでは、ユーザがカメラを制御するので、これは、実際に適用することができない制約となる。
2.2 特徴点の局所的な検出およびマッチング(デテクション)
ドリフトおよびポーズの喪失という問題を除去する良いやり方は、システムの実行前に、環境/オブジェクト/シーンの特徴点に基づくシステムのトレーニングを行う方法を用いることである。3D位置とともにトレーニング/分類の情報を記憶することで、現在のフレームで検出された特徴点を、データベースに保存されたものあるいは分類装置を通して分類されたものとリアルタイムにマッチングすることができるようになる。十分な数の特徴点がマッチすれば、幾何学的計算を介して物理的カメラポーズの推定が可能である。数値最小化を通して、さらなる修正が得られる。これは、前のフレームの推定の結果に依存することなく、単一のフレームの各々ごとに実行できる。実際には、これは、「ポーズの回復」が単一のフレームの各々で実行されることを意味する。
2.3 記録した画像ストリーム
記録した画像ストリームに基づいて物理的カメラのポーズを推定する他の方法およびアルゴリズムが多数公開され、かつ特許されている。画像ストリームに基づく物理的カメラポーズの推定とは、「現在」のフレームのカメラポーズを算出し得るようにするために、ストリームの全てないしいくつかの画像の「早送り」および「巻き戻し」を適時になし得ることが必要であることを意味している。映画の製造においては、この種のいくつかの方法が特許されかつ公開されているが、上述したように、かかる分野においては、その方法をリアルタイムに実行するのではなく、また満足のいく結果を得るために、完全な画像ストリームに依存している。これらの使用は、リアルタイムの拡張リアリティを意図したものではなく、「ハリウッド映画」の後工程的な画像効果を意図している。
本発明の装置および方法は、3Dモデルを用いたフレーム・トゥ・フレーム・トラッキングの長所と局所的な特徴点の検出およびマッチングの長所とを組み合わせ、満足のいく精度で物理的カメラのポーズの推定を得るようにしたものである。ドリフトや偽マッチによるポーズの喪失ならびに震えといった問題は、デテクションの長所とトラッキングの長所とを組み合わせた革新的かつユニークな方法および装置によって解消される。デテクションとトラッキングとを組み合わせることで、リアルタイムの利用には遅すぎる解法を実行するというリスクが回避されるものであり、本発明の装置および方法では、特にマルチCPUシステムにおいて、早くかつ効率的な実行を確実なものとするために、サブタスクを複数のスレッドおよびスレッド・タスクに分割するというユニークな機会を提供する。今日のコンピュータでは、マルチCPUやデュアルコアCPUのテクノロジーが広く利用可能でかつ手頃なものとなっており、これは、本発明によって提供される解法の実行に非常に適している。本発明によって提供される解法のいくつかの重要な利点は、ステップ毎に数字を付すと、下記の通りである。
図6は、本発明の実施に適合したものとして、デュアルコアの中央処理ユニット(CPU)、ランダムアクセスメモリ(RAM)グラフィックカードおよびハードドライブ(HDD)が、マザーボード上に取り付けられてなる標準的なコンピュータを示している。さらに、カメラをコンピュータに接続するためのデータインターフェースがある。カメラは、興味のあるシーンのような現実環境の画像を取り込むために、レンズを有する。この画像は、センサ、通常はCCDセンサないしCMOSセンサ、の上でデジタル化される。通常、画像はカメラの内部メモリに一旦記憶され、次いで、接続Aを通してコンピュータに転送されるが、カメラインターフェースがこれを解釈し、かつマザーボードと通信して、システムRAMの目的に応じて配置された領域へと送る。
3.2 ソフトウェアの実現(implementation)
本発明の装置および方法(本章では一部、アルゴリズムと記す)は、基本的な数学的方法が利用可能なあらゆる種類のコンピュータソフトウェア環境において有利に実現することができる。もし基本的な数学的方法が利用可能でなければ、最初から開発(scratch)することができる。MATLAB、FORTRAN、C/C++、C#などが適したプログラム言語である。ソフトウェアは、Linuxオペレーティングシステム、Windows、Unix、Xbox、Playstation、Symbian等で動作するコンピュータ上で実現することができる。
3.3 メインループの概説
本発明を実現する例示的なシステム、例えば図1に示したようなコンピュータにおいて、そのメインループとしては、実際の画像をカメラから抽出するとともにシステムRAMの循環メモリバッファに記憶し、カメラポーズを推定し、かつ最終的に結果をスクリーン上にレンダリングする。
3.4 物理的カメラポーズ推定(スレッドB)
本発明のコンピュータによる有利な実施は、下記の通りである。
結合モード(A)と分割モード(B)の共通事項
3.4.1.1 回転(Rotation)および並進(Translation)のパラメータ化(外部パラメータ)
我々のPROSACの利用における再射影誤差(およびヤコビ行列)の演算および数値最小化(Levenberg-Marquardt)方法の際には、回転が、「exponential map」を用いてパラメータ化される。推定の前および後における回転行列と「exponential map」との間の相互の変換に、Rodriguesの公式が用いられる。
3.4.1.2 キーポイントの検出
カメラからの新鮮な生の画像に対し、可能性のある特徴点/キーポイントの検索がなされる。これらのキーポイントは、さらなるデテクションおよびトラッキングに用いるための候補点となる。添付の図に示すように、キーポイントの検出は、トラッキングおよびデテクションの双方に対し演算される。
3.4.1.3 レンズ歪曲の補償
カメラから取り込んだ画像は多少のレンズ歪曲を含む。我々のシステムにおいて、我々は、カメラおよびレンズの予校正を通して得た内部カメラパラメータにおけるラジアル方向歪曲および接線方向歪曲を補償する。
3.4.1.4 初期ポーズの推定
このタスクは、双方のモードにおいて実行され、キーポイントとデータベースとのマッチングに基づくラフな初期ポーズの推定(デテクション)からなる。
a.YESであれば、PROSACアルゴリズムを実行し(4.14章を参照)、
i.PROSACからの結果が満足できるものか判定して、
1.YESであれば、成功として終了し、
2.NOであれば、失敗として終了し、
b.NOであれば、失敗として終了する。
3.4.1.5 数値最小化
本発明のさらなる有利な実施例においては、Levenberg-Marquardtアルゴリズムが数値最小化のために用いられるが、他の方法も利用可能である。
3.4.2 結合モード(A)
この章では、図3を参照して、結合モードについて説明する。
3.4.2.1 キーポイントの検出、デテクションおよびトラッキングのスレッドの開始
キーポイントが検出された後に、結合したスレッドA(CTA)が結合したスレッドC(CTC)と並行して開始する。
3.4.2.2 2D−3D相関関係の結合および予備処理
CTAおよびCTCからの2つのセットの相関関係ないし観測は、2つの異なるタイプのスコアを有する。デテクション・セット(CTA)は、予トレーニングしたデータベースに対するマッチング/分類により与えられるスコアを有するが、トラッキング・セット(CTC)は、現在のフレームにおけるキーポイントが前のフレームに対しどの程度良好にマッチするかを示す対応マッチ・スコアを有する。これらの2つのタイプの観測スコアを制御された形で確実に取り扱うために、デテクション観測(CTA)がトラッキング観測(CTC)と等しく「重要」になるように、全てのスコアが正規化される。
3.4.2.3 運動モデル観測の評価および比較
運動モデル観測が用意される。この運動モデル観測は、前のフレームにおいてポーズが推定されていた場合に、現在のフレームと前のフレームとにおけるカメラポーズのx,y,z軸に沿った並進およびこれらを中心とした回転の差からなる。これらの観測は、数値最小化が、x,y,z軸に沿った並進およびこれらを中心とした回転を最小化するように作用し、つまり、前のポーズに基づくポーズの結果を抑制しようとする。
3.4.2.4 数値最小化の実行
初期の推定ポーズ(3.4.1.4章を参照)が、数値最小化の開始点として用いられ、これにより、最終結果が、確実に、実際の/正確な包括的な解となるようにしている。ピクセルにおける2D再射影誤差は、2D−3D点相関関係のために最小化され、運動モデル観測は、できるだけ最良のポーズを得るために最小化される。2D−3D点相関関係および運動モデル観測の双方に対し、ロバスト・エスティメータが実行され、アウトライアーに対し確実にロバストなものとしている。
3.4.2.5 現在のカメラポーズ、フレーム、および2Dキーポイントの記憶保持
次のフレームへの準備を行うための後処理は下記の通りである。
a.YESの場合
i.現在のフレーム、2Dキーポイントおよびポーズを、次のフレームのトラッキング・スレッドにおいて用いるために、「最後の良い」フレーム、2Dキーポイントおよびポーズとして、記憶し、
ii.現在のポーズを、次のフレームの運動モデル観測に用いるために、「前のカメラポーズ」として記憶する。
3.4.3 分割モード(B)
図4を参照して、分割モードを説明する。分割モードにおいては、結合モードと同様、最初のステップは現在の画像中のキーポイントを検出することである。
3.5 他の改良点
本発明により提供される解は、画像中に現れた特徴点、つまり高いコントラストを有するコーナやエッジ等に依存している。そのため、現実のシーンが、カメラポーズの推定のためにカメラで取り込まれるフレーム中に十分に特徴点を検出できるようなテクスチャ(質感)を含んでいることが必要である。室内において、例えば白い壁のみで塗装や他のオブジェクト/イラスト(これらは取り込まれるフレームにテクスチャおよびコントラストを与える)がない場合には、特徴点を提供する必要がある。
2.トラックド・2D−3D点相関関係(2Dピクセル再射影誤差の最小化)
3.運動モデル観測(前のフレームでポーズが推定されていれば、前のフレームに対する並進および回転の最小化)
4.新規:エッジ観測(取り込んだ画像中のエッジと、現在のカメラポーズを用いてスクリーンに射影した3Dモデルにおけるライン/エッジと、の間の距離の最小化)
これらの4つのタイプの観測を加えることによって、本システムは、テクスチャが少ないもしくは無いけれどもエッジ/ラインは存在するような環境においても、機能することができる。ライン/エッジは、典型的には、壁の間のエッジ、壁と床の間のエッジ、壁と天井との間のエッジ、ドアと壁との間のエッジ、等である。
4 本発明の開示に用いられている用語の定義
4.1 ポーズ
3D位置(x,y,z)+3D方向(x,y,z軸回りの回転)。方向は、多くの場合、回転行列、オイラー角、四元数マップもしくは「exponential map」を用いてパラメータ化される。位置は、通常、ベクトル(3次元もしくは相次(homogenous)4次元)としてパラメータ化される。
4.2 バーチャル・カメラ
内部カメラパラメータおよび外部カメラパラメータを含む物理的カメラを数学的に表したもの。
4.3 内部カメラパラメータ
焦点距離、画像中心、解像度、レンズの歪曲パラメータ(ラジアル方向歪曲、接線方向歪曲)。
4.4 外部カメラパラメータ
特定の座標系における物理的カメラのポーズ。
4.5 キーポイントないし特徴点
画像の中の関心のある点。キーポイントの検出に利用できるアルゴリズムは、いくつか存在する。特徴点とは、コーナ、コントラストの急変、エッジ、などである。画像から特徴点を抽出するために用いられるいくつかの方法が存在する。我々の方法は、コーナを検出するものであり、2005年の「Foundations and Trend in Computer Graphics and Vision」におけるVincent LepetitおよびPascal Fuaによる「Monoclular Model-based 3d Tracking of Rigid Objects」の4.4.1章の記述に基づいている。
4.6 数値最小化
数値最小化とは、変数の制約条件を受ける数学的関数の最小化を意味する。数値最小化の一例は、Levenberg-Marquardt法である。
4.7 Levenberg-Marquardt
Wikipedia.orgによれば、「Levenberg-Marquardtアルゴリズムは、一般に非線形の関数について該関数のパラメータの間隔に亘る関数の最小化の数学問題に数値解を与える。この最小化問題は、特に、最小自乗曲線フィッティングにおいて起こる。Levenberg-Marquardtアルゴリズム(LMA)は、ガウス−ニュートン法(GNA)と勾配法とを融合したものである。」とある。最小化の状態に応じて、LMAはGNAと勾配法から最良のものをとる。
4.8 2D−3Dの点相関関係
画像中の検出された点は、所定のイメージピクセル座標における2D位置を有する。同じ点が、実世界においては、3D位置を有する。最小の3つの点およびこれらの2D−3D相関関係を有していれば、画像の撮影に用いた物理的カメラのポーズの推定が可能である(例えば、P3Pアルゴリズムを通して)。
4.9 観測(Observation)
数値最小化を論ずる際に、観測の一例は、2D−3D点相関関係である。物理的カメラのポーズの推定のために、運動モデルを2D−3D点相関関係と組み合わせて用いる場合には、前回の繰り返し(iteration)/フレームから現在の繰り返し/フレームの間での3軸の1つあるいはいくつかにおける位置の変化やいずれかの軸の回りの回転変化もまた観測となり得る。
4.10 アウトライアー(Outlier)
無効な観測である。観測として2D−3D点相関関係を論ずる場合には、アウトライアーは、3D位置が2D位置に誤ってマッチングしている誤った2D−3D点相関関係である。
4.11 インライアー
インライアーとは観測である。
4.12 キーポイントデータベース
トレーニングフェーズの間に記憶されるキーポイントおよびそのプロパティのデータベースである。
4.13 分類ツリー
分類を試みるいくつかのテストを含むツリー状階層化構造であり、我々の事例では、キーポイント/特徴点を分類する。このツリーは、「さかさま」に使われ、つまり、各キーポイントが「ドロップダウン」型のツリーであり、ルートから始まって葉において終了する。各ノードにおいてテストがなされ、このテストによりキーポイントが他の1つの枝へと下方へ進む。最終的にキーポイントは1つの葉(枝の末端)に達する。この枝は、キーポイントを識別するために必要な情報を含む。キーポイントの認識のために分類ツリーをどのように用いるか、については、2005年6月のカルフォルニア州サンディエゴでの「Conference on Computer Vision and Pattern Recognition」におけるV. Lepetit、P. LaggerおよびP. Fuaによる「Randomized Trees for Real-Time Keypoint Recognition」というタイトルの開示を参照されたい。
4.14 ロバスト・エスティメータ(estimator)を備えたPROSAC
PROSACは、多数のアウトライアーデータが存在するモデルのロバストな当てはめ(fitting)のためのアルゴリズムである。我々の事例では、大まかな初期カメラポーズの推定のためにPROSACを用いるが、ここでは、多数の観測(2D−3D点相関関係)がアウトライアーである。
a.現在演算されたカメラポーズを用いて、再射影誤差(4.26章を参照)を演算し、
b.アウトライアーを無視するために、ロバスト・エスティメータ(estimator)を適用する。例:Tukey…もし再射影誤差が所定の閾値(例えば15ピクセル)よりも大であれば、観測がアウトライアーであると記録する。
a.YESであれば、
i.現在のカメラポーズを最良のポーズとして記憶し、かつ対応する残差を記憶し、
ii.インライアーの数がインライアーの所定の個数(例えば20個)以上であるかチェックし、
1.NOであれば、ステップ3〜7を繰り返し、
2.YESであれば、ステップ4で演算されたポーズを初期ポーズとして許容して、処理を中止し、
b.NOであれば、ステップ3〜7を繰り返す。
4.15 P3P
「Perspective-Three-Point」:幾何学的推定の1つの方法であり、例えば、内部カメラパラメータが既知のときに、最小の3つの2D−3D点相関関係に基づき、物理的カメラのポーズを推定する。包括的な解を確実に発見するためには、4つの2D−3D点相関関係が必要である。
但し、
dij=||Mi−Mj||は、MiとMjの間の(既知の)距離、
θijは、カメラ中心においてMiとMjで定まる角度である。
1.距離xiについて多項式を解く。
→fij(xi,xj)=xi 2+xj 2−2xixjcosθij−dij 2=0
2.点Miのカメラ座標系における位置Mi Cは演算可能である。
定義、図および説明は、Vincent Lepetitによる「Selected Topics in Computer Vision」の講座1からのものである。
4.16 レイ・トレーシング
物理的カメラのポーズおよび内部カメラパラメータが既知で、かつ現実環境の3Dモデルが与えられれば、画像中に検出したいかなる2Dキーポイントの位置も演算可能である。これは、カメラ中心を始点として画像中の2Dキーポイント座標を通りかつ現実環境の3Dモデルに衝突する3次元ベクトルを、数学的に記述することでなされる。このようなベクトルは、「光線」においても見ることができ、この光線が3Dモデルと衝突するまでトレースされるので、それ故、この処理は、「レイ・トレーシング」と呼ばれる。そして、カメラの内部パラメータおよび外部パラメータが既に演算されていることを条件として、その衝突点が、画像中の検出した2Dキーポイントの現実世界の3D座標を与えるのである。
4.17 運動モデル
運動モデルとは、オブジェクトや物理的カメラ等の物理的運動を制約および/又は予測する数学的モデルである。これは、今回推定したポーズの「正確さ(correctness)」を改善するために、今回および前回の繰り返し(iteration)/フレーム/画像からの情報を用いる。
4.18 ドリフト(Drifting)
ドリフトは、フレーム・トゥ・フレーム・トラッキングに共通の問題である。良好かつ正確なポーズを有するフレームから開始しても、いくつか後のフレームでは、正しい解から離れるようにポーズが「ドリフト」し、つまり、時間が経過する(将来のフレームが処理される)に従って、ポーズの推定結果はさらにドリフトし、正しい解からさらに離れる。
4.19 ロバスト性
カメラが素早く動くラフな環境の下では、カメラポーズを演算する能力は、部分的ないし完全に妨げられ、不正確な特徴点/キーポイントが推定に用いられる。
4.20 精度(Accuracy)
ポーズ推定の観点では、精度とは、精密かつ正確に物理的カメラポーズを演算する能力である。
4.21 リピータビリティ
ポーズ推定の観点では、リピータビリティとは、カメラがごく僅か動き、実際/現実のポーズが微小値だけ変化した後続のフレーム/画像において、殆ど同一の物理的カメラポーズを演算し得る能力である。
4.22 デテクションもしくはオブジェクト・デテクション
デテクションもしくはオブジェクト・デテクションとは、推定すべき前のフレームの情報を要求することなく、個々のフレームにおけるオブジェクト(あるいはオブジェクトに沿った1セットのキーポイント)を検出する処理のことである。
4.23 トラッキングもしくはフレーム・トゥ・フレーム・トラッキング
カメラのフレーム毎のトラッキングを実行し、前に推定したカメラポーズを、キーポイントのマッチングを介して、新しい/将来のフレームにおけるカメラポーズの演算に利用する処理を、トラッキングもしくはフレーム・トゥ・フレーム・トラッキングと呼ぶ。
a.前のカメラポーズおよび内部パラメータを用いて、特徴点の3D位置を演算する。これは、前のポーズにおけるカメラ中心から、前のフレームで検出した特徴点の2D位置を通り、かつ環境の3Dモデルへと、レイ・トレーシングを実行することにより行う。
4.24 残差(Residual)
「残差とは、観測不能な誤差の観測可能な推定量である。残差は観測可能であるが、誤差は観測できない。」
(http://en.wikipedia.org/wiki/Errors and residuals in statistics)
4.25 キーポイントマッチング
画像間でキーポイントをマッチングするには、いくつかのやり方がある。処理の例は、1995年のZ. Zhang、R. Deriche、O. Faugeras、Q. Luongによる「A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry」Artificial Intelligence、vol.78の87〜119頁に説明されている。本発明は、近接状態および輝度の相互対応関係に基づくマッチングを用いる。運動の推定のために、似た(通常は連続した)視点からの2つの画像から抽出した関心を引く点「mi」および「m'j」のセットのマッチングを行うことができる。第1の画像の各点「mi」に対して、第2の画像において「mi」の周囲で点「m'j」を探索する。この探索は、各点を中心とした局所的な画像ウィンドウの類似性に基づく。この類似性は、ゼロ正規化された相互対応関係を用いて評価され、これは、局所的な画像輝度のアフィン変化に対し不変であって、照度変化に対し処理をロバストなものとしている。より信頼できるマッチングのセットを得るために、我々は、2つの画像の立場を逆にして上記の処理を繰り返すようにしている。互いに選択された点の相関関係mi←→m'jのみが保持される。(2005年の「Foundations and Trend in Computer Graphics and Vision」におけるVincent LepetitおよびPascal Fuaによる「Monoclular Model-based 3d Tracking of Rigid Objects」の4.4.2章の方法および記述に基づく)。
4.26 再射影誤差
再射影誤差とは、特徴点の測定/検出した2D座標と、その対応する3D座標の射影2D座標と、の間の距離である。再射影誤差は下記のように記述できる。
ここで、Aは、3×3の内部カメラパラメータ行列、[R|T]は、変換行列(R:回転行列、T:並進ベクトル)、Miは特徴点の3D位置、miは特徴点の測定/検出した2D座標、である。
| fx 0 cx |
| 0 fy cy |
| 0 0 1 |
但し、fx、fyは焦点距離、cx、cyは主点(画像中心)である。
4.27 再射影誤差の最小化
数値最小化の各繰り返しのたびに外部パラメータを変更し、全ての測定2Dキーポイントと射影2Dキーポイントとの間の距離の平均が最小となる外部パラメータを記憶することで、最適解が得られる。各繰り返しの際の外部パラメータの導関数は、やはり演算される。一般に、導関数によって、より小さい平均の再射影誤差を得るために次の繰り返しにおける外部パラメータを、どのように、またどの程度に、変更すべきか、が決定される。
Claims (11)
- シーンに対する3Dカメラポーズを、該カメラから得た2D画像フレームの2D画像データから推定する方法であって、
(a)前記2D画像フレーム中に検出したデテクテド・2Dキーポイントと、トレーニングした分類ツリーまたはデータベースからのデテクテド・3D観測と、を備えたデテクテド・2D−3D点相関関係を提供し、
(b)前記2D画像フレーム中に検出した2Dキーポイントと、前のフレームのうちの一つ中に検出した2Dキーポイントと、のマッチングからのトラックド・2Dキーポイントと、前記トラックド・2Dキーポイントからのトラックド3D観測と、を備えたトラックド・2D−3D点相関関係を提供し、
(c)前記カメラが前記2D画像フレームおよび前のフレームのうちの一つを取り込んだときの並進および回転の差を備えた運動モデル観測を提供し、
(d)前記2D画像フレーム中に検出したエッジを備えたエッジ観測を提供し、
(e)前記デテクテド・2D−3D点相関関係と、前記トラックド・2D−3D点相関関係と、前記運動モデル観測と、前記エッジ観測と、に従って前記シーンに対する3Dカメラポーズの推定を行う、
ことを備え、
前記ポーズの推定のために、数値最小化において、取り込んだ画像中のエッジと、スクリーンに射影した3Dモデルにおけるライン/エッジと、の間の距離を最小化し、
前記エッジ観測の生成が、その他の観測の一つまたは複数のスレッドとは異なるスレッドにおいて行われることを特徴とする、方法。 - 前記ポーズの推定のために、数値最小化において、前記デテクテド・2D−3D点相関関係の2Dピクセル再射影誤差を最小化することを特徴とする請求項1に記載の方法。
- 前記ポーズの推定のために、数値最小化において、前記トラックド・2D−3D点相関関係の2Dピクセル再射影誤差を最小化することを特徴とする請求項1に記載の方法。
- 前記ポーズの推定のために、数値最小化において、前記運動モデル観測に基づき、前のフレームに対する並進および回転を最小化することを特徴とする請求項1に記載の方法。
- 前記観測が、互いに評価、制限および制御されることを特徴とする請求項1に記載の方法。
- 前記全ての観測が、数値最小化に加えられることを特徴とする請求項1に記載の方法。
- Levenberg-Marquardtアルゴリズムが、数値最小化のために用いられることを特徴とする請求項6に記載の方法。
- ロバスト・エスティメータが適用されることを特徴とする請求項6に記載の方法。
- Tukeyエスティメータが用いられることを特徴とする請求項8に記載の方法。
- 前記2D画像データが、システムRAMの循環メモリバッファに記憶されることを特徴とする請求項1に記載の方法。
- 前記2D画像データの取り込みが、異なるスレッドにおいて行われることを特徴とする請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NO20072616A NO327279B1 (no) | 2007-05-22 | 2007-05-22 | Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning |
NO20072616 | 2007-05-22 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010509290A Division JP5243529B2 (ja) | 2007-05-22 | 2008-05-22 | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013178252A JP2013178252A (ja) | 2013-09-09 |
JP5668091B2 true JP5668091B2 (ja) | 2015-02-12 |
Family
ID=40032124
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010509290A Active JP5243529B2 (ja) | 2007-05-22 | 2008-05-22 | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
JP2013078439A Active JP5668091B2 (ja) | 2007-05-22 | 2013-04-04 | 3dカメラポーズ推定方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010509290A Active JP5243529B2 (ja) | 2007-05-22 | 2008-05-22 | 拡張リアリティイメージのためのカメラポーズ推定装置および方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US8452080B2 (ja) |
EP (1) | EP2153409B1 (ja) |
JP (2) | JP5243529B2 (ja) |
NO (1) | NO327279B1 (ja) |
WO (1) | WO2008143523A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101746648B1 (ko) * | 2016-02-23 | 2017-06-14 | 주식회사 언리얼파크 | 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 |
Families Citing this family (102)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NO327279B1 (no) * | 2007-05-22 | 2009-06-02 | Metaio Gmbh | Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning |
US8477246B2 (en) * | 2008-07-11 | 2013-07-02 | The Board Of Trustees Of The Leland Stanford Junior University | Systems, methods and devices for augmenting video content |
US8270770B1 (en) * | 2008-08-15 | 2012-09-18 | Adobe Systems Incorporated | Region-based dense feature correspondence |
US20100119109A1 (en) * | 2008-11-11 | 2010-05-13 | Electronics And Telecommunications Research Institute Of Daejeon | Multi-core multi-thread based kanade-lucas-tomasi feature tracking method and apparatus |
US8436891B2 (en) * | 2009-09-16 | 2013-05-07 | Disney Enterprises, Inc. | Hyperlinked 3D video inserts for interactive television |
DE102009049073A1 (de) * | 2009-10-12 | 2011-04-21 | Metaio Gmbh | Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung |
DE102009049818A1 (de) | 2009-10-19 | 2011-04-21 | Siemens Aktiengesellschaft | Verfahren zur Ermittlung der Projektionsgeometrie einer Röntgenanlage |
WO2011048497A2 (en) * | 2009-10-19 | 2011-04-28 | National University Of Singapore | Computer vision based hybrid tracking for augmented reality in outdoor urban environments |
KR101487944B1 (ko) | 2010-02-24 | 2015-01-30 | 아이피플렉 홀딩스 코포레이션 | 시각 장애인들을 지원하는 증강 현실 파노라마 |
GB2479537B8 (en) | 2010-04-12 | 2017-06-14 | Vitec Group Plc | Camera pose correction |
US9317133B2 (en) | 2010-10-08 | 2016-04-19 | Nokia Technologies Oy | Method and apparatus for generating augmented reality content |
JP5704885B2 (ja) * | 2010-10-25 | 2015-04-22 | オリンパスイメージング株式会社 | 撮影機器、撮影方法及び撮影制御プログラム |
US8848970B2 (en) | 2011-04-26 | 2014-09-30 | Digimarc Corporation | Salient point-based arrangements |
US9342886B2 (en) | 2011-04-29 | 2016-05-17 | Qualcomm Incorporated | Devices, methods, and apparatuses for homography evaluation involving a mobile device |
US8913055B2 (en) | 2011-05-31 | 2014-12-16 | Honda Motor Co., Ltd. | Online environment mapping |
KR101569600B1 (ko) * | 2011-06-08 | 2015-11-16 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 증강 현실 표현을 위한 2차원 이미지 캡쳐 |
EP2751777B1 (en) | 2011-08-31 | 2019-08-07 | Apple Inc. | Method for estimating a camera motion and for determining a three-dimensional model of a real environment |
US8959128B1 (en) * | 2011-11-16 | 2015-02-17 | Google Inc. | General and nested Wiberg minimization |
US8855366B2 (en) | 2011-11-29 | 2014-10-07 | Qualcomm Incorporated | Tracking three-dimensional objects |
US9881419B1 (en) | 2012-02-02 | 2018-01-30 | Bentley Systems, Incorporated | Technique for providing an initial pose for a 3-D model |
US8836799B2 (en) * | 2012-03-30 | 2014-09-16 | Qualcomm Incorporated | Method to reject false positives detecting and tracking image objects |
US8666159B1 (en) | 2012-06-04 | 2014-03-04 | Google Inc. | Real time feature extraction |
US20140002617A1 (en) * | 2012-06-27 | 2014-01-02 | The Board Of Trustees Of The University Of Illinois | Particle tracking system and method |
CN103673990B (zh) * | 2012-09-13 | 2016-04-06 | 北京同步科技有限公司 | 获取摄像机姿态数据的装置及其方法 |
US9237340B2 (en) * | 2012-10-10 | 2016-01-12 | Texas Instruments Incorporated | Camera pose estimation |
US9684941B2 (en) | 2012-10-29 | 2017-06-20 | Digimarc Corporation | Determining pose for use with digital watermarking, fingerprinting and augmented reality |
US9177384B2 (en) * | 2013-07-31 | 2015-11-03 | Trimble Navigation Limited | Sequential rolling bundle adjustment |
JP5937977B2 (ja) * | 2013-01-31 | 2016-06-22 | 日本電信電話株式会社 | 変換行列推定装置、変換行列推定方法、及びプログラム |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
US9928652B2 (en) | 2013-03-01 | 2018-03-27 | Apple Inc. | Registration between actual mobile device position and environmental model |
US9679414B2 (en) * | 2013-03-01 | 2017-06-13 | Apple Inc. | Federated mobile device positioning |
WO2014169238A1 (en) | 2013-04-11 | 2014-10-16 | Digimarc Corporation | Methods for object recognition and related arrangements |
US9483703B2 (en) * | 2013-05-14 | 2016-11-01 | University Of Southern California | Online coupled camera pose estimation and dense reconstruction from video |
GB201310364D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
JP6144826B2 (ja) * | 2013-06-11 | 2017-06-07 | クアルコム,インコーポレイテッド | データベース作成のための対話型および自動的3dオブジェクト走査方法 |
US9406137B2 (en) | 2013-06-14 | 2016-08-02 | Qualcomm Incorporated | Robust tracking using point and line features |
US9489765B2 (en) * | 2013-11-18 | 2016-11-08 | Nant Holdings Ip, Llc | Silhouette-based object and texture alignment, systems and methods |
US20150178927A1 (en) * | 2013-12-23 | 2015-06-25 | Metaio Gmbh | Method and system for determining a transformation associated with a capturing device |
US20150243031A1 (en) * | 2014-02-21 | 2015-08-27 | Metaio Gmbh | Method and device for determining at least one object feature of an object comprised in an image |
WO2015155628A1 (en) * | 2014-04-07 | 2015-10-15 | Eyeways Systems Ltd. | Apparatus and method for image-based positioning, orientation and situational awareness |
US9430038B2 (en) * | 2014-05-01 | 2016-08-30 | Microsoft Technology Licensing, Llc | World-locked display quality feedback |
DE102014106718B4 (de) | 2014-05-13 | 2022-04-07 | Immersight Gmbh | System, welches eine Blickfelddarstellung in einer gegenständlichen Lage in einem veränderbaren Raumwinkelbereich darbietet |
DE202014011540U1 (de) | 2014-05-13 | 2022-02-28 | Immersight Gmbh | System insbesondere zur Darbietung einer Blickfelddarstellung und Videobrille |
US11051000B2 (en) * | 2014-07-14 | 2021-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for calibrating cameras with non-overlapping views |
US9746913B2 (en) | 2014-10-31 | 2017-08-29 | The United States Of America As Represented By The Secretary Of The Navy | Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods |
US9916002B2 (en) * | 2014-11-16 | 2018-03-13 | Eonite Perception Inc. | Social applications for augmented reality technologies |
US10043319B2 (en) | 2014-11-16 | 2018-08-07 | Eonite Perception Inc. | Optimizing head mounted displays for augmented reality |
US10142596B2 (en) | 2015-02-27 | 2018-11-27 | The United States Of America, As Represented By The Secretary Of The Navy | Method and apparatus of secured interactive remote maintenance assist |
US9747516B2 (en) | 2015-05-12 | 2017-08-29 | Qualcomm Incorporated | Keypoint detection with trackability measurements |
US9836118B2 (en) | 2015-06-16 | 2017-12-05 | Wilson Steele | Method and system for analyzing a movement of a person |
US9607428B2 (en) | 2015-06-30 | 2017-03-28 | Ariadne's Thread (Usa), Inc. | Variable resolution virtual reality display system |
US10089790B2 (en) * | 2015-06-30 | 2018-10-02 | Ariadne's Thread (Usa), Inc. | Predictive virtual reality display system with post rendering correction |
US9588598B2 (en) | 2015-06-30 | 2017-03-07 | Ariadne's Thread (Usa), Inc. | Efficient orientation estimation system using magnetic, angular rate, and gravity sensors |
US9588593B2 (en) | 2015-06-30 | 2017-03-07 | Ariadne's Thread (Usa), Inc. | Virtual reality system with control command gestures |
JP2017062748A (ja) * | 2015-09-25 | 2017-03-30 | 富士通株式会社 | 位置合わせ装置、位置合わせ方法および位置合わせプログラム |
US9849591B2 (en) * | 2015-10-02 | 2017-12-26 | X Development Llc | Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment |
US10086955B2 (en) * | 2015-10-23 | 2018-10-02 | The Boeing Company | Pattern-based camera pose estimation system |
US9858669B2 (en) * | 2015-10-23 | 2018-01-02 | The Boeing Company | Optimized camera pose estimation system |
US11232583B2 (en) * | 2016-03-25 | 2022-01-25 | Samsung Electronics Co., Ltd. | Device for and method of determining a pose of a camera |
IL280983B (en) * | 2016-06-30 | 2022-07-01 | Magic Leap Inc | Pose assessment in three-dimensional space |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
US11810318B2 (en) * | 2016-09-09 | 2023-11-07 | Intel Corporation | Training and deploying pose regressions in neural networks in autonomous machines |
US9928660B1 (en) | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
US10380763B2 (en) * | 2016-11-16 | 2019-08-13 | Seiko Epson Corporation | Hybrid corner and edge-based tracking |
TWI601099B (zh) * | 2016-11-16 | 2017-10-01 | Chunghwa Telecom Co Ltd | Camera attitude estimation method |
CN108447090B (zh) * | 2016-12-09 | 2021-12-21 | 株式会社理光 | 对象姿态估计的方法、装置及电子设备 |
US10212428B2 (en) | 2017-01-11 | 2019-02-19 | Microsoft Technology Licensing, Llc | Reprojecting holographic video to enhance streaming bandwidth/quality |
GB2561368B (en) * | 2017-04-11 | 2019-10-09 | Nokia Technologies Oy | Methods and apparatuses for determining positions of multi-directional image capture apparatuses |
WO2018204740A1 (en) * | 2017-05-04 | 2018-11-08 | Mim Software, Inc. | System and method for predictive fusion |
US10535160B2 (en) | 2017-07-24 | 2020-01-14 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
WO2019023076A1 (en) * | 2017-07-24 | 2019-01-31 | Visom Technology, Inc. | AUGMENTED REALITY SYSTEM (RA) WITHOUT MARKER |
US10282913B2 (en) | 2017-07-24 | 2019-05-07 | Visom Technology, Inc. | Markerless augmented reality (AR) system |
CN109325978B (zh) * | 2017-07-31 | 2022-04-05 | 深圳市腾讯计算机系统有限公司 | 增强现实显示的方法、姿态信息的确定方法及装置 |
US10839547B2 (en) * | 2017-09-28 | 2020-11-17 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
US10535155B2 (en) * | 2017-10-24 | 2020-01-14 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for articulated pose estimation |
US10970425B2 (en) * | 2017-12-26 | 2021-04-06 | Seiko Epson Corporation | Object detection and tracking |
US10636198B2 (en) * | 2017-12-28 | 2020-04-28 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for monocular simultaneous localization and mapping |
US10937189B2 (en) | 2018-01-18 | 2021-03-02 | Samsung Electronics Co., Ltd. | Pose estimation method, method of displaying virtual object using estimated pose, and apparatuses performing the same |
US10982968B2 (en) * | 2018-03-29 | 2021-04-20 | Nio Usa, Inc. | Sensor fusion methods for augmented reality navigation |
US10679376B2 (en) * | 2018-04-24 | 2020-06-09 | Microsoft Technology Licensing, Llc | Determining a pose of a handheld object |
CN110599549B (zh) * | 2018-04-27 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 界面显示方法、装置及存储介质 |
CN108537845B (zh) | 2018-04-27 | 2023-01-03 | 腾讯科技(深圳)有限公司 | 位姿确定方法、装置及存储介质 |
KR102695522B1 (ko) * | 2018-10-17 | 2024-08-14 | 삼성전자주식회사 | 이미지 인식 모델을 트레이닝시키는 장치 및 방법과 이미지 인식 장치 및 방법 |
KR102149003B1 (ko) * | 2018-11-16 | 2020-08-28 | 포디리플레이코리아 주식회사 | 입체 스트라이크 존 표시 방법 및 장치 |
US10573050B1 (en) | 2018-11-20 | 2020-02-25 | Sony Corporation | Marker-based pose estimation |
US11890063B2 (en) * | 2018-12-17 | 2024-02-06 | The Brigham And Women's Hospital, Inc. | System and methods for a trackerless navigation system |
CN111353930B (zh) * | 2018-12-21 | 2022-05-24 | 北京市商汤科技开发有限公司 | 数据处理方法及装置、电子设备及存储介质 |
US10943401B2 (en) | 2019-02-01 | 2021-03-09 | International Business Machines Corporation | Active visual recognition in mobile augmented reality |
EP3946825A1 (en) * | 2019-03-25 | 2022-02-09 | ABB Schweiz AG | Method and control arrangement for determining a relation between a robot coordinate system and a movable apparatus coordinate system |
US11024054B2 (en) | 2019-05-16 | 2021-06-01 | Here Global B.V. | Method, apparatus, and system for estimating the quality of camera pose data using ground control points of known quality |
CN110363179B (zh) * | 2019-07-23 | 2022-03-25 | 联想(北京)有限公司 | 地图获取方法、装置、电子设备以及存储介质 |
CN112639882B (zh) * | 2019-09-12 | 2021-12-14 | 华为技术有限公司 | 定位方法、装置及系统 |
KR20210036574A (ko) * | 2019-09-26 | 2021-04-05 | 삼성전자주식회사 | 자세 추정 방법 및 장치 |
WO2021154269A1 (en) * | 2020-01-30 | 2021-08-05 | Hewlett-Packard Development Company, L.P. | Camera pose determinations with patterns |
GB2593227A (en) * | 2020-03-20 | 2021-09-22 | Sony Corp | Image processing method and apparatus |
CN111508032B (zh) * | 2020-04-17 | 2022-09-27 | 易思维(杭州)科技有限公司 | 相机标定过程中特征点的排序方法 |
US11508080B2 (en) * | 2020-09-15 | 2022-11-22 | Toyota Research Institute, Inc. | Systems and methods for generic visual odometry using learned features via neural camera models |
CN112348855B (zh) * | 2020-11-19 | 2023-05-02 | 湖南国科微电子股份有限公司 | 视觉里程计特征点提取方法、系统、电子设备和存储介质 |
CN112950672B (zh) * | 2021-03-03 | 2023-09-19 | 百度在线网络技术(北京)有限公司 | 确定关键点的位置的方法、装置和电子设备 |
WO2022192540A1 (en) * | 2021-03-10 | 2022-09-15 | The Brigham And Women's Hospital, Inc. | System for and method of real-time nonrigid mosaicking of laparoscopy images |
US11423576B1 (en) | 2021-07-23 | 2022-08-23 | Ford Global Technologies, Llc | Infrastructure node localization with respect to alternative frame of reference |
CN113850221A (zh) * | 2021-09-30 | 2021-12-28 | 北京航空航天大学 | 一种基于关键点筛选的姿态跟踪方法 |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2565350B1 (fr) * | 1984-06-05 | 1986-10-10 | Paris Nord Universite | Moyens propres a permettre le support, le traitement, le stockage et l'analyse automatiques en continu d'echantillons biologiques |
US4950455A (en) * | 1987-12-22 | 1990-08-21 | Board Of Regents, University Of Texas System | Apparatus for quantifying components in liquid samples |
NL9500281A (nl) * | 1995-02-15 | 1996-09-02 | Jan Pieter Willem Vermeiden | Telkamer voor biologisch onderzoek alsmede werkwijze voor de vervaardiging van een dergelijke telkamer. |
US5850469A (en) * | 1996-07-09 | 1998-12-15 | General Electric Company | Real time tracking of camera pose |
EP0929658A4 (en) * | 1996-08-26 | 2005-11-02 | Univ Princeton | DEVICES FOR SORTING MICROSTRUCTURES THAT CAN BE REVERSIBLELY SEALED |
JPH10116359A (ja) * | 1996-10-09 | 1998-05-06 | Sony Corp | カメラパラメータ演算装置及び画像合成装置 |
WO1999024831A1 (fr) * | 1997-11-11 | 1999-05-20 | Kowa Company, Ltd. | Procede et dispositif de numeration de globules blancs |
US6571024B1 (en) * | 1999-06-18 | 2003-05-27 | Sarnoff Corporation | Method and apparatus for multi-view three dimensional estimation |
JP2002032741A (ja) * | 2000-07-13 | 2002-01-31 | Sony Corp | 3次元画像生成システムおよび3次元画像生成方法、並びにプログラム提供媒体 |
US6765569B2 (en) * | 2001-03-07 | 2004-07-20 | University Of Southern California | Augmented-reality tool employing scene-feature autocalibration during camera motion |
US7179423B2 (en) * | 2001-06-20 | 2007-02-20 | Cytonome, Inc. | Microfluidic system including a virtual wall fluid interface port for interfacing fluids with the microfluidic system |
US20030012410A1 (en) * | 2001-07-10 | 2003-01-16 | Nassir Navab | Tracking and pose estimation for augmented reality using real features |
US7251352B2 (en) * | 2001-08-16 | 2007-07-31 | Siemens Corporate Research, Inc. | Marking 3D locations from ultrasound images |
US7167519B2 (en) * | 2001-12-20 | 2007-01-23 | Siemens Corporate Research, Inc. | Real-time video object generation for smart cameras |
EP1472052A2 (en) * | 2002-01-31 | 2004-11-03 | Braintech Canada, Inc. | Method and apparatus for single camera 3d vision guided robotics |
JP2003281504A (ja) | 2002-03-22 | 2003-10-03 | Canon Inc | 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム |
JP3862688B2 (ja) * | 2003-02-21 | 2006-12-27 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US7203384B2 (en) | 2003-02-24 | 2007-04-10 | Electronic Scripting Products, Inc. | Implement for optically inferring information from a planar jotting surface |
WO2004081854A1 (en) * | 2003-03-06 | 2004-09-23 | Animetrics, Inc. | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery |
US7391888B2 (en) * | 2003-05-30 | 2008-06-24 | Microsoft Corporation | Head pose assessment methods and systems |
US7336296B2 (en) * | 2003-10-10 | 2008-02-26 | International Business Machines Corporation | System and method for providing position-independent pose estimation |
US7110100B2 (en) | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
US7038846B2 (en) | 2003-11-24 | 2006-05-02 | Electronic Scripting Products, Inc. | Solid catadioptric lens with a single viewpoint |
US7268956B2 (en) | 2003-11-24 | 2007-09-11 | Electronic Scripting Products, Inc. | Solid catadioptric lens with two viewpoints |
US7088440B2 (en) | 2003-12-22 | 2006-08-08 | Electronic Scripting Products, Inc. | Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features |
US7961909B2 (en) | 2006-03-08 | 2011-06-14 | Electronic Scripting Products, Inc. | Computer interface employing a manipulated object with absolute pose detection component and a display |
US7729515B2 (en) | 2006-03-08 | 2010-06-01 | Electronic Scripting Products, Inc. | Optical navigation apparatus using fixed beacons and a centroid sensing device |
US8542219B2 (en) | 2004-01-30 | 2013-09-24 | Electronic Scripting Products, Inc. | Processing pose data derived from the pose of an elongate object |
US7826641B2 (en) | 2004-01-30 | 2010-11-02 | Electronic Scripting Products, Inc. | Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features |
US9229540B2 (en) | 2004-01-30 | 2016-01-05 | Electronic Scripting Products, Inc. | Deriving input from six degrees of freedom interfaces |
US7023536B2 (en) | 2004-03-08 | 2006-04-04 | Electronic Scripting Products, Inc. | Apparatus and method for determining orientation parameters of an elongate object |
JP4537104B2 (ja) * | 2004-03-31 | 2010-09-01 | キヤノン株式会社 | マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法 |
US7161664B2 (en) | 2004-04-13 | 2007-01-09 | Electronic Scripting Products, Inc. | Apparatus and method for optical determination of intermediate distances |
JP2005308699A (ja) | 2004-04-26 | 2005-11-04 | Canon Inc | 位置姿勢推定方法及び装置ならびにこれに用いる計測用マーカ |
US7113270B2 (en) | 2004-06-18 | 2006-09-26 | Electronics Scripting Products, Inc. | Determination of an orientation parameter of an elongate object with a scan beam apparatus |
JP4914038B2 (ja) * | 2004-11-04 | 2012-04-11 | キヤノン株式会社 | 情報処理方法および装置 |
US7532709B2 (en) * | 2005-02-04 | 2009-05-12 | Styers Justin R | Remote garage door monitoring system |
JP4667900B2 (ja) * | 2005-02-17 | 2011-04-13 | 株式会社ユニメック | 二次元画像からの三次元解析方法とそれを実行するシステム |
US7616807B2 (en) * | 2005-02-24 | 2009-11-10 | Siemens Corporate Research, Inc. | System and method for using texture landmarks for improved markerless tracking in augmented reality applications |
JP2006252275A (ja) * | 2005-03-11 | 2006-09-21 | Japan Science & Technology Agency | カメラ運動及び物体形状の復元システム |
US7706603B2 (en) * | 2005-04-19 | 2010-04-27 | Siemens Corporation | Fast object detection for augmented reality systems |
DE102005025470B4 (de) | 2005-06-02 | 2007-12-20 | Metaio Gmbh | Verfahren und System zur Ermittlung der Position und Orientierung einer Kamera relativ zu einem realen Objekt |
US7536030B2 (en) * | 2005-11-30 | 2009-05-19 | Microsoft Corporation | Real-time Bayesian 3D pose tracking |
NO327279B1 (no) * | 2007-05-22 | 2009-06-02 | Metaio Gmbh | Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning |
JP4726149B2 (ja) | 2008-11-13 | 2011-07-20 | 株式会社バンダイ | 組成物、及びビール掛け感を味わうプレイ方法 |
US8970709B2 (en) | 2013-03-13 | 2015-03-03 | Electronic Scripting Products, Inc. | Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty |
-
2007
- 2007-05-22 NO NO20072616A patent/NO327279B1/no unknown
-
2008
- 2008-05-22 JP JP2010509290A patent/JP5243529B2/ja active Active
- 2008-05-22 EP EP08766896.8A patent/EP2153409B1/en active Active
- 2008-05-22 WO PCT/NO2008/000178 patent/WO2008143523A1/en active Application Filing
- 2008-05-22 US US12/601,188 patent/US8452080B2/en active Active
-
2013
- 2013-04-04 JP JP2013078439A patent/JP5668091B2/ja active Active
- 2013-05-22 US US13/900,158 patent/US10033985B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101746648B1 (ko) * | 2016-02-23 | 2017-06-14 | 주식회사 언리얼파크 | 3차원 객체 표현을 위한 마커리스 증강현실장치 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2013178252A (ja) | 2013-09-09 |
US10033985B2 (en) | 2018-07-24 |
NO327279B1 (no) | 2009-06-02 |
US8452080B2 (en) | 2013-05-28 |
NO20072616L (no) | 2008-11-24 |
US20170070724A9 (en) | 2017-03-09 |
WO2008143523A1 (en) | 2008-11-27 |
JP2010532465A (ja) | 2010-10-07 |
EP2153409A4 (en) | 2013-04-24 |
EP2153409B1 (en) | 2015-07-08 |
JP5243529B2 (ja) | 2013-07-24 |
US20130335529A1 (en) | 2013-12-19 |
US20100232727A1 (en) | 2010-09-16 |
EP2153409A1 (en) | 2010-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5668091B2 (ja) | 3dカメラポーズ推定方法 | |
Baak et al. | A data-driven approach for real-time full body pose reconstruction from a depth camera | |
EP3182373B1 (en) | Improvements in determination of an ego-motion of a video apparatus in a slam type algorithm | |
CN107292949B (zh) | 场景的三维重建方法、装置及终端设备 | |
US10088294B2 (en) | Camera pose estimation device and control method | |
EP2751777B1 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
US8675972B2 (en) | Method and device for determining the pose of a three-dimensional object in an image and method and device for creating at least one key image for object tracking | |
CN108960045A (zh) | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 | |
US11494987B2 (en) | Providing augmented reality in a web browser | |
WO2014055355A2 (en) | Systems and methods for 3d pose estimation | |
US20160210761A1 (en) | 3d reconstruction | |
EP3182370A1 (en) | Method and device for generating binary descriptors in video frames | |
US20150348269A1 (en) | Object orientation estimation | |
Liu et al. | A SLAM-based mobile augmented reality tracking registration algorithm | |
CN112200917B (zh) | 一种高精度增强现实方法及系统 | |
CN110009683B (zh) | 基于MaskRCNN的实时平面上物体检测方法 | |
Lowney et al. | Model based tracking for augmented reality on mobile devices | |
Benhimane et al. | Real-Time Object Detection and Tracking for Industrial Applications. | |
My et al. | Real time face tracking and pose estimation using an adaptive correlation filter for human-robot interaction | |
Höll et al. | Monocular lsd-slam integration within ar system | |
Guan et al. | Recovering pose and occlusion consistencies in augmented reality systems using affine properties | |
Schumann et al. | A matching shader technique for model-based tracking | |
Sanchez Tapia | A Stochastic Parallel Method for Real Time Monocular SLAM Applied to Augmented Reality | |
Alaniz II et al. | Real-Time Camera Pose Estimation for Virtual Reality Navigation | |
Führ | 3D tracking for an augmented reality system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140529 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20140806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140806 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5668091 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |