JP5291605B2 - カメラ姿勢推定装置およびカメラ姿勢推定プログラム - Google Patents
カメラ姿勢推定装置およびカメラ姿勢推定プログラム Download PDFInfo
- Publication number
- JP5291605B2 JP5291605B2 JP2009276182A JP2009276182A JP5291605B2 JP 5291605 B2 JP5291605 B2 JP 5291605B2 JP 2009276182 A JP2009276182 A JP 2009276182A JP 2009276182 A JP2009276182 A JP 2009276182A JP 5291605 B2 JP5291605 B2 JP 5291605B2
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- tracking
- camera posture
- error
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
(1)撮影シーンに、くっきりした模様が含まれる。
(2)撮影シーンに、複数の強いエッジが含まれる。
(3)撮影条件として、照明などの環境が変化しない。
また、前記信頼度計算手段は、前記動きボケ強度の値が前記第1閾値以下の場合、かつ、前記トラッキング状態として計測された初期カメラ姿勢の信頼度の値が予め定められた第2閾値よりも大きい場合には、前記動きボケ強度に比例し、かつ、前記初期カメラ姿勢の信頼度および前記特徴点数にそれぞれ反比例するように案分して前記統合トラッキングの信頼度を計算する。
また、前記信頼度計算手段は、前記動きボケ強度の値が前記第1閾値以下の場合、かつ、前記初期カメラ姿勢の信頼度の値が前記第2閾値以下の場合には、前記エッジ数および前記動きボケ強度にそれぞれ比例し、かつ、前記初期カメラ姿勢の信頼度、前記特徴点数および前記エッジ対応点候補の数にそれぞれ反比例するように案分して前記統合トラッキングの信頼度を計算する。
図1に示すカメラ姿勢推定装置1は、被写体の撮影画像中のエッジおよび特徴点を用いてカメラ姿勢を推定するモデルベースによるカメラ姿勢推定装置である。ここで、カメラ姿勢とは、いわゆるカメラの外部パラメータである。ここでは、例えば、カメラレンズの撮影角度、カメラレンズの設置場所や高さを示す3次元座標、カメラのパン軸、チルト軸、ズーム軸、フォーカス軸等の操作を反映したカメラ姿勢を示す軸移動角度や軸移動距離、カメラレンズの焦点距離、カメラの撮像素子の画素ピッチ等を含んでもよい。
図2(a)に示す映像合成システム100は、ユーザが拡張現実感を享受するためのシステムであって、図1に示したカメラ姿勢推定装置1の1つの適用例を示している。
映像合成システム100は、カメラ姿勢推定装置1と、カメラ2と、仮想3次元物体モデル記憶手段3と、レンダリング装置4と、映像合成装置5とを備える。ここでは、映像合成システム100は、図2(b)に示すようにユーザに装着されるものである。図2(b)に示す装着者Pは、頭部に、カメラ2とHMD(Head Mounted Display)7とを装着している。また、装着者Pは、腰部にウェアラブルPC(Personal Computer)8を装着している。このウェアラブルPC8は、カメラ姿勢推定装置1と、仮想3次元物体モデル記憶手段3と、レンダリング装置4と、映像合成装置5とを備える。
カメラ2は、ユーザの頭部に装着される小型カメラであり、撮影映像をカメラ姿勢推定装置1および映像合成装置5に出力する。
カメラ姿勢推定装置1は、映像中のエッジおよび特徴点という視覚的手がかりを解析的に統合してカメラ姿勢を推定し、推定したカメラ姿勢をレンダリング装置4に出力する。なお、カメラ姿勢推定装置1の詳細については後記する。
レンダリング装置4は、CGデータ6に基づいて仮想3次元空間データを生成し、入力されたカメラ姿勢に基づいてCGオブジェクト(CG画像)およびアルファプレーンをレンダリングし、レンダリングしたCGオブジェクトを、アルファプレーンと共に映像合成装置5に出力する。なお、アルファプレーンは、CGオブジェクトの被写体領域とそうでない領域とを区別する情報を有する画像である。
また、この映像合成システム100では、環境を制御していない。例えば、装着者Pが行動する環境において、次の(1)〜(3)のような条件を人工的に実現するように外部から環境を制御するといったことをしていない。
(1)撮影シーンに、くっきりした模様が含まれる。
(2)撮影シーンに、複数の強いエッジが含まれる。
(3)撮影条件として、照明などの環境が変化しない。
つまり、この映像合成システム100では、装着者Pが視線を向けた方向(カメラ2の撮影方向)に、くっきりした模様やエッジが存在しない場合に、それを察知して視線を向けた方向に、くっきりした模様やエッジを自動的に配置するようなことはしていない。また、装着者Pが暗い方向に視線を向けた場合に、それを察知して視線を向けた方向の照明を明るくしたりするように環境をコントロールすることはしていない。
しかしながら、映像合成システム100は、本実施形態のカメラ姿勢推定装置1を備えているために頑健にカメラ姿勢を推定することができる。また、時間的に変化のある環境下でも頑健にカメラ姿勢を推定することができる。
図1に示すカメラ姿勢推定装置1は、例えば、CPU等の演算装置と、メモリやハードディスク等の記憶装置(記憶手段)と、外部との間で各種情報の送受信を行うインタフェース装置とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。
3次元モデル記憶手段10は、RAM(Random Access Memory)やROM(Read Only Memory)等のメモリやハードディスク等の記憶装置から構成され、事前に作成された3次元モデル11を記憶することとした。3次元モデル11は、カメラの撮影方向に存在する被写体の特徴の情報を示す。被写体の特徴の情報とは、例えば、被写体の形状や表面模様に含まれる絵柄のコーナーなどの特徴点の位置を示す情報である。なお、この3次元モデル11の位置情報は、例えば世界座標空間の3次元座標で記述される。
特徴点データベース記憶手段20は、メモリやハードディスク等の記憶装置から構成され、事前に作成された特徴点データベース21を記憶することとした。特徴点データベース21は、被写体の3次元モデル11の特徴点の記述子および3次元情報を含む特徴点情報を格納したデータベースである。ここで、3次元モデルの特徴点の記述子とは、被写体の3次元モデルに存在する特徴点はどういったものかということを記述したもので、特徴点を識別することのできる名称や識別子を示す。また、3次元情報とは、3次元モデルの特徴点のx座標、y座標、z座標を示す。なお、この特徴点データベースにおける特徴点の3次元情報は、3次元モデルの世界座標空間からカメラ座標空間に投影された座標(カメラ座標)で記述されている。また、特徴点データベース21は、3次元モデル11の情報を基に想定したカメラ姿勢で、これらの情報を仮想的なスクリーンに投影したものと、この投影したときのカメラパラメータとを格納している。
映像入力手段30は、被写体を含む撮影映像を入力するものであり、所定の入力インタフェース等から構成される。なお、映像入力手段30は、図示しない通信ネットワークから撮影映像を入力する通信インタフェース等から構成するようにしてもよい。ここで入力された撮影映像は、トラッキング状態計測部40のエッジ検出マッチング部41、動きボケ計算部42、特徴点検出マッチング部43に出力される。
トラッキング状態計測部(トラッキング状態計測手段)40は、3次元モデル11および特徴点データベース21と、入力される撮影画像とに基づいて、エッジ対応誤差err1と、特徴点対応誤差err2とを含むトラッキング状態を計測するものである。
また、特徴点対応誤差err2は、特徴点をベースにして求めたトラッキング誤差(第2誤差)であり、対応する特徴点がどれくらいずれているかを示す。
エッジ数aeは、3次元モデル11のモデルエッジに対応する撮影画像中のエッジ数を表す。
エッジ対応点候補の数ccは、モデルエッジに対応する撮影画像中のエッジの周囲に存在するエッジ対応点候補の数を表す。つまり、エッジ対応点候補の数ccは、対象のエッジの周りに存在する異なるエッジの数を示す。
特徴点数apは、特徴点データベース21の特徴点に対応する撮影画像中の特徴点数を表す。
初期カメラ姿勢の信頼度vは、カメラ姿勢の推定前の値(カメラ姿勢の初期値)に対する統合誤差の信頼度を示す。これは、最適化の初期値によっては、エラーが大きくなってしまうことを考慮したパラメータである。
動きボケ強度bは、カメラ2の動きに応じてぼけるエッジの個数を示す。ここで、エッジがぼけるとは、映像的にはカメラを振ったときにエッジがフワーと広がることを示す。
これらのパラメータを計測するため、トラッキング状態計測部40は、図1に示すように、エッジ検出マッチング部41と、動きボケ計算部(動きボケ計算手段)42と、特徴点検出マッチング部(特徴点検出マッチング手段)43と、初期カメラ姿勢計算部(初期カメラ姿勢計算手段)44とを備える。なお、計測とは、対象の量の直接的な計測と、関連した量から直接計測した結果から算出するという間接的な計測との両方を含んでいる。
エッジ検出部45は、入力する撮影画像からエッジを検出し、エッジマッチング部46に出力する。
また、初期カメラ姿勢計算部44は、求めた初期カメラ姿勢E(k)に対して初期カメラ姿勢の信頼度vを算出する。算出された初期カメラ姿勢の信頼度vの値は、信頼度計算部50に出力される。
信頼度計算部(信頼度計算手段)50は、トラッキング状態計測部40で計測されたトラッキング状態に応じて、撮影画像中のエッジから求めたエッジ対応誤差err1と、撮影画像中の特徴点から求めた特徴点対応誤差err2とを案分する指標として、エッジベーストラッキングと特徴点ベーストラッキングとを統合した統合トラッキングの信頼度fを計算するものである。
また、信頼度計算部50は、計測された動きボケ強度bの値が第1閾値thb以下の場合、かつ、計測された初期カメラ姿勢の信頼度vの値が予め定められた第2閾値thvよりも大きい場合には、動きボケ強度bに比例し、かつ、初期カメラ姿勢の信頼度vおよび特徴点数apにそれぞれ反比例するように案分して統合トラッキングの信頼度fを計算する。
信頼度補正部(信頼度補正手段)60は、信頼度計算部50で計算された統合トラッキングの信頼度fを補正した補正信頼度ηを生成するものである。前記した式(1b)および式(1c)は、特徴点の数がエッジの数と同じであると仮定して導出されているので、特徴点の数とエッジの数とが同等ではない場合には不都合が生じる可能性がある。そこで、特徴点の数とエッジの数とが同等ではない場合に、統合トラッキングの信頼度fを補正することした。本実施形態では、信頼度補正部60は、特徴点数apに対するエッジ数aeの割合を示すサンプル比γを求め、サンプル比γと、そのときの統合トラッキングの信頼度fとに応じて補正信頼度ηを生成する。これにより、特徴点の数とエッジの数とが同等ではない場合であってもカメラ姿勢の推定精度を向上させることができる。ここで生成された補正信頼度ηは、カメラ姿勢推定手段70に出力される。
また、信頼度補正部60は、統合トラッキングの信頼度fが0.5より小さく、かつ、サンプル比γが1より大きい場合には、統合トラッキングの信頼度fに比例し、かつ、サンプル比γに反比例するような第2補正式により補正信頼度ηを計算する。
カメラ姿勢推定手段70は、信頼度計算部50で計算された統合トラッキングの信頼度fに応じて、エッジ対応誤差err1と、特徴点対応誤差err2とを案分した統合誤差errを生成し、統合誤差errが最小となるように現在のカメラ姿勢を推定するものである。ここでは、推定前の状態kにおけるカメラ姿勢(初期カメラ姿勢E(k))に対して、現在のカメラ姿勢をE(k+1)と表記する。なお、状態kは、例えば、入力映像のフレーム毎の状態を示す。本実施形態では、カメラ姿勢推定手段70は、信頼度補正部60で生成された補正信頼度ηに応じて統合誤差errを求め、現在のカメラ姿勢E(k+1)を推定することとした。
姿勢移動量計算部71は、エッジマッチング部46から取得するエッジ対応誤差err1と、特徴点検出マッチング部43から取得する特徴点対応誤差err2とを、信頼度補正部60から取得する補正信頼度ηに応じて加重総和し、この統合誤差errが最小となるようにカメラ姿勢移動量ΔEを算出する。この姿勢移動量計算部71は、例えば、式(4)により統合誤差errを求める。この統合誤差errは、最小化させるエラー関数において、エッジおよび特徴点の双方の対応誤差(信頼度)により求めた単一の重み値である。この重み値は、後記するように分析により解析的に求められたものである。
出力手段80は、推定された現在のカメラ姿勢E(k+1)をレンダリング装置4(図2参照)や図示しない出力装置に出力するものであり、所定の出力インタフェース等から構成される。なお、図示しない出力装置は、例えば、HMD、CRT(Cathode Ray Tube)、液晶ディスプレイ(LCD:Liquid Crystal Display)、PDP(Plasma Display Panel)、EL(Electronic Luminescence)等から構成される。なお、図示しない出力装置は、レンダリング装置4(図2参照)や映像合成装置5(図2参照)から出力される情報を切り替えてそれぞれ表示することもできる。
<4.0.>
ここでは、カメラ姿勢推定手段70が行う線形反復解法の原理を説明する。カメラ姿勢の推定処理はLie群およびLie代数に基づくDrummondの手法をベースとしている。なお、Drummondの手法については、「Drummond T. and Cipolla R.: Real-time visual tracking of complex structures, IEEE Trans. on Pattern Analysis and Machine Intelligence 2002; 24(7): 932-946」に記載されている。以下に、具体的な手法について述べる。
カメラ射影行列Pは、シーン上の(被写体上の特徴点などの)3次元座標(X,Y,Z)とそれを投影した撮影画像上の2次元座標(u/w、v/w)との関係から、カメラの内部マトリクスをK、外部パラメータをEとして乗算したものとして定義され、次の式(6)のように表される。なお、内部マトリクスは、例えばレンズ歪み等を含む光学的な未知の内部パラメータを示す。
カメラの内部パラメータと視覚的な手がかりの3D-2Dの対応とが与えられた場合、式(6)の方程式を解くことにより、カメラの外部パラメータEを計算可能である。本実施形態では、次の式(7)を繰り返すことにより、現フレームより前あるいはラフに求めたカメラ姿勢から現フレームのカメラ姿勢のマトリクスに更新する。つまり、繰り返しにより現フレームヘの運動行列に最適化する。
もし、αiが正解αi GTと等しい場合、式(11)の偏微分方程式は0となる。
<5.0. 前提>
この章では、各視覚的な手がかり(エッジや特徴点)をロバストに迫跡するために望ましい条件を分析して、任意環境下でダイナミックに統合トラッキングの信頼度fまたは補正信頼度ηを調整する評価式を求める手法の一例を説明する。以下では、エッジや特徴点の固有の性質を分析および解析しているが、この解析では、エッジや特徴点の双方の環境条件に対する依存性に着目している。
特徴点(以下、単に点ともいう)あるいはエッジベースのカメラトラッキング手法のロバスト性をカメラ姿勢推定の初期値(姿勢推定前の値)の正確さ(信頼度v)に関して分析するため、カメラ姿勢推定の初期値の並進項に対して、異なるレベルのガウスノイズを加えシミュレーションを行った。このときの結果を図4に示す。
≪5.2.1≫
シーンの複雑さとは、シーン自身に含まれるテクスチャとエッジの細かさであり、直接2つの視覚的な手がかりの量(エッジ数aeと特徴点数ap)に関連する。したがって、2つの視覚的な手がかりの量に関して点ベーストラッキングとエッジベーストラッキングの性能を分析した。このときの結果を図5に示す。図5(a)および図5(b)に示すグラフは、図4(a)および図4(b)と同様な横軸および縦軸を有している。図5(a)において、aは、特徴点数apに相当し、図5(b)において、aは、エッジ数aeに相当する。各グラフは、パラメータaを変化させたときの実験結果を示している。
また、シーンの複雑さは、撮影画像におけるモデルエッジとの対応点を探索する過程で信頼性に影響を及し易いエッジの分布に関係する。例えば、撮影画像に多くの誤ったエッジ(モデルのエッジに対応しないエッジ)があれば、誤対応の数(エッジ対応点候補の数cc)を増やす可能性が大きくなる。そこで、モデルエッジの対応点を探索する過程で、信頼性に関するエッジベーストラッキングの性能を分析した。そのために、妨害となるように、ランダムに配置したl(エル)本の赤いラインをカメラ画像に追加描画した。実験の結果、図6に示す通り、lの増加はエッジベーストラッキングの性能を顕著に低下させることが分かった。なお、図6のグラフは、図4のグラフと同様の軸を有している。
異なったレベルの水平方向の動きボケをカメラ画像に追加しシミュレーションを行った。モーションブラー(motion blur)をシミュレートするために移動平均によるフィルタ[1/b … 1/b]を用いた([ ]内の1/bの個数はb個である)。正解のカメラ姿勢に対し推定した姿勢の差を図7に示す。なお、図7のグラフは、図4のグラフと同様の軸を有している。図7において、bは、動きボケ強度を表している。この分析においては、bの値を0〜11までの整数値の範囲で変化させて推定誤差を求めた。
異なるレベルのガウスノイズN(0,n2)をカメラ画像の画素値(R,G,B)に加えシミュレーションを行った。推定した姿勢と正解との差を図8に示す。なお、図8のグラフは、図4のグラフと同様の軸を有している。この分析においては、nの値を0〜100までの整数値の範囲で変化させて推定誤差を求めた。
分析の結果、統合トラッキングの信頼度fまたは補正信頼度η(以下、単にfとする)は、エッジ数aeと動きボケ強度bとに比例し、図4に示すvと、特徴点数apと、図6に示すlとに反比例し、図8に示すnには関係しないと推察される。ここで、図4に示すvは、初期カメラ姿勢の信頼度vに相当する。
次に、図1に示すカメラ姿勢推定装置1の動作について説明する。図1のブロック図は、そのままでカメラ姿勢推定装置1のカメラパラメータ推定アルゴリズムを示している。つまり、トラッキング状態計測部40が、入力映像に対して5種類のパラメータ(v、b、cc、ae、ap)をすべて算出し、前記した式(1a)、式(1b)、式(1c)を用いることとした。このカメラ姿勢推定装置1の典型的な処理の流れについては、説明を省略し、代わりに、トラッキング状態計測部40が、前記した式(1)を用い、入力映像に対して5種類のうち必要なパラメータだけを算出するときの信頼度計算処理および信頼度補正処理の手順の一例について図9を参照(適宜図1参照)して説明する。
さらに、前記したステップS7において、信頼度補正部60は、それ以外のその他の場合、統合トラッキングの信頼度fをそのまま補正信頼度η(η=f)とする(ステップS10)。すなわち、f≦0.5,かつ,γ≧1、または、f≧0.5,かつ,γ≦1の場合、前記した式(2c)または式(2d)により補正信頼度ηを計算する。
(実験条件)
前記した式(1)において、thb、thv、Κ0、Κ1のユーザ指定の定数の値は、それぞれ、thb=95、thv=6、Κ0=0.8、Κ1=0.12のように指定した。
特徴点を単独で利用して推定したカメラ姿勢を求めた(点ベース方法:比較例1)。
また、エッジを単独で利用して推定したカメラ姿勢を求めた(エッジベース方法:比較例2)。さらに、エッジトラッキングと特徴点トラッキングとの双方を用いた場合であって、状況によらず固定値0.5で重み付けを行なった誤差を利用して推定したカメラ姿勢を求めた(信頼度をη=0.5に固定した方法:比較例3)。
カメラ姿勢として、カメラの並進t1、t2、t3と、カメラの回転r1、r2、r3とについて測定した。測定結果として平均値と標準偏差を表1に示す。
図2に示した映像合成システム100の映像合成出力結果を比較した。撮影環境において、照明とカメラの向きとが時間的に変化するものとした。この映像合成システム100において、カメラの動きと共に照明が変化する場合にカメラ姿勢を推定したときの映像合成結果を図13に模式的に示す。図13(a)、図13(b)、図13(c)は、この順番に時間が経過したときの映像合成出力結果を示している。映像合成出力結果のうち、ポットだけがCGオフジェクトを示し、ポットが載置された台および壁面は実写映像を示している。図13では照明の変化を誇張して表現した。図13(a)は照明が通常の場合、(b)は照明が暗くなった場合、(c)は照明が明るくなった場合をそれぞれ示している。
1 カメラ姿勢推定装置
2 カメラ
3 仮想3次元物体モデル記憶手段
4 レンダリング装置
5 映像合成装置
6 CGデータ
10 3次元モデル記憶手段
11 3次元モデル
20 特徴点データベース記憶手段
21 特徴点データベース
30 映像入力手段
40 トラッキング状態計測部(トラッキング状態計測手段)
41 エッジ検出マッチング部
42 動きボケ計算部(動きボケ計算手段)
43 特徴点検出マッチング部(特徴点検出マッチング手段)
44 初期カメラ姿勢計算部(初期カメラ姿勢計算手段)
45 エッジ検出部(エッジ検出手段)
46 エッジマッチング部(エッジマッチング手段)
50 信頼度計算部(信頼度計算手段)
60 信頼度補正部(信頼度補正手段)
70 カメラ姿勢推定手段
71 姿勢移動量計算部
72 カメラ姿勢計算部
80 出力手段
Claims (5)
- 被写体の撮影画像中のエッジおよび特徴点を用いてカメラ姿勢を推定するモデルベースによるカメラ姿勢推定装置であって、
カメラの撮影方向に存在する被写体の特徴の情報を示す3次元モデルを記憶する3次元モデル記憶手段と、
前記3次元モデルの特徴点の記述子および3次元情報を含む特徴点情報を格納した特徴点データベースを記憶する特徴点データベース記憶手段と、
予め作成された前記3次元モデルおよび前記特徴点データベースと、入力される前記被写体を含む撮影画像とに基づいて、前記エッジをベースにして求めたトラッキングの第1誤差と、前記特徴点をベースにして求めたトラッキングの第2誤差とを少なくとも含むトラッキング状態を計測するトラッキング状態計測手段と、
前記計測されたトラッキング状態に応じて、前記第1誤差と前記第2誤差とを案分する指標として、エッジベーストラッキングと特徴点ベーストラッキングとを統合した統合トラッキングの信頼度を計算する信頼度計算手段と、
前記統合トラッキングの信頼度に応じて、前記第1誤差と前記第2誤差とを案分する割合を変動させて統合誤差を生成し、前記統合誤差が最小となるように現在のカメラ姿勢を推定するカメラ姿勢推定手段と、
を備えることを特徴とするカメラ姿勢推定装置。 - 前記トラッキング状態計測手段は、
前記トラッキング状態として、前記第1誤差と、前記第2誤差と、前記エッジ数と、前記特徴点数と、前記カメラの動きに応じてぼけるエッジの個数を示す動きボケ強度と、カメラ姿勢の推定前の値に対する信頼度を示す初期カメラ姿勢の信頼度と、前記3次元モデルのモデルエッジに対応する前記撮影画像中のエッジの周囲に存在するエッジ対応点候補の数とを計測し、
前記信頼度計算手段は、
前記トラッキング状態として計測された動きボケ強度の値が予め定められた第1閾値よりも大きい場合には、前記第1誤差だけ用いるように前記統合トラッキングの信頼度を計算し、
前記動きボケ強度の値が前記第1閾値以下の場合、かつ、前記トラッキング状態として計測された初期カメラ姿勢の信頼度の値が予め定められた第2閾値よりも大きい場合には、前記動きボケ強度に比例し、かつ、前記初期カメラ姿勢の信頼度および前記特徴点数にそれぞれ反比例するように案分して前記統合トラッキングの信頼度を計算し、
前記動きボケ強度の値が前記第1閾値以下の場合、かつ、前記初期カメラ姿勢の信頼度の値が前記第2閾値以下の場合には、前記エッジ数および前記動きボケ強度にそれぞれ比例し、かつ、前記初期カメラ姿勢の信頼度、前記特徴点数および前記エッジ対応点候補の数にそれぞれ反比例するように案分して前記統合トラッキングの信頼度を計算する、
ことを特徴とする請求項1に記載のカメラ姿勢推定装置。 - 前記統合トラッキングの信頼度を補正した補正信頼度を生成する信頼度補正手段をさらに備え、
前記カメラ姿勢推定手段は、前記補正信頼度に応じて、前記第1誤差と前記第2誤差とを案分する割合を変動させ、現在のカメラ姿勢を推定し、
前記信頼度補正手段は、
前記統合トラッキングの信頼度が0.5より大きく、かつ、前記特徴点数に対する前記エッジ数の割合を示すサンプル比が1より小さい場合には、前記統合トラッキングの信頼度に比例し、かつ、前記サンプル比に反比例するような第1補正式により前記補正信頼度を計算し、
前記統合トラッキングの信頼度が0.5より小さく、かつ、前記サンプル比が1より大きい場合には、前記統合トラッキングの信頼度に比例し、かつ、前記サンプル比に反比例するような第2補正式により前記補正信頼度を計算する、
ことを特徴とする請求項2に記載のカメラ姿勢推定装置。 - 前記トラッキング状態計測手段は、
入力される前記撮影画像からエッジを検出するエッジ検出手段と、
前記3次元モデルに含まれるモデルエッジと、前記検出されたエッジとのマッチング処理により、前記エッジ対応点候補の数と、前記エッジ数とを算出するエッジマッチング手段と、
入力される前記撮影画像の動きボケに基づき、前記動きボケ強度を算出する動きボケ計算手段と、
入力される前記撮影画像から特徴点を検出し、前記特徴点データベースに格納された特徴点と、前記検出された特徴点とのマッチング処理により、前記特徴点数を算出する特徴点検出マッチング手段と、
前記特徴点のマッチング処理の結果から前記初期カメラ姿勢を求め、この求めた初期カメラ姿勢に対して前記初期カメラ姿勢の信頼度を算出する初期カメラ姿勢計算手段と、を備える、
ことを特徴とする請求項2または請求項3に記載のカメラ姿勢推定装置。 - 被写体の撮影画像中のエッジおよび特徴点を用いてモデルベースによりカメラ姿勢を推定するために、カメラの撮影方向に存在する被写体の特徴の情報を示す3次元モデルを記憶する3次元モデル記憶手段と、前記3次元モデルの特徴点の記述子および3次元情報を含む特徴点情報を格納した特徴点データベースを記憶する特徴点データベース記憶手段とを備えたコンピュータを、
予め作成された前記3次元モデルおよび前記特徴点データベースと、入力される前記被写体を含む撮影画像とに基づいて、前記エッジをベースにして求めたトラッキングの第1誤差と、前記特徴点をベースにして求めたトラッキングの第2誤差とを少なくとも含むトラッキング状態を計測するトラッキング状態計測手段、
前記計測されたトラッキング状態に応じて、前記第1誤差と前記第2誤差とを案分する指標として、エッジベーストラッキングと特徴点ベーストラッキングとを統合した統合トラッキングの信頼度を計算する信頼度計算手段、
前記統合トラッキングの信頼度に応じて、前記第1誤差と前記第2誤差とを案分する割合を変動させて統合誤差を生成し、前記統合誤差が最小となるように現在のカメラ姿勢を推定するカメラ姿勢推定手段、
として機能させるためのカメラ姿勢推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009276182A JP5291605B2 (ja) | 2009-12-04 | 2009-12-04 | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009276182A JP5291605B2 (ja) | 2009-12-04 | 2009-12-04 | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011118724A JP2011118724A (ja) | 2011-06-16 |
JP5291605B2 true JP5291605B2 (ja) | 2013-09-18 |
Family
ID=44283961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009276182A Expired - Fee Related JP5291605B2 (ja) | 2009-12-04 | 2009-12-04 | カメラ姿勢推定装置およびカメラ姿勢推定プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5291605B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5855416B2 (ja) * | 2011-10-25 | 2016-02-09 | Kddi株式会社 | 3次元座標取得装置、カメラ姿勢推定装置、プログラム |
JP5878454B2 (ja) * | 2012-11-05 | 2016-03-08 | 日本電信電話株式会社 | 推定装置、推定方法及びコンピュータプログラム |
JP6420605B2 (ja) * | 2014-09-24 | 2018-11-07 | Kddi株式会社 | 画像処理装置 |
JP2016076836A (ja) * | 2014-10-07 | 2016-05-12 | 日本放送協会 | 撮像装置 |
SG11201704378QA (en) * | 2014-12-03 | 2017-06-29 | Nec Corp | Direction control device, direction control method and recording medium |
JP6626338B2 (ja) * | 2015-02-05 | 2019-12-25 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
US9684831B2 (en) * | 2015-02-18 | 2017-06-20 | Qualcomm Incorporated | Adaptive edge-like feature selection during object detection |
KR20240051334A (ko) * | 2016-02-18 | 2024-04-19 | 애플 인크. | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 |
JP6880618B2 (ja) * | 2016-09-26 | 2021-06-02 | 富士通株式会社 | 画像処理プログラム、画像処理装置、及び画像処理方法 |
JP6636894B2 (ja) * | 2016-10-20 | 2020-01-29 | 日本電信電話株式会社 | カメラ情報修正装置、カメラ情報修正方法、及びカメラ情報修正プログラム |
JP6692321B2 (ja) * | 2017-05-25 | 2020-05-13 | 日本電信電話株式会社 | 幾何的合わせこみ装置、方法、及びプログラム |
EP3410353A1 (en) | 2017-06-01 | 2018-12-05 | eyecandylab Corp. | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information |
CN113643356B (zh) * | 2020-04-27 | 2024-05-28 | 北京达佳互联信息技术有限公司 | 相机位姿确定、虚拟物体显示方法、装置及电子设备 |
US11082679B1 (en) | 2021-01-12 | 2021-08-03 | Iamchillpill Llc. | Synchronizing secondary audiovisual content based on frame transitions in streaming content |
CN113892942B (zh) * | 2021-08-24 | 2023-09-19 | 重庆大学 | 一种实时追踪人体下肢运动的穿戴设备 |
KR102442637B1 (ko) * | 2021-11-23 | 2022-09-13 | 주식회사 버넥트 | 증강현실 추적 알고리즘을 위한 카메라 움직임 추정 방법 및 그 시스템 |
US11769293B2 (en) | 2021-11-23 | 2023-09-26 | Virnect Co., Ltd. | Camera motion estimation method for augmented reality tracking algorithm and system therefor |
CN116524022B (zh) * | 2023-04-28 | 2024-03-26 | 神力视界(深圳)文化科技有限公司 | 偏移数据计算方法、图像融合方法、装置及电子设备 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3347508B2 (ja) * | 1995-02-24 | 2002-11-20 | キヤノン株式会社 | 撮像画像処理装置および撮像画像処理方法 |
JP2002063567A (ja) * | 2000-08-23 | 2002-02-28 | Nec Corp | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 |
JP5013961B2 (ja) * | 2007-05-21 | 2012-08-29 | キヤノン株式会社 | 位置姿勢計測装置及びその制御方法 |
-
2009
- 2009-12-04 JP JP2009276182A patent/JP5291605B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011118724A (ja) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5291605B2 (ja) | カメラ姿勢推定装置およびカメラ姿勢推定プログラム | |
US11037325B2 (en) | Information processing apparatus and method of controlling the same | |
US20210232845A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
JP6734940B2 (ja) | 三次元計測装置 | |
US11734876B2 (en) | Synthesizing an image from a virtual perspective using pixels from a physical imager array weighted based on depth error sensitivity | |
US6911995B2 (en) | Computer vision depth segmentation using virtual surface | |
TWI536318B (zh) | 深度測量之品質提升 | |
JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
US10825249B2 (en) | Method and device for blurring a virtual object in a video | |
Vidas et al. | Real-time mobile 3D temperature mapping | |
CN105678809A (zh) | 手持式自动跟拍装置及其目标跟踪方法 | |
CN108700946A (zh) | 用于并行测距和建图的故障检测和恢复的系统和方法 | |
JP2015532077A (ja) | 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法 | |
CN111951326B (zh) | 基于多摄像装置的目标对象骨骼关键点定位方法和装置 | |
Simon | Tracking-by-synthesis using point features and pyramidal blurring | |
CN114792345B (zh) | 一种基于单目结构光系统的标定方法 | |
Zhang et al. | A robust visual odometry based on RGB-D camera in dynamic indoor environments | |
Guzov et al. | Visually plausible human-object interaction capture from wearable sensors | |
Shao et al. | Out-of-plane full-field vibration displacement measurement with monocular computer vision | |
Medien | Implementation of a low cost marker based infrared optical tracking system | |
WO2019055260A1 (en) | SYSTEMS AND METHODS FOR CALIBRATING IMAGING SENSORS AND SPATIAL ORIENTATION | |
Sauer et al. | Occlusion handling in augmented reality user interfaces for robotic systems | |
Lee et al. | Robust multithreaded object tracker through occlusions for spatial augmented reality | |
Pagel | Robust monocular egomotion estimation based on an iekf |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5291605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |