JP3976900B2 - 視点位置姿勢の決定方法及びカメラ装置 - Google Patents
視点位置姿勢の決定方法及びカメラ装置 Download PDFInfo
- Publication number
- JP3976900B2 JP3976900B2 JP20830798A JP20830798A JP3976900B2 JP 3976900 B2 JP3976900 B2 JP 3976900B2 JP 20830798 A JP20830798 A JP 20830798A JP 20830798 A JP20830798 A JP 20830798A JP 3976900 B2 JP3976900 B2 JP 3976900B2
- Authority
- JP
- Japan
- Prior art keywords
- landmarks
- camera
- image
- matrix
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
【発明の属する技術分野】
本発明は、視点位置姿勢の決定方法及びカメラ装置に関し、特に、カメラの視点位置を、3つのランドマークによって決定する方法などの改良に関する。
【0002】
【従来の技術】
近年、現実空間と仮想空間の融合を目的とした複合現実感(MR: Mixed Reality)に関する研究が盛んになっている。その中でも、現実空間に仮想空間の情報を重畳表示する技術は「オーグメンティド・リアリティ」(AR: Augmented Reality)と呼ばれている。
【0003】
ARの実現手段は、大きく2つに分類できる。1つは透過型のHMD(Head-Mounted Display)を利用して、表示面越しに見える現実世界の光景に仮想物体の映像を重畳する方式で、「光学シースルー方式」と呼ばれている。もう1つは、ビデオカメラで撮影された映像に仮想物体を重畳描画する方式で、「ビデオシースルー方式」と呼ばれている。いずれの方式においても、2つの空間の自然な融合を実現するためには、「位置合わせ」、「画質の一致」、「3次元空間合成」(前後関係や衝突の表現)といった要因について取り組まなくてはならない。中でも「位置合わせ」は、ARを実現するための最も基本的でかつ重要な要因といえる。
【0004】
ARにおける位置合わせとは、基本的に観察者の視点(光学シースルー方式の場合)やカメラ(ビデオシースルー方式の場合)の位置や方位などのパラメータを計測・推定することである。これには、大きく2つの方式が用いられる。1つは磁気センサや超音波センサといった3次元位置方位センサを用いる「センサベース」の方式であり、もう1つは主にビデオシースルー方式のARで用いられる「画像ベース」の位置合わせ方式である。
【0005】
【発明が解決しようとする課題】
センサベースの位置合わせ方式は、動作の安定性の面では優れているものの、ARに用いるには精度的に不十分な場合が多い。一方、画像ベースの位置合わせ方式は、融合の対象となる現実の画像情報を位置合わせに直接利用することで、精度の高い位置合わせが可能である。そこには、コンピュータビジョン分野で研究されてきた各種カメラ・キャリブレーションの手法を応用することが考えられる。しかし、ARではリアルタイム処理の制約のもとで各種処理を実装する必要があり、そのようなアルゴリズムではランドマークの抽出/識別処理に誤差が生じやすく、動作が不安定になるという課題を有している。
【0006】
位置あわせについて、従来の手法について説明する。
なお以下では、説明の簡略化のために、カメラ座標系から画像座標系への投影は理想的な透視投影のモデルに基づいて行われていると仮定する。すなわち、画像の歪みや中心のずれ、アスペクト比といった要因は事前に計測されており、画像座標抽出の段階で除去されているものとする。
【0007】
まず、カメラパラメータ推定の基本形について説明する。
3次元空間中のランドマークQi(世界座標QWi = (XWi, YWi, ZWi, 1))が、カメラにより、画像座標qi = (xi, yi)で撮像されたとする。このカメラについて透視投影を仮定すると、この投影は、3×4の変換行列Cによって、
【0008】
【数4】
と表わすことができる。ここでhiは媒介変数である。この(1)式を展開すると、
【0009】
【数5】
が得られる。(2)の第3式から媒介変数hiを消去することができる。また、ランドマークQ i の世界座標値(XWi, YWi, ZWi)は既知であり、そのランドマークに対して画像上で観測座標値(xi, yi)が得られたのであるから、1点のランドマークについての一対の世界座標値と観測座標値は、(2)式の第1と第2の2つの式を与える。
【0010】
行列Cは3×4であるから、この12個の未知数、即ち、行列要素を有する。1つのランドマークは2つの式を与えるから、この行列Cを決定するためには、同一平面上にない6 点以上の(既知の)ランドマーク Q i (i=1,2,...6)が画像上で観察されていればよいことになる。この行列Cをいかに求めるかが、カメラパラメータの推定、すなわち、位置合わせの問題である。
【0011】
奥行き情報を利用してカメラのパラメータを推定することが提案されている。
以下に、奥行き情報を利用してカメラのパラメータを推定する方法を説明する。
式(1)における媒介変数hiは、カメラ座標系におけるランドマークQiの奥行き値ZCiと比例関係にあり、ある定数kを用いて、
【0012】
【数6】
と表わすことができる。また、この比例関係を満たす値であれば、kの値は任意に選ぶことができる。
今、ランドマークQiに対する奥行きの尺度として、
【0013】
【数7】
を満たすような値ziが得られているとする。この場合、ziを式(1)のhiに代入することで、1 点のランドマーク Q i について次の3つの式を得る。
【0014】
【数8】
ここで、同一平面上にない4 点のランドマーク Q i (i=1,2,3,4)の世界座標値が、
(XW1, YW1, ZW1)
(XW2, YW2, ZW2)
(XW3, YW3, ZW3)
(XW4, YW4, ZW4) …(6)
と与えられ、画像座標系で、座標値が、
(x1, y1, z1)
(x2, y2, z2)
(x3, y3, z3)
(x4, y4, z3) …(7)
と観測された場合、
【0015】
【数9】
【0016】
【数10】
と表記すると、式(5)は、
U=C W …(10)
と表わせるので、行列Cは次式によって求められる。
【0017】
C=UW-1 …(11)
ここで、行列W−1は、既知のランドマークの世界座標の組によって表現される行列Wの逆行列であり、予め計算しておくことができる。したがって、カメラパラメータ(C={aij})の推定問題は、従来においては、いかにして行列U、すなわち、4点のランドマークの画像座標(xi, yi)とその奥行きの尺度ziを得るかという問題に帰着する。
【0018】
ランドマークの奥行きの尺度ziを得るには、例えば、Mellor(J. P. Mellor: “Realtime camera calibration for enhanced reality visualization,” Proc. CVRMed ’95, pp.471-475, 1995.)は、ランドマークの見かけの大きさの情報を利用する手法を提案した。
このMellorの手法は、ランドマークの見かけの大きさsiが視点からランドマークまでの距離に反比例することを利用し、こうして得られたsiの逆数1/siを式(6)のziとして用いることで、4点のランドマークを用いた位置合わせを行うものである。
【0019】
このように、カメラパラメータの推定にランドマークの奥行き情報を用いる場合でも、前述したように、4点のランドマークが必要であった。
ランドマークの配置に拘束を課すことによっても、少数のランドマークを用いてカメラパラメータを推定することができる。中沢ら(中沢, 中野, 小松, 斎藤: “画像中の特徴点に基づく実写画像とCG画像との動画像合成システム”, 映像情報メディア学会誌, Vol.51, No.7, pp.1086-1095, 1997.)は、Z=0の平面を利用してカメラパラメータを推定する方法を提案している。即ち、全てのランドマークが世界座標系におけるZ = 0の平面に配置されているという前提に基づいて、4点のランドマークに同一平面上にあるという拘束を課して、カメラパラメータを推定するというものである。また、大隈ら(大隈, 清川, 竹村, 横矢: “ビデオシースルー型拡張現実感のための実画像からのカメラパラメータの実時間推定”, 信学技報, PRMU97-113, 1997. )は、焦点距離を既知とすることで、中沢らの手法をさらに簡略化した位置合わせを実現した。
【0020】
【発明が解決しようとする課題】
しかしながら、上述の3つの先行技術の手法は、いずれも、4点のランドマークを必要とするものであり、リアルタイム処理の点で問題があった。
たしかに、3点のランドマークによる提案(例えば、Fisher)も存在するが、これには煩雑な非線形方程式を解く必要があり、またその解は複数存在するものであり、一意な解を得ることができず、従って、カメラパラメータを決定することはできていなかったといっても過言ではない。
【0021】
本発明は従来技術のこのような欠点に鑑みてなされたもので、その目的は、3点のランドマークから、カメラの位置姿勢を表すカメラパラメータを一意に決定することができる視点位置姿勢の決定方法及びカメラ装置を提案することにある。
【0022】
【課題を解決するための手段】
すなわち、本発明の要旨は、既知の3次元世界座標を有し、同一直線上にない3つのランドマークの画像をカメラを用いて取得し、画像から3つのランドマークの画像座標(x1, y1), (x2, y2), (x3, y3)を夫々取得し、3つのランドマークの奥行き情報z1, z2, z3を夫々取得し、3つのランドマークの夫々について取得された画像座標と奥行き情報から、
【数1】
で表される行列U’を求め、
3つのランドマークの座標をZ=0平面上に拘束した座標(XW1, YW1,0)、(XW2, YW2,0)、(XW3, YW3,0)から、
【数2】
で表される行列W’を求め、
【数3】
で表される、3×3の射影変換行列C’を演算し、この射影変換行列C’と、カメラの焦点距離fとから、3つのランドマークがZ=0平面上に存在する場合の、世界座標系Q Wi =(X Wi , Y Wi , Z Wi , 1 )からカメラ座標系q i =(x i , y i )への3×4の射影変換行列であるカメラパラメータC、
【数4】
( h i は媒介変数)
を求めることを特徴とする視点位置姿勢の決定方法に存する。
【0023】
また、本発明の別の要旨は、既知の3次元世界座標を有し、同一直線上にない3つのランドマークの画像を取得するカメラと、画像から3つのランドマークの画像座標を夫々取得する手段と、3つのランドマークの奥行き情報を夫々取得する手段と、3つのランドマークの夫々について取得された画像座標と奥行き情報から、本発明の視点位置姿勢の決定方法によりカメラパラメータを演算する手段とを具備することを特徴とするカメラ装置に存する。
【0024】
また、本発明の別の要旨は、コンピュータ装置が実行可能なコンピュータプログラムを格納したコンピュータ装置読み取り可能な記録媒体であって、コンピュータプログラムが、既知の3次元世界座標を有し、同一直線上にない3つのランドマークの画像を取得する工程と、画像から3つのランドマークの画像座標(x1, y1), (x2, y2), (x3, y3)を夫々取得する工程と、3つのランドマークの奥行き情報z1, z2, z3を夫々取得する工程と、3つのランドマークの夫々について取得された画像座標と奥行き情報から、
【数1】
で表される行列U’を求め、
3つのランドマークの座標をZ=0平面上に拘束した座標(XW1, YW1,0)、(XW2, YW2,0)、(XW3, YW3,0)から、
【数2】
で表される行列W’を求め、
【数3】
で表される、3×3の射影変換行列C’を演算する工程と、この射影変換行列C’と、カメラの焦点距離fとから、3つのランドマークがZ=0平面上に存在する場合の、世界座標系Q Wi =(X Wi , Y Wi , Z Wi , 1 )からカメラ座標系q i =(x i , y i )への3×4の射影変換行列であるカメラパラメータC、
【数4】
( h i は媒介変数)
を求める工程とを有することを特徴とする記録媒体に存する。
【0034】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明の実施形態を説明する。
本発明の発明者たちは、実施形態の手法を、中沢らの手法を拡張したものとして位置づけている。本実施形態の手法は、3点のランドマークによって位置合わせする、即ち、カメラパラメータの推定を可能にするものである。
【0035】
まず、中沢らの手法を本発明の発明者の観点から体系化する。
〈Z=0平面を利用した推定〉
世界座標系におけるランドマークのZ座標を全て0とすると、ランドマークを画像上で観測する時の投影関係を表わす座標変換行列は、(1)式の行列Cの第3列(Z座標に関する成分)を省略した3x3の行列だけで表現することができる。ここで、この3×3の行列をC’で、また、ランドマーク Q i の世界座標を2次元の同次座標 P wi :(X wi ,Y wi ,1) T で表わすとする。こうすると、ランドマーク Q i の、世界座標系から画像座標系への投影は、(1)式よりも単純化されて、次式のように記述できる。
【0036】
【数14】
この式を展開して、
【0037】
【数15】
が得られる。(13)の第3式を第1式,第2式に代入して媒介変数hiを消去すると、1点のランドマーク(XWi, YWi)について2つの式が得られる。ここで、a34 = 1とすると、行列C’についての未知数がa11, a12, a14, a21, a21, a22, a24, a31, a32という8個となることから、4点以上のランドマーク(XWi, YWi)(i= 1, 2, 3, 4)を観測することで、行列Cを求めることができる。
【0038】
このようにして得られた行列C’から行列Cの第3列成分(a13, a23, a33)を求めることで、カメラパラメータCを推定することができる。行列C’から行列Cを求めることの手順を以下にさらに詳しく説明する。
一般に、世界座標系から画像座標系への座標変換を表わす行列C (3x4)は、カメラの焦点距離をfとすれば、カメラ座標系から画像座標系への透視変換行列P(3x4行列)と、世界座標系からカメラ座標系への座標変換行列M(4x4行列)によって、次式のように記述できる。
【0039】
【数16】
一方、前述の行列C’も同様に、行列Pと、行列Mの第3列を省略した行列M’(4x3)とによって、次式のように記述することができる。
【0040】
【数17】
即ち、行列C’の各要素は上述の如く求まっているので、カメラの焦点距離fが既知であれば、行列M'の各要素はその行列C'から容易に求める事ができる。
また、行列Mの第3列はカメラ座標系のz軸を表わしており、これは、行列Mの(すなわち行列M’の)第1列(x軸)と第2列(y軸)が表わす2つのベクトルに直交するベクトルとして求めることができる。したがって、行列Mは行列M’から推定可能であり、こうして得られた行列Mを式(14)に代入することで、カメラパラメータを表わす行列Cを獲得することができる。即ち、4点のランドマークをZ=0平面に拘束することによって、カメラパラメータCを得ることができる。
【0041】
〈3点によるカメラパラメータ行列Cの推定〉
第1図に示すように、3点のランドマーク (Q i :i=1,2,3)の、世界座標系から画像座標系への投影は、(12)式と同じように、次式のように記述できる。
【0042】
【数18】
この式における媒介変数hiは、カメラ座標系におけるランドマークQiの奥行き値ZCiと比例関係にあり、ある定数kを用いて、
【0043】
【数19】
と表わすことができる。また、この比例関係を満たす値であれば、kの値は任意に選ぶことができる。今、ランドマークQiに対する奥行きの尺度として、
【0044】
【数20】
を満たすような値zi(i=1,2,3)が得られているとする。この場合、ziを式(16)のhiに代入することで、1点のランドマークについて次の3つの式を得る。
【0045】
【数21】
同一直線上にない3点のランドマークを観測した場合、
【0046】
【数22】
【0047】
【数23】
と表記すると、式(16)の関係は、
【0048】
【数24】
と表わすことができるので、行列Cの第3列(Z座標に関する成分)を省略した3x3の行列であるところの、行列C’は
【0049】
【数25】
によって得ることができる。
そして、得られた行列C’からカメラパラメータCを前述の手法と同じように求めることができる。即ち、カメラ座標系から画像座標系への透視変換行列をP(3x4行列)、世界座標系からカメラ座標系への座標変換行列Mを(4x4行列)とすると、
【0050】
【数26】
であり、行列C (3x4)は
【0051】
【数27】
と表すことができ、行列C’も同様に、
【0052】
【数28】
と表すことができる。カメラの焦点距離fが既知であれば、行列M’の要素は、前述したように、行列C’から容易に求めることができる。そして、行列Mの第3列は、行列Mの(すなわち行列M’の)第1列(x軸)と第2列(y軸)が表わす2つのベクトルに直交するベクトルとして求めることができる。したがって、行列Mは行列M’から推定可能であり、こうして得られた行列Mを式(26)に代入することで、カメラパラメータを表わす行列Cを獲得することができる。即ち、3点のランドマークをZ=0平面に拘束することによって、カメラパラメータCを得ることができた。
【0053】
即ち、式(23)の行列W’ −1 は、3点の既知のランドマークの世界座標の組であり、予め計算しておくことができる。したがって、カメラパラメータの推定問題は、行列U’、すなわち、3点のランドマークの画像座標と、その奥行きの尺度ziを求める問題に帰着する。
なお、3点のランドマーク Q i (i=1,2,3)は必ず1つの平面上に存在するが、その平面が、第2図に示すように、世界座標系のZ = 0平面でない場合がある。このような場合でも、その3点Qiのランドマークが配置された平面から、Z = 0平面への座標変換行列N (4x4)は必ず存在し、また容易に求めることができる。したがって、そのような座標変換行列 N によって変換された各ランドマークの世界座標 Q N Wi は、
Q N Wi = NQ wi … (28)
であり、これらの点はZ=0平面上に存在するという要件を満足する。即ち、 Q N Wi からZ成分を取り除いた世界座標 P N Wi を得て、座標 P N Wi (i=1,2,3) について式 (16) 乃至式 (27) を解いて得たカメラパラメータ行列をC(N)とすると、
C = C(N) N …(29)
とすることで、カメラパラメータCが導出される。
【0054】
【実施例】
第3図は、実施例のカメラパラメータ決定装置の構成を示す。この決定装置は、同図に示すように、奥行き推定モジュール100と座標検出モジュール200とパラメータ推定モジュール300とからなる。前述したように、本発明の本質は、3つのランドマークの画像座標と、そのランドマークまでの奥行き情報を得て、式(23)の行列U’を求めることにより、ARにおけるカメラ位置を決定することである。第3図の装置では、奥行き情報を得るために、例えば、三次元位置方位センサ(磁気センサ)と1つ以上のカメラを具備することが可能である。従って、本装置に、三次元センサが接続されているのか否か、あるいは、カメラが何台接続されているのか、あるいは、対象のランドマークがその奥行き情報を得ることができる程度に撮像されているのか否かによっても、本装置の動作は異なる。以下、本装置の動作について、入力装置の種々の形態に従って説明する。
【0055】
尚、実施例の決定装置は、ソフトウエアによってもハードウエアによっても実現可能であり、第3図の構成は一例に過ぎない。
【0056】
〈ステレオによる位置合わせ〉…第1実施例
第1実施例は、第3図の装置が、ランドマークの画像を入力するのにステレオカメラを有する場合におけるカメラパラメータの決定手法である。
【0057】
ビデオシースルー方式のARにおいて観察者の左右の眼に視差画像を提示するためには、HMDにステレオカメラを装着し、それぞれのカメラの映像に対して位置合わせを行う必要がある。第1実施例では、位置合わせの手掛かりとして、この2台のカメラから得られる情報を利用するものである。
ステレオカメラを用いて位置合わせを行う場合、両カメラによって得られた画像間でのランドマークの対応関係を求めることで、ランドマークまでの距離情報ziが得られる。
【0058】
説明を簡単にするために、2台のステレオカメラの光軸が互いに平行で、かつ基線と直交し、画像座標系のx軸と平行なエピポーラ線を持つように正規化されていると仮定する。ランドマークQiが、右画像上の点qR i=(xR i, yR i)として、また、左画像上の点qL i=(xL i, yL i)として観測されたとする(ただし、yR i = yL i)。このとき、第4図に示すように、対応点間の視差di(= xL i - xR i)は、Qiの奥行き値ZCiと反比例の関係にある。
【0059】
【数29】
したがって、3点のランドマークの対応点を得ることによって、行列U’を、
【0060】
【数30】
とおくことで、右カメラのパラメータ、即ち、座標変換行列CRを得ることができる。さらに、
【0061】
【数31】
となることから、左カメラのパラメータ、即ち、座標変換行列CLは、
【0062】
【数32】
として、容易に求められる。ここで、aR jkは右カメラの座標変換行列CRの各要素を表わしている。
尚、ステレオカメラの光軸が互いに平行でなくて、輻輳している場合でも、透視変換行列P (3x4)が既知であり、また、カメラ間の相対位置が与えられていれば、ランドマークQiの右カメラ座標系における奥行き値ZR Ciは、そのステレオ画像上での対応関係から容易に求められる。したがって、行列U’を、
【0063】
【数33】
とおくことで、右カメラの座標変換行列CRが求められる。
〈単眼画像とセンサによる位置合わせ〉…第2実施例
第1実施例は、第3図の装置が、ランドマークの画像を入力するのにステレオカメラを有するシステムに本発明を適用したものであった。第2実施例は、単眼のカメラと三次元位置方位センサを有するシステムに本発明を適用した場合におけるカメラパラメータの決定手法である。
【0064】
画像ベースとセンサベースの位置合わせ手法の相互の欠点を補うために、画像とセンサ双方の情報を用いて位置合わせを行う試みがなされている。これには、画像ベースの位置合わせを安定化させるためにセンサの情報を利用する考え方と、センサベースの位置合わせを主として捉え、その誤差を画像情報によって補正する考え方がある。第2実施例では、センサベースの位置合わせにおける位置ずれを、単眼画像情報を用いて補正する手法を以下に説明する。
【0065】
〈3点が観測されている場合〉…第2-1実施例
画像上で3点のランドマークが抽出されている状況を想定する。前述したように、各ランドマークの奥行き情報が利用可能であれば、その3点のランドマークを用いて式(23)を解くことができる。
ここでは、3次元位置方位センサによって大まかなカメラの位置姿勢情報が利用可能であるので、この情報に基づいて、各ランドマークの奥行き情報を導出する。
【0066】
いま、ランドマークQi(i=1, 2, 3)が、画像上の点qi=(xi, yi)(i=1, 2, 3)として抽出されているとする。このとき、3次元位置方位センサから得られるカメラの位置姿勢MWC(世界座標系からカメラ座標系への4x4の座標変換行列として表現される)によって、ランドマークQiのカメラ座標は、
【0067】
【数34】
と推定できる。このZ成分Z(c) CiをランドマークQiの奥行き情報として利用する。
第5図に示すように、ランドマークQ1, Q2, Q3が画像上で観測されたとする。このとき、行列U’は、各ランドマークの画像座標と、式(35)によって求められる奥行き情報に基づいて、以下のように設定できる。
【0068】
【数35】
この行列U’から求めたカメラパラメータ行列Cは、3次元位置方位センサ出力から求められるカメラパラメータ行列C(c)(=PM(WC))に対して、3点のランドマーク上での位置ずれを除去するような補正が加えられたものとなる。
【0069】
〈2点が観測されている場合〉…第2-2実施例
画像上で2点のランドマークが抽出されている状況を仮定する。この場合、第3のランドマークを仮想的に設定することで、上記と同様にカメラパラメータが推定できる。
第6図に示すように、ランドマークQ1, Q2が観測されたとする。第3の(仮想)ランドマークQ3が、QW1, QW2とは同一直線上にないZ=0平面上の点QW3に存在すると仮定する。ランドマークQ1,Q2,Q3の奥行き値Z(c) Ciを式(35)によって求め、さらに、ランドマークQ3の画像面上への投影座標(x(c) 3, y(c) 3)を次式によって推定する。
【0070】
【数36】
【0071】
【数37】
これらを用いて、行列U’を式(36)のように設定する。
このようにして求めたカメラパラメータ行列Cは、3次元位置方位センサ出力から求められるカメラパラメータ行列に対して、2点のランドマーク上での位置ずれを除去するような補正が加えられたものとなる。
【0072】
〈1点が観測されている場合〉…第2-3実施例
画像上で1点のランドマークが抽出されている状況でも、2点の場合と同様にして仮想のランドマークを2つ想定することで、ランドマーク上での位置ずれが補正できる。
【0073】
〈ステレオと3次元センサによる位置合わせ〉…第3実施例
前述の画像ベースの位置合わせ手法と、センサベースの位置ずれ補正手法を統合する手法を提案する。
前述の手法は、入力された3つのランドマーク(仮想を含む)の画像座標(xi, yi)と奥行き情報Qiから、式(23)における行列U’を求め、これを解くことでカメラパラメータを表わす行列Cを推定するものであった。第3実施例では、これらの手法を統合することで、ステレオカメラとセンサ情報を併用した位置合わせ手法を実現する。この統合は、左右の画像上でのランドマークの抽出状況にしたがって、各ランドマークの奥行き値の推定手法を適応的に切り替えることで実現する。以下、ランドマークの抽出される状況毎に、カメラ座標の推定手法を述べる。
【0074】
〈3点を全て両眼で抽出〉…第3-1実施例
3点を全て両眼で抽出した場合、即ち、3点の全てがステレオカメラで抽出された場合には、その各ランドマークの奥行き値をステレオ情報に基づいて推定する。すなわち、第1実施例(式(30)乃至式(33))の手法をそのまま適用する。
〈2点を両眼で、1点を単眼で抽出〉…第3-2実施例
3点のうち、2点(Q1,Q2)がステレオカメラによって、1点(Q3)を単眼で抽出された場合には、その1点(Q3)の奥行き情報は直ちには求まらない。
【0075】
そこで、2点Q1, Q2の奥行き値ZC1, ZC2を、そのステレオ情報に基づいて推定する。一方、センサ情報に基づいた各ランドマークの奥行き値Z (C) C1 ,Z (C) C2 ,Z (C) C3 を式(35)を用いて推定する。さらに、ランドマークQ i (i=1,2)について、
【0076】
【数38】
を満たす係数k i (i=1,2)を求め、その平均値kavを算出する。この係数kavを用いて、
【0077】
【数39】
によって得られるZC3をQ3の奥行き値として、式(36)から行列U’を求める。
〈1点を両眼で、2点を単眼で抽出〉…第3-3実施例
この場合は、Q1の奥行き値ZC1をステレオ情報に基づいて推定する。一方、センサ情報に基づいた各ランドマークの奥行き値Z(c) C1,Z(c) C2,Z(c) C3を式(35)を用いて推定する。さらに、ランドマークQ1について、
【0078】
【数40】
を満たす係数kavを求め、式(41)と同様にしてQ2,Q3の奥行き値を算出し、式(36)に代入して行列U’を求める。
【0079】
〈2点を両眼で抽出〉…第3-4実施例
この場合には、Q1,Q2の奥行き値ZC1,ZC2をステレオ情報に基づいて推定し、センサ情報に基づいた奥行き値Z(c) C1,Z(c) C2から係数kavを算出する。さらに、第2実施例と同様の手法を用いて、第3の(仮想)ランドマークQ3の画像座標(x(c) 3, y(c) 3)と奥行き値Z(c) C3を推定し、式(41)によって得られるZC3をQ3の奥行き値とする。これらの値を式(36)に代入して行列U’を求める。
【0080】
〈1点を両眼で、1点を単眼で抽出〉…第3-5実施例
Q1の奥行き値ZC1をステレオ情報に基づいて推定し、センサ情報に基づいた奥行き値Z(c) C1から係数kavを算出する。また、センサ情報に基づいて、 Q 2 の奥行き値 Z (c) C2 と、第 3 の(仮想)ランドマーク Q 3 の画像座標 (x (c) 3, y (c) 3 ) と奥行き値 Z (c) C3 を推定し、式 (40) によって Q 2 , Q 3 の奥行き値を算出する。これらの値を式 (36) に代入して行列U’を求める。
【0081】
〈1点を両眼で抽出〉…第3-6実施例
Q1のカメラ座標QC1をステレオ情報に基づいて推定し、第2-3実施例の手法によってカメラ位置を補正する。
【0082】
〈ステレオ情報が得られない場合〉…第3-7実施例
ステレオ情報が得られない場合とは、m点を単眼で抽出した場合であり、各ランドマークの奥行き値を、センサ情報に基づいて推定する。すなわち、第2実施例の手法をそのまま適用する。
【0083】
〈処理選択の制御〉
前述したように、本発明のカメラパラメータの決定装置は、装着されているセンサもしくはカメラの有無や数によって処理が異なる。また、センサもしくはカメラに変更がなくとも、画像として検出されたランドマークの数によっても、第1実施例乃至第3実施例のいずれかの形態をとることが適応的に要求される。この選択は、例えばパラメータ推定モジュール300が行う。
【0084】
即ち、モジュール300は、決定装置にいかなるデバイスが装着されているかを不図示のインタフェースを介して知ることができる。デバイスの種類/数などを知ったならば、モジュール300は、座標検出モジュール200に問い合わせて、現在カメラから取り込んでいる画像中にいくつのランドマークが捕捉されているかを調べる。その結果、奥行き推定モジュール100に対して、処理アルゴリズム(第1実施例乃至第3実施例)の切り換え命令を発する。
【0085】
〈実験結果〉
以上の位置合わせ手法の有効性を評価するための実験を行った。実験には、6自由度の磁気方位センサ(Polhemus社Fastrak)と小型カラーCCDカメラ(ELMO社MN-421)2台を装着したHMDを使用した。提示映像の生成には、左右の映像それぞれに対して1台のSiliconGraphic社製ワークステーションO2を使用した。またランドマーク追跡の画像処理は、PCに搭載した2台の日立製画像処理ボードIP5005によって行った。カメラからの映像はO2と画像処理ボードに分岐入力し、PCからO2へのデータ転送はイーサネットでのパケット通信によって行った。
【0086】
現実空間のランドマークとして、世界座標の既知な複数の点に赤色のマークを設置した。あらかじめ設定したマーク色の(YUV空間における)存在範囲にしたがって、画像処理ボードは入力画像に二値化、ラベリング処理を施し、各クラスタの重心の座標をビデオレートで抽出する。抽出された座標データはO2に転送され、センサ情報から得られる各ランドマークの予測観測位置との比較により、ランドマークの同定が行われる。
【0087】
構築したシステムにおける提示画像の更新レートは平均10Hzであった。磁気センサのみを用いた場合の更新レートも同じく10Hzであり、位置合わせのための演算がシステム全体のパフォーマンスに与える影響は、ほとんど無視できる程度のものであることが確認された。
提案した手法の定量的評価を行うために、同一の状況に対していくつかの位置合わせアルゴリズムを適用し、位置ずれの変化を計測した。位置ずれの計測は、ランドマーク以外に3次元位置の既知な基準点を多数用意して、ランドマークや基準点の各点での位置ずれの大きさの平均値を算出することで行った。実験は、 (a)3点両眼、
(b)2点両眼+1点単眼、
(c)1点両眼+2点単眼、
(d)3点単眼、
(e)2点両眼、
(f)1点両眼+1点単眼、
(g)2点単眼、
(h)1点両眼、
(i)1点単眼のランドマーク情報と3次元位置方位センサ情報を併用した場合と、
(j)3次元位置方位センサのみを用いた場合
について行った。
【0088】
実験に使用した入力画像(データA:右眼画像)を第8図に、上記(a),(d),(e),(j)の各条件での実験の融合結果を第9図乃至第12図に示す。図中“□”印は抽出されたランドマーク位置を示す。仮想物体としては、現実の立方体に対してそのワイヤーフレームモデルのCG図形を重畳して表示した。各条件での誤差の値を第13図に示す。第13図乃至第15図中、横軸が上記(a)乃至(j)の手法、縦軸が発生した位置ずれを示している。さらに、観測対象とHMD、磁気センサのエミッタとの位置関係を変化させながら同様の実験を行った結果を第14図乃至第15図に示す。データBはHMDをエミッタから遠く、観測対象により近い位置に、データCはHMDを観測対象から離れた位置に設置した場合の結果である。
単眼のみを用いる手法を比較すると、3点の特徴点を用いる手法(d)はいずれも高い精度で位置合わせが可能であり、2点(g)、1点(i)の位置ずれ補正によっても、補正を行わない場合(j)に比べ格段の精度の向上が得られていることがわかる。
【0089】
また、ステレオの情報による位置合わせの効果を見ると、データA(第13図),データC(第15図)では、1点の場合(h)を除いて、ステレオの情報を用いない場合のほうが誤差が小さいという結果となった。これは、既知として与えたカメラ間の相対位置や画像処理による特徴点抽出の誤差の影響と考えられる。一方、データBの状況においては、ステレオの情報を用いることで、位置合わせ精度が向上していることがわかる。これは、ステレオによる距離情報推定の精度がカメラから物体までの距離と反比例の関係にあり、観察対象が近くに存在するデータBの状況においてはステレオ画像処理による距離情報の精度が比較的良かったためであると想像される。
【0090】
〈ソフトウエアとしての組み込み〉
本決定装置は、カメラの視点位置を精度よく検出して、その検出された視点での座標変換パラメータ、即ち、カメラパラメータを出力するものである。カメラパラメータの出力は、座標変換行列Cの行列要素を出力することに他ならない。この座標変換行列Cの行列要素の決定・出力をソフトを用いて行うときは、その決定のための処理ルーチンは、ARもしくはMRのためのアプリケーション・プログラムに組み込むことも可能であるが、HMD本体内もしくはカメラ本体内にROMとして組み込んでもよい。行列要素の決定処理はユーザ側よりもHMD装置や位置姿勢センサのメーカ側が開発した方が好都合だからである。
【0091】
また、パソコンやワークステーションに適用するときは、ドライバソフトウエアとして組み込む。
〈実施形態及び実施例の効果〉
本明細書では、現実空間と仮想空間の融合技術に関連して、ステレオカメラと3次元センサを併用した位置合わせ手法を提案した。この手法により、センサベースと画像ベースの位置合わせ手法を同一の枠組みで扱うことが可能となった。
【0092】
第2実施例,第3実施例に述べた手法は、画像処理によって得られる情報が、常に最も信頼性が高いという前提に基づいている。しかし、実験結果からも明らかなように、ステレオによって得られる距離情報の精度は、ランドマークまでの距離と依存関係にある。一方、3次元位置方位センサの精度は、センサ固有の計測範囲にしたがって変化する。今後はこのような画像処理およびセンサの特性にしたがって、情報の信頼性を評価し、それに応じて最適な解を選択するような位置合わせ手法を検討することが重要といえる。
【0093】
また、本手法によって求められる座標変換は座標軸の直交性を保持していないため、仮想空間に不自然な変形が施される場合がある。このような状況への対処も今後の課題といえる。
【0094】
【発明の効果】
以上説明したように、本発明によれば、3つのランドマークによって、位置姿勢を正確に検出することができる。
【図面の簡単な説明】
【図1】 実施形態に位置姿勢検出装置において、1つの視点と3つのランドマークとの配置関係を説明する図。
【図2】 Z=0でない任意の平面に一般化したときの補正の手法を説明する図。
【図3】 実施形態の装置の構成を説明する図。
【図4】 2つの視点位置と1つのランドマークとの関係を説明する図。
【図5】 ランドマークを3点用いる場合におけるカメラパラメータを決定する原理を説明する図。
【図6】 ランドマークを2点を用い、一点を仮想する場合におけるカメラパラメータを決定する原理を説明する図。
【図7】 ランドマークを1点用い、2点を仮想する場合におけるカメラパラメータを決定する原理を説明する図。
【図8】 本発明の実施例を用いた実験に用いられた物体の斜視図。
【図9】 3点のランドマークをステレオカメラを用いて行った実験で実験対象物の上に仮想図形とが重なって表示されることを説明する図。
【図10】 3点のランドマークを、単眼カメラと三次元センサとを用いて行った実験で実験対象物の上に仮想図形とが重なって表示されることを説明する図。
【図11】 2点のランドマークを、ステレオカメラと三次元センサとを用いて行った実験で実験対象物の上に仮想図形とが重なって表示されることを説明する図。
【図12】 三次元センサのみを用いて行った実験で実験対象物の上に仮想図形とが重なって表示されることを説明する図。
【図13】 データAについて、条件a乃至jと変えていったときの夫々において発生した位置ずれを説明する図。
【図14】 データBについて、条件a乃至jと変えていったときの夫々において発生した位置ずれを説明する図。
【図15】 データCについて、条件a乃至jと変えていったときの夫々において発生した位置ずれを説明する図。
Claims (8)
- 既知の3次元世界座標を有し、同一直線上にない3つのランドマークの画像をカメラを用いて取得し、
前記画像から前記3つのランドマークの画像座標(x1, y1), (x2, y2), (x3, y3)を夫々取得し、
前記3つのランドマークの奥行き情報z1, z2, z3を夫々取得し、
前記3つのランドマークの夫々について取得された画像座標と奥行き情報から、
前記3つのランドマークの座標をZ=0平面上に拘束した座標(XW1, YW1,0)、(XW2, YW2,0)、(XW3, YW3,0)から、
この射影変換行列C’と、前記カメラの焦点距離fとから、前記3つのランドマークがZ=0平面上に存在する場合の、世界座標系Q Wi =(X Wi , Y Wi , Z Wi , 1 )からカメラ座標系q i =(x i , y i )への3×4の射影変換行列であるカメラパラメータC、
を求めることを特徴とする視点位置姿勢の決定方法。 - 前記3つのランドマークの奥行き情報を、単眼カメラと該カメラに設けられた位置姿勢センサの出力とに基づいて検出することを特徴とする請求項1に記載の視点位置姿勢の決定方法。
- 前記カメラはステレオカメラであり、
前記3つのランドマークの奥行き情報を、前記ステレオカメラによって撮影された画像と三次元位置姿勢センサの出力とによって求めることを特徴とする請求項1に記載の視点位置姿勢の決定方法。 - 前記カメラはステレオカメラであり、
前記3つのランドマークの奥行き情報を、前記ステレオカメラによって撮影された画像から求めることを特徴とする請求項1に記載の視点位置姿勢の決定方法。 - 前記奥行き情報を、前記ステレオカメラによって撮影された画像の対応点間の視差情報から求めることを特徴とする請求項4に記載の視点位置姿勢の決定方法。
- 前記画像から前記3つ全てのランドマークの画像座標を取得できない場合は、該取得できないランドマークの画像座標および奥行き情報を推定することを特徴とする請求項1に記載の視点位置姿勢の決定方法。
- 既知の3次元世界座標を有し、同一直線上にない3つのランドマークの画像を取得するカメラと、
前記画像から前記3つのランドマークの画像座標を夫々取得する手段と、
前記3つのランドマークの奥行き情報を夫々取得する手段と、
前記3つのランドマークの夫々について取得された画像座標と奥行き情報から、請求項1記載の方法により前記カメラパラメータを演算する手段とを具備することを特徴とするカメラ装置。 - コンピュータ装置が実行可能なコンピュータプログラムを格納したコンピュータ装置読み取り可能な記録媒体であって、前記コンピュータプログラムが、
既知の3次元世界座標を有し、同一直線上にない3つのランドマークの画像を取得する工程と、
前記画像から前記3つのランドマークの画像座標(x1, y1), (x2, y2), (x3, y3)を夫々取得する工程と、
前記3つのランドマークの奥行き情報z1, z2, z3を夫々取得する工程と、
前記3つのランドマークの夫々について取得された画像座標と奥行き情報から、
前記3つのランドマークの座標をZ=0平面上に拘束した座標(XW1, YW1,0)、(XW2, YW2,0)、(XW3, YW3,0)から、
この射影変換行列C’と、前記カメラの焦点距離fとから、前記3つのランドマークがZ=0平面上に存在する場合の、世界座標系Q Wi =(X Wi , Y Wi , Z Wi , 1 )からカメラ座標系q i =(x i , y i )への3×4の射影変換行列であるカメラパラメータC、
を求める工程とを有することを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20830798A JP3976900B2 (ja) | 1998-07-23 | 1998-07-23 | 視点位置姿勢の決定方法及びカメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20830798A JP3976900B2 (ja) | 1998-07-23 | 1998-07-23 | 視点位置姿勢の決定方法及びカメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000041173A JP2000041173A (ja) | 2000-02-08 |
JP3976900B2 true JP3976900B2 (ja) | 2007-09-19 |
Family
ID=16554096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20830798A Expired - Fee Related JP3976900B2 (ja) | 1998-07-23 | 1998-07-23 | 視点位置姿勢の決定方法及びカメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3976900B2 (ja) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4140159B2 (ja) * | 2000-01-19 | 2008-08-27 | 株式会社明電舎 | 監視カメラの監視エリア設定装置及びその方法 |
US6552698B1 (en) * | 2000-05-02 | 2003-04-22 | Agilent Technologies, Inc. | Immersive display system |
JP2003050107A (ja) * | 2001-08-07 | 2003-02-21 | Matsushita Electric Ind Co Ltd | カメラ校正装置 |
US6956503B2 (en) | 2002-09-13 | 2005-10-18 | Canon Kabushiki Kaisha | Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method |
JP4532856B2 (ja) * | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
EP1521213A3 (en) | 2003-09-30 | 2006-08-30 | Canon Kabushiki Kaisha | Index identification method and apparatus |
JP2005107247A (ja) | 2003-09-30 | 2005-04-21 | Canon Inc | 位置姿勢推定方法および装置 |
JP4522140B2 (ja) | 2004-05-14 | 2010-08-11 | キヤノン株式会社 | 指標配置情報推定方法および情報処理装置 |
JP4532982B2 (ja) | 2004-05-14 | 2010-08-25 | キヤノン株式会社 | 配置情報推定方法および情報処理装置 |
JP4599184B2 (ja) * | 2005-02-02 | 2010-12-15 | キヤノン株式会社 | 指標配置計測方法、指標配置計測装置 |
JP4562183B2 (ja) * | 2005-04-01 | 2010-10-13 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
EP1739622B1 (en) | 2005-06-28 | 2013-08-14 | Canon Kabushiki Kaisha | Image feature identification with two cameras |
JP4574473B2 (ja) | 2005-07-11 | 2010-11-04 | キヤノン株式会社 | 情報処理装置および方法 |
JP4739004B2 (ja) | 2005-12-15 | 2011-08-03 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP5084167B2 (ja) | 2006-03-31 | 2012-11-28 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
JP4926817B2 (ja) | 2006-08-11 | 2012-05-09 | キヤノン株式会社 | 指標配置情報計測装置および方法 |
JP5036260B2 (ja) | 2006-09-14 | 2012-09-26 | キヤノン株式会社 | 位置姿勢算出方法及び装置 |
JP4810403B2 (ja) * | 2006-11-08 | 2011-11-09 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP5196825B2 (ja) | 2007-03-29 | 2013-05-15 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP4886661B2 (ja) * | 2007-11-12 | 2012-02-29 | 日本放送協会 | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
JP4900277B2 (ja) * | 2008-02-20 | 2012-03-21 | コニカミノルタホールディングス株式会社 | 頭部装着式映像表示装置 |
US9275078B2 (en) * | 2013-09-05 | 2016-03-01 | Ebay Inc. | Estimating depth from a single image |
WO2016208404A1 (ja) * | 2015-06-23 | 2016-12-29 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
KR102135672B1 (ko) * | 2018-02-13 | 2020-07-20 | 코가플렉스 주식회사 | 자율 주행 장치 및 방법 |
CN109658461B (zh) * | 2018-12-24 | 2023-05-26 | 中国电子科技集团公司第二十研究所 | 一种基于虚拟仿真环境的合作二维码的无人机定位方法 |
EP3798986A1 (en) * | 2019-09-27 | 2021-03-31 | Apple Inc. | Location aware visual markers |
-
1998
- 1998-07-23 JP JP20830798A patent/JP3976900B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000041173A (ja) | 2000-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3976900B2 (ja) | 視点位置姿勢の決定方法及びカメラ装置 | |
EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
US11025889B2 (en) | Systems and methods for determining three dimensional measurements in telemedicine application | |
EP1596329B1 (en) | Marker placement information estimating method and information processing device | |
JP4532856B2 (ja) | 位置姿勢計測方法及び装置 | |
JP3745117B2 (ja) | 画像処理装置及び画像処理方法 | |
State et al. | Superior augmented reality registration by integrating landmark tracking and magnetic tracking | |
JP4757142B2 (ja) | 撮影環境校正方法及び情報処理装置 | |
CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
US8928736B2 (en) | Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program | |
JP5872923B2 (ja) | Ar画像処理装置及び方法 | |
JP2874710B2 (ja) | 三次元位置計測装置 | |
WO2012039043A1 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
US9615081B2 (en) | Method and multi-camera portable device for producing stereo images | |
KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
JP2003281504A (ja) | 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム | |
CN110675436A (zh) | 基于3d特征点的激光雷达与立体视觉配准方法 | |
JP2003269913A (ja) | センサ較正装置、センサ較正方法、プログラム、記憶媒体 | |
JP3450792B2 (ja) | 奥行き画像計測装置及び方法、並びに複合現実感提示システム | |
JP3842988B2 (ja) | 両眼立体視によって物体の3次元情報を計測する画像処理装置およびその方法又は計測のプログラムを記録した記録媒体 | |
US20180061135A1 (en) | Image display apparatus and image display method | |
JP2013120150A (ja) | 人間位置検出システム及び人間位置検出方法 | |
JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
KR20190048738A (ko) | 증강현실용 컨텐츠 제공 장치 및 방법 | |
CN112017138B (zh) | 一种基于场景三维结构的图像拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040319 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20040324 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20040416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070515 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |