JPH06129851A - ステレオカメラの校正方法 - Google Patents

ステレオカメラの校正方法

Info

Publication number
JPH06129851A
JPH06129851A JP30167192A JP30167192A JPH06129851A JP H06129851 A JPH06129851 A JP H06129851A JP 30167192 A JP30167192 A JP 30167192A JP 30167192 A JP30167192 A JP 30167192A JP H06129851 A JPH06129851 A JP H06129851A
Authority
JP
Japan
Prior art keywords
camera
cameras
straight line
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP30167192A
Other languages
English (en)
Inventor
Takeshi Kawamura
武司 川村
Shinya Uemachi
新也 上町
Takehiko Kikuchi
武彦 菊池
Takeshi Ishibashi
武 石橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Tokyo Electric Power Company Holdings Inc
Original Assignee
Tokyo Electric Power Co Inc
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Electric Power Co Inc, Sumitomo Electric Industries Ltd filed Critical Tokyo Electric Power Co Inc
Priority to JP30167192A priority Critical patent/JPH06129851A/ja
Publication of JPH06129851A publication Critical patent/JPH06129851A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)

Abstract

(57)【要約】 【目的】 ステレオカメラの2台のカメラの位置方向を
校正するため従来はカメラ間の距離や、カメラと物体の
距離などを測定しなければならなかった。しかし距離測
定は必ずしも可能ではない。距離測定を行うことなくカ
メラの校正を行いうる方法を提供する。 【構成】 6つの異なる位置にある観測点を二つのカメ
ラで撮像し同一点を対応させ、同一点に対するカメラ
1、カメラ2の結像面での位置座標を求め、カメラ2の
レンズ中心とある観測点を結ぶ直線とカメラ結像面の延
長面との交点Kと、この直線の無限遠のカメラ1におけ
る像である消失点Eとを結ぶ直線KE上に観測点の像D
があることから、直線KDEの式を作り、異なる6つの
観測点に対する6つの直線の式を同様に作成して、これ
を連立させて解き、三次元的な相対位置と光軸の相対的
な方向角を求める。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明はステレオカメラの位置
方向の決定方法に関する。ステレオカメラというのは2
台のカメラを異なる位置に於いて両者によって対象物を
立体的に撮像しこれの位置を決定できるようにしたもの
である。例えば三角測量のような手法は古くから用いら
れている。
【0002】カメラ間に引いた直線を基線という。カメ
ラ間の距離と対象物までに引いた直線と基線とのなす角
が分かれば対象物の位置が決まる。カメラは対象物の位
置決定の原点ともなるべきものであるからその位置を確
定しておくことが必要である。カメラ位置はこのように
距離測定の基本となるものであるから、カメラ位置の決
定は特に校正(較正)といっている。
【0003】従来はカメラの相対的位置が既知としてお
り、2台のカメラを結ぶ基線は固定してあり、カメラの
相対回転の軸は平行であるというように厳しい拘束条件
が課せられた。しかしカメラによる距離、位置の測定の
応用範囲が拡がるにつれて使用される条件も厳しくなっ
てくる。実験室の中であれば2台のカメラの相対位置を
厳密に決めることは容易である。
【0004】しかし屋外での測定に使うこともある。2
つのカメラの間に邪魔になる物体がある場合相対位置方
向を直接的に決めるのが難しい。また従来はカメラの回
転の方向を同一にするなどの条件を課していたが2つの
カメラが離れるに従って回転方向に制限を加えるという
ようなことができなくなる。また2つのカメラの設置位
置が遠く離れていることもあり距離を容易に測れないこ
とがある。このような場合でもカメラの相対的な位置関
係を決めることができるようにしたい。
【0005】
【従来の技術】2台のカメラの位置関係の校正を行うた
めにはカメラ間の距離を測定する必要があった。距離D
が分かり基線が分かれば相対位置が完全に決まる。カメ
ラ間の距離測定が最も簡単である。あとは基線に対する
カメラの傾きを求めれば良いがこれは一つの対応点を2
つのカメラで見て画像上でどのような位置にあるかとい
うことで角度を知ることができる。但しカメラ間隔を外
部手段によって測定しても、これはカメラのケ−ス間の
距離を測定したものである。撮像部であるCCDがケ−
スに対してどのような位置にあるかが分からなければ撮
像部の位置を決定できない。カメラケ−スにどのような
精度でCCDが取り付けられているか分からないことが
ある。間隔が分かったからといって厳密にカメラの位置
関係が求まらないこともある。
【0006】ところがカメラ間の距離を測ることができ
ない場合がある。この場合は幾つかの対応点を2つのカ
メラで見て相対的な角度を求めることが必要である。そ
れだけでなくカメラから対応点までの距離測定が必要で
ある。つまり対象物をP、カメラをC1 、C2 とする
と、距離C12 、PC1 、PC2 の何れかが実際に測
定されなければならなかった。これは当然のことでどこ
かで距離を測らなければならない。しかし周りの環境に
より距離測定はできないことがある。たとえ可能でも短
時間ではできないということもある。
【0007】高橋,富田”ステレオカメラのセルフキャ
リブレ−ション”コンピュ−タビジョン,63−5,p
1(1989.11.16)
【0008】において高橋らは2台のカメラの距離を2
aとして、カメラの方向の校正を行う方法を提案してい
る。ある対応点を2つのカメラで観察し画像上の位置を
求めてカメラの方向を求めるのである。これはカメラ間
距離が既知であるので可能な方法である。カメラ間隔が
未知であっても、角度変数は分かる。しかし距離が分か
らないと、全てのカメラ間パラメ−タを求めることがで
きない。
【0009】笠井、旭、吉森、辻”ポジションセンサを
用いた3次元運動計測システム”,計測自動制御学会論
文集,第19巻,第12号,p62(1983)
【0010】において笠井らは2つのカメラを使うが、
一つ一つ単独に位置を校正できるようにしたシステムを
提案している。これは発光体(LED)を線上に並べて
おきこれをある空間座標の3軸に沿って動かしカメラで
の像の動きの方向を調べ座標のカメラに対する像を求め
る。さらに空間座標が既知の点を幾つか取ってこれの像
の位置を求め、始めの空間座標の原点とカメラとの距離
を求めさらにカメラの傾き角を求める。これは左右のカ
メラについて独立に行うことができる方法である。しか
しこれは位置座標が既知の点を幾つも必要とし実際には
実行し難い方法である。また線上の発光体を動かすとい
う面倒な操作も必要である。
【0011】
【発明が解決しようとする課題】このようにカメラ位置
の校正を行うには従来必ずカメラとカメラの距離あるい
はカメラと物体との距離が既知であることが必要であっ
た。そうでなければカメラ位置を求めることができな
い。しかし2つのカメラ間距離が機械的手段によって固
定されているというのではステレオカメラの設置場所が
限定される。中間に遮蔽物がある時などは用いることが
難しい。
【0012】またカメラ間距離を限定せずカメラ間距離
を実測するというふうにしても常に迅速にカメラ間の距
離が測定できるという訳ではない。カメラにとって最も
得意なのは角度の測定であるから相対的な角度の測定は
容易迅速に行いうるが距離測定は容易でない。
【0013】しかしこれまでにも説明したように、何処
かで距離の測定をしなければならない。カメラによる対
応点の相対角度の測定だけでは絶対的な尺度が分からな
い筈である。これは三角形の形状を決めるために、2角
と1辺の長さが分からなくてはいけないという幾何学的
原理に基づくものである。従来法はいずれも何の疑いも
なく何れかに於いて距離測定を行っている。少なくとも
一つの距離測定をしなければ尺度が決まらないからであ
る。
【0014】距離測定を全く行う事なく、2つのカメラ
の位置角度を迅速に校正できる方法を提供することが本
発明の目的である。距離測定を含まないので真に画期的
なものである。
【0015】
【課題を解決するための手段】本発明のステレオカメラ
の校正方法は、2台のカメラ1、カメラ2が離隔して配
置され、レンズ中心間の三次元的な相対位置x12
12、z12と光軸の相対的な方向角α、β、γが未知で
ある時にカメラ間距離を測定することなく、相対位置、
相対方向角を求めるステレオカメラの校正方法であっ
て、6つの異なる位置にある観測点P1 、P2 、・・、
j 、・・・を二つのカメラで撮像し同一点を対応さ
せ、同一点に対するカメラ1、カメラ2の結像面での位
置D1 、D2 、・・、Dj 、・・・、A1 、A2 、Aj
・・の座標(x1j*,y1j*)、(x2j*,y2j*)を
求め、カメラ2のレンズ中心Bとある観測点Pj を結ぶ
直線Pj Bと、カメラ結像面の延長面との交点をKj
この直線の無限遠Wj のカメラ1における像である消失
点Ej とを結ぶ直線Kjj 上に観測点Pj の像Dj
あり、消失点Ej はカメラ2での座標(x2j*,y
2j*)と角度パラメ−タα、β、γとによって決まり、
直線と結像面の交点Kj はカメラ2での座標(x2j*,
2j*)と角度パラメ−タα、β、γと三次元的相対位
置x12、y12、z12とによって決まり、像Dj がカメラ
1の座標(x1j*,y1j*)で与えられることから、直
線Kjjj の式を作り、異なる6つの観測点に対す
る6つの直線の式を同様に作成して、これを連立させて
解き、三次元的な相対位置x12、y12、z12と光軸の相
対的な方向角α、β、γを求めて、2台のカメラの位置
角度を校正することを特徴とする。
【0016】
【作用】始めにカメラの空間的な位置を表すための簡便
な座標について説明する。図1はこれを示す。カメラの
光学系を考える場合通常の右手系ではなく左手系を使う
のが慣例である。ここでも左手系の座標を使っている。
そして光軸がZ軸になっていて、レンズから物体に向か
う方向がZ軸の正の方向である。こうしたときに物体面
において横にX軸、縦にY軸が対応する。このような座
標が直観的に便利であるから左手系を使うのである。
【0017】レンズの中心に座標の中心を考えるとす
る。レンズの前方に物体があり、後方に実際の結像面が
ある。そして何分の1にも縮小された倒立の実像が結像
するのである。物体から出た光が全てレンズの中心を通
るのであるから倒立の実像ができる。レンズと物体P迄
の距離をa、レンズと結像面との距離をbとして、良く
知られたレンズの公式
【0018】 (1/a)+(1/b)=(1/f) (1)
【0019】が成り立つ。倍率Hは(a/b)であるか
ら、焦点距離fとレンズと物体との距離aとを用いて表
現すると、(a/f)−1となる。そこで物体の座標を
(X,Y,Z)とすると、画面上での像は(−X/H,
−Y/H,−Z/H)となる。但し−Z/H=−bであ
る。物体と像は相似であって位置と大きさが異なるだけ
である。ただしここではレンズの収差などは無視してお
り理想的なカメラと仮定している。最も単純な光学系と
する。
【0020】そうだとすれば倒立の実像というのはいか
にも考え難く、像の座標にマイナスの符号を付けるのは
面倒であるし間違い易い。どのみち相似であるのである
からマイナス符号を付けず、正立の実像として取り扱う
とより直観的になるし間違いも少ないし式も単純化され
る。そこでレンズの後に像ができるのではなく、レンズ
の前の仮想結像面Qに正立虚像ができるものと仮定す
る。すると物体も像もレンズの前方に存在し相似関係が
より単純になる。しかし実際に前方に像ができているの
ではない、これは単なる計算の便法である。
【0021】こうすると物体と像とは殆ど同じと考えて
良いのである。カメラであるのでレンズ中心からでる直
線は角度は決まるが距離は決まらない。この直線上の点
はカメラから見て区別がつかない。
【0022】像の大きさについても決めておかなくては
ならない。どうきめても良いのであるが、仮想結像面が
レンズの前にあるので成立虚像があるとした幾何学的配
置を採用し(1)式でbが負で焦点距離fが負であると
考えて、
【0023】 (1/a)−(1/b)=−(1/f) (2)
【0024】が成り立ち、倍率H=(a/b)=(a/
f)+1とする。倍率については後にも説明する。
【0025】ところが倍率というものが距離測定のため
には役に立たない。どうしてかというと、ここで考えて
いるカメラは近くの点から無限遠まで等しく結像できる
ものなのである。z(つまりa)が決まらないので倍率
が分からない。(1)の結像条件を満たさないものはぼ
けるはずであるがここではそのようなことは考慮せずど
の点も等しく結像するものとしている。
【0026】仮想結像面において像を考えることにする
と縮小光学系の式が簡単になる。図2はステレオカメラ
の座標関係を説明するものである。カメラ1とカメラ2
とがある。レンズの中心がそれぞれのカメラの座標原点
である。カメラ1のレンズ中心O1 を全体の空間座標の
中心O1 (0,0,0)とする。仮想結像面がZ軸に垂
直でZ軸は仮想結像面の中心を通るものとする。この座
標系での座標には添え字1を付す。(x1 ,y1 ,z
1 )である。物体点P(x,y,z)をこの座標系によ
って表現することができる。物体Pのカメラ1の仮想結
像面における像をDとする。これは(x1 *,y1 *)
と書く。ただし*は記号の添え字であるがこれは1/4
角にできないので記号の右横に付けて示す。図面では添
え字として示されている。
【0027】仮想結像面の上での像であるからz方向の
座標は定数である。これは先述のようにほぼ焦点距離f
に等しい。倍率は式の上では、1+z/fである。しか
し実際は−1+z/fである。これについてはすでに説
明した。しかし簡単のためz方向の座標は0として扱う
場合が多い。ひとつには全ての画像点について共通であ
るからである。また後には仮想結像面に原点を置く座標
に代わってゆくからである。
【0028】カメラ2のレンズ中心がO2 でありその前
方に仮想結像面がある。O2 を中心とする座標系は添え
字2を付けて、(x2 ,y2 ,z2 )とする。仮想結像
面がZ軸に垂直であり仮想結像面の中心をZ軸が通るよ
うに決める。物体Pの第2の仮想結像面における像Aの
座標は(x2 *,y2 *)と書く。
【0029】孤立した二つの座標系O1 、O2 がある。
この間の関係を求めることが本発明の目的であると言え
る。O1 、O2 のいずれを基準にしても良いのである
が、これらの座標系は平行移動と座標軸の廻りの回転に
よって重ねることができる。平行移動分は原点O1 、O
2 の差に等しい。これは座標系O1 で表現したO2 の座
標(x12,y12,z12)そのものである。
【0030】もう一つは回転である。これは3つの主軸
まわりの回転角で表すことができる。平行移動によって
2 をO1 に重ねて次にX、Y、Z軸廻りに座標系O2
を回転して完全にO1 に重ねることができる。回転に関
しては、順序を交換すると結果が異なってくる。つまり
回転演算は交換可能でない。さらに平行移動と回転も交
換可能でない演算である。従って演算の順序に注意しな
ければならない。
【0031】[平行移動] 先ず平行移動について図3
によって説明する。ある座標系O−XYZを平行移動し
た別の座標系O′−X′Y′Z′を考える。移動量をX
0 、Y0 、Z0 とする。二つの座標系で同一の点を表す
とこれらの間には次のような関係がある。
【0032】 X′=X−X0 ,Y′=Y−Y0 、Z′=Z−Z0 (3)
【0033】このようなことは良く知られたことである
が念のために説明する。平行移動によりふたつの座標系
の原点を重ねることができる。
【0034】[回転] つぎに直交座標系での回転につ
いての変換を考える。回転の方向については図4に示す
ように、回転軸の周りに時計廻りを正として回転角を定
義する。ここではX軸廻りのαの回転を示している。通
常の座標系では反時計廻りに回転を考えるが、ここでは
左手系の座標系を考えているから回転の方向が時計廻り
になるのである。具体的な式表現を与える。これも良く
知られている公式であるが念のために導出する。
【0035】[X軸廻りの回転] 図5によってX軸廻
りの角度αの回転を考える。ある座標系O−XYZをα
だけ回転して別の座標系O−X′Y′Z′を得たとす
る。図に示したように、
【0036】 X′=X (4) Y′= Ycos α+Zsin α (5) Z′= −Ysin α+Zcos α (6) となりこれを行列式で書くと、
【0037】
【数7】
【0038】となる。
【0039】[Y軸廻りの回転] 図6によってY軸廻
りの角度βの回転を考える。前例と同じような座標系に
対して、
【0040】 X′=Xcos β −Zsin β (8) Y′= Y (9) Z′=Xsin β +Zcos β (10)
【0041】これを行列式で書くと、
【0042】
【数11】
【0043】[Z軸廻りの回転] 図7によってZ軸廻
りの角度γの回転を考える。前例と同じような座標系に
対して、
【0044】 X′= Xcos γ+Ysin γ (12) Y′=−Xsin γ+Ycos γ (13) Z′= Z (14)
【0045】これを行列式で書くと、
【0046】
【数15】
【0047】となる。
【0048】[一般の回転]これらの回転を組み合わせ
れば全ての回転を記述できる。回転操作は交換可能では
なく、順序に依存する。たとえば始めにX軸廻りにα、
次にY軸廻りにβ、最後にZ軸廻りにγの回転をしたと
すると、全体としての変換式はこれらの積になる。
【0049】
【数16】
【0050】(3)の平行移動と回転とを連続して行う
と、 X′=(X−X0 )cos βcos γ−(Y−Y0 )cos βsin γ+(Z−Z0 )si n β (17) Y′=(X−X0 )(sin αsin βcos γ+cos αsin γ)−(Y−Y0 )(si n αsin βsin γ−cos αcos γ)−(Z−Z0 )sin αcos β (18) Z′=−(X−X0 )(cos αsin βcos γ−sin αsin γ)+(Y−Y0 )( cos αcos βsin γ+sin αcos γ)+(Z−Z0 )cos αcos β (19)
【0051】
となる。しかし係数の表現が繁雑である
から、これをつぎのように行列{aij}で表現する。
【0052】
X′=a11(X−X0 )+a12(Y−Y0 )+a13(Z−Z0 ) (20) Y′=a21(X−X0 )+a22(Y−Y0 )+a23(Z−Z0 ) (21) Z′=a31(X−X0 )+a32(Y−Y0 )+a33(Z−Z0 ) (22) a11=cos βcos γ (23) a12=−cos βsin γ (24) a13=sin β (25) a21=sin αsin βcos γ+cos αsin γ (26) a22=−sin αsin βsin γ+cos αcos γ (27) a23=−sin αcos β (28) a31=−cos αsin βcos γ+sin αsin γ (29) a32=cos αsin βsin γ+sin αcos γ (30) a33=cos αcos β (31)
【0053】これを行列式によって表現すると、
【0054】
【数32】
【0055】さらに平行移動については4×4行の行列
式を用いて次のように表現することもできる。
【0056】
【数33】
【0057】[実際のカメラ系との関係]すでに述べた
ようにカメラは単に縮小光学系と考えられる。座標系の
変換式を考える時、透視投影変換として扱われる。つま
りカメラでは像よりも寸法が小さくなっており、また面
に投影されるので奥行がない。さきに述べたようにZ軸
方向の座標も存在するが、これはレンズと仮想結像面の
距離であって定数であるから考慮しない。そこで投影面
ではZ=0とする。これまでレンズ面を原点にしてこれ
の前方に仮想結像面があるとしてきたが、ここからは仮
想結像面の中心を座標の原点とする。仮想結像面でZ=
0とした方が途中の式がやや単純化されるためである。
勿論レンズの中心を原点にしたままでも結果は同じ式に
なる。
【0058】仮想結像面の中心を原点とした座標系で、
カメラ1での透視投影変換は、次のような4×4の行列
で表現することができる。4列目は縮小比を表す項であ
る。ベクトルの前に付したtは転置行列を示す。横幅が
短く制限されているからしばしばベクトルを以後転置し
て表現する。像を表現する空間座標をx、y、zで表
す。カメラ面での座標をX1 、Y1 、Z1 で表現する。
但しこれは実際には像の2次元表現に過ぎず、倍率Hで
割ったものが仮想結像面での座標である。
【0059】
【数34】
【0060】ただし、f1 -1 は1/f1 のことでf1
焦点距離である。このような表現は透視投影系の表現と
して知られている。本発明では計算の便宜のためにこれ
を利用する。しかしこの式を利用するところに本発明の
特徴があるという訳ではない。他の変換を用いても勿論
同じ式をうることができる。
【0061】これについて少し説明を加える。小文字の
座標は物体Pの空間座標である。大文字の座標(X1
1 ,Z1 )はカメラ面の座標というが実際にはそうで
なく、この式から単に(x,y,0)となってzが0に
なっているだけである。これは物体Pを仮想結像面に単
に投影しているだけである。倍率H1 が、 H1 =zf1 -1 +1 (35) 仮想結像面での座標(x1 *,y1 *)を、 x1 *=X1 /H1 (36) y1 *=Y1 /H1 (37) によって与える。z1 *は、Z1 /H1 =0であるので
以後考える必要がない。
【0062】つまり上記の式は倍率を求めてこれで大文
字の値を割って初めてカメラの仮想結像面での像の座標
を得るのである。またここで倍率H1 といっているのは
先述のHと同じであるが(1)式から実際は(af1 -1
−1)であった。どうしてマイナスがプラスになるかと
いうと、次のような理由による。レンズの中心の前方焦
点距離fの点を仮想結像面としている。これはレンズの
中心に関して実際の結像面とほぼ対称の位置にある。元
々レンズの中心を原点としていたが、上の式では、仮想
結像面の中心を座標の原点とする。
【0063】この座標を使うと、レンズと像の距離(z
+f)である。レンズと仮想結像面の距離はfである。
したがって倍率Hは前者を後者で割って、H=zf-1
1となるのである。つまりzとaがfだけ異なるし、実
際の結像面の像と仮想結像面の像の大きさが少し違うの
である。
【0064】これはカメラでの物体Pと像の関係を示す
ものでありカメラ2でも同様に成立する。本発明は二つ
のカメラで同じ物体Pを見たときの仮想結像面での座標
からカメラ相互の距離と傾き角を求めようとするもので
ある。そこで二つのカメラの座標系で同じ物体Pを見た
時の座標の関係について考察する。物体Pの座標系O1
での座標を(x1 ,y1 ,z1 )とし、座標系O2 での
座標を(x2 ,y2 ,z2 )とする。座標系O1 とO2
の間には原点の平行移動と主軸の回転があるので、これ
らの間の関係は、
【0065】
【数38】
【0066】となるが、逆変換は次のように書くことが
できる。
【0067】
【数39】
【0068】この逆変換から、座標系O1 の座標を、O
2 の座標で表すと、
【0069】 x1 =a112 +a212 +a312 +x12 (40) y1 =a122 +a222 +a322 +y12 (41) z1 =a132 +a232 +a332 +z12 (42)
【0070】となる。ここで小文字の座標は全て空間座
標である。すでに述べたように、始めはレンズの中心O
1 、O2 を座標の原点としていたが、仮想結像面を原点
にしてレンズの中心はこれより焦点距離fだけ後退した
点となっている。図8に示すように、カメラ2の仮想結
像面上の点A(x2 *,y2 *,0)とこの空間座標系
の原点B(0,0,−f2 )をカメラ1の座標系で表現
すると、それぞれサフィックスA、Bを付けて、
【0071】 x1A=a112 *+a212 *+x12 (43) y1A=a122 *+a222 *+y12 (44) z1A=a132 *+a232 *+z12 (45) x1B= −a312 +x12 (46) y1B= −a322 +y12 (47) z1B= −a332 +z12 (48)
【0072】となる。サフィックスの1は座標系O1
の空間座標という意味であり、x2 *、y2 *のサフィ
ックスの2はカメラ2の仮想結像面のある位置という意
味である。これら二つの点A(x2 *,y2 *,0)、
B(0,0,−f2 )を結ぶ直線AB上の点の座標(x
1 ,y1 ,z1 )の方程式は座標O1 において、
【0073】
【数49】
【0074】と書くことができる。(x1 ,y1 ,z
1 )は変数であるが、その他は座標系O2 で決まる定数
と考えられる。どうしてこのような直線を考えるのかと
いうことを先ず説明する。本発明はカメラ間の距離や、
カメラと物体Pの距離などを予め知ることなくカメラ間
の相対的な位置方向を求めようとするものである。つま
り同一の物体Pを二つのカメラで撮像し画面上の像の位
置から相対位置を決定するのである。
【0075】勿論同一の物体Pというのは一つでは足ら
ない。後に詳しく説明するように6つの物体Pを取り、
6つの物体Pに対する二つのカメラからにおける撮像点
を求めこれからカメラの相対位置を求めるのである。
【0076】しかしながらこれは実は簡単ではない。上
記の3次元空間における直線の式はX、Y、Zに関して
対称である。Z方向のデ−タがもしも利用できるなら直
線の式は役に立つであろう。
【0077】これまで述べたもので距離を表しうる変数
は焦点距離だけである。これ以外の距離変数は全て本発
明では測定しない変数である。この点で従来のカメラ校
正方法とは全く異なる立場にある訳である。長さの元を
持つものとして焦点距離fがあるのだからカメラ間の距
離は分かるはずで不思議はない、と考えるかも知れな
い。
【0078】しかしそうでない。先程も度々説明してい
るがどのような距離にある点もカメラの結像面に投影さ
れるので、Z方向のデ−タというものが完全に消えてし
まう。始めに説明した(1)式を満足する物体点だけが
結像するのであれば距離bを測定しfとの相違からaを
求めることができる。そうではなくどのような距離の物
体Pも投影面に結像するので(1)のような式が成り立
たずしたがってカメラと物体Pの距離は分からない。焦
点距離fの何倍かということももちろん分からない。
【0079】つまり通常の考えでは焦点距離fというの
は距離を表現するパラメ−タであるがこれを生かして距
離を定義することができないものなのである。ために従
来、距離測定なくして2つのカメラの位置方向の校正を
することができるような技術は存在しなかった。
【0080】本発明は焦点距離fを重要な距離パラメ−
タとしてこれからカメラ間距離位置などを計算可能にす
るものである。しかし先述のような3次元的に対称な式
を幾ら見つめていても焦点距離fを有効に利用すること
ができない。焦点距離fはZ軸情報にのみ含まれる。
(49)で単にZ軸に関する項を捨てるのでは、距離に
関する式が全く失われる。これでは全体の式が解けな
い。相互に相似な解を得ることはできるが寸法が決まら
ない。Z軸情報を何とかして、XY二次元情報に変換し
なければならない。
【0081】(49)の空間幾何学的な関係を、Z軸情
報を失う事なく平面幾何学的な関係に変換しなければな
らない。本発明は消失点という新規な概念を用いる。本
発明の骨子のひとつはここにある。消失点はある直線の
無限遠点に対するカメラ上の結像点ということである。
カメラ中心を通る直線は結像面上では1点で表現され
る。この場合この点が消失点である。
【0082】図8によって説明する。カメラの中心を通
らない直線は結像面では半直線になる。近い方の端部の
像は画像面の辺で切れる。これより先は画面の裏に回る
から画像とならない。直線の他の部分はカメラ1の画面
上では半直線EGとなる。直線の点Pを越える無限遠W
はE点に対応する。無限遠Wはカメラ1の画面上で幾ら
でも左側へ移動するのであるから、これに対応する像も
画面上で左へ無限に移動するようにも思えるがそうでは
ない。
【0083】画面というのは理想的には2πの立体角を
持つ画面前方の空間の全てに対応している。どのような
直線も2π以上の立体角の空間を占めることができない
筈であるから、どのような直線の像もカメラ画像面では
半直線になる。そこで無限遠Wに対応する点Eが必ず存
在する。この点Eを消失点というのである。これは絵画
の遠近法における平行直線の収束点と同じである。
【0084】消失点に関する規則を予め述べる。 消失点は直線の傾きつまり方向のみによる。どの点を
通るかということは重要でない。全ての平行線は同一の
消失点Eを持つ。消失点は直線を決める6つのパラメ−
タの内、方向に関する3つのパラメ−タだけによる。つ
まり6つのパラメ−タから3つを選択的に取り出すこと
ができる。そういう特異な点である。
【0085】反対にどの消失点も全空間の任意の点を
通る直線の消失点であることができる。これは消失点の
無限定性を言っている。平行直線の消失点は同一である
が、任意の点を通る平行線は必ず1本引くことができる
のでこの点を通る直線の消失点ということができる。こ
のような無限定性がなければ2つのカメラから同一点を
見て位置決めするというようなことができない。
【0086】カメラの座標系に対する平行直線群の傾
きつまり方向余弦を(λ,μ,ν)とすると、この平行
直線群の消失点は(λf/ν,μf/ν,0)である。
カメラの仮想結像面でz=0としているからz方向の表
現は省略して(λf/ν,μf/ν)と書いても良い。
レンズ中心を通る直線の像は1点であるが、これの方向
余弦を上記のように書いたとすると、この点の像の位置
が(λf/ν,μf/ν)であることは明らかである。
そして平行直線は同一の消失点を持つのであるから、上
記の方向余弦の平行直線の消失点は(λf/ν,μf/
ν)ということになる。このように焦点距離fが消失点
の式に入ってくるので長さの元を持つパラメ−タが式の
中へ有効に入ってくるのである。本発明の眼目はここに
ある。
【0087】折角消失点の式で焦点距離fが入って
も、X成分をY成分で割るような演算をするとfが消え
てしまう。これを避けてカメラ中心を通らない直線を用
いて連立方程式を構築することができれば良い。2つの
カメラを用いると他方のカメラを通る直線というものを
想定することができる。これは第1のカメラの中心を通
らない直線でありうる。つまり焦点距離fを消さずに消
失点の概念を有効利用できる可能性がある。
【0088】図8において、物体Pは、直線WAB上に
ある。Bはカメラ2のレンズ中心で直線PBと仮想結像
面の交点をAとしている。これはカメラ2での物体Pの
像である。また直線の無限遠をWとしている。だから物
体Pが直線WABの上にあるのは当然である。カメラ1
の仮想結像面を延長しこの面と直線PBの交点をKとす
る。KBAPWは同一直線上にある。直線KBAPWの
カメラ1の仮想結像面への投影は直線KEである。直線
の像は半直線であり、WとE、KとKとが対応するから
である。
【0089】物体Pのカメラ2の像はDである。これは
当然投影直線EK上にある。直線EKのどこにあるかは
特定できないが、兎に角直線EKの上にDが存在する。
つまり点EDKが直線であるという条件によって式を作
ることができる。この式はひとつの条件を与える。カメ
ラ1とカメラ2の関係を規定するものは相互の距離に関
する3つのパラメ−タx12、y12、z12と角度α、β、
γの6つである。そこで6つの異なる物体点をとり6つ
の方程式を作りこれを解けば、6つの未知数が分かる。
【0090】さてK点の座標であるが、これはカメラ1
の仮想結像面と直線PBの交点であるから、(49)式
において、z1 =0として求めることができる。(4
9)の分母を方向係数Δx、Δy、Δzによって表す。
【0091】 Δx=x1A−x1B=a112 *+a212 *+a312 (50) Δy=y1A−y1B=a122 *+a222 *+a322 (51) Δz=x1A−x1B=a132 *+a232 *+a332 (52)
【0092】これは直線PBの式の分母であるから、直
線PBの方向余弦λ,μ、νに比例する。すでに説明し
たが無限遠Wの像である消失点Eの像は焦点距離f1
λ/ν、μ/νを掛けたものであるから、方向余弦の代
わりに、方向係数を使って(f1 Δx/Δz,f1 Δy
/Δz)が消失点Eである。K点の座標をサフィックス
Kを付して示すと、K点ではz1 =0であるから、(4
9)より、
【0093】
【数53】
【0094】となるので、
【0095】 xK =x1B−z1BΔx/Δz (54) yK =y1B−z1BΔy/Δz (55)
【0096】消失点Eの座標を(xE ,yE )とし、交
点Kの座標を(xK ,yK )として、物体Pの像Dの座
標を(x1 *,y1 *)としている。そしてこれらの3
点が同一直線上にあるので、これらの間に直線の方程式
がなりたつ。
【0097】 xE =f1 Δx/Δz (56) yE =f1 Δy/Δz (57)
【0098】
【数58】
【0099】これを整理すると、
【0100】
【数59】
【0101】これは直線EK上に点Dがあるという条件
を表している。一回の測定によって、物体Pのカメラ1
の像の座標(x1 *,y1 *)とカメラ2の像の座標
(x2 *,y2 *)が分かる。カメラの焦点距離f1
2 は分かっている。未知数はx12、y12、z12、α、
β、γの6個である。角度パラメ−タは行列要素
{aij}を通じて式に含まれる。行列要素は9つある
が、未知数としては3つである。
【0102】 a11=cos βcos γ (60) a12=−cos βsin γ (61) a13=sin β (62) a21=sin αsin βcos γ+cos αsin γ (63) a22=−sin αsin βsin γ+cos αcos γ (64) a23=−sin αcos β (65) a31=−cos αsin βcos γ+sin αsin γ (66) a32=cos αsin βsin γ+sin αcos γ (67) a33= cos αcos β (68)
【0103】一点の測定によって、(59)式がひとつ
成り立つ。未知数の数が6個であるから、6つの独立な
点について測定を行い、6つの方程式を立て連立方程式
として解けば良い。つまり物体Pに付けた符号をjとし
てPj とし、カメラ2のレンズ中心Bとこの点を通る直
線Pj Bとカメラ1の仮想結像面の交点をKj とする。
また像はカメラ1に対してはDj 、カメラ2に対しては
j となる。無限遠W j の像である消失点をEj とす
る。これに対応してΔx、Δy、Δzなどの方向成分を
サフィックスjをつけて、Δxj 、Δyj 、Δzj とす
る。
【0104】
【数69】
【0105】が成立する。これを解いて6つの未知数を
求める。もちろん線形方程式ではないので解析的には解
けない。しかしコンピュ−タを使うから短時間で解くこ
とができる。式としては、(59)のままでも使える
が、(58)の直線の式から(54)〜(57)を用い
て別の簡単な表現も得ることができる。
【0106】 {−f11B+y1 *(z1B+f1 )}Δx−{−f11B+x1 *(z1B+f 1 )}Δy+(x1 *y1B−y1 *x1B)Δz=0 (70)
【0107】この式の中でΔx、Δy、Δzは3つの角
度変数α、β、γを含む、x1B、y1B、z1Bは、x12
12、y12に代わる3つの未知数である。未知数の数は
6個であって変わらないが、表現がより簡略化される。
実際には6つの観測点に関して6つの式ができるのでこ
れを解くことができるのである。
【0108】この式で重要なことは、距離に関するパラ
メ−タx1B、y1B、z1Bがカメラ1の焦点距離f1 と対
比されているということである。つまり{−f11B
1*(z1B+f1 )}のような係数が式の中に含まれ
る。距離パラメ−タx1B、y 1B、z1Bが、焦点距離f1
の何倍として求められる。もし焦点距離f1 を2倍にす
れば、全体の結果が2倍になる。これは焦点距離f1
カメラ間の距離を決める寸法尺度になっているというこ
とである。だから距離測定が不要になる。
【0109】これはカメラ2の直線とカメラ1の仮想結
像面の交点Kが直線の式を定義するために用いられるか
らである。K点の利用が焦点距離f1 を根幹とする距離
パラメ−タの決定を可能とする。K点のX座標は(x12
−a312 )のような項を含む。これはZ軸方向の変化
をX方向の距離パラメ−タx12に結び付けるものであ
る。
【0110】本発明で利用する直線の式は仮想結像面と
の交点Kと消失点Eを用いて定義される。結像面交点K
は主に距離パラメ−タx1B、y1B、z1Bを含む。消失点
Eは傾きα、β、γのみを含む。このように性格が異な
る2つのパラメ−タを用いて直線を定義するので、6つ
の異なる観測点のデ−タから6つの未知数を求めること
ができるのである。
【0111】結像面交点Kの利用は本発明では必須であ
る。単に3次元的な直線を扱っているのでは距離が求ま
らない。3次元的なものを2次元直線に還元している。
このため軸方向の基本的な距離である焦点距離f1 が式
の中に含まれることになる。(70)式はΔx、Δy、
Δzの形でカメラ2における結像面の座標(x2 *,y
2 *)を含む。より対称に近い形にし結像面の座標を陽
に含ませれば、つぎのようになる。
【0112】 {−f11B+y1 *(z1B+f1 )}(a112 *+a212 *+a312 ) −{−f11B+x1 *(z1B+f1 )}(a122 *+a222 *+a322 )+(x1 *y1B−y1 *x1B)(a132 *+a232 *+a332 )=0 (71)
【0113】また行列{aij}はα、β、γの3未知数
を含むだけのものである。α、β、γを陽に表して始め
から3つの未知数として扱うこともできる。しかしそう
ではなくて、これを9つの未知数として扱うこともでき
る。この場合はこれについてのユニタリ−条件で6つの
式を立てることができる。
【0114】 a1i 2 +a2i 2 +a3i 2 =1 (i=1,2,3) (72) a1i1k+a2i2k+a3i3k=0 (i≠k) (73)
【0115】であって3つの独立性しか持っていない。
この6つの式と(71)のパラメ−タの異なる6つの式
から12の未知数を持つ方程式を解くと考えても良い。
従ってこれらの式(71)、(72)、(73)から全
ての未知数を決定することができる。解き方は任意であ
る。未知数が6つであるから、基本的には6つの方程式
を扱えば良い。6つの式は異なる6つの観測点に関する
デ−タから(71)式によって与えられる。異なるとい
うのは図9に示すように空間的に離れた点ということで
ある。
【0116】しかし何れのカメラから見ても必ず分離で
きるということが必要ということではない。また6つの
点ということも固執しなくて良い。6つ以上であっても
良い。例えば、カメラ2から見て1点に重なる3つの異
なる点を観測点として採用できる。この場合(70)式
において、Δx、Δy、Δzが共通の未知数となる。カ
メラ1から見て異なる3点P1 、P2 、P3 を見た時、
結像点位置が(x11*,y11*)、(x12*,y
12*)、(x13*,y13*)であったとすると、Δx、
Δy、Δzが0でないという条件から、次の行列式がな
りたつ。
【0117】 det{−f11B+y1i*(z1B+f1 ),f11B−x1i*(z1B+f1 ),x1i*y1B−y1i*x1B}=0 (i=1,2,3) (74)
【0118】ここでdetは行列式であることを示す。
サフィックスiは1〜3である。i=1を1行目、i=
2を2行目、i=3を3行目とする行列式である。直線
上の3点の測定を3回繰り返して、このような行列式を
3つ作ればこれらを解いてx 1B、y1B、z1Bを求めるこ
とができる。この時それぞれの行列式に対して、Δx、
Δy、Δz相互の比の値は決まるが絶対値が決まらな
い。ために(x2 *,y2 *)の値を入れてもa11、a
21・・・等の角度パラメ−タは分からない。しかし3つ
のパラメ−タが分かったのであるから、後3つの角度パ
ラメ−タを別の方法で求めれば良い。(71)式は角度
も含む式でありこれを用いる。
【0119】さらに3つの異なる観測点について測定を
行い二つのカメラ1、2から見た像の仮想結像面での像
D、Aの座標(x1 *,y1 *)、(x2 *,y2 *)
を求めて(71)に代入し3つの式を得て、aijをα,
β,γを用いて陽に書き下すか、あるいはaijに関する
ユニタリ−条件と組み合わせて角度パラメ−タを求め得
る。
【0120】上に述べたものは、6つの未知数が完全に
分からないものとして解こうとするのであるが、実際に
は非線形の連立方程式で簡単には解けない。そこで未知
数を予め適当な値として仮定し、これを初期値をして代
入し、観測値と合わせて方程式を作り、漸近的に解を求
めるという方法を用いることも有効である。これはしか
し計算を遂行するためのプログラムの問題である。この
場合解の収束の速いものを未知数の初期値として選ぶべ
きである。初期値の選択が適切でないと、収束に時間が
掛かるし、誤った解をもたらすこともある。
【0121】
【実施例】2台のカメラを並べて設置し、2台のカメラ
によって同一のものを撮像し、画像処理によって同一の
観測点を捜す。実際には2値画像を微分して輪郭線を抽
出して対応する特徴点を見付ける。これが難しい場合は
適当な光源を用いる。ひとつの光源から光を発してこれ
を2台のカメラで撮像すると対応は極めて簡単である。
光源を適当に動かして6点でこれを撮像する。画面上で
の座標が求まるから前述の式を用いてパラメ−タを計算
した。カメラ間隔が広くてカメラの角度が大きい時は正
確な解を早く得ることができた。反対にカメラ間隔が狭
く、観測点が離れており、カメラ角度の差が小さい時は
解の収束が遅かった。
【0122】
【発明の効果】従来は、2つのカメラの位置角度を校正
する際、必ずカメラ間距離か、カメラとある物体Pとの
距離をなんらかの手段で求めていた。角度の測定だけで
は縮小拡大の尺度が決まらないからである。ところが本
発明は2台のカメラの距離も測定せず、カメラと物体P
との距離も測定しない。6つの異なる観察点(物体P)
を二つのカメラで観察し同一の点をなんらかの手段で求
め、同一点の結像面での座標を知る。座標の値を6つの
方程式に代入して、これを解き未知数を求める。
【0123】この方法は距離測定を全く含まずカメラの
画像面での座標を求める操作だけである。計算は複雑で
あるが観測自体は簡略化される。寸法を含む既知数の測
定なくしてカメラ間の距離を知ることができ真に新規な
ものである。もちろん観測点の同定は肉眼でもできる
し、画像処理によって特徴点抽出を行い同一観測点(同
一物体)を同定することもできる。このようなことは既
に良く知られている。
【図面の簡単な説明】
【図1】レンズよりも後方に結像面を持つカメラの光学
系をレンズの前方に仮想結像面を持つ投影光学系に簡略
化するための説明図。
【図2】二つのカメラで同一の物体Pを見たときに仮想
結像面に像D、Aができることを示す斜視図。
【図3】平行移動の関係にある二つの座標系を示す斜視
図。
【図4】カメラの光学系を考える座標系が左手系であ
り、X軸まわりに角度αだけ回転してできる座標系を示
す図。
【図5】座標系OXYZとこれををX軸まわりに角度α
だけ回転してできる座標系OX′Y′Z′の関係を示す
図。
【図6】座標系OXYZとこれををY軸まわりに角度β
だけ回転してできる座標系OX′Y′Z′の関係を示す
図。
【図7】座標系OXYZとこれををZ軸まわりに角度γ
回転だけしてできる座標系OX′Y′Z′の関係を示す
図。
【図8】カメラ2のレンズ中心を通る直線のカメラ1の
仮想結像面との交点K、この直線の無限遠の像である消
失点Eを説明するためのステレオカメラの概略図。
【図9】6つの異なる観測点をとり、二つのカメラで同
一点の像の座標を求めて直線の式を作りカメラ相互の距
離や角度を求めるようにしたことを説明する図。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊池 武彦 東京都千代田区内幸町1丁目1番3号東京 電力株式会社内 (72)発明者 石橋 武 東京都千代田区内幸町1丁目1番3号東京 電力株式会社内

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 2台のカメラ1、カメラ2が離隔して配
    置され、レンズ中心間の三次元的な相対位置x12
    12、z12と光軸の相対的な方向角α、β、γが未知で
    ある時にカメラ間距離を測定することなく、相対位置、
    相対方向角を求めるステレオカメラの校正方法であっ
    て、6つ以上の異なる位置にある観測点P1、P2 、・
    ・、Pj 、・・・を二つのカメラで撮像し同一点を対応
    させ、同一点に対するカメラ1、カメラ2の結像面での
    位置D1 、D2 、・・、Dj 、・・・、A1 、A2 、A
    j ・・・の座標(x1j*,y1j*)、(x2j*,y
    2j*)を求め、カメラ2のレンズ中心Bとある観測点P
    j を結ぶ直線Pj Bと、カメラ結像面の延長面との交点
    をKj 、この直線の無限遠Wj のカメラ1における像で
    ある消失点Ej とを結ぶ直線Kjj 上に観測点Pj
    像Dj があり、消失点Ej はカメラ2での座標(x
    2j*,y2j*)と角度パラメ−タα、β、γとによって
    決まり、直線と結像面の交点Kj はカメラ2での座標
    (x2j*,y2j*)と角度パラメ−タα、β、γと三次
    元的相対位置x12、y12、z12とによって決まり、像D
    j がカメラ1の座標(x1j*,y1j*)で与えられるこ
    とから、直線Kjjj の式を作り、異なる6つ以上
    の観測点に対する6つ以上の直線の式を同様に作成し
    て、これを連立させて解き、三次元的な相対位置x12
    12、z12と光軸の相対的な方向角α、β、γを求め
    て、2台のカメラの位置角度を校正することを特徴とす
    るステレオカメラの校正方法。
JP30167192A 1992-10-13 1992-10-13 ステレオカメラの校正方法 Pending JPH06129851A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30167192A JPH06129851A (ja) 1992-10-13 1992-10-13 ステレオカメラの校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30167192A JPH06129851A (ja) 1992-10-13 1992-10-13 ステレオカメラの校正方法

Publications (1)

Publication Number Publication Date
JPH06129851A true JPH06129851A (ja) 1994-05-13

Family

ID=17899733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30167192A Pending JPH06129851A (ja) 1992-10-13 1992-10-13 ステレオカメラの校正方法

Country Status (1)

Country Link
JP (1) JPH06129851A (ja)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750269A (ja) * 1994-05-20 1995-02-21 Semiconductor Energy Lab Co Ltd 半導体装置作成方法および半導体装置
JPH08268393A (ja) * 1995-03-29 1996-10-15 Toshiba Tesco Kk 駐機位置指示装置のキャリブレーション方法
WO2013145025A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 ステレオカメラシステム及び移動体
JP2016524125A (ja) * 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10430682B2 (en) 2011-09-28 2019-10-01 Fotonation Limited Systems and methods for decoding image files containing depth maps stored as metadata
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10540806B2 (en) 2013-09-27 2020-01-21 Fotonation Limited Systems and methods for depth-assisted perspective distortion correction
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US10560684B2 (en) 2013-03-10 2020-02-11 Fotonation Limited System and methods for calibration of an array camera
US10574905B2 (en) 2014-03-07 2020-02-25 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10909707B2 (en) 2012-08-21 2021-02-02 Fotonation Limited System and methods for measuring depth using an array of independently controllable cameras
US10944961B2 (en) 2014-09-29 2021-03-09 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11412158B2 (en) 2008-05-20 2022-08-09 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2657182B2 (ja) * 1994-05-20 1997-09-24 株式会社 半導体エネルギー研究所 半導体装置作成方法および半導体装置
JPH0750269A (ja) * 1994-05-20 1995-02-21 Semiconductor Energy Lab Co Ltd 半導体装置作成方法および半導体装置
JPH08268393A (ja) * 1995-03-29 1996-10-15 Toshiba Tesco Kk 駐機位置指示装置のキャリブレーション方法
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US11412158B2 (en) 2008-05-20 2022-08-09 Fotonation Limited Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US10027901B2 (en) 2008-05-20 2018-07-17 Fotonation Cayman Limited Systems and methods for generating depth maps using a camera arrays incorporating monochrome and color cameras
US10306120B2 (en) 2009-11-20 2019-05-28 Fotonation Limited Capturing and processing of images captured by camera arrays incorporating cameras with telephoto and conventional lenses to generate depth maps
US11423513B2 (en) 2010-12-14 2022-08-23 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US11875475B2 (en) 2010-12-14 2024-01-16 Adeia Imaging Llc Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10366472B2 (en) 2010-12-14 2019-07-30 Fotonation Limited Systems and methods for synthesizing high resolution images using images captured by an array of independently controllable imagers
US10430682B2 (en) 2011-09-28 2019-10-01 Fotonation Limited Systems and methods for decoding image files containing depth maps stored as metadata
US10984276B2 (en) 2011-09-28 2021-04-20 Fotonation Limited Systems and methods for encoding image files containing depth maps stored as metadata
US11729365B2 (en) 2011-09-28 2023-08-15 Adela Imaging LLC Systems and methods for encoding image files containing depth maps stored as metadata
US10311649B2 (en) 2012-02-21 2019-06-04 Fotonation Limited Systems and method for performing depth based image editing
WO2013145025A1 (ja) * 2012-03-30 2013-10-03 株式会社日立製作所 ステレオカメラシステム及び移動体
US10334241B2 (en) 2012-06-28 2019-06-25 Fotonation Limited Systems and methods for detecting defective camera arrays and optic arrays
US11022725B2 (en) 2012-06-30 2021-06-01 Fotonation Limited Systems and methods for manufacturing camera modules using active alignment of lens stack arrays and sensors
US10909707B2 (en) 2012-08-21 2021-02-02 Fotonation Limited System and methods for measuring depth using an array of independently controllable cameras
US12002233B2 (en) 2012-08-21 2024-06-04 Adeia Imaging Llc Systems and methods for estimating depth and visibility from a reference viewpoint for pixels in a set of images captured from different viewpoints
US10462362B2 (en) 2012-08-23 2019-10-29 Fotonation Limited Feature based high resolution motion estimation from low resolution images captured using an array source
US10390005B2 (en) 2012-09-28 2019-08-20 Fotonation Limited Generating images from light fields utilizing virtual viewpoints
US10958892B2 (en) 2013-03-10 2021-03-23 Fotonation Limited System and methods for calibration of an array camera
US10560684B2 (en) 2013-03-10 2020-02-11 Fotonation Limited System and methods for calibration of an array camera
US11985293B2 (en) 2013-03-10 2024-05-14 Adeia Imaging Llc System and methods for calibration of an array camera
US11570423B2 (en) 2013-03-10 2023-01-31 Adeia Imaging Llc System and methods for calibration of an array camera
US10547772B2 (en) 2013-03-14 2020-01-28 Fotonation Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
JP2016524125A (ja) * 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
US10638099B2 (en) 2013-03-15 2020-04-28 Fotonation Limited Extended color processing on pelican array cameras
US10674138B2 (en) 2013-03-15 2020-06-02 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10182216B2 (en) 2013-03-15 2019-01-15 Fotonation Limited Extended color processing on pelican array cameras
US10455218B2 (en) 2013-03-15 2019-10-22 Fotonation Limited Systems and methods for estimating depth using stereo array cameras
US10540806B2 (en) 2013-09-27 2020-01-21 Fotonation Limited Systems and methods for depth-assisted perspective distortion correction
US10767981B2 (en) 2013-11-18 2020-09-08 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US11486698B2 (en) 2013-11-18 2022-11-01 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
US10708492B2 (en) 2013-11-26 2020-07-07 Fotonation Limited Array camera configurations incorporating constituent array cameras and constituent cameras
US10574905B2 (en) 2014-03-07 2020-02-25 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US11546576B2 (en) 2014-09-29 2023-01-03 Adeia Imaging Llc Systems and methods for dynamic calibration of array cameras
US10944961B2 (en) 2014-09-29 2021-03-09 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US11270110B2 (en) 2019-09-17 2022-03-08 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11699273B2 (en) 2019-09-17 2023-07-11 Intrinsic Innovation Llc Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
US11842495B2 (en) 2019-11-30 2023-12-12 Intrinsic Innovation Llc Systems and methods for transparent object segmentation using polarization cues
US11302012B2 (en) 2019-11-30 2022-04-12 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11580667B2 (en) 2020-01-29 2023-02-14 Intrinsic Innovation Llc Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11683594B2 (en) 2021-04-15 2023-06-20 Intrinsic Innovation Llc Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
US12022207B2 (en) 2023-10-13 2024-06-25 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array

Similar Documents

Publication Publication Date Title
JPH06129851A (ja) ステレオカメラの校正方法
Wöhler 3D computer vision: efficient methods and applications
EP1522051B1 (en) Discrete linear space sampling method and apparatus for generating digital 3d models
Sola et al. Fusing monocular information in multicamera SLAM
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
Hartley et al. Relationship between photogrammmetry and computer vision
KR19990008059A (ko) 3차원 물체의 2차원 영사에 근거한 3차원 물체의 재생, 운용 방법 및 그 장치
Hajder et al. Relative planar motion for vehicle-mounted cameras from a single affine correspondence
JP4085671B2 (ja) データ処理方法、データ処理プログラムおよび記録媒体
Hui et al. Determination of line scan camera parameters via the direct linear transformation
Strelow et al. Extending shape-from-motion to noncentral onmidirectional cameras
JPH024028B2 (ja)
WO2021111613A1 (ja) 3次元地図作成装置、3次元地図作成方法、及び3次元地図作成プログラム
Brito et al. Using geometric interval algebra modeling for improved three-dimensional camera calibration
Huang et al. Rotating line cameras: model and calibration
JPH024030B2 (ja)
Ahmadabadian Photogrammetric multi-view stereo and imaging network design
CN114972536B (zh) 一种航空面阵摆扫式相机定位和标定方法
Huang et al. Calibration of line-based panoramic cameras
JPH07159167A (ja) カメラ位置算出方法
Zhang et al. Global homography calibration for monocular vision-based pose measurement of mobile robots
Salvi et al. Overview of surface registration techniques including loop minimization for three-dimensional modeling and visual inspection
Tramberger Robot-based 3D reconstruction using Structure from Motion-Extending the Inline Computational Imaging System to a Robotic Arm
Stylianidis et al. Measurements: Introduction to Photogrammetry
BOrlin Fundamentals of Photogrammetry