JP6557640B2 - カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム - Google Patents

カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム Download PDF

Info

Publication number
JP6557640B2
JP6557640B2 JP2016144628A JP2016144628A JP6557640B2 JP 6557640 B2 JP6557640 B2 JP 6557640B2 JP 2016144628 A JP2016144628 A JP 2016144628A JP 2016144628 A JP2016144628 A JP 2016144628A JP 6557640 B2 JP6557640 B2 JP 6557640B2
Authority
JP
Japan
Prior art keywords
camera
basic matrix
obtaining
pair
corresponding points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016144628A
Other languages
English (en)
Other versions
JP2018014686A (ja
Inventor
康輔 高橋
康輔 高橋
弾 三上
弾 三上
麻理子 五十川
麻理子 五十川
明 小島
明 小島
斎藤 英雄
英雄 斎藤
宮田 省吾
省吾 宮田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Keio University
Original Assignee
Nippon Telegraph and Telephone Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Keio University filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016144628A priority Critical patent/JP6557640B2/ja
Publication of JP2018014686A publication Critical patent/JP2018014686A/ja
Application granted granted Critical
Publication of JP6557640B2 publication Critical patent/JP6557640B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、観測可能な対応点を持たないカメラ間の外部キャリブレーションを行うカメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラムに関する。
複数のカメラで撮影した映像に対して幾何学的な処理、例えば被写体の三次元計測などを行う場合には、カメラ間の外部パラメータ(回転および並進)を求める外部キャリブレーションを行う必要がある。また、外部パラメータまで求めなくても、それらから成る基礎行列(Fundamental Matrix)を求めることができれば自由視点映像などさまざまなアプリケーションを実現することが可能である。
これらの外部パラメータやFundamental Matrixを求めるためのアプローチとして、カメラ間の対応点に基づく手法が一般的である。図8のように3次元空間中に3次元点pが存在するとし、それらを複数のカメラ(C,C)で撮影した際の画像平面上における投影点をそれぞれq,qとした時、これらの間には以下のような関係が成り立つ。
この時、FはFundamental Matrix(基礎行列)である。この基礎行列Fは(q,q)のようにある三次元点をそれぞれのカメラで撮影した時の座標値のペアを8組以上用意し、8−point algorithmなどを適用することで求めることが可能である(例えば、非特許文献1参照)。
さらに、焦点距離や画像中心といったカメラ固有のパラメータである内部パラメータ(K,K)と、基本行列E(Essential Matrix)を用いると、式(1)は次のように展開できる。
すなわち、
であり、内部パラメータが既知の場合は、上記対応点の組からE行列を求めることができる。
さらに、このE行列は特異値分解を行うことで外部パラメータに分解することができる(例えば、非特許文献2参照)。
また、この基本行列Eは、各カメラ座標系における点pを表すベクトルをp,pとした時、以下の式を満たす。
この時、カメラが透視投影カメラの場合には、
である。この時、E行列は(p,p)のペアあるいは(q,q)のペアに対して8−point algorithmを適用することで求めることが可能である(例えば、非特許文献1参照)。
以上のことから、複数カメラ画像間得られる対応点の組から、Fundamental Matrixおよび外部パラメータを求めることができることがわかる。
なお、本明細書において、画像とは、静止画像、または動画像を構成する1フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。
Hartley, Richard I. "In defense of the eight-point algorithm." Pattern Analysis and Machine Intelligence, IEEE Transactions on 19.6 (1997): 580-593. Hartley, Richard, and Andrew Zisserman. Multiple view geometry in computer vision. Cambridge university press, 2003.
しかしながら、図9に示すようにカメラCのFOV(field of view:視野)とカメラCのFOVとの間に共有視野が存在しない場合、あるいは図10に示すように共有する部分があるが、その共有する部分に対応点が存在しない場合(共有する部分が一様な地面であるため対応が曖昧であったり、その場所に立ち入ることが出来ずに特徴点となるものを設置できない場合など)は、前述したような対応点を用いた手法が利用できないという問題がある。
本発明は、このような事情に鑑みてなされたもので、観測可能な対応点を持たないカメラ間の外部パラメータを求めるキャリブレーションを行うことができるカメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラムを提供することを目的とする。
本発明の一態様は、第1のカメラと第2のカメラとの外部パラメータを求めるキャリブレーションを行うカメラキャリブレーション装置であって、第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出部と、前記対応点の対と、前記第1または第2のカメラの内部パラメータと、前記第3のカメラの内部パラメータとから第1の基本行列を求める第1の基本行列算出部と、前記基本行列を分解して、前記第3のカメラの位置ベクトルを取得する位置ベクトル取得部と、前記対応点の対と、前記位置ベクトルとから前記第1のカメラと前記第2のカメラ間の第2の基本行列を求める第2の基本行列算出部と、前記第2の基本行列を分解して、前記第1のカメラと前記第2のカメラの外部パラメータを算出する外部パラメータ算出部とを備えるカメラキャリブレーション装置である。
本発明の一態様は、第1のカメラと第2のカメラとの基礎行列を求めるキャリブレーションを行うカメラキャリブレーション装置であって、第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出部と、前記対応点の対から第1の基礎行列を求める第1の基礎行列算出部と、前記第1の基礎行列を用いて前記第3のカメラのエピポールを求めるエピポール算出部と、前記エピポールと、前記対応点の対とから前記第1のカメラと前記第2のカメラとの間の第2の基礎行列を求める第2の基礎行列算出部とを備えるカメラキャリブレーション装置である。
本発明の一態様は、第1のカメラと第2のカメラとの外部パラメータを求めるキャリブレーションを行うカメラキャリブレーション装置が行うカメラキャリブレーション方法であって、第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出ステップと、前記対応点の対と、前記第1または第2のカメラの内部パラメータと、前記第3のカメラの内部パラメータとから第1の基本行列を求める第1の基本行列算出ステップと、前記基本行列を分解して、前記第3のカメラの位置ベクトルを取得する位置ベクトル取得ステップと、前記対応点の対と、前記位置ベクトルとから前記第1のカメラと前記第2のカメラ間の第2の基本行列を求める第2の基本行列算出ステップと、前記第2の基本行列を分解して、前記第1のカメラと前記第2のカメラの外部パラメータを算出する外部パラメータ算出ステップとを有するカメラキャリブレーション方法である。
本発明の一態様は、第1のカメラと第2のカメラとの基礎行列を求めるキャリブレーションを行うカメラキャリブレーション装置が行うカメラキャリブレーション方法であって、第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出ステップと、前記対応点の対から第1の基礎行列を求める第1の基礎行列算出ステップと、前記第1の基礎行列を用いて前記第3のカメラのエピポールを求めるエピポール算出ステップと、前記エピポールと、前記対応点の対とから前記第1のカメラと前記第2のカメラとの間の第2の基礎行列を求める第2の基礎行列算出ステップとを有するカメラキャリブレーション方法である。
本発明の一態様は、コンピュータを、前記カメラキャリブレーション装置として機能させるためのカメラキャリブレーションプログラムである。
本発明によれば、観測可能な対応点を持たないカメラ間の外部パラメータを求めるキャリブレーションを行うことができるという効果が得られる。
本発明の第1実施形態によるカメラキャリブレーション装置の構成を示すブロック図である。 図1に示すカメラキャリブレーション装置の処理の動作を示すフローチャートである。 対応点のテーブルのテーブル構造を示す説明図である。 3つのカメラの幾何関係を示す説明図である。 対応点を作る一例を示す説明図である。 本発明の第2実施形態によるカメラキャリブレーション装置の構成を示すブロック図である。 図6に示すカメラキャリブレーション装置の処理の動作を示すフローチャートである。 2つのカメラの幾何関係を示す説明図である。 2つのカメラの視野が共通していない例を示す説明図である。 2つのカメラの視野が共通しているが対応点を作ることができない例を示す説明図である。
<第1実施形態>
以下、図面を参照して、本発明の第1実施形態によるカメラキャリブレーション装置を説明する。第1実施形態は、2つのカメラ間の外部パラメータを求めるものである。第1実施形態では簡単のため2台のカメラC,Cを用い、かつ図10に示すようにカメラC,Cが共通する視野を持つがその共通視野には対応する3次元点が存在しない。この時、カメラC,Cの内部パラメータ(焦点距離、画像中心、アスペクト比、スキュー歪み)は例えば、参考文献1に記載の手法を利用することで既に得られているものとする。また、2つのカメラC,Cは固定されている。
参考文献1:Zhang, Zhengyou. "A flexible new technique for camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transactions on 22.11 (2000): 1330-1334.
また、カメラC,Cと比較して広い視野を持つ新たに利用するカメラ(例えば、全天球カメラ)をXとし、この内部パラメータは既知である。なお、全天球カメラの場合は画像のサイズを内部パラメータとして、それらは既知である。カメラXはNx視点において撮影されたとする。なお、カメラXは広い視野を持つため、カメラC,Cと視野を共有することが期待できる。また、カメラCとカメラX,カメラCとカメラXの共有視野には図4、図5に示すように対応点が存在することを想定する。
図1は同実施形態によるカメラキャリブレーション装置の構成を示すブロック図である。この図において、符号1は、外部から3つの画像(カメラCの画像、カメラCの画像、カメラXの画像)を入力する入力部である。ここでは、カメラXが全天球カメラであるものとして説明する。符号2は、入力した3つの画像から仮想対応点を取得する仮想対応点取得部である。符号3は、仮想対応点からカメラC、C間の外部パラメータを計算する外部パラメータ計算部である。図1に示す各処理部の詳細な説明は後述する。
次に、図1に示すカメラキャリブレーション装置における全体の処理の動作について説明する。まず、入力部1は、カメラC,Cおよび全天球カメラXで撮影した映像を取得する。3つのカメラの撮影タイミングは一致していることが望ましい。次に、仮想対応点取得部2は、入力した映像からカメラCおよびカメラC間における対応点を求める。最後に、外部パラメータ計算部3は、それらの対応点を元にしてカメラC,C間の外部パラメータを計算して出力する。
次に、図1に示す各処理部の詳細な動作を説明する。はじめに、入力部1について説明する。入力部1は、カメラC,C,全天球カメラXのそれぞれから画像を入力し、これらの画像を内部に保持する。入力部1は、必要に応じて、内部に保持している3つの画像のそれぞれを仮想対応点取得部2へ出力する。
次に、仮想対応点取得部2について説明する。仮想対応取得部2は、入力部1から3つの画像を入力する。仮想対応点取得部2は、カメラC,CおよびカメラXで撮影した画像から、カメラC−C間の対応点情報を求める。
なお、カメラC−C間の対応点情報とは、ある空間中の点がカメラCおよびCに投影された時の座標値のペアであり、例えば図3のようにテーブルで表すことができる。図3に示すようなテーブルは、対応点を一意に識別する対応点IDと、カメラCが撮影した画像上における座標値、カメラCが撮影し他画像上における座標値とがある。そして、仮想対応点取得部2は、カメラC−C間の対応点情報を外部パラメータ計算部3へ出力する。
次に、外部パラメータ計算部3について説明する。外部パラメータ計算部3は、仮想対応点取得部2からカメラC−C間の対応点情報を入力する。そして、外部パラメータ計算部3は、カメラC−C間の対応点情報からC−C間の外部パラメータを計算し、得られたカメラC−C間の外部パラメータを出力する。
ここで、図2を参照して、図1に示す仮想対応点取得部2と外部パラメータ計算部3の処理の動作を説明する。図2は、図1に示す仮想対応点取得部2と外部パラメータ計算部3の処理の動作を示すフローチャートである。
まず、仮想対応点取得部2は、カメラCi(i=0,1)について、カメラCiとカメラXで撮影した画像の間で対応点のペアを求める(ステップS1)。すなわち、図4に示すように、カメラXとカメラCiで撮影した画像上において対応点のペアを求める。なお、対応点の探索は手動で行ってもよいし、SIFT画像特徴量の類似度に基づくマッチング(例えば、参考文献2参照)を行ってもよい。自動で対応点の組を求める場合には誤対応が発生する場合があるが、これらに対してはRANSACアルゴリズムを適用することで誤対応を排除するようにしてもよい。
参考文献2:Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 (2004): 91-110.
次に、仮想対応点取得部2は、ステップS1で求めた対応点のペアからE行列を求める(ステップS2)。すなわち、対応点のペア、カメラCiの内部パラメータとカメラXの内部パラメータを用いてE行列を求める。E行列を求める方法は特に制限しない。例えば8−point algorithmが代表的だが、他に5つの対応点のペアから求める5−point algorithm(例えば参考文献3参照)も知られており、こちらを用いてもよい。
参考文献3:Nister, David. "An efficient solution to the five-point relative pose problem." Pattern Analysis and Machine Intelligence, IEEE Transactions on 26.6 (2004): 756-770.
次に、仮想対応点取得部2は、求めたE行列を分解してカメラXの位置ベクトルを求める(ステップS3)。E行列は特異値分解することでカメラXの位置ベクトルを取得することができる。この位置ベクトルの取得処理は、例えば、非特許文献2に記載の公知の処理を適用可能であるため、ここでは、詳細な説明を省略する。この時、カメラXはカメラCiの視野になくても求めることが可能である。
次に、この位置ベクトルと各カメラの内部パラメータを用いて、位置ベクトルの各カメラの画像平面における座標を求める。位置ベクトルをxとすると、この投影座標qは以下のように求めることができる。
q=Ki×x
次に、仮想対応点取得部2は、ステップS1からステップS3を全てのカメラCiについて行う(ステップS4)。この時点で、カメラXの位置が投影された点が全てのカメラCiにとっての共通の対応点となる。
次に、仮想対応点取得部2は、ステップS1からステップS4を全てのカメラXについて行う(ステップS5)。この時点で、全てのカメラCiにとっての共通の対応点のペアがNx個得られたことになる。
次に、外部パラメータ計算部3は、得られたカメラC−C間の対応点情報(カメラC0の画像上におけるカメラXの座標値、カメラC1の画像上におけるカメラXの座標値)から、カメラC−C間のE行列を求める(ステップS6)。E行列はステップS2でも用いた8−point algorithmなどを利用して求めることができる。
次に、外部パラメータ計算部3は、ステップS6で求めたE行列を分解してカメラCi間の外部パラメータを求めて出力する(ステップS7)。E行列は特異値分解することで外部パラメータを得ることができる。この特異値分解の処理は、例えば、非特許文献2に記載の公知の処理を提供可能であるため、ここでは詳細な説明を省略する。
以上説明した処理の動作によって、カメラCi(i=0,1)間の外部パラメータを求めることができる。
<第2実施形態>
次に、本発明の第2実施形態によるカメラキャリブレーション装置を説明する。第2の実施形態は、Fundamental Matrix(基礎行列)を求めるものである。第2実施形態では簡単のため2台のカメラC,Cを用い、かつ図10に示すようにカメラC,Cが共通する視野を持つがその共通する視野には対応する3次元点が存在しない。この時、カメラC,Cの内部パラメータは参考文献1に記載の手法を利用することで既に得られている。また、カメラC,Cは固定されている。
また、カメラC,Cと比較して広い視野を持つ新たに利用するカメラ(例えば、全天球カメラ)をXとし、この内部パラメータは既知である。なお、全天球カメラの場合は画像のサイズを内部パラメータとし、それらは未知である。カメラXはNx視点において撮影される。なお、カメラXは広い視野を持つため、カメラC,Cと視野を共有することが期待できる。また、カメラC−X,カメラC−Xの共有視野には図4、図5に示すように対応点が存在することを想定する。
図6は同実施形態によるカメラキャリブレーション装置の構成を示すブロック図である。この図において、符号1は、外部から3つの画像(カメラCの画像、カメラCの画像、カメラXの画像)を入力する入力部である。ここでは、カメラXが全天球カメラであるものとして説明する。符号2は、入力した3つの画像から仮想対応点を取得する仮想対応点取得部である。符号3は、仮想対応点からFundamental Matrix(基礎行列)を求めるFundamental Matrix計算部である。図6に示す各処理部の詳細な説明は後述する。
次に、図6に示すカメラキャリブレーション装置における全体の処理の動作について説明する。まず、入力部5は、カメラC,Cおよび全天球カメラXで撮影した映像を取得する。次に、仮想対応点取得部6は、それらの映像からカメラCおよびC間における対応点を求める。最後に、Fundamental Matrix計算部7は、それらの対応点を元にしてカメラC,C間のFundamental Matrixを計算して出力する。
次に、図6に示す各処理部の詳細な動作を説明する。はじめに、入力部5について説明する。入力部5は、カメラC,C,全天球カメラXのそれぞれから画像を入力し、これらの画像を内部に保持する。入力部1は、必要に応じて、内部に保持している3つの画像のそれぞれを仮想対応点取得部2へ出力する。
次に、仮想対応点取得部6について説明する。仮想対応点取得部6は、入力部5から3つの画像を入力する。仮想対応点取得部6は、カメラC,CおよびカメラXで撮影した画像から、カメラC−C間の対応点情報を求める。
なお、カメラC−C間の対応点情報とは、ある空間中の点がカメラCおよびCに投影された時の座標値のペアであり、例えば図3のようにテーブルで表すことができる。図3に示すようなテーブルは、対応点を一意に識別する対応点IDと、カメラCが撮影した画像上における座標値、カメラCが撮影した画像上における座標値とがある。そして、仮想対応点取得部6は、カメラC−C間の対応点情報をFundamental Matrix計算部7へ出力する。
次に、Fundamental Matrix計算部7は、仮想対応点取得部6からカメラC−C間の対応点情報を入力する。そして、Fundamental Matrix計算部7は、カメラC−C間の対応点情報からカメラC−C間のFundamental Matrixを計算し、得られたカメラC−C間のFundamental Matrix(基礎行列)を出力する。
ここで、図7を参照して、図6に示す仮想対応点取得部2とFundamental Matrix計算部7の処理の動作を説明する。図7は、図6に示す仮想対応点取得部2とFundamental Matrix計算部7の処理の動作を示すフローチャートである。
まず、仮想対応点取得部6は、カメラCi(i=0,1)について、カメラCiとカメラXで撮影した画像の間で対応点のペアを求める(ステップS11)。
次に、仮想対応点取得部6は、ステップS11で求めた対応点のペアからF行列を求める(ステップS12)。F行列を求める方法は特に制限しない。例えば8−point algorithmが代表的だが、他に5つの対応点のペアから求める5−point algorithm(例えば、参考文献3参照)も知られており、こちらを用いてもよい。
次に、仮想対応点取得部6は、求めたF行列を用いてカメラXのエピポールを求める(ステップS13)。カメラXのエピポールとはカメラCiの画像平面におけるカメラXの投影点を意味する。カメラXのエピポールexは以下の式を満たす。
この時、エピポールexはF行列のright null spaceとして求められる(例えば、非特許文献2参照)。なお、カメラXのエピポールはカメラXがカメラCiの視野になくても求めることが可能である。
次に、仮想対応点取得部6は、ステップS11からステップS13を全てのカメラCiについて行う(ステップS14)。この時点で、カメラXのエピポールが全てのカメラCiにとっての共通の対応点となる。
次に、仮想対応点取得部6は、ステップS11からステップS14を全てのカメラXについて行う(ステップS15)。この時点で、全てのカメラCiにとっての共通の対応点のペアがNx個得られたことになる。
次に、Fundamental Matrix計算部7は、入力として与えられた対応点のペアから、カメラCi間のF行列を求める(ステップS16)。Fundamental Matrixは対応点のペアに対して8−point algorithmを適用することで求めることができる。
以上説明した処理の動作によって、カメラCi(i=0,1)間のFundamental Matrix(F行列:基礎行列)を求めることができる。
なお、前述した説明ではカメラC−Cが観測可能な対応点を持たない場合に適用可能であるが、観測可能な対応点を保つ場合にも適用可能である。
以上説明したように、カメラのキャリブレーションを行う際に、エピポーラ幾何を応用し、2つのカメラにおいて共有視野があるにも関わらず対応点が作れない場合、または/および、共有視野を持たない場合に、2つのカメラと共有視野を持ち、かつ、対応点が作ることができる第3のカメラを用いて、2つのカメラについてキャリブレーションを行う。第3のカメラとして全天球カメラに代表される非常に広い視野を持つカメラを更に利用する。そして、新たに利用する第3のカメラの位置そのものを対応点として利用する。
前述した実施形態におけるカメラキャリブレーション装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
観測可能な対応点を持たないカメラ間の外部キャリブレーションを行うことが不可欠な用途に適用できる。
1・・・入力部、2・・・仮想対応点取得部、3・・・外部パラメータ計算部、5・・・入力部、6・・・仮想対応点取得部、7・・・Fundamental Matrix計算部

Claims (5)

  1. 第1のカメラと第2のカメラとの外部パラメータを求めるキャリブレーションを行うカメラキャリブレーション装置であって、
    第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出部と、
    前記対応点の対と、前記第1または第2のカメラの内部パラメータと、前記第3のカメラの内部パラメータとから第1の基本行列を求める第1の基本行列算出部と、
    前記第1の基本行列を分解して、前記第3のカメラの位置ベクトルを取得する位置ベクトル取得部と、
    前記対応点の対と、前記位置ベクトルとから前記第1のカメラと前記第2のカメラ間の第2の基本行列を求める第2の基本行列算出部と、
    前記第2の基本行列を分解して、前記第1のカメラと前記第2のカメラの外部パラメータを算出する外部パラメータ算出部と
    を備えるカメラキャリブレーション装置。
  2. 第1のカメラと第2のカメラとの基礎行列を求めるキャリブレーションを行うカメラキャリブレーション装置であって、
    第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出部と、
    前記対応点の対から第1の基礎行列を求める第1の基礎行列算出部と、
    前記第1の基礎行列を用いて前記第3のカメラのエピポールを求めるエピポール算出部と、
    前記エピポールと、前記対応点の対とから前記第1のカメラと前記第2のカメラとの間の第2の基礎行列を求める第2の基礎行列算出部と
    を備えるカメラキャリブレーション装置。
  3. 第1のカメラと第2のカメラとの外部パラメータを求めるキャリブレーションを行うカメラキャリブレーション装置が行うカメラキャリブレーション方法であって、
    第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出ステップと、
    前記対応点の対と、前記第1または第2のカメラの内部パラメータと、前記第3のカメラの内部パラメータとから第1の基本行列を求める第1の基本行列算出ステップと、
    前記第1の基本行列を分解して、前記第3のカメラの位置ベクトルを取得する位置ベクトル取得ステップと、
    前記対応点の対と、前記位置ベクトルとから前記第1のカメラと前記第2のカメラ間の第2の基本行列を求める第2の基本行列算出ステップと、
    前記第2の基本行列を分解して、前記第1のカメラと前記第2のカメラの外部パラメータを算出する外部パラメータ算出ステップと
    を有するカメラキャリブレーション方法。
  4. 第1のカメラと第2のカメラとの基礎行列を求めるキャリブレーションを行うカメラキャリブレーション装置が行うカメラキャリブレーション方法であって、
    第1のカメラまたは第2のカメラと、第3のカメラとの画像の間における対応点の対を求める対応点算出ステップと、
    前記対応点の対から第1の基礎行列を求める第1の基礎行列算出ステップと、
    前記第1の基礎行列を用いて前記第3のカメラのエピポールを求めるエピポール算出ステップと、
    前記エピポールと、前記対応点の対とから前記第1のカメラと前記第2のカメラとの間の第2の基礎行列を求める第2の基礎行列算出ステップと
    を有するカメラキャリブレーション方法。
  5. コンピュータを、請求項1または2に記載のカメラキャリブレーション装置として機能させるためのカメラキャリブレーションプログラム。
JP2016144628A 2016-07-22 2016-07-22 カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム Active JP6557640B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016144628A JP6557640B2 (ja) 2016-07-22 2016-07-22 カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016144628A JP6557640B2 (ja) 2016-07-22 2016-07-22 カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム

Publications (2)

Publication Number Publication Date
JP2018014686A JP2018014686A (ja) 2018-01-25
JP6557640B2 true JP6557640B2 (ja) 2019-08-07

Family

ID=61021024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016144628A Active JP6557640B2 (ja) 2016-07-22 2016-07-22 カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム

Country Status (1)

Country Link
JP (1) JP6557640B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800569B (zh) * 2019-04-09 2022-02-22 Oppo广东移动通信有限公司 拍照处理方法、装置、存储介质及电子设备
CN111784783B (zh) * 2020-08-14 2022-05-17 支付宝(杭州)信息技术有限公司 相机外参标定的系统和方法
CN112802121B (zh) * 2021-01-14 2023-09-05 杭州海康威视数字技术股份有限公司 监控相机的标定方法
CN113284193B (zh) * 2021-06-22 2024-02-02 智道网联科技(北京)有限公司 Rs设备的标定方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4136859B2 (ja) * 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
JP5973910B2 (ja) * 2009-05-15 2016-08-23 パーデュー・リサーチ・ファウンデーションPurdue Research Foundation 大規模カメラネットワークの較正
JP2010273091A (ja) * 2009-05-21 2010-12-02 Nippon Telegr & Teleph Corp <Ntt> 広域多視点カメラ校正方法、広域多視点カメラ校正装置、およびプログラム
US11019330B2 (en) * 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration

Also Published As

Publication number Publication date
JP2018014686A (ja) 2018-01-25

Similar Documents

Publication Publication Date Title
Dai et al. Rolling shutter camera relative pose: Generalized epipolar geometry
JP6557640B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法及びカメラキャリブレーションプログラム
US8531505B2 (en) Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium
US20120162220A1 (en) Three-dimensional model creation system
JP2018129007A (ja) 学習データ生成装置、学習装置、推定装置、学習データ生成方法及びコンピュータプログラム
JP2016218815A (ja) ラインセンサカメラのキャリブレーション装置及び方法
US20170147609A1 (en) Method for analyzing and searching 3d models
JP6615486B2 (ja) カメラキャリブレーション装置、方法及びプログラム
JP2014102746A (ja) 被写体認識装置及び被写体認識プログラム
CN113436269B (zh) 图像稠密立体匹配方法、装置和计算机设备
JP6730695B2 (ja) 特徴追跡及びモデル登録により三次元多視点を再構成するための方法。
JP2017096817A (ja) 距離情報補正装置、距離情報補正方法及び距離情報補正プログラム
KR101673144B1 (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN113643328B (zh) 标定物的重建方法、装置、电子设备及计算机可读介质
Conomis Conics-based homography estimation from invariant points and pole-polar relationships
CN112241984A (zh) 双目视觉传感器标定方法、装置、计算机设备和存储介质
JP2019220032A (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
JP6302427B2 (ja) 画像データ処理方法、画像データ処理装置および画像データ処理プログラム
JP6306952B2 (ja) 中間視点画像生成装置、中間視点画像生成方法及びコンピュータプログラム
JP6641313B2 (ja) 領域抽出装置及びプログラム
JP6384961B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体
Liu et al. Algorithm for camera parameter adjustment in multicamera systems
JP6280422B2 (ja) 被写体領域検出装置、被写体領域検出方法及び被写体領域検出プログラム
US20230316574A1 (en) Matching objects in images
WO2023166617A1 (ja) カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190712

R150 Certificate of patent or registration of utility model

Ref document number: 6557640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250