JP6929123B2 - カメラ校正装置及びカメラ校正プログラム - Google Patents
カメラ校正装置及びカメラ校正プログラム Download PDFInfo
- Publication number
- JP6929123B2 JP6929123B2 JP2017093920A JP2017093920A JP6929123B2 JP 6929123 B2 JP6929123 B2 JP 6929123B2 JP 2017093920 A JP2017093920 A JP 2017093920A JP 2017093920 A JP2017093920 A JP 2017093920A JP 6929123 B2 JP6929123 B2 JP 6929123B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- calibration
- calibration pattern
- zoom
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 claims description 77
- 238000012545 processing Methods 0.000 claims description 72
- 239000011159 matrix material Substances 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 230000003252 repetitive effect Effects 0.000 claims description 7
- 230000001915 proofreading effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 description 67
- 230000008569 process Effects 0.000 description 47
- 230000036544 posture Effects 0.000 description 34
- 230000001419 dependent effect Effects 0.000 description 25
- 239000013256 coordination polymer Substances 0.000 description 24
- 238000009434 installation Methods 0.000 description 17
- 238000003860 storage Methods 0.000 description 15
- 230000012447 hatching Effects 0.000 description 11
- 238000013500 data storage Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
頑健性とは、現場でカメラの設置作業が完了すれば、確実にカメラ校正(カメラパラメータの取得)が可能なことである。
実時間性とは、カメラの使用時に実時間でカメラパラメータの取得が可能なことである。
精度とは、推定されたカメラパラメータを用いて画像処理を行っても問題のない精度のことである。
この強校正は、安定してカメラ校正ができるが、校正パターンが必要なため運用性が低い。また、強校正は、カメラ校正が完了したら、カメラの姿勢やズームを変化させることはできない。もしカメラの姿勢やズームを変化させた場合、再度、校正パターンを使用してカメラ校正をする必要がある。そのため、強校正は、パン・チルト・ズームカメラには不向きである。
このように、これら2つの従来手法では、撮影現場の要望を満たすことができない。
さらに、校正パターンの撮影などの準備に時間を要するが、撮影現場ではカメラ校正を短時間かつ簡便に行えることが好ましい。
本発明に係るカメラ校正装置は、初期位置でカメラモデルパラメータを予め算出しておくので、本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを算出するだけなので、短時間かつ簡便なカメラ校正が可能となる。そして、カメラ校正装置は、非線形最適化を繰り返すことで高精度なカメラモデルパラメータを求めることができ、高精度なカメラ校正が可能となる。
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
本実施形態では、カメラ校正装置の概略、カメラのモデル化、カメラ校正のアルゴリズム、カメラ校正装置の構成、カメラ校正装置の動作の順で説明する。
図1〜図3を参照し、カメラ校正装置1の概略について説明する。
カメラ校正装置1は、複数のカメラCを初期位置(例えば、実験室や準備室)に配置してズーム及び姿勢を変えながら複数の校正パターンP(図3)をそれぞれ撮影したときの初期カメラモデルパラメータ(第1カメラモデルパラメータ)を算出する。
次に、カメラ校正装置1は、初期カメラモデルパラメータを用いて、カメラCを撮影位置(例えば、撮影スタジオ)に設置してズーム及び姿勢を変えながら複数の校正パターンPをそれぞれ撮影したときの設置カメラモデルパラメータ(第2カメラモデルパラメータ)を算出する。
そして、カメラ校正装置1は、設置カメラモデルパラメータ及びカメラCのセンサ値から一般的なカメラパラメータを算出し、図示を省略したCG合成装置などにカメラパラメータを出力する。
なお、カメラ校正装置1の構成は、後記する。
また、カメラCは、ズームレンズCbを搭載し、ズーム値をセンサにより取得可能である。ここで、センサが取得したパン値、チルト値及びズーム値をセンサ値と呼び、カメラCが撮影した撮影画像とセンサ値との時間的整合が取れていることとする。
ここで、ズームレンズCb、特に高倍率のズームレンズCbを用いる場合、ワイド端(最大広角)とテレ端(最大望遠)で画角が大きく変化する。このため、1つのサイズの校正パターンPのみを用いる場合、校正パターンPの配置をよほど工夫しない限り、校正パターンPの全体を撮影できない。そこで、カメラ校正装置1では、図3(a)の大きな校正パターンP1や図3(b)の小さな校正パターンP2など、様々なサイズの校正パターンPを使用することが好ましい。
図4,図5を参照し、本実施形態におけるカメラのモデル化を説明する。
以下、集合の要素数を、|・|で表す。
カメラ番号i(i=1,2,…,I)とするカメラCをCiとする。つまり、カメラ番号iは、各カメラCiを一意に識別する番号である。Iは、カメラCiの総数を表す。何れか1つのズーム値nでカメラモデルパラメータが推定済みのカメラ番号iを表す集合をIeとする。
校正パターン番号j(j=1,2,…,J)とする校正パターンPをPjとする。つまり、校正パターン番号jは、各校正パターンPjを一意に識別する番号である。Jは、校正パターンPjの総数を表す。位置・姿勢が推定済みの校正パターン番号jを表す集合をJeとする。
カメラCの姿勢番号をlとする。つまり、姿勢番号lは、カメラCの各姿勢(パン値、チルト値)に対応する番号である。カメラCiにおいて、ズーム設定番号kiで校正パターンPjを撮影した全ての姿勢番号lを表す集合をLijkとする。
特徴点番号をmとする。特徴点番号mは、校正パターンPの各特徴点を一意に識別する番号である。校正パターンPjの全ての特徴点番号mを表す集合をMjとする。
図4に示すように、カメラCのモデル化を行う。このカメラモデルは、雲台CaにズームレンズCbを搭載したカメラCをマウントしたモデルである。このカメラCをモデル化することで、推定すべきパラメータを定義できる。そして、そのパラメータが推定できれば、関数化もしくはルックアップテーブル化することで、センサ値からカメラパラメータが算出できる。
また、あるズーム値nのカメラモデルパラメータという場合、あるズーム値nにおけるズーム依存パラメータとズーム非依存パラメータの両方を指す。
図5に示すように、カメラCと校正パターンPの座標系を合わせた系全体のモデル化を行う。カメラCは、前記カメラモデルで述べたカメラ座標系ΣCを有する。また、校正パターンPは、校正パターン座標系ΣPを有する。本実施形態においては、複数の校正パターンPjを用いるので、それぞれの校正パターンPjがそれぞれの校正パターン座標系ΣPjを有する。また、校正パターンPは任意に配置可能であり、世界座標系ΣWと校正パターン座標系ΣPとの位置・姿勢の関係は、未知でよい。この世界座標系ΣWと校正パターン座標系ΣPとの位置・姿勢の関係の推定は、カメラモデルパラメータの推定と同時に行う。
以下、カメラ校正のアルゴリズムについて説明する。
カメラ校正装置1は、特徴点が既知の校正パターンを撮影した校正用データを用いてカメラ校正を行う。このカメラ校正装置1は、校正パターンを使うという点では強校正に分類されるが、従来技術のような強校正の制約が少ない。つまり、カメラ校正装置1は、使用前に校正パターンを用いて予め初期カメラモデルパラメータを推定することで、撮影現場での校正パターンの撮影回数を抑えつつ設置カメラモデルパラメータを算出できる。そして、カメラ校正装置1は、算出した設置カメラモデルパラメータとセンサ値からカメラパラメータを算出できる。なお、本番使用時、校正パターンPは不要である。
最初に校正用データ及び校正パターン・ズーム値テーブルについて説明し、次にカメラ校正のアルゴリズムについて説明する。
校正用データとは、カメラモデルパラメータの推定のために特徴点が既知の校正パターンPを撮影した画像と、その撮影画像を撮影したときのカメラCのセンサ値との組のことである。つまり、校正用データは、1つの撮影画像と1つのセンサ値との組で1つのデータを構成する。
また、例えば、図6(b)に示すように、ズームのテレ端で姿勢を変えながら、小さな校正パターンP2を撮影する。この例では、校正用データは、画角内で校正パターンP2の位置が異なる撮影画像と、その撮影画像を撮影したときのセンサ値との5組となる。
また、図6では、ワイド端、テレ端の校正用データのみを図示したが、ワイド端からテレ端までの間のズーム値nについての校正用データも用いることとする。また、図6では、ある1台のカメラCについての校正用データのみを図示したが、各カメラCに対応した校正用データを用いることとする。
なお、校正パターン・ズーム値テーブルtblでは、校正用データがある箇所をドットで図示し、校正用データが無い箇所を白枠で図示した。
以下、校正パターン・ズーム値テーブルを用いて、カメラモデルパラメータを推定する手法を考える。本実施形態において、精度よくカメラモデルパラメータを推定するためには、校正用データが多いほうが好ましい。つまり、校正パターンPの数、ズーム値nのサンプル数及びカメラCの姿勢数は、多くした方が好ましい。一方、撮影現場において、校正用データを大量に撮影することは時間・手間の両面で難しい。つまり、このカメラ校正において、「精度」と「時間・手間」は、トレードオフの関係となる。本実施形態では、これらを両立するため初期カメラ校正及び設置カメラ校正という2段階での校正を考える。
まず、初期カメラ校正を中心に説明し、設置カメラ校正については初期カメラ校正と異なる点のみを説明する。
一般的に、校正パターンPを用いたカメラ校正は、線形計算による初期値推定と、初期値の非線形最適化(再投影誤差最小化)との2段階で行われる。ここで、特徴的なのは、初期値推定と非線形最適化を繰り返し行う点にある。最適化を行って解を真値に近い値に収束させるためには、真値に近い初期値(よい初期値)が必要となる。つまり、線形計算において、よい初期値を推定することが非常に重要になる。しかし、よい初期値を校正用データから算出することが難しい。特に、高倍率なズームレンズCbのテレ端側では、撮影している校正パターンPに対して、カメラCの姿勢を変えても、校正パターンPの映り方が殆ど変化しない。このため、異なる姿勢で撮影しても視差が殆ど生まれないため、非特許文献1に記載の強校正を適用するのが難しい。そこで、カメラ校正装置1では、ある1つの校正パターンP、ある1つのズーム値nから段階的に校正パターンP、カメラC、ズーム値nを増やし、初期値推定と非線形最適化を繰り返し、最終的に全ての校正パターンP、カメラC、ズーム値nについてのカメラモデルパラメータを推定する。
まず、カメラ校正装置1は、準備処理として、撮影画像から校正パターンPの特徴点抽出などを行う。次に、カメラ校正装置1は、基準推定処理として、予め設定した1つの基準校正パターンと、1つのズーム値n(基準ズーム値)とで、カメラC毎にカメラモデルパラメータ(基準ズーム値でのズーム依存パラメータとズーム非依存パラメータ)を推定する。
なお、校正パターンPの位置・姿勢とは、世界座標系ΣWと校正パターン座標系ΣPとの位置・姿勢の関係のことである。
以下、設置カメラ校正について、初期カメラ校正と異なる点のみを説明する。
設置カメラ校正は、ズーム拡張処理を行わない以外、初期カメラ校正と同様の処理となる(図11)。
図1に戻り、カメラ校正装置1の構成について説明する。
図1に示すように、カメラ校正装置1は、校正用データ記憶手段11と、カメラモデルパラメータ記憶手段13と、設定値記憶手段15と、初期カメラ校正手段(第1カメラ校正手段)20と、設置カメラ校正手段(第2カメラ校正手段)30と、カメラパラメータ算出手段40とを備える。
なお、初期校正パターン・ズーム値テーブル及び設置校正パターン・ズーム値テーブルの何れも、図7と同様のテーブル構造を有する。
初期カメラ校正手段20は、前記した初期カメラ校正を行うものであり、準備処理手段(第1準備処理手段)21と、基準推定手段(第1基準推定手段)22と、校正パターン拡張手段(第1校正パターン拡張手段)23と、カメラ拡張手段(第1カメラ拡張手段)24と、ズーム拡張手段(第1ズーム拡張手段)25と、最適化手段(第1最適化手段)26と、終了判定手段(第1終了判定手段)27と、パラメータ補完手段(補間手段)28とを備える。
既知の強校正としては、例えば、Zhangの手法を利用できる(非特許文献1参照)。この強校正は、基準校正パターン及び基準ズーム値における全撮影画像と、カメラ拡張処理を実施する撮影画像とを対象として実施する。つまり、各カメラCにおいて、対象となる校正パターンP及びズーム値nについてのカメラパラメータが求まる。このカメラパラメータは、以後の処理において、初期値として使用する。
なお、このカメラパラメータとは、一般的なカメラパラメータ(内部パラメータ及び外部パラメータ)のことであり、式(13)のカメラモデルパラメータとは区別される。
本実施形態では、基準推定手段22は、繰り返し処理を行わないこととするが、終了判定手段27から処理終了指令が入力された場合に処理を終了する。
参考文献2:玉木徹. “姿勢推定と回転行列”, 電子情報通信学会技術研究報告. SIP, 信号処理 109.202 (2009): p.59-64
また、校正パターン拡張手段23は、終了判定手段27から処理終了指令が入力された場合、繰り返し処理を終了する。
また、ズーム拡張手段25は、終了判定手段27から処理終了指令が入力された場合、繰り返し処理を終了する。
設置カメラ校正手段30は、前記した設置カメラ校正を行うものであり、準備処理手段(第2準備処理手段)31と、基準推定手段(第2基準推定手段)32と、校正パターン拡張手段(第2校正パターン拡張手段)33と、カメラ拡張手段(第2カメラ拡張手段)34と、最適化手段(第2最適化手段)35と、終了判定手段(第2終了判定手段)36とを備える。
この準備処理手段31は、準備処理手段21と同様の処理を行うため、説明を省略する。
本実施形態では、基準推定手段32は、繰り返し処理を行わないこととするが、終了判定手段36から処理終了指令が入力された場合に処理を終了する。
この校正パターン拡張手段33は、校正パターン拡張手段23と同様の処理を行うため、説明を省略する。
ここで、最適化手段35は、設計変数がパラメータηではなくパラメータη´となる点(つまり、式(27)及び式(28)のηがパラメータη´となる点)以外、最適化手段26と同様と同様の処理を行うため、これ以上の説明を省略する。
図9を参照し、カメラ校正装置1が初期カメラ校正を行うときの動作を説明する。
図9に示すように、準備処理手段21は、初期校正パターン・ズーム値テーブルを用いた強校正により、基準校正パターン及び基準ズーム値におけるカメラパラメータを算出する(ステップS1)。
全ての初期カメラモデルパラメータの推定を完了していない場合(ステップS3でNo)、カメラ校正装置1は、ステップS4の処理に進む。
全ての初期カメラモデルパラメータの推定を完了した場合(ステップS3でYes)、カメラ校正装置1は、ステップS7の処理に進む。
パラメータ補完手段28は、ステップS7で最適化したパラメータを補完する(ステップS8)。
図10を参照し、初期校正パターン・ズーム値テーブルの使用について説明する。
図10には、初期カメラ校正での初期校正パターン・ズーム値テーブルtblの一例を図示した。図10では、校正パターン・ズーム値テーブルtblが、校正パターンP1〜P5の5個、ズーム値N1〜N5の5サンプルとなっている。また、基準校正パターンをP1とし、基準ズーム値をN1とする。また、校正パターン・ズーム値テーブルtblでは、ドットの箇所に校正用データが存在し(撮影できた姿勢数が1以上)、白塗の箇所に校正用データが存在しない(撮影できた姿勢数が0)を表す。
図10(a)では、校正用データが初期状態であり、まだ校正用データが使用されていない。
図10(b)では、基準推定処理が行われる。基準校正パターンP1及び基準ズーム値N1で撮影した校正用データを用いて、基準ズーム値N1のカメラモデルパラメータ(ズーム非依存パラメータ及び基準ズーム値N1のズーム依存パラメータ)を推定する。なお、基準推定処理で用いた校正用データを黒塗で図示した。
図10(d)では、1回目のズーム拡張処理が行われる。図10(c)までに推定済みのパラメータと、太枠で図示した5つの校正用データ(左上方向のハッチングで図示)を用いて、ズーム値N2,N3のズーム依存パラメータを推定する。
図10(f)では、2回目のズーム拡張処理が行われる。図10(e)までに推定済みのパラメータと、太枠で図示した2つの校正用データ(左上方向のハッチングで図示)を用いて、ズーム値N4のズーム依存パラメータを推定する。
図10(h)では、3回目のズーム拡張処理が行われる。図10(g)までに推定済みのパラメータと、太枠で図示した1つの校正用データ(左上方向のハッチングで図示)を用いて、ズーム値N5のズーム依存パラメータを推定する。
なお、1回目のズーム拡張処理と異なり、これ以上処理を繰り返しても推定済みのパラメータが増えないため、1つの校正用データだけでもズーム拡張処理が行われる。なお、非線形最適化を行う際、それまでに追加した全ての校正用データを使用する。
以上のようにして、全ての校正パターンP1〜P5及びズーム値N1〜N5でカメラモデルパラメータが推定される。
図11を参照し、カメラ校正装置1が設置カメラ校正を行うときの動作を説明する。
図11に示すように、準備処理手段31は、設置校正パターン・ズーム値テーブルを用いた強校正により、基準校正パターン及び基準ズーム値におけるカメラパラメータを算出する(ステップS10)。
全ての設置カメラモデルパラメータの推定を完了していない場合(ステップS12でNo)、カメラ校正装置1は、ステップS13の処理に進む。
全ての設置カメラモデルパラメータの推定を完了した場合(ステップS12でYes)、カメラ校正装置1は、ステップS15の処理に進む。
図12を参照し、設置校正パターン・ズーム値テーブルの使用例について説明する。
図12の例では、校正パターン・ズーム値テーブルが初期カメラ校正と同一であることとして説明するが、必ずしも同一である必要はない。また、前記したように、設置カメラ校正では、ズーム依存パラメータが既知のため、ズーム拡張処理が必要ない。
図12(a)では、校正用データが初期状態であり、まだ校正用データが使用されていない。
図12(b)では、基準推定処理が行われる。基準校正パターンP1及び基準ズーム値N1で撮影した校正用データと、初期カメラ校正の結果とを用いて、外部パラメータCPμW´のみを推定する。
以上のようにして、全ての校正パターンP1〜P5の位置及び姿勢及び外部パラメータCPμW´が推定される。
以上のように、カメラ校正装置1は、初期カメラモデルパラメータを予め算出しておくので、本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを算出するだけなので、短時間かつ簡便なカメラ校正が可能となる。
さらに、カメラ校正装置1は、初期カメラ校正及び設置カメラ校正で非線形最適化を繰り返すことで、高精度なカメラモデルパラメータを求めることができる。このカメラモデルパラメータを用いることで、高精度なカメラ校正が可能となる。
さらに、カメラ校正装置1は、初期カメラ校正を予め行った後、撮影位置で設置カメラ校正を行うので、撮影スタジオで校正パターンを撮影する回数が減少し、準備時間を短縮することができる。
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、カメラ校正装置がカメラ拡張手段を備えることとして説明したが、カメラ拡張手段を備えずともよい。
前記した実施形態では、カメラ校正装置がパラメータ補完手段を備えることとして説明したが、パラメータ補完手段を備えずともよい。
前記した実施形態では、最適化手段が再度非線形最適化を行うこととして説明したが、これを行わずともよい。
11 校正用データ記憶手段
13 カメラモデルパラメータ記憶手段
15 設定値記憶手段
20 初期カメラ校正手段(第1カメラ校正手段)
21 準備処理手段(第1準備処理手段)
22 基準推定手段(第1基準推定手段)
23 校正パターン拡張手段(第1校正パターン拡張手段)
24 カメラ拡張手段(第1カメラ拡張手段)
25 ズーム拡張手段(第1ズーム拡張手段)
26 最適化手段(第1最適化手段)
27 終了判定手段(第1終了判定手段)
28 パラメータ補完手段(補間手段)
30 設置カメラ校正手段(第2カメラ校正手段)
31 準備処理手段(第2準備処理手段)
33 基準推定手段(第2基準推定手段)
33 校正パターン拡張手段(第2校正パターン拡張手段)
34 カメラ拡張手段(第2カメラ拡張手段)
35 最適化手段(第2最適化手段)
36 終了判定手段(第2終了判定手段)
40 カメラパラメータ算出手段
Claims (6)
- 複数のカメラを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第1カメラモデルパラメータを算出する第1カメラ校正手段と、前記第1カメラモデルパラメータを用いて、前記複数のカメラを撮影位置に設置してズーム及び姿勢を変えながら複数の前記校正パターンをそれぞれ撮影したときの第2カメラモデルパラメータを算出する第2カメラ校正手段とを備えるカメラ校正装置であって、
前記第1カメラ校正手段は、
前記初期位置で前記校正パターンを撮影した撮影画像と当該撮影画像を撮影したときの前記カメラのズーム値及び姿勢を表すセンサ値との組が第1校正用データとして入力され、入力された前記第1校正用データを用いた強校正により、前記複数の校正パターンのうち予め設定した1つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出する第1準備処理手段と、
前記第1準備処理手段が算出したカメラパラメータを用いて、前記基準校正パターン及び前記基準ズーム値における第1カメラモデルパラメータを剛体変換行列により算出する第1基準推定手段と、
前記第1カメラモデルパラメータ及び前記第1校正用データを用いて、前記基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、前記基準校正パターンと前記対象校正パターンとの特徴点群の位置関係から前記対象校正パターンについての位置及び姿勢を算出する第1校正パターン拡張手段と、
前記第1カメラモデルパラメータと前記第1校正用データと前記第1校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを用いて、前記基準ズーム値と異なる対象ズーム値における第1カメラモデルパラメータを投影行列により算出する第1ズーム拡張手段と、
前記第1カメラモデルパラメータと前記第1校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第1最適化手段と、
予め設定した第1終了条件を満たしているか否かを判定し、前記第1終了条件を満たしていない場合、前記第1校正パターン拡張手段及び前記第1ズーム拡張手段に繰り返し処理を指令する第1終了判定手段と、を備え、
前記第2カメラ校正手段は、
前記撮影位置で前記校正パターンを撮影した撮影画像と当該撮影画像を撮影したときの前記カメラのズーム値及び姿勢を表すセンサ値との組が第2校正用データとして入力され、入力された前記第2校正用データを用いた強校正により、前記撮影位置での前記カメラパラメータを算出する第2準備処理手段と、
前記第2準備処理手段が算出したカメラパラメータを用いて、前記第2カメラモデルパラメータとして、前記撮影位置に前記カメラを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出する第2基準推定手段と、
前記第2カメラモデルパラメータ及び前記第2校正用データを用いて、前記基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、前記基準校正パターンと前記対象校正パターンとの特徴点群の位置関係から前記対象校正パターンについての位置及び姿勢を算出する第2校正パターン拡張手段と、
前記第2カメラモデルパラメータと前記第2校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第2最適化手段と、
予め設定した第2終了条件を満たしているか否かを判定し、前記第2終了条件を満たしていない場合、前記第2校正パターン拡張手段及び前記第2最適化手段に繰り返し処理を指令する第2終了判定手段と、
を備えることを特徴とするカメラ校正装置。 - 前記第1カメラ校正手段は、
前記第1校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢を用いて、前記基準校正パターンを撮影できなかったカメラについての第1カメラモデルパラメータを剛体変換行列により算出する第1カメラ拡張手段、をさらに備え、
前記第1ズーム拡張手段は、前記第1カメラ拡張手段が算出した第1カメラモデルパラメータ及び前記第1校正用データを用いて、前記対象ズーム値における第1カメラモデルパラメータを算出し、
前記第2カメラ校正手段は、
前記第2校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢を用いて、前記基準校正パターンを撮影できなかったカメラについての第2カメラモデルパラメータを剛体変換行列により算出する第2カメラ拡張手段、をさらに備え、
前記第2最適化手段は、前記第2基準推定手段、前記第2校正パターン拡張手段及び前記第2カメラ拡張手段のそれぞれが算出した第2カメラモデルパラメータを非線形最適化することを特徴とする請求項1に記載のカメラ校正装置。 - 前記第1最適化手段は、前記第1終了判定手段が前記第1終了条件を満たしていると判定した場合、前記第1カメラモデルパラメータと前記第1校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを、再度、非線形最適化し、
前記第2最適化手段は、前記第2終了判定手段が前記第2終了条件を満たしていると判定した場合、前記第2カメラモデルパラメータと前記第2校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを、再度、非線形最適化することを特徴とする請求項2に記載のカメラ校正装置。 - 前記第1カメラモデルパラメータ又は前記第2カメラモデルパラメータと前記センサ値とが入力され、入力された前記第1カメラモデルパラメータ又は前記第2カメラモデルパラメータと前記センサ値とから前記カメラパラメータを算出するカメラパラメータ算出手段、をさらに備えることを特徴とする請求項1から請求項3の何れか一項に記載のカメラ校正装置。
- 前記基準ズーム値及び前記対象ズーム値以外のズーム値における第1カメラモデルパラメータを補完する補間手段、をさらに備えることを特徴とする請求項1から請求項4の何れか一項に記載のカメラ校正装置。
- コンピュータを、請求項1から請求項5の何れか一項に記載のカメラ校正装置として機能させるためのカメラ校正プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093920A JP6929123B2 (ja) | 2017-05-10 | 2017-05-10 | カメラ校正装置及びカメラ校正プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017093920A JP6929123B2 (ja) | 2017-05-10 | 2017-05-10 | カメラ校正装置及びカメラ校正プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018189580A JP2018189580A (ja) | 2018-11-29 |
JP6929123B2 true JP6929123B2 (ja) | 2021-09-01 |
Family
ID=64480100
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017093920A Active JP6929123B2 (ja) | 2017-05-10 | 2017-05-10 | カメラ校正装置及びカメラ校正プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6929123B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111325799B (zh) * | 2018-12-16 | 2024-01-02 | 北京魔门塔科技有限公司 | 一种大范围高精度的静态环视自动标定图案及系统 |
CN112816949B (zh) * | 2019-11-18 | 2024-04-16 | 商汤集团有限公司 | 传感器的标定方法及装置、存储介质、标定系统 |
EP4071713B1 (en) * | 2019-12-30 | 2024-06-19 | Huawei Technologies Co., Ltd. | Parameter calibration method and apapratus |
JP7470518B2 (ja) * | 2020-02-05 | 2024-04-18 | 日本放送協会 | パン・チルト角算出装置及びそのプログラム |
CN111724446B (zh) * | 2020-05-20 | 2023-05-02 | 同济大学 | 一种用于建筑物三维重建的变焦距相机外参数标定方法 |
CN111815715B (zh) * | 2020-07-03 | 2024-08-30 | 浙江大华技术股份有限公司 | 变焦云台摄像机的标定方法、装置及存储介质 |
CN111986257A (zh) * | 2020-07-16 | 2020-11-24 | 南京模拟技术研究所 | 一种支持可变距离的弹点识别自动校准方法及系统 |
CN113066136B (zh) * | 2021-06-03 | 2021-09-10 | 杭州灵西机器人智能科技有限公司 | 自动化标定方法、装置、电子设备及介质 |
CN113538590B (zh) * | 2021-06-15 | 2024-07-02 | 深圳云天励飞技术股份有限公司 | 一种变焦相机的标定方法、装置、终端设备和存储介质 |
-
2017
- 2017-05-10 JP JP2017093920A patent/JP6929123B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018189580A (ja) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6929123B2 (ja) | カメラ校正装置及びカメラ校正プログラム | |
JP6622503B2 (ja) | カメラモデルパラメータ推定装置及びそのプログラム | |
CN106875451B (zh) | 相机标定方法、装置及电子设备 | |
WO2022062464A1 (zh) | 基于计算机视觉的手眼标定方法及装置、存储介质 | |
US20150093042A1 (en) | Parameter calibration method and apparatus | |
CN111801198A (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
JP2014014912A (ja) | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム | |
WO2009056050A1 (fr) | Procédé et dispositif d'étalonnage de caméra vidéo | |
CN101998136A (zh) | 单应矩阵的获取方法、摄像设备的标定方法及装置 | |
US8531505B2 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
CN111340737B (zh) | 图像矫正方法、装置和电子系统 | |
KR20160047846A (ko) | 영상 정합 방법 | |
CN110738717A (zh) | 动作数据的修正方法、装置及电子设备 | |
CN112862897B (zh) | 一种基于相位移编码圆的相机离焦状态下的快速标定方法 | |
JP4948552B2 (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
KR102111655B1 (ko) | 로봇 비전 시스템을 위한 자동 캘리브레이션 방법 및 장치 | |
WO2018209592A1 (zh) | 一种机器人的运动控制方法、机器人及控制器 | |
WO2020063058A1 (zh) | 一种多自由度可动视觉系统的标定方法 | |
CN111815715B (zh) | 变焦云台摄像机的标定方法、装置及存储介质 | |
CN114022568A (zh) | 虚实相机位姿矫正方法、装置、存储介质及电子设备 | |
CN115965697A (zh) | 基于沙姆定律的投影仪标定方法、标定系统及装置 | |
CN117437303B (zh) | 一种标定相机外参的方法及系统 | |
JP2021124395A (ja) | パン・チルト角算出装置及びそのプログラム | |
WO2018096669A1 (ja) | レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム | |
JP2006195790A (ja) | レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210713 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210810 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6929123 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |