JP4813911B2 - カメラ内部パラメタ測定装置 - Google Patents

カメラ内部パラメタ測定装置 Download PDF

Info

Publication number
JP4813911B2
JP4813911B2 JP2006025847A JP2006025847A JP4813911B2 JP 4813911 B2 JP4813911 B2 JP 4813911B2 JP 2006025847 A JP2006025847 A JP 2006025847A JP 2006025847 A JP2006025847 A JP 2006025847A JP 4813911 B2 JP4813911 B2 JP 4813911B2
Authority
JP
Japan
Prior art keywords
camera
module
parallel beam
internal parameter
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006025847A
Other languages
English (en)
Other versions
JP2007205929A (ja
Inventor
雅浩 上野
豊 國田
敬二 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2006025847A priority Critical patent/JP4813911B2/ja
Publication of JP2007205929A publication Critical patent/JP2007205929A/ja
Application granted granted Critical
Publication of JP4813911B2 publication Critical patent/JP4813911B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing Of Optical Devices Or Fibers (AREA)

Description

本発明は、コンピュータビジョンにおいて、カメラの内部パラメタであるレンズの像側主点と撮像素子の受光面間の距離と、レンズの光軸中心と撮像素子との交点のディジタル画像座標系における座標を求めることに関する。
従来のカメラ内部パラメタ測定装置(たとえば、非特許文献1)について、以下に説明する。図1は従来のカメラ内部パラメタ測定について、測定する際の光学系を示したものである。
101は光源、102はカメラパラメタを得るためのパターンであるキャリブレーションパターン、103はキャリブレーションパターンの位置を示す世界座標系、104はカメラのレンズ、105はカメラによって規定されるカメラ座標系、106はカメラの二次元撮像素子、107は二次元撮像素子によって規定されるディジタル画像座標系、108は104のカメラレンズと106の二次元撮像素子で構成されるカメラ、である。
108のカメラは、103の世界座標に対して、いろいろな位置において102のキャリブレーションパターンを撮影することができるものとする。それぞれの位置のカメラをC,i=1,2,3,‥.と呼ぶこととし、iで位置を関連づけるものとする。
105のカメラ座標系の各軸の決め方は、以下の通りである。原点は、カメラのレンズの物体側主点と像側主点であり、レンズへの光の入射に関する座標の原点は物体側主点であり、レンズからの光の出射に関する座標の原点は像側主点である。ZCi軸はレンズ光軸と一致し、カメラへの光の入射とは反対方向をプラス方向とする。XCi軸は、原点を含みZCi軸と直交した面内にあり、二次元撮像素子の走査方向と平行な軸であり、物体を動かした際に走査方向と同じ方向に動く物体の方向をプラス側とする。YCi軸は、ZCi軸とXCi軸の両方と直交する軸であり、右手系としてYCi軸のプラス方向を決めることとする。
107のディジタル画像座標系は、1フレームの走査の起点が原点であり、走査方向の軸をuCi軸とし、もう一方の軸をvCi軸とする。
102のキャリブレーションパターンは、視覚的に特徴のある点を複数含むものとする。その特徴点は、たとえば、格子状の線の交点、市松模様の各四角の頂点等が考えられる
カメラ内部パラメタを得る手順は以下の通りである。
1)103の世界座標系上における102のキャリブレーションパターンの複数の特徴点の位置を測定する。これらの座標を[XWk,YWk,ZWkとする。ここで、kは点を区別するための番号である。Tは転置を表す。
2)ある位置に108のカメラを固定する。このときのカメラをCとする。iはカメラの位置を区別するための番号である。
3)108のカメラCで102のキャリブレーションパターンを撮像する。
4)107のディジタル画像座標系上におけるキャリブレーションパターンの複数の格子点の位置を検出する。これらの座標を[uCik,vCikとする。ここで、kは点を区別するための番号であり、上記で述べた特徴点のそれぞれに対応して番号が付けられる。この対応付けによる番号付けをラベリングと呼ぶ。
5)カメラCについての射影行列PCiを求める。求め方は、以下の通り。
5−1)カメラCについて、[XWk,YWk,ZWkと[uCik,vCikを用いて下記の行列BCiを求める。
Figure 0004813911
5−2)上記BCiを使ったBCi Ci行列の最小固値に対する固有ベクトルを求める。これを[pCi11,pCi12,pCi13,pCi14,pCi21,pCi22,pCi23,pCi24,pCi31,pCi32,pCi33,pCi34とすると、以下の式が射影行列となる。
Figure 0004813911
6)上記で求めた射影行列PCiを用いて、下記のようにエピポールeCiを求める。
Figure 0004813911
ただし、sCiはスカラであり、WCiは三次元の任意のベクトルである。sCiの大きさについては、〜付きeCiの3つめのエレメントは1であるので、sCiは、そうなるように決める。Iは4×4の単位行列である。
7)ある位置のカメラCの他、別の位置のカメラCについても、上記2)〜6)を行う。
8)上記で求めた射影行列PCiを用いて、下記のようにFundamental行列を求める。
Figure 0004813911
9)ところでカメラ内部パラメタを含むカメラ内部行列をAと表したとき、以下のようにAで対称行列Kを作るとする。
Figure 0004813911
ただし、fCiはカメラのレンズの像側主点と二次元撮像素子の受光面間の距離であり、[uCO,vCOはカメラの二次元撮像素子が規定しているディジタル画像座標系におけるカメラのレンズの光軸と二次元撮像素子との交点の座標であり、kCiはカメラの二次元撮像素子のピクセルピッチの逆数である。
ある場所のカメラCにおけるKCiと、置き場所を変えたカメラCにおけるKCjを使うと、以下の2式が同時に成り立つことがSelf-Calibrationの理論で分かっている。
Figure 0004813911
これらはτについての二次方程式になる。これらのτについての二次関数は等価であるので、それらの二次方程式の0次、1次、2次の係数をそれぞれkCi0、kCi1、kCi2、kCj0、kCj1、kCj2で表すと、以下のようなKruppa方程式が得られる。
Figure 0004813911
ただし、FCiCjはFundamental行列であり、その要素を上記のようにFCiCjklという表記に置き換えている。また、カメラCとCは、カメラの設置位置だけが異なり、カメラ内部パラメタは同じであるためKCi=KCjとなるので、以降はKCjをKCiに置き換えて述べる。
なお、この式からは、KCiklについての連立二次方程式が以下のように3組成り立つが、どの組を使用しても良い。
Figure 0004813911
10)上記式1−8が5つ以上できるように、カメラの位置を変えて上記2)から9)を繰り返す。このためには、たとえば、カメラC、Cとは別の位置のカメラCについて上記2)〜6)を行い、カメラCとCで8)〜9)を行って2つの式を導出し、さらに、カメラCとCで8)〜9)を行ってさらに2つの式を導出し、全部で6つのKCiklについての二次方程式を作る。
11)上記10)で作ったKCiklについての二次方程式から、KCiklを導出する。このためには、たとえば、6つのKCiklについての二次方程式から5つを選び、二次方程式を解く。あるいは、6つのKCiklについての二次方程式の左辺についてそれぞれ二乗し、6つ全ての総和を取った関数を評価関数とし、その評価関数が0に近づくようにKCiklを変化させる最適化手法を使用してKCiklを得る。この最適化手法としては、たとえば、Levenberg-Marquardt法を使用する。
12)上記11)で求めたKCi行列から、カメラ内部パラメタを算出する。このためには、たとえば、まず以下のようにKCi行列の逆行列をCholeski分解する。
Figure 0004813911
ここで、カメラ内部パラメタと上記の式とは、下記の関係がある。
Figure 0004813911
ただし、fCiはカメラのレンズの像側主点と二次元撮像素子の受光面間の距離であり、[uCO,vCOはカメラの二次元撮像素子が規定しているディジタル画像座標系におけるカメラのレンズの光軸と二次元撮像素子との交点の座標であり、kCiはカメラの二次元撮像素子のピクセルピッチの逆数である。
したがって、カメラ内部パラメタについて、たとえば、以下のような計算を行って導出する。
Figure 0004813911
あるいは、式1−10の各エレメントについて、左辺と右辺の二乗和を取ったものを評価関数とし、その評価関数が0に近づくようにuCiO、vCiO、fCiを変化させる最適化手法を使用してuCiO、vCiO、fCiを得る。この最適化手法としては、たとえば、Levenberg-Marquardt法を使用する。
Q. T. Luong, O. D. Faugeras,"Self Calibration of a Moving Camera from Point Correspondences and Fundamental Matrices", International Journal of Computer Vision, 22(3), pp.261-289, 1997
しかしながら、上記従来方法では、キャリブレーションパターンの特徴点からの光のカメラレンズの物体側主点への入射角度が同じであっても、キャリブレーションパターンの特徴点とカメラレンズの物体側主点との距離によって、二次元撮像素子上に到達する光の位置がずれるという現象が発生し、その影響で、カメラ内部パラメタの測定精度が悪化する、という欠点がある。また、従来のカメラパラメタ測定方法では、測定のために厳密な位置合わせが必要であるため、精度のよい位置合わせ機構を必要とし、これらを調整する機構測定の稼働も大きかった。
本発明は、上記に鑑みてなされたものであり、その目的とするところは、カメラ内部パラメタを精度よく測定するカメラ内部パラメタ測定装置を提供することにある。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
第1の発明は、レンズと二次元撮像素子を有するカメラのカメラ内部パラメタ測定装置であって、平行ビームを出射する平行ビーム出射モジュールと、カメラへの平行ビームの入射角度を変える相対位置変更モジュールと、前記平行ビーム出射モジュールから前記カメラに平行ビームを前記相対位置変更モジュールにより入射角度を変えて3回入射させたときの該平行ビームの進行方向に対して位置関係が保証されていないカメラ座標系における3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する前記カメラ内の前記二次元撮像素子上で集光された3つの集光点から得られる3つの点の位置の差のうちの2つとで、カメラ内部パラメタである、レンズの像側主点と二次元撮像素子の受光面間の距離と、カメラ光軸と二次元撮像素子の交点位置を計算する計算モジュールと、を有することを特徴とする。
第2の発明は、第1の発明において、前記相対位置変更モジュールは、前記カメラを回転させるカメラ回転モジュールであることを特徴とする。
第3の発明は、レンズと二次元撮像素子を有するカメラのカメラ内部パラメタ測定装置であって、平行ビームを出射する平行ビーム出射モジュールと、カメラへの平行ビームの入射角度を変える相対位置変更モジュールと、前記平行ビーム出射モジュールから前記カメラに平行ビームを前記相対位置変更モジュールにより入射角度を変えて3回入射させたときの3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する前記カメラ内の前記二次元撮像素子上で集光された3つの集光点から得られる3つの点の位置の差のうちの2つとで、カメラ内部パラメタである、レンズの像側主点と二次元撮像素子の受光面間の距離と、カメラ光軸と二次元撮像素子の交点位置を計算する計算モジュールと、カメラ内部パラメタの値の分散の閾値を記憶する閾値記憶モジュールと、を有し、前記計算モジュールは、3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する3つの集光点から得られる3つの点の位置の差のうち2つをとる選び方3通りについて、カメラ内部パラメタを算出し、算出されたカメラ内部パラメタの値の分散が前記閾値記憶モジュールに記憶された閾値よりも大きい場合は、これまでとは別の入射角度で前記平行ビーム出射モジュールから前記カメラに平行ビームを入射させたときの入射角度および集光点とこれまでに得られた入射角度および集光点を用いて、3つの入射角度と集光点位置を選び、再度前記の通り、カメラ内部パラメタを算出することとし、算出されたカメラ内部パラメタの値の分散を比較し、算出されたカメラ内部パラメタの分散が前記閾値記憶モジュールに記憶された閾値より小さい場合は、算出されたカメラ内部パラメタの値を用いてカメラ内部パラメタを確定する、ことを特徴とする。
第4の発明は、第3の発明において、前記相対位置変更モジュールは、前記カメラを回転させるカメラ回転モジュールであることを特徴とする。
以下、本発明の理解を助けるために、前記カメラ内部パラメタ測定装置の前記計算モジュールにおいて行われる計算の詳細を具体的に説明するが、これにより本発明が限定されるものではない。カメラ内部パラメタを計算する際には、たとえば、以下のような計算を行う。
カメラが規定する座標をカメラ座標と呼ぶこととする。このカメラ座標は、原点は、カメラのレンズの物体側主点と像側主点であり、レンズへの光の入射に関する座標の原点は物体側主点であり、レンズからの光の出射に関する座標の原点は像側主点である。このカメラ座標のZ軸、X軸、Y軸は次のように定める。Z軸はレンズ光軸と一致し、カメラへの光の入射とは反対方向をプラス方向とする。X軸は、原点を含みZ軸と直交した面内にあり、カメラの二次元撮像素子の走査方向と平行な軸であり、物体を動かした際に走査方向と同じ方向に動く物体の方向をプラス側とする。Y軸は、Z軸とX軸の両方と直交する軸であり、右手系としてY軸のプラス方向を決めることとする。
また、カメラの二次元撮像素子が規定するディジタル画像座標系は、1フレームの走査の起点が原点であり、走査方向の軸をu軸とし、もう一方の軸をv軸とする。
カメラのレンズの光軸と二次元撮像素子との交点のディジタル画像座標系での座標を[uCO,vCOとし、カメラのレンズの像側主点とカメラの二次元撮像素子の受光面までの距離をfとし、カメラの二次元撮像素子のピクセルピッチを1/kとする。
平行ビーム出射モジュールから出射された平行ビームをカメラのレンズに入射させて、そのときのカメラの二次元撮像素子上で集光する点のディジタル画像座標系での座標を[u,vとし、カメラ座標系での座標を[X,Y,Zとしたときに、その[X,Y,Zは、
Figure 0004813911
の関係にある。
カメラ回転モジュールによりカメラの向きを3回変えたときのそれぞれの方向を、方向0、方向1、方向2と名付けることとする。
方向1から方向0を引いた角度差を[ΔθZXCD10,ΔθZYCD10、方向2から方向0を引いた角度差を[ΔθZXCD20,ΔθZYCD20、ただし、カメラ座標系の[Y軸を回転軸とする角度,X軸を回転軸にする角度]と表記することとする。
また、それぞれの方向についてカメラの二次元撮像素子上に集光する点の座標を、ディジタル画像座標系で表すと、それぞれ、方向0では[uCD0,vCD0、方向1では[uCD0+ΔuCD10,vCD0+ΔvCD10、方向2では[uCD0+ΔuCD20,vCD0+ΔvCD20となるとする。
カメラレンズがfSinθ系であれば、カメラのレンズと二次元撮像素子間の距離fと、カメラの二次元撮像素子が規定しているディジタル画像座標系におけるカメラのレンズの光軸と二次元撮像素子との交点の座標[uCO,vCOは、
Figure 0004813911
となる。
また、カメラレンズがfTanθ系であれば、カメラのレンズと二次元撮像素子間の距離fと、カメラの二次元撮像素子が規定しているディジタル画像座標系におけるカメラのレンズの光軸と二次元撮像素子との交点の座標[uCO,vCOは、
Figure 0004813911
となる。
第1、第2の発明においては、平行ビームをカメラに入射させた光を用いて測定しているため、従来技術のように、キャリブレーションパターンの特徴点からの光のカメラレンズの物体側主点への入射角度が同じであっても、キャリブレーションパターンの特徴点とカメラレンズの物体側主点との距離によって、2次元撮像素子上に到達する光の位置がずれるというような不都合が無く、精度よく特徴点の位置を抽出でき、そのため、精度よくカメラ内部パラメタを測定できるという利点がある。
また、第1、第2の本発明においては、計算に用いている角度は、平行ビームに対するカメラの絶対的な角度ではなく、複数点取った角度データの差分値であるので、平行ビーム出射モジュールとカメラの角度関係は厳密に合わせる必要が無く、簡易に測定できるという利点がある。
また、第1、第2の発明においては、平行ビームをカメラに入射させているので、平行ビーム出射モジュールとカメラの距離関係は厳密に位置合わせする必要がなく、簡易に測定できるという利点がある。
第3の発明においては、カメラの回転角度を測定するときに発生する誤差や、撮像素子上に集光する集光点の位置を測定するときに発生する誤差や、カメラ内部パラメタを算出するときに発生する計算丸め誤差等、何らかの誤差が発生した場合に、本来分散が0となる3通りの組み合わせから得られるカメラ内部パラメタの分散の大きさが大きくなると、そのカメラ内部パラメタの算出精度に問題があることが分かるため、得られたカメラ内部パラメタの誤差を検知することができるという利点がある。
また、第3の本発明においては、得られたカメラ内部パラメタに誤差が検知された場合は、入射光を増やして入射光の角度差とそれに対応する集光点の位置差の組み合わせを増やして、算出されるカメラ内部パラメタの分散が最も小さくなる組み合わせを選ぶことができるので、カメラ内部パラメタの算出精度が良くなるという利点がある。
本発明においては、平行ビームをカメラに入射させた光を用いて測定しているため、従来技術のように、キャリブレーションパターンの特徴点からの光のカメラレンズの物体側主点への入射角度が同じであっても、キャリブレーションパターンの特徴点とカメラレンズの物体側主点との距離によって、2次元撮像素子上に到達する光の位置がずれるというような不具合が無く、精度よく特徴点の位置を抽出でき、そのため、精度よくカメラ内部パラメタを測定できるという利点がある。
また、計算に用いている角度は、平行ビームに対するカメラの絶対的な角度ではなく、複数点取った角度データの差分値であるので、平行ビーム出射モジュールとカメラの角度関係は厳密に合わせる必要が無く、簡易に測定できるという利点がある。
また、平行ビームをカメラに入射させているので、平行ビーム出射モジュールとカメラの距離関係は厳密に位置合わせする必要がなく、簡易に測定できるという利点がある。
以下、図面を用いて本発明の実施の形態を説明する。
図2は本発明の実施例1のカメラ内部パラメタ測定装置の構成図である。204はカメラのレンズ、205はカメラによって規定されるカメラ座標系、206はカメラの二次元撮像素子、207は二次元撮像素子によって規定されるディジタル画像座標系、208は204のレンズと206の二次元撮像素子で構成されるカメラである。209はカメラの向きを変える回転ステージであり、208のカメラ座標系のY軸を中心に回転するθYC回転ステージである。210はカメラの向きを変える回転ステージであり、208のカメラ座標系のX軸を中心に回転するθXC回転ステージである。211は209のθYC回転ステージと210のθXC回転ステージで構成されるカメラ回転モジュールである。212はカメラに入射する平行ビーム、213は光源となるレーザ、214は213のレーザの空間周波数のノイズを除去して平面波に近づけるためのスペーシャルフィルタ、215は214から出射したレーザ光を広げるためのビームエキスパンダ、216は213のレーザと214のスペーシャルフィルタと215のビームエキスパンダで構成される平行ビーム出射モジュールである。この他に、図2には示していないが、実施例1のカメラ内部パラメタ測定装置は、コンピュータと記憶装置に記憶されたプログラムとからなる計算モジュールを有する。この計算モジュールは、216の平行ビーム出射モジュールから208のカメラに平行ビームを211のカメラ回転モジュールにより入射角度を変えて3回入射させたときの3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する208のカメラ内の206の二次元撮像素子上で集光された3つの集光点から得られる3つの点の位置の差のうちの2つとで、カメラ内部パラメタである、レンズの像側主点と二次元撮像素子の受光面間の距離と、カメラ光軸と二次元撮像素子の交点位置を計算する。
208のカメラは、209のθYC回転ステージと210のθXC回転ステージにより、212の平行ビームの進む方向に対して、いろいろな角度で固定することができ、212の平行ビームを208のカメラのレンズにいろいろな角度で入射させることができるものとする。それぞれの角度のカメラをCDi,i=0,1,2,...と呼ぶこととし、iで角度を関連づけるものとする。
205のカメラ座標系の各軸の決め方は、以下の通りである。原点は、カメラのレンズの物体側主点と像側主点であり、レンズへの光の入射に関する座標の原点は物体側主点であり、レンズからの光の出射に関する座標の原点は像側主点である。ZCDi軸はレンズ光軸と一致し、カメラへの光の入射とは反対方向をプラス方向とする。XCDi軸は、原点を含みZCDi軸と直交した面内にあり、二次元撮像素子の走査方向と平行な軸であり、物体を動かした際に走査方向と同じ方向に動く物体の方向をプラス側とする。YCDi軸は、ZCDi軸とXCDi軸の両方と直交する軸であり、右手系としてYCDi軸のプラス方向を決めることとする。
207のディジタル画像座標系は、1フレームの走査の起点が原点であり、走査方向の軸をuCDi軸とし、もう一方の軸をvCDi軸とする。
上記2つの座標系の関係は、以下のようになる。ディジタル画像座標系上のある点の座標を[uCDi,vCDiとすると、その点をカメラ座標系での座標[XCDi,YCDi,ZCDiで表すと、以下のようになる。
Figure 0004813911
ただし、[uCO,vCOはカメラのレンズの光軸と二次元撮像素子との交点のディジタル画像座標系での座標であり、fはカメラのレンズの像側主点とカメラの二次元撮像素子の受光面までの距離であり、1/kはカメラの二次元撮像素子のピクセルピッチである。
212の平行ビームは、208のカメラCが211のカメラ回転モジュールにより回転して204のレンズの位置が変わったとしても、平行ビームの伝搬している範囲から204のレンズがはみ出ないように、ビーム幅を広くしておく。
以下、カメラ内部パラメタである、カメラのレンズの光軸と二次元撮像素子との交点のディジタル画像座標系での座標[uCO,vCOと、カメラのレンズの像側主点とカメラの二次元撮像素子の受光面までの距離fを求める手順を説明する。
1)208のカメラをカメラ回転モジュールにより、ある角度に設定する。このときカメラに付ける項番i=0とし、このカメラをCD0と名付ける。
2)このときのカメラの角度として、カメラ座標系の[YCD0軸を回転軸とする角度,XCD0軸を回転軸にする角度]を測定し、これを[θZXCD0’,θZYCD0’]とする。
角度の測定は、たとえば、209のθYC回転ステージの目盛の読みをθYCD0’とし、210のθXC回転ステージの目盛の読みをθXCD0’としたとき、θZXCD0’とθZYCD0’は以下のようになる。
Figure 0004813911
ここで、角度にダッシュ「’」がついているのは、205のカメラ座標系と209のθYC回転ステージと210のθXC回転ステージが、212の平行ビームの進行方向に対して、その位置関係を何ら保証していないためである。
これについて、図3を用いて説明する。204はカメラのレンズであり、212は204のレンズに入射する入射光すなわち図2に示す平行ビームである。301、302、303はそれぞれカメラ座標系のXCDi軸、YCDi軸、ZCDi軸である。311は301のXCDi軸と303のZCDi軸を含む平面であるXCDi−ZCDi平面であり、312は302のYCDi軸と303のZCDi軸を含む平面であるYCDi−ZCDi平面である。321は212の入射光を311のXCDi−ZCDi平面へ投射した線であり、322は212の入射光を312のYCDi−ZCDi平面へ投射した線である。331は303のZCDi軸から321の線への角度θZXCDiであり、332は303のZCDi軸から322の線への角度θZYCDiである。カメラの項番i=0の場合は、331は角度θZXCD0となり、332は角度θZYCD0となる。すなわち、この図はカメラのレンズへの入射光とカメラ座標系[XCDi,YCDi,ZCDiと、入射光をカメラ座標系のXCDi−ZCDi平面へ投射した線に対するZCDiからの角度θZXCD0と、入射光をカメラ座標系のYCDi−ZCDiへ投射した線に対するZCDiからの角度θZYCD0の関係を示している。ZCDi軸が入射光の方向の逆方向と一致したさいに、θZXCD0’とθZYCD0’が0となるように205のカメラと216の平行ビーム出射モジュールが調整してあれば、θZXCD0’とθZYCD0’はθZXCD0とθZYCD0と一致するが、ここでは、そのような調整をしていないので、一般にθZXCD0’とθZYCD0’はθZXCD0とθZYCD0と一致しない。そのため、現在測っているものとθZXCD0とθZYCD0と区別するために角度にダッシュ「’」をつけてある。
上記では、209のθYC回転ステージの目盛と、210のθXC回転ステージの目盛を読んで、計算によってθZXCD0’とθZYCD0’を測定したが、その他に、図には示さないが、カメラの平らな部分、あるいは、平らな板をカメラに取り付け、角度計を用いて直接θZXCD0’とθZYCD0’を測定してもよい。
3)この状態で216の平行ビーム出射モジュールから出射した212の平行ビームを、204のカメラのレンズに入射させる。
4)このときの206の二次元撮像素子上に集光した点のディジタル画像座標系上の座標を測定し、[uCD0,vCD0とする。
5)208のカメラを211のカメラ回転モジュールにより、別の角度に設定し上記2)〜4)を2回行う。それぞれにカメラにつける項番をi=1、2とし、[θZXCDi’,θZYCDi’],i=1,2と[uCDi,vCDi,i=1,2を得る。
6)上記5)の結果から、下記の角度差と集光点の位置の差を得る。
Figure 0004813911
7)カメラのレンズの像側主点と二次元撮像素子の受光面間の距離fと、カメラの二次元撮像素子が規定しているディジタル画像座標系におけるカメラのレンズの光軸と二次元撮像素子との交点の座標[uCO,vCOを、以下の式に従って求める。
カメラレンズがfSinθ系のときは以下のようにして求める。
Figure 0004813911
カメラレンズがfTanθ系のときは以下のようにして求める。
Figure 0004813911
上記手順では、カメラ項番i=0に対するi=1,2という組み合わせにおける角度の差と集光点位置の差を用いているが、i=1に対するi=2,0という組み合わせや、i=2に対する0,1という組み合わせにおける角度差と集光点位置差についても考慮し、それぞれの組み合わせにおける角度差と集光点位置差を使って式2−3、式2−4、式2−5から求められたそれぞれのfとuCOとvCOの差を少なくすることで計算精度を上げる方法も以下に記述する。
この方法としては、各組み合わせにおけるfとしuCOとvCOの分散の線形和が最小となるようにすることで行う。これは、fとuCOとvCOの分散の線形和を評価関数とし、最適化手法を使うことで可能となる。最適化手法としては、たとえば、Levenberg-Marquardt法がある。これは、評価関数の変数を[θZXCDi’,θZYCDi’],i=0,1,2と[uCDi,vCDi,i=0,1,2とし、評価関数を変数で偏微分した微分係数を用いることによって行われる。
以下、この手順を示す。カメラ内部パラメタである、カメラのレンズの光軸と二次元撮像素子との交点のディジタル画像座標系での座標[uCO,vCOと、カメラのレンズの像側主点とカメラの二次元撮像素子の受光面までの距離fを求める手順は、上記の手順1)〜5)と同じである。それ以降の手順を以下に述べる。ただし、手順を示す番号には実施例1と区別するために「’」を付けてある。
6’)角度差と集光点の位置の差として下記の3つの組み合わせのものを求める。
Figure 0004813911
Figure 0004813911
Figure 0004813911
7’)それぞれについて、手順7)の式を計算し、カメラのレンズの光軸と二次元画像素子との交点のディジタル画像座標系での座標と、カメラのレンズの像側主点とカメラの二次元画像素子の受光面までの距離を求める。このとき、式2−6、7、8で求まるものをそれぞれ[uCOj,vCOj,fCj,j=0,1,2とする。
8’)uCOj、vCOj、fCjの分散σuCO、σvCO、σfCをそれぞれ求め、評価関数Jを以下のように分散の線形和として求める。
Figure 0004813911
ここで、C,C,Cは実数であり重みを表す。σuCO、σvCO、σfCはjによって変動するuCOj、vCOj、fCjの分散であり、たとえば、σuCOについては、σuCO=(1/3)*Σ(uCOj)^2−((1/3)*ΣuCOj)^2によって求められる。ここで、Σはj=0〜2の和であり、「^2」は2乗である。σvCO、σfCについても同様である。
変数を要素とするベクトルを以下のように表す。
Figure 0004813911
このとき勾配∇Jとヘッセ行列Hを以下のように求める。
Figure 0004813911
Figure 0004813911
ξの更新ルールは以下のようにする。
Figure 0004813911
ただし、ξ(K)はK回の反復後のξであり、H(K)と∇J(K)はξ(K)を代入して得られたヘッセ行列と勾配である。cはξ(K)を使って求めたJ(K+1)の値が以前に求めたJの最小値よりも小さいかどうかで変更する実数である。D[H(K)]は、たとえば、H(K)の対角要素のみ取り出した対角行列としてもよいし、単位行列に置き換えても良い。
式2−13を用いて、たとえば以下の手順でξを収束させて求める。
8’−1)c←0.0001と置く。ただし、値は0.0001に限ることは無く、適宜小さい値を決めてよい。
8’−2)ξの初期値を与える。これは、たとえば、測定値そのもので良い。
8’−3)そのξを用いて式2−9を計算し、Jを求める。
8’−4)勾配∇Jとヘッセ行列Hを式2−11、式2−12により求める。
8’−5)次の連立1次方程式を解き、Δξを求める。
Figure 0004813911
8’−6)次のようにξ’を計算する。
Figure 0004813911
8’−7)そのξ’を用いて式2−9を計算した値を、J’とする。
8’−8)J’>Jであれば、c←10cと更新して8’−5)へ戻る。
8’−9)そうでなければ次のように更新する。
Figure 0004813911
8’−10)ある小さな値δに対して、|Δξ|<δであれば、ξが収束したと見なし、終了する。そうでなければ、8’−4)に戻る。
以上で求められたξを式2−3に代入し、さらに式2−4を計算すると、[uCO,vCO,fが得られる。
以上の計算は、図示していない計算モジュールによって行う。計算モジュールはコンピュータと記憶装置に記憶されたプログラムによって構成できる。また、そのプログラムの一部または全部に代えてハードウェアを用いてもよい。
本実施例の効果としては、平行ビームをカメラに入射させた光を用いて測定しているため、従来技術のように、キャリブレーションパターンの特徴点からの光のカメラレンズの物体側主点への入射角度が同じであっても、キャリブレーションパターンの特徴点とカメラレンズの物体側主点との距離によって、2次元撮像素子上に到達する光の位置がずれるというような不具合が無く、精度よく特徴点の位置を抽出でき、そのため、精度よくカメラ内部パラメタを測定できるという利点がある。
また、計算に用いている角度は、平行ビームに対するカメラの絶対的な角度ではなく、複数点取った角度データの差分値であるので、平行ビーム出射モジュールとカメラの角度関係は厳密に合わせる必要が無く、簡易に測定できるという利点がある。
また、平行ビームをカメラに入射させているので、平行ビーム出射モジュールとカメラの距離関係は厳密に位置合わせする必要がなく、簡易に測定できるという利点がある。
また、平行ビームは、レーザ光というコヒーレント光を光源として、スペーシャルフィルタを通して得られているため、平行ビームの波面は平面波に近く、カメラのレンズによる集光性能が自然光と比べて非常に良く、カメラの二次元撮像素子上でぼけの少ない像が得られることから、高精度に集光点の座標を得られるという利点がある。
以下、実施例2について述べる。
構成図は、実施例1(図2)と同じである。ただし、図2には示していないが、実施例2のカメラ内部パラメタ測定装置は、コンピュータと記憶装置に記憶されたプログラムとからなる計算モジュールと、記憶装置からなる閾値記憶モジュールを有する。この計算モジュールは、3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する3つの集光点から得られる3つの点の位置の差のうち2つをとる選び方3通りについて、カメラ内部パラメタを算出し、算出されたカメラ内部パラメタの値の分散が前記閾値記憶モジュールに記憶された閾値よりも大きい場合は、これまでとは別の入射角度で前記平行ビーム出射モジュールから前記カメラに平行ビームを入射させたときの入射角度および集光点とこれまでに得られた入射角度および集光点を用いて、3つの入射角度と集光点位置を選び、再度前記の通り、カメラ内部パラメタを算出することとし、算出されたカメラ内部パラメタの値の分散を比較し、算出されたカメラ内部パラメタの分散が前記閾値記憶モジュールに記憶された閾値より小さい場合は、算出されたカメラ内部パラメタの値を用いてカメラ内部パラメタを確定する。
カメラ内部パラメタである、カメラのレンズの光軸と二次元撮像素子との交点のディジタル画像座標系での座標[uCO,vCOと、カメラのレンズの像側主点とカメラの二次元撮像素子の受光面までの距離fを求める手順は、実施例1の手順1)〜5)と同じである。それ以降の手順を以下に述べる。ただし、手順を示す番号には実施例1と区別するために「”」を付けてある。
6”)角度差と集光点の位置の差として下記の3つの組み合わせのものを求める。
Figure 0004813911
Figure 0004813911
Figure 0004813911
7”)それぞれについて、実施例1の手順7)の式を計算し、カメラのレンズの光軸と二次元撮像素子との交点のディジタル画像座標系での座標と、カメラのレンズの像側主点とカメラの二次元撮像素子の受光面までの距離を求める。このとき、式2−17、18、19で求まるものをそれぞれ[uCOj,vCOj,fCj,j=0,1,2とする。
8”)uCOj、vCOj、fCjの分散σuCO、σvCO、σfCをそれぞれ求める。分散を求める方法は8’)で述べたとおりである。これらの分散に対して設定した閾値TσuCO、TσvCO、TσfCとそれぞれの分散を比較して、いずれの分散もそれに対する閾値を超えない場合は、j=0,1,2に対する[uCOj,vCOj,fCjのどれかを採用する。あるいは、実施例1に記載の最適化手法であるLevenberg-Marquardt法を用いて式2−9に示す分散の線形和を極小化したときの[uCOj,vCOj,fCjを採用する。
上記の分散σuCO、σvCO、σfCを、それらに対する閾値TσuCO、TσvCO、TσfCとそれぞれ比較して、いずれかが越えた場合は、j=0,1,2に対する[uCOj,vCOj,fCjの全てを不採用とする。そして、上記[θZXCDi’,θZYCDi’],i=0,1,2と[uCDj,vCDj,i=0,1,2のどれとも異なる入射角と集光点の位置となるように、新たに平行光をカメラに入射し、それを、[θZXCDi’,θZYCDi’]T,i=3と[uCDi,vCDi,i=3とする。
9”)i=0,1,2,3の4つから3つを選ぶ組み合わせ全てについて、以下の角度差と集光点の位置の差を計算し、それぞれについて上記7”)、8”)と同様な計算を行う。
Figure 0004813911
各3つを選ぶ組み合わせごとにuCOj、vCOj、fCjのjを変えた場合の変動を示す分散σuCO、σvCO、σfCをそれぞれ求める。分散を求める方法は8’)で述べたとおりである。各組み合わせにおいて、分散σuCO、σvCO、σfCに対してそれぞれ設定した閾値TσuCO、TσvCO、TσiCとこれらの分散を比較し、いずれの分散もそれに対する閾値を超えない場合は、その組み合わせを[uCOj,vCOj,fCjを採用するための候補とする。
候補になった組み合わせの中からいずれか1つの組み合わせを選ぶ。あるいは、候補となった組み合わせのうち、分散の最も小さい組み合わせを選ぶ。
その中の3つの[uCOj,vCOj,fCjの組から1つを採用する。あるいは、実施例1に記載の最適化手法であるLevenberg-Marquardt法を用いて式2−9に示す分散の線形和を極小化したときの[uCOj,vCOj,fCjを採用する。
しかし、上記で[uCOj,vCOj,fCjを採用するための組み合わせの候補が得られなかった場合は、いずれの組み合わせも候補とせず、これまで使用した入射角度と集光点位置と異なるように、新たに平行光をカメラに入射し、その時の入射角度と集光点位置を測定する。そして、9”)を、各3つを選ぶ組み合わせごとに得られる分散σuCO、σvCO、σfCが、それらに対して設定した閾値TσuCO、TσvCO、TσiCを超えない組み合わせができるまで、繰り返す。
以上の計算は、図示していない計算モジュールによって行う。計算モジュールはコンピュータと記憶装置に記憶されたプログラムによって構成できる。また、そのプログラムの一部または全部に代えてハードウェアを用いてもよい。また、上記のカメラ内部パラメタの値の分散の閾値は、図示していない閾値記憶モジュールに記憶させておく。閾値記憶モジュールは記憶装置で構成することができる。
図4に、実施例2のフロー図を示す。ステップ401で、入射角度の数Nを3と置く。ステップ402で、N個の異なる角度で光を入射させ、それから得られる3つの角度差からカメラ内部パラメタを算出する(通りある角度の選び方の全てで算出する。)。ステップ403で、通りの選び方によるカメラ内部パラメタの分散を評価する。分散が小さい場合は、ステップ404で、カメラ内部パラメタを確定する。分散が大きい場合は、ステップ405で、さらに異なる角度で光を入射させ、Nに1を加え、ステップ402に戻る。なお、については図4の(注1)に記載したとおりである。
本実施例の効果としては、実施例1に示した効果が得られる。
また、カメラの回転角度を測定するときに発生する誤差や、撮像素子上に集光する集光点の位置を測定するときに発生する誤差や、カメラ内部パラメタを算出するときに発生する計算丸め誤差等、何らかの誤差が発生した場合に、本来分散が0となる3通りの組み合わせから得られるカメラ内部パラメタの分散の大きさが大きくなると、そのカメラ内部パラメタの算出精度に問題があることが分かるため、得られたカメラ内部パラメタの誤差を検知することができるという利点がある。
また、本実施例の効果としては、得られたカメラ内部パラメタに誤差が検知された場合は、入射光を増やして入射光の角度差とそれに対応する集光点の位置差の組み合わせを増やして、算出されるカメラ内部パラメタの分散が最も小さくなる組み合わせを選ぶことができるので、カメラ内部パラメタの算出精度が良くなるという利点がある。
実施例1、2では図2に示すように208のカメラを211のカメラ回転ステージで回転させることによって、カメラへの平行ビームの入射角度を変えているが、これに限定されず、208のカメラと216の平行ビーム出射モジュールの相対的な位置や角度を変えることができる相対位置変更モジュールによって、カメラへの平行ビームの入射角度を変えてもよい。
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
従来のカメラ内部パラメタ測定装置の構成図である。 本発明の実施例の構成図である。 カメラ座標系と入射角度の関係図である。 本発明の実施例2のフロー図である。
符号の説明
101…光源、102…キャリブレーションパターン、103…世界座標系、104…レンズ、105…カメラ座標系、106…二次元撮像素子、107…ディジタル画像座標系、108…カメラC、204…レンズ、205…カメラ座標系、206…二次元撮像素子、207…ディジタル画像座標系、208…カメラCDi、209…θYC回転ステージ、210…θXC回転ステージ、211…カメラ回転モジュール、212…平行ビーム、213…レーザ、214…スペーシャルフィルタ、215…ビームエキスパンダ、216…平行ビーム出射モジュール

Claims (4)

  1. レンズと二次元撮像素子を有するカメラのカメラ内部パラメタ測定装置であって、
    平行ビームを出射する平行ビーム出射モジュールと、
    カメラへの平行ビームの入射角度を変える相対位置変更モジュールと、
    前記平行ビーム出射モジュールから前記カメラに平行ビームを前記相対位置変更モジュールにより入射角度を変えて3回入射させたときの該平行ビームの進行方向に対して位置関係が保証されていないカメラ座標系における3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する前記カメラ内の前記二次元撮像素子上で集光された3つの集光点から得られる3つの点の位置の差のうちの2つとで、カメラ内部パラメタである、レンズの像側主点と二次元撮像素子の受光面間の距離と、カメラ光軸と二次元撮像素子の交点位置を計算する計算モジュールと、
    を有することを特徴とするカメラ内部パラメタ測定装置。
  2. 前記相対位置変更モジュールは、前記カメラを回転させるカメラ回転モジュールであることを特徴とする請求項1に記載のカメラ内部パラメタ測定装置。
  3. レンズと二次元撮像素子を有するカメラのカメラ内部パラメタ測定装置であって、
    平行ビームを出射する平行ビーム出射モジュールと、
    カメラへの平行ビームの入射角度を変える相対位置変更モジュールと、
    前記平行ビーム出射モジュールから前記カメラに平行ビームを前記相対位置変更モジュールにより入射角度を変えて3回入射させたときの3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する前記カメラ内の前記二次元撮像素子上で集光された3つの集光点から得られる3つの点の位置の差のうちの2つとで、カメラ内部パラメタである、レンズの像側主点と二次元撮像素子の受光面間の距離と、カメラ光軸と二次元撮像素子の交点位置を計算する計算モジュールと、
    カメラ内部パラメタの値の分散の閾値を記憶する閾値記憶モジュールと、
    を有し、
    前記計算モジュールは、3つの入射角度から得られる3つの角度差のうちの2つと、それに対応する3つの集光点から得られる3つの点の位置の差のうち2つをとる選び方3通りについて、カメラ内部パラメタを算出し、算出されたカメラ内部パラメタの値の分散が前記閾値記憶モジュールに記憶された閾値よりも大きい場合は、これまでとは別の入射角度で前記平行ビーム出射モジュールから前記カメラに平行ビームを入射させたときの入射角度および集光点とこれまでに得られた入射角度および集光点を用いて、3つの入射角度と集光点位置を選び、再度前記の通り、カメラ内部パラメタを算出することとし、算出されたカメラ内部パラメタの値の分散を比較し、算出されたカメラ内部パラメタの分散が前記閾値記憶モジュールに記憶された閾値より小さい場合は、算出されたカメラ内部パラメタの値を用いてカメラ内部パラメタを確定する、
    ことを特徴とするカメラ内部パラメタ測定装置。
  4. 前記相対位置変更モジュールは、前記カメラを回転させるカメラ回転モジュールであることを特徴とする請求項3に記載のカメラ内部パラメタ測定装置。
JP2006025847A 2006-02-02 2006-02-02 カメラ内部パラメタ測定装置 Expired - Fee Related JP4813911B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006025847A JP4813911B2 (ja) 2006-02-02 2006-02-02 カメラ内部パラメタ測定装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006025847A JP4813911B2 (ja) 2006-02-02 2006-02-02 カメラ内部パラメタ測定装置

Publications (2)

Publication Number Publication Date
JP2007205929A JP2007205929A (ja) 2007-08-16
JP4813911B2 true JP4813911B2 (ja) 2011-11-09

Family

ID=38485517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006025847A Expired - Fee Related JP4813911B2 (ja) 2006-02-02 2006-02-02 カメラ内部パラメタ測定装置

Country Status (1)

Country Link
JP (1) JP4813911B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6359378B2 (ja) * 2014-08-08 2018-07-18 株式会社Screenホールディングス 光学特性取得装置、位置測定装置、光学特性取得方法および位置測定方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3913901B2 (ja) * 1998-06-04 2007-05-09 本田技研工業株式会社 カメラの内部パラメータ決定装置
JP2000195095A (ja) * 1999-01-05 2000-07-14 Toshiba Corp 対物レンズ傾き検査装置並びに光ディスクピックアップの製造方法及びこれにより製造された光ディスクピックアップ
JP3906123B2 (ja) * 2002-07-12 2007-04-18 本田技研工業株式会社 カメラ用画像出力較正装置
JP2004108836A (ja) * 2002-09-13 2004-04-08 Sumitomo Denko Systems Kk 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置

Also Published As

Publication number Publication date
JP2007205929A (ja) 2007-08-16

Similar Documents

Publication Publication Date Title
CN102376089B (zh) 一种标靶校正方法及系统
US9014999B2 (en) Calibration of a profile measuring system
US10234844B2 (en) Information processing apparatus, control method thereof, information processing system, and non-transitory computer-readable storage medium
Krüger et al. Accurate chequerboard corner localisation for camera calibration
JP2016100698A (ja) 校正装置、校正方法、プログラム
WO2016037562A1 (zh) 一种具有调焦及倾斜校正设计的标记及对准方法
JP4837538B2 (ja) 端部位置測定方法および寸法測定方法
KR20200017497A (ko) 공간 내의 가동 대상체의 위치를 결정하기 위한 시스템, 방법 및 마커
WO2009113528A1 (ja) 形状測定装置
JP4813911B2 (ja) カメラ内部パラメタ測定装置
Ricolfe-Viala et al. Optimal conditions for camera calibration using a planar template
Rodríguez Online self-calibration for mobile vision based on laser imaging and computer algorithms
US7941003B2 (en) Efficient calculation of ensquared energy in an imaging system
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
JP6671589B2 (ja) 3次元計測システム、3次元計測方法及び3次元計測プログラム
JP4651550B2 (ja) 三次元座標計測装置および方法
JP7153514B2 (ja) 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ
JP2022152480A (ja) 3次元計測装置、3次元計測方法、プログラム、システム、及び物品の製造方法
Yang et al. Error model for scene reconstruction from motion and stereo
Qin et al. A novel hierarchical iterative hypothesis strategy for intrinsic parameters calibration of laser structured-light weld vision sensor
JP2022186401A (ja) 対象物の変位量測定方法および変位量測定装置
KR100367058B1 (ko) 결함검출장치
Ray et al. SynthCal: A Synthetic Benchmarking Pipeline to Compare Camera Calibration Algorithms
Banjade Optimization and Accuracy Validation of Civil Infrastructure Vision (CIV) System for Large Scale Calibrations
JP4837541B2 (ja) 端面形状検査方法および同装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110825

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140902

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees