JP3106547B2 - 視覚装置の幾何学的撮像特性較正方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視覚装置の幾何学的撮
像特性較正方法に関する。

【０００２】

【従来の技術】視覚を利用したロボット制御システム、
例えば、移載ロボットを搭載した無人搬送車等において
は、対象物体をＣＣＤカメラ等の視覚装置で撮像し、そ
の画像を処理して当該対象物体の位置や姿勢を計測・認
識し、移載ロボットがこの位置情報や姿勢情報に基づい
て、プログラムされている動作を実行する。

【０００３】この種の視覚装置は、移動ロボット等に取
りつける前に、その幾何光学的撮像特性（カメラパラメ
ータ）を較正するが、この較正値の僅かな誤差が上記位
置情報や姿勢情報の精度に大きな影響を与える。なお、
カメラパラメータには、カメラの位置、姿勢、画像距離
等のカメラの移動に伴い変化する外部パラメータと画面
・画像歪曲等のカメラ固有の内部パラメータとがある。

【０００４】ところが、カメラパラーメータの較正につ
いては、論文「ロボットビジョンのモデリング」（日本
ロボット学会誌、７巻２号、頁１０７〜１１２、１９８
９年４月発行）に見られるような提案があるが、未だ充
分な技術が確立されてないのが現状である。

【０００５】従来から提案されている較正方法は、３次
元空間すなわちカメラの視野内に、較正の基準となるマ
ーカ（基準点）を配置し、この基準点をカメラで撮像
し、画像メモリに格納した基準点の像の位置（観測値、
２次元画像座標）を読み取る。一方、この２次元画像座
標と３次元世界座標との関係式（回帰方程式といわれ
る）をメモリに格納しておき、この回帰方程式を用い
て、基準点の３次元世界座標から当該基準点の像（仮想
像）の２次元画像座標を推定する。そして、この推定値
が上記観測値に最も良く一致するときのメラパラメータ
を最小二乗法等を用いて求めるものである。

【０００６】

【発明が解決しようとする課題】ところが、この従来提
案されている較正方法では、基準点の３次元世界座標を
全て既知の値としなければならないので、相当に煩わし
く、現実に、基準点を３次元空間に高精度に配置するこ
とは、現実には難しいという問題がある上、現段階で
は、上記観測値に最も良く一致する上記推定値を簡単に
は得ることができないという問題がある。

【０００７】本発明はこの問題を解消するためになされ
たもので、基準点は２次元配列で済み、実用的に信頼性
の高いパラメータ較正を容易に可能にする視覚装置の幾
何学的撮像特性較正方法を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は上記目的を達成
するため、３次元空間に配列された較正の基準となる基
準点をテレビカメラで撮像してその像を画像メモリに格
納し、基準点の３次元世界座標と上記画像メモリ上の２
次元画像座標とを関係ずける関係式を用いて上記テレビ
カメラのパラメータを推定する視覚装置の幾何学的撮像
特性較正方法較正方法において、上記基準点を配列した
較正用チャートを、第１の位置と、この第１の位置から
テレビカメラより遠ざかる向きに所定距離移動した第２
の位置で、同じ所定姿勢にして撮像し、両位置における
基準点の像の２次元画像座標を用いて上記テレビカメラ
のパラメータを推定する較正とした。

【０００９】請求項２では、較正用チャートは、複数個
の円形状の基準点が等間隔格子点配列に描かれたチャー
トとした。

【００１０】請求項３では、第１の位置は、較正用チャ
ートの基準点が画面全体に並ぶ位置であり、第２の位置
は隣接する基準点の像の間隔の中で、間隔の最小値が所
定の値となる位置であるようにした。

【００１１】請求項４では、視覚装置から第１の位置ま
での間隔と視覚装置から第２の位置までの間隔との比
が、１．０５〜２．０である較正とした。

【００１２】請求項５では、上記所定姿勢は、３次元世
界座標軸まわりの回転角が全て零である姿勢であるとし
た。

【００１３】請求項６では、３次元計算値の誤差の分散
の特性を用いてパラメータ推定精度を判定するようにし
た。

【００１４】

【作用】本発明では、基準点を配列した較正用チャート
を、第１の位置と、この第１の位置からテレビカメラよ
り遠ざかる向きに所定距離移動した第２の位置で撮像
し、両位置における基準点の像の２次元画像座標を用い
てカメラパラメータの推定値を演算するので、較正用チ
ャートの基準点は２次元配列のもので済み、本発明のチ
ャート設定条件を用いれば、最小誤差のパラメータ推定
値を得ることができるので、カメラパラメータを容易
に、かつ高精度に較正することができる。

【００１５】

【実施例】以下、本発明の１実施例を図面を参照して説
明する。

【００１６】図１において、１０は視覚装置であるテレ
ビカメラ、２０は世界座標軸Ｘ_W 、Ｙ_W 、Ｚ_W のまわり
にテレビカメラ１０を回動可能な角度調整機構、３０は
テレビカメラ１０を垂直方向に昇降可能な垂直移動機
構、４０はＸ−Ｙ移動機構、５０はデータ処理装置、５
１はＣＰＵ、５２は画像メモリ、５３、５４はデータメ
モリ、５５はプログラムメモリ、１００はＸ−Ｙ移動機
構４０の水平テーブル４１に載置固定された較正用チャ
ートである。

【００１７】較正用チャート１００には、複数個の円形
状の基準点Ｑが等間隔（ｌｃ）格子点配列に描かれてい
る。

【００１８】本発明の基本的技術思想を図２について説
明する。

【００１９】図２は、３次元空間にある較正用チャート
１００の基準点Ｑがテレビカメラ１０のレンズ１１を介
して撮像面２００に結像する様子を示したもので、点ｑ
が実像であり、画像歪曲を受けている。点ｑの座標は
（ｕ_ijh 、ｖ_ijh ）で表わしてある。また、ｑ’は画像
歪曲を受けていないとした場合の基準点Ｑの仮想像であ
り、その座標は（ｕ’_ijh 、ｖ’_ijh ）で表わしてあ
る。また、ｔ_C はテレビカメラ１０から遠ざかる向きに
較正用チャート１００を移動させる場合の１回当たりの
移動量、α_x 、α_y は移動の方向である。ｌ_x 、ｌ_y は
基準点Ｑの水平、垂直方向の長さ、ｉ、ｊは基準点Ｑの
水平、垂直方向のラベル、ｈはチャート１００の移動順
位（セット位置の順位）である。カメラ１０内部のパラ
メータ（内部パラメータという）と外部パラメータを下
記に示す。

【００２０】Ａ）内部パラメータ ｃ_u 、ｃ_v （ピクセル） 主点 ｆ（ｍｍ） 像距離 κ₃ ３次元画像歪曲係数 κ₅ ５次元画像歪曲係数 ｄｘ 撮像面上の１画素の幅 ｄｙ 撮像面上の１画素の高さ（既
知） Ｂ）外部パラメータ ｔ_x0、ｔ_y0、ｔ_z0 世界座標原点Ｏ_W の３次元カ
メラ座標（ｈ＝０） θ、φ、ψ（ｒａｄ） 世界座標軸Ｘ_W 、Ｙ_W 、Ｚ_W
まわりのチャート１００の回転角 α_x 、α_y （ｒａｄ） チャート・カメラ相対移動方
向ベクトルのＹ_w −Ｚ_w 平面、Ｘ_w −Ｚ_w 平面となす角 次に、カメラパラメータの推定値を求める手順について
説明する。

【００２１】１）基準点Ｑの３次元世界座標３Ｄｗから
３次元カメラ座標３Ｄｃへの変換 ３Ｄｃ座標の座標Ｘｃは３Ｄｗ座標の座標Ｘｗから回転
角θ、φ、ψによる回転行列Ｒと平行移動ベクトルＴを
用いて、次式により関係付けられる。

【００２２】 Ｘｃ＝ＲＸｗ＋Ｔ （１） ただし、

【００２３】

【数１】

【００２４】

【数２】

【００２５】

【数３】

【００２６】２）３次元カメラ座標３Ｄｃから２次元理
想座標２Ｄｉ（ｃ_u、ｃ_v ）への変換 画像歪曲を受けていない場合、３Ｄｃ座標にある基準点
がカメラに結像した画像座標（ｕ’_ijh 、ｖ’_ijh ）
は、透視投影関係により、

【００２７】

【数４】

【００２８】となる。

【００２９】３）２次元理想座標２Ｄｉから２次元観測
座標２Ｄａへの変換 Ｑの像の２次元観測座標２Ｄａ（ｕ_ijh 、ｖ_ijh ）と２
次元理想座標２Ｄｉ（ｕ’_ijh 、ｖ’_ijh ）との間に
は、下記（３）式の関係がある。

【００３０】

【数５】

【００３１】ただし、 ｒ’＝〔（ｖ’_ijh −ｃ_v ）² ＋（ｕ’_ijh −ｃ_u ）²
（ｄｘ／ｄｙ）² 〕^1/2 上記（１）〜（３）式により、
３Ｄｗ座標から２Ｄａ座標への変換式、即ち、較正の基
本となる回帰方程式を得る。

【００３２】

【数６】

【００３３】４）回帰方程式の規格化 較正の設定条件、較正の精度について、一般性を持たせ
るために、すべての内部パラメータおよび観測値を画像
メモリ上のピクセル数（ｎ_fu、ｎ_fV）の１／２で、また
すべてのチャート設定値などに関する３次元座標（角度
を除く）を基準点間隔１ｃで以下のように規格化する。

【００３４】 Ｕ_ijh ＝ｕ_ijh ／ｎ_fu／２ Ｘ_ijh ＝ｘ_ijh ／ｌ_C Ｖ_ijh ＝ｖ_ijh ／ｎ_fV／２ Ｙ_ijh ＝ｙ_ijh ／ｌ_C Ｃ_U ＝ｃ_u ／ｎ_fu／２ Ｙ_ijh ＝ｚ_ijh ／ｌ_C Ｆ＝（ｆ／ｄｙ）／（ｎ_fV／２） Ｔ_x0 ＝ｔ_x0／ｌ_C Ｋ₃ ＝κ₃ （ｎ_fV／２）² Ｔ_y0 ＝ｔ_y0／ｌ_C Ｋ₅ ＝κ₅ （ｎ_fV／２）⁴ Ｔ_z0 ＝ｔ_z0／ｌ_C Ｐ＝ｄｙｎ_fV／ｄｘｎ_fu Ｔ_C ＝ｔ_C ／ｌ_C これらの値を用いて、規格化された回帰方程式、線形
回帰方程式を作成する。 ５）回帰方程式の線形化 この回帰方程式における測定値Ｕ_{ijK 、} Ｖ_ijK につい
て、テイラー展開すると、一次近似では、測定値と推定
パラメータとを結ぶ関係式は、下記式のようになる。

【００３５】 ΔＵ^(k) ＝Ａ^(k) ΔＸ^(k) （５） ここで、ΔＸ^(k) はパラメータのｋ次推定値Ｘ^(k) のま
わりでの微小変化量ベクトル、ΔＵ^(k) は測定値の変化
量ベクトル、Ａ^(k) はヤコビアン行列である。

【００３６】測定値の変化量の分散をσ² ｜Δ_U とする
と、その重み行列は、

【００３７】

【数７】

【００３８】となり、推定パラメータは最小二乗法で ΔＸ＝（Ａ^T ＷＡ）^-1Ａ^T ＷΔＵ （７） として求めることができる。

【００３９】本実施例では、（Ａ）較正用チャート１０
０を、後述する設定条件（姿勢）で初期位置（第１の位
置）に位置決めし、この姿勢にある較正用チャート１０
０を撮像してその像を処理装置５０の画像メモリ５２に
格納し、各基準点の像ｑの２次元画像座標（Ｕ_iJ1 、Ｖ
_ij1 ）を読み取り、データメモリ５３に格納する。

【００４０】（Ｂ）次いで、較正用チャート１００を第
１の位置からテレビカメラ１０より遠ざかる向きに所定
距離移動し、この第２位置で、較正用チャート１００を
撮像してその像を処理装置５０の画像メモリ５２に格納
し、各基準点の像ｑの２次元画像座標（Ｕ_iJ2 、
Ｖ_ij2 ）を読み取り、データメモリ５３に格納する。

【００４１】（Ｃ）このデータ取込みを行なったのち、
データメモリ５４に予め格納してある（６）式と設定条
件を用いて、ＣＰＵ５１で、プログラムメモリ５５に格
納してある演算プログラムに従い、推定パラメータ（内
部パラメータ）を演算する。

【００４２】このようにして、カメラパラメータの推定
値を得ることができるが、本発明では、誤差が最小であ
る推定パラメータを簡単に得ることができるようにする
ため、較正用チャート１００の姿勢の最適設定条件を求
める。この条件を得るために本発明者等が実施した手順
を下記に説明する。

【００４３】１）モデル設定 較正用チャート１００を、第１の位置（初期位置）と、
この第１の位置からテレビカメラより遠ざかる向きに所
定距離移動した第２の位置で撮像する。

【００４４】（ａ）第１の位置では、基準点Ｑが画面全
体に配置される。

【００４５】（ｂ）第２の位置へは、隣接する基準点の
像の間隔の中で、最小のものが最小間隔Ｎｒとなるよう
に移動させる。

【００４６】この設定により、独立変数（最適化対象パ
ラメータ）が、１１個から〔θ、φ、ψ、α_x 、α_y 、
ｔ_C 〕の６箇に減少する。他の外部パラメータｔ_x0、ｔ
_y0、ｔ_Z0、ｌ_X 、ｌ_y は独立パラメータから求められる
従属パラメータとなる。

【００４７】２）パラメータ推定値の誤差 式（５）を、規格化されたパラメータの真値Ｘ⁰ のまわ
りの関係式と見なし、規格化された測定値Ｕの真値をＵ
⁰ とする。すなわち、 ΔＵ^(k) ＝Ｕ−Ｕ⁰ A^(k) ＝Ａ_{X =X} ⁰ ΔＸ^(k) ＝Ｘ−Ｘ⁰ （８） とすると、

【００４８】

【数８】

【００４９】となる、従って、パラメータ推定値の誤差
行列は、 Σ_X ＝Ｅ〔（ＸーＸ⁰ ）（ＸーＸ⁰ ）^T 〕＝（Ａ^T ＷＡ）^-1 （１０） により与えられる。

【００５０】３）３次元計算値の誤差推定パラメータの
規格化したものを用いた２次元画像座標から３次元世界
座標への計算値（Ｘ／Ｚ）、（Ｙ／Ｚ）を、 （Ｘ／Ｚ）＝ｇ_X （Ｘ） （Ｙ／Ｚ）＝ｇ_y （Ｘ） （１１） とすると、 Σ_(X/Z) ＝Ｇ_X Σ_X Ｇ_X ^T Σ_(y/Z) ＝Ｇ_y Σ_X Ｇ_y ^T （１２） となる。Ｇ_X 、Ｇ_y はそれぞれ（Ｘ／Ｚ）、（Ｙ／Ｚ）
の各パラメータに対するヤコビヤン行列である。

【００５１】４）独立変数となっている最適化対象パラ
メータ〔θ、φ、ψ、α_x 、α_y 、ｔ_C 〕を変化させ、
各々の条件において、Σ_X を求める。更に、内部パラメ
ータの推定値の誤差を用いて、全画面一様にとった３６
箇の画像座標について、Σ_X/Z 、Σ_y/Z を計算した。Σ
_(X/Z) 、Σ_(y/Z) の対角要素の平均の和を取ったものを
図３〜図６に示す。この平均の和は、Ｓ² ＝Ｘ² ＋Ｙ²
とすると、Ｅ（σ² _S/Z ）を意味する。なお、内部パラ
メータは、その代表値として、κ₃ ＝−０．０５、κ₅
＝−０．００５、Ｃ_u ＝Ｃ_V ＝１、Ｆ＝Ｐ＝１とした。

【００５２】４）較正するときのチャート１００の奥行
比を

【００５３】

【数９】

【００５４】とし、θ＝φ＝ψ＝α_x ＝α_y ＝０の条件
で、ｍと３次元計算値の誤差分散の関係を求め、図３に
示す。奥行き比ｍが小さ過ぎると、回帰方程式の列ベク
トルの独立性が小さくなるので、パラメータ推定値の誤
差が大きくなり、３次元計算値の誤差分散も大きくな
る。一方、奥行き比ｍが大き過ぎると、基準点数が少な
くなり、そのため、パラメータ推定値の誤差が大きくな
り、３次元計算値の誤差分散も大きくなる。このため、
最適奥行き比は１．０５〜２．０の範囲となる。 ５）較正用チャートの回転角度（θ、φ、ψ） ３次元計算値の誤差が最小となる奥行き比ｍ＝１．１を
用いて求めた、較正用チャート１００の回転角度と３次
元計算値の誤差の分散の関係を図４に示す。この図から
明らかなように、θ＝φ＝ψ＝０の時、上記誤差の分散
が最小になる。これは、当該条件下では、基準点Ｑが最
も一様に全画面に映され、基準点Ｑの像ｑの数が最大と
なるためである。

【００５５】６）較正用チャートの移動角度（α_x 、α
_y ） ３次元計算値の誤差が最小となる奥行き比ｍ＝１．１を
用いて求め、較正用チャート１００の移動角度と３次元
計算値の誤差の分散の関係を求め、図５に示す。この図
から明らかなように、画像の中心近傍では、画像歪曲が
小さい。α_x、α_y が小さい時は、移動したチャートの
像の画像中心からのずれは少なく、このことから計算値
の誤差の分散が少ないと考えられる。

【００５６】以上の結果から、ｍ＝１．０５〜２．０、
θ＝φ＝ψ＝α_x ＝α_y ＝０が較正用チャート１００の
最適設定条件であることが理解される。

【００５７】７）較正精度の定量化 上記最適条件において、Ｃ_U ＝Ｃ_V ＝Ｆ＝Ｐ＝１、Ｎｒ
＝０．０２とし、κ₅ を媒介変数として、画像画像歪曲
係数κ₃ と３次元計算値の誤差の分散関係を求めた結果
を図６に示す。

【００５８】但し、Ｃ_U 、Ｃ_V は画像メモリ上のピクセ
ル数ｎ_fu、ｎ_fVの１／２で規格化した主点、Ｐ＝ｄｙｎ
_fV／ｄｘｎ_fu、Ｆ＝（ｆ／ｄｙ）／（ｎ_fV／２）、Ｎｒ
＝基準点の最小像間隔。

【００５９】ここでは、Ｃ_U ＝Ｃ_V ＝Ｐ＝１としている
が、これらの値はいずれのシステムでも大差はなく、一
方、Ｎｒ＝０．０２、Ｆ＝１としているが、上述の結論
から、一般の場合についても容易に推定することは可能
である。従って、図６の特性を用いれば、あらゆる視覚
装置について、較正に際して重要な内部パラメータの推
定精度、および３次元情報の推定精度を判定することが
できる。

【００６０】

【発明の効果】本発明は以上説明した通り、基準点を配
列した較正用チャートを、第１の位置と、この第１の位
置から視覚装置より遠ざかる向きに所定距離移動した第
２の位置で撮像し、両位置における基準点の像の２次元
画像座標を用いてカメラパラメータの推定値を演算する
ので、較正用チャートの基準点は２次元配列のもので済
み、極めて実用的である上、本発明のチャート設定条件
を用いれば、最小誤差のパラメータ推定値を得ることが
できるので、カメラパラメータを容易に、かつ高精度に
較正することができ、実用的に信頼性の高いパラメータ
較正が可能となる。

【図面の簡単な説明】

【図１】本発明の実施例を示す斜視図である。

【図２】上記実施例の構成をモデル化して示した図であ
る。

【図３】３次元計算値の誤差と奥行き比ｍとの関係を示
す線図である。

【図４】３次元計算値の誤差とチャートの回転角度との
関係を示す線図である。

【図５】３次元計算値の誤差とチャートの移動角度との
関係を示す線図である。

【図６】３次元計算値の誤差と３次元画像歪曲係数との
関係を示す線図である。

【符号の説明】

１０ テレビカメラ ２０ 角度調整機構 ３０ 垂直移動機構 ４０ Ｘ−Ｙ移動機構 ５０ データ処理装置 ５２ 画像メモリ １００ 較正用チャート ２００ 撮像面 Ｑ 基準点 ｑ 基準点の像

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−242526（ＪＰ，Ａ) 特開 平１−221632（ＪＰ，Ａ) 特開 昭62−200207（ＪＰ，Ａ) 特開 昭61−193574（ＪＰ，Ａ) 特開 昭61−109179（ＪＰ，Ａ) 特開 昭57−149944（ＪＰ，Ａ) 特開 昭55−112077（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 17/00

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 ３次元空間に配列された較正の基準とな
   る基準点を視覚装置で撮像してその像を画像メモリに格
   納し、基準点の３次元世界座標と上記画像メモリ上の２
   次元画像座標とを関係ずける関係式を用いて上記視覚装
   置のパラメータを推定する視覚装置の幾何学的撮像特性
   較正方法において、上記基準点を配列した較正用チャー
   トを、第１の位置と、この第１の位置から視覚装置より
   遠ざかる向きに所定距離移動した第２の位置で、同じ所
   定姿勢にして撮像し、両位置における基準点の像の２次
   元画像座標を用いて上記視覚装置のパラメータを推定す
   ることを特徴とする視覚装置の幾何学的撮像特性較正方
   法。
2. 【請求項２】 較正用チャートは、複数個の円形状の基
   準点が等間隔格子点配列に描かれたチャートであること
   を特徴とする請求項１記載の視覚装置の幾何学的撮像特
   性較正方法。
3. 【請求項３】 第１の位置は、較正用チャートの基準点
   が画面全体に並ぶ位置であり、第２の位置は隣接する基
   準点の像の間隔の最小値が所定の値となる位置であるこ
   とを特徴とする請求項１または２記載の視覚装置の幾何
   学的撮像特性較正方法。
4. 【請求項４】 視覚装置から第１の位置までの間隔と視
   覚装置から第２の位置までの間隔との比が、１．０５〜
   ２．０であることを特徴とする請求項１または２記載の
   視覚装置の幾何学的撮像特性較正方法。
5. 【請求項５】 所定姿勢は、３次元世界座標軸まわりの
   回転角が全て零である姿勢であり、移動の方向が視覚装
   置の視軸の方向に一致することを特徴とする請求項１〜
   ３記載の視覚装置の幾何学的特性較正方法。
6. 【請求項６】 ３次元計算値の誤差の分散の特性を用い
   てパラメータ推定精度を判定することを特徴とする請求
   項４〜５記載の視覚装置の幾何学的撮像特性較正方法。