JPH08201021A - キャリブレーション方法 - Google Patents

Abstract

(57)【要約】 【目的】 撮像手段におけるレンズの歪みの影響を受け
ることなく、キャリブレーションを高精度に行う。 【構成】 カメラ２の視野内にキャリブレーションプレ
ート３が入るように配置し、画像処理手段４によりキャ
リブレーションプレート３を撮像する。撮像された画像
は演算手段５に入力され、キャリブレーションプレート
３の教示点の位置が検出される。そして検出された位置
と、データ入力手段６により予め入力された教示点の配
列情報に基づいて、演算手段５において画像中の画面座
標系における各教示点の座標値と世界座標位置との対応
付けを行う。次いで、各教示点の画像および世界座標値
の組から同様に演算手段５において、カメラ２のレンズ
の歪を考慮してキャリブレーション演算を行い、カメラ
パラメータとレンズの歪パラメータを算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、組立て用ロボットや検
査のための視覚センサ等の撮像手段のキャリブレーショ
ンを行う方法に関する。

【０００２】

【従来の技術】人間が行っている組立検査工程を自動化
するためには、人間の目に相当する視覚装置を利用しな
ければならない場合が多い。このような視覚装置は、主
に対象をカメラ（撮像手段）等で画像として捕らえ、そ
の画像中での位置から対象が置かれた空間位置を検出す
るものである。

【０００３】このような視覚装置のキャリブレーション
は、世界座標系内に置かれた座標値が既知の複数の教示
点を撮像手段で撮像して教示点画像を生成し、各教示点
の世界座標値と教示点の画像座標値とを用いて所定のア
ルゴリズムに基づいて演算を行うことにより行われる。

【０００４】このようなカメラ等の撮像手段で撮像した
画像を処理して物体の位置を計測する場合、カメラのキ
ャリブレーション（校正）が必要不可欠である。カメラ
キャリブレーションとは、世界座標系（絶対座標系）に
対するカメラの位置と向き、カメラの焦点距離・画像中
心等のカメラパラメータを求めることである（特開平６
−１３７８４０号参照）。

【０００５】ここで、三次元空間中の点Ｐ_i をカメラで
撮像したとき、この点Ｐ_i は画面中の点ｐ_i に投影され
るものとする。そして、例えば図２に示すような、整列
した複数の円形の教示点マーク３Ａが描かれているキャ
リブレーションプレート３を用いてカメラキャリブレー
ションを行う場合、点Ｐ_i の座標（Ｘ_i ，Ｙ_i ，
Ｚ_i））と点ｐ_i の座標（ｘ_i ，ｙ_i ）が既知である必
要がある。点Ｐ_i として、例えばキャリブレーションプ
レート３に描かれている円形の教示点マーク３Ａの中心
を用い、このキャリブレーションプレート３を距離ｄず
つ正確に移動させることにより、座標が既知である点Ｐ
_i （Ｘ_i ，Ｙ_i ，Ｚ_i ）を用意できる。そして、このキ
ャリブレーションプレート３をカメラで撮像し、画像を
処理して円形の教示点マーク３Ａの中心を算出すること
により、画面中の点ｐ_i の座標（ｘ_i ，ｙ_i ）を求める
ことができる。

【０００６】また、キャリブレーションに必要な教示点
の世界座標系における座標値と、画面座標系における座
標値との対応付けを行うことにより、キャリブレーショ
ンを行う方法が公知であるが、この方法においてキャリ
ブレーションを簡易かつ高精度に行う方法が提案されて
いる（特開平6-137840号）。

【０００７】

【発明が解決しようとする課題】しかしながら、特開平
6-137840号に記載されている方法であっても、キャリブ
レーションを高精度に行うことはできない。すなわち、
キャリブレーションを行うための教示点はカメラなどの
撮像手段を用いて撮像するものであるが、この撮像手段
の構成要素としてレンズが含まれているため、このレン
ズの歪みにより、撮像手段に入力される画像が歪んでし
まい、世界座標系における教示点の座標値と、画面座標
系における座標値との対応付けを正確に行うことができ
ず、この結果キャリブレーションを高精度に行うことが
できないものであった。

【０００８】本発明は上記事情に鑑み、撮像手段におけ
るレンズの歪みの影響を受けることなく、撮像手段のキ
ャリブレーションを高精度に行うことができるキャリブ
レーション方法を提供することを目的とするものであ
る。

【０００９】

【課題を解決するための手段】本発明によるキャリブレ
ーション方法は、レンズを有する撮像手段により、基準
教示点を有するキャリブレーションプレートを撮像し、
前記撮像手段の撮像手段座標系、該撮像手段のスクリー
ン上のスクリーン座標系、該撮像手段により得られた画
像の画面座標系、および世界座標系における前記教示点
の座標の対応関係に基づいて、前記レンズの歪みを考慮
して前記撮像手段の撮像手段パラメータおよび／または
前記レンズの歪パラメータを算出することを特徴とする
ものである。

【００１０】また、前記撮像手段パラメータおよび前記
歪パラメータの算出を、該撮像手段パラメータおよび該
歪パラメータの初期値を設定し、該初期値に基づいて、
前記画面座標系における前記画像の前記レンズによる歪
を補正し、該歪が補正された画像における前記教示点の
座標値を算出し、該算出された教示点の座標値および前
記世界座標系における前記教示点の対応関係に基づいて
行うことが好ましい。

【００１１】さらに、前記各パラメータの算出により得
られた前記撮像手段パラメータおよび前記歪パラメータ
に基づいて前記画面座標系における前記画像の前記レン
ズによる歪を補正し、該歪が補正された画像における前
記教示点の座標値を算出し、該算出された教示点の座標
値および前記世界座標系における前記教示点の対応関係
に基づいて前記撮像手段パラメータおよび前記歪パラメ
ータを算出し、該算出された各パラメータが所定の値に
収束するまで前記補正、前記座標値の算出および前記撮
像手段パラメータおよび前記歪パラメータの算出を繰り
返し行うことが好ましい。

【００１２】また、前記撮像手段パラメータが、前記教
示点の前記世界座標系から前記撮像手段座標系への変換
を表す回転行列と平行移動ベクトル、前記スクリーン座
標系と前記画面座標系との原点位置のずれ、および前記
スクリーン座標系と前記画面座標系との関係を表すスケ
ールファクタと前記撮像手段の焦点距離との積であるこ
とが好ましい。

【００１３】さらに、前記レンズによる歪の補正を、式 ｘ_d ′＝ｘ_d ＋（ｇ₁ ＋ｇ₃ ）ｘ_d ² ＋ｇ₄ ｘ_d ｙ_d ＋
ｇ₁ ｙ_d ²＋ｋ₁ ｘ_d （ｘ_d ² ＋ｙ_d ² ） ｙ_d ′＝ｙ_d ＋ｇ₂ ｘ_d ² ＋ｇ₃ ｘ_d ｙ_d ＋（ｇ₂ ＋ｇ
₄ ）ｙ_d ²＋ｋ₁ ｙ_d （ｘ_d ² ＋ｙ_d ² ） ｘ_d ＝ｕ−ｕ₀ ， ｘ_d ′＝ｕ′−ｕ₀ ｙ_d ＝ｖ−ｖ₀ ， ｙ_d ′＝ｖ′−ｖ₀ 但し、ｇ₁ 〜ｇ₄ ，ｋ₁ ：歪パラメータ ｕ，ｖ：レンズによる歪を補正した後の画面座標系にお
ける前記教示点の座標 ｕ′，ｖ′：レンズによる歪を補正する前の画面座標系
における前記教示点の座標 ｕ₀ ，ｖ₀ ：スクリーン座標系と画面座標系との原点位
置のずれ により行うことが好ましい。

【００１４】

【作用】本発明によるキャリブレーション方法は、キャ
リブレーションプレートを撮像して教示点の画像を得、
世界座標系、スクリーン座標系、撮像手段座標系および
画面座標系における教示点の位置の対応関係から撮像手
段のパラメータを求めるキャリブレーションを行う際
に、撮像手段のレンズの歪を考慮して、このレンズの歪
パラメータをも求めるようにしたものである。このよう
にキャリブレーションを行う際に撮像手段のレンズの歪
を考慮することにより、求められたレンズの歪パラメー
タからレンズの歪の影響を除去することができ、撮像手
段のパラメータをより精度良く求めることができる。し
たがって、キャリブレーションをより正確に行うことが
でき、撮像手段により撮像される対象の位置検出をより
高精度に行うことが可能となる。

【００１５】具体的には、撮像手段パラメータおよび歪
パラメータの初期値を設定してこの初期値に基づいて画
面座標系における画像の歪を補正し、補正後の画像にお
いて教示点の座標値を算出し、この算出された教示点の
座標値および世界座標系における教示点の対応関係に基
づいて撮像手段パラメータおよび歪パラメータを算出す
ることにより、初期の計算を容易にしてより高速に精度
よく各パラメータを算出することができる。

【００１６】また、算出された各パラメータが所定の値
に収束するまで、画面座標系の画像の補正、教示点の座
標値の算出、および各パラメータの算出を繰り返すこと
により、各パラメータをより正確に算出することがで
き、これによりキャリブレーションをより精度よく行う
ことができる。

【００１７】

【実施例】以下図面を参照して本発明の実施例について
説明する。

【００１８】図１は本発明によるキャリブレーション方
法を実施するための装置の概略を表す図である。図１に
示すように、本発明によるキャリブレーション方法を実
施するための装置１は、撮像手段であるカメラ２の視野
内にキャリブレーションプレート３が入るように配置
し、画像処理手段４によりキャリブレーションプレート
３の画像を撮像する。撮像された画像は演算手段５に入
力され、この演算手段５においてキャリブレーションプ
レート３上の教示点から教示点の位置および方向を検出
する。そして検出された位置および方向と、データ入力
手段６により予め入力された教示点の配列情報に基づい
て、演算手段５において画像中の画面座標系における各
教示点の座標値と世界座標系における座標値との対応付
けを行う。次いで、各教示点の画像および世界座標系の
座標値の組から同様に演算手段５において、カメラ２の
レンズの歪を考慮してキャリブレーション演算を行い、
カメラパラメータとレンズの歪パラメータを算出する。
このようにして得られたカメラパラメータおよび歪パラ
メータはデータ出力手段７により他の装置に入力されて
後の処理に用いられる。

【００１９】図２はキャリブレーションプレート３を表
す図である。図２に示すようにキャリブレーションプレ
ート３は、プレート平面上に複数個の円形の教示点マー
ク３Ａを配置してなるものである。そして、この教示点
マーク３Ａの中心点を教示点としてキャリブレーション
を行うものである。

【００２０】図３は演算手段５において行われる処理の
詳細を説明するフローチャートである。図３に示すよう
に、まずカメラパラメータおよび歪パラメータの初期値
を設定し（Ｓ１）、この初期値に基づいて後述する式に
より、画像中の画面座標系上においてカメラ２のレンズ
により歪んだ教示点の座標値の補正を行う（Ｓ２）。次
いで、補正された教示点に基づいてカメラパラメータお
よび歪パラメータを求めるキャリブレーションを行う
（Ｓ４）。そしてこのように求められたカメラパラメー
タおよび歪パラメータが所定の範囲内の値に収束してい
るか否かを判断して、収束していない場合はＳ２からＳ
４までの処理を収束するまで繰り返し行うようにしたも
のである（Ｓ５）。

【００２１】以下、上記Ｓ１からＳ５で行われる処理の
詳細について説明する。

【００２２】図４はカメラモデルの構造を表す図であ
る。図４に示すように、教示点Ｐが存在する世界座標系
Ｏ_W 内にカメラ２を基準としたカメラ座標系Ｏ_C が存在
している。ここでカメラ座標系Ｏ_C とは、カメラの姿勢
を表す座標系であり、カメラの焦点に原点Ｏ_C を位置せ
しめ、カメラの光軸上にｚ軸、水平方向にｘ軸、垂直方
向にｙ軸を定めたものである。この教示点Ｐの世界座標
系Ｏ_W から見た座標値を（ｘ_W ，ｙ_W ，ｚ_W ）、カメラ
座標系Ｏ_C から見た座標値を（Ｘ_C ，Ｙ_C ，Ｚ_C））で
表す。さらに教示点Ｐはカメラ座標系Ｏ_C から焦点距離
ｆ離れてｚ_C 軸に垂直な平面上のスクリーン座標系Ｏ_S
に投影され、カメラ座標系の原点Ｏ_C と教示点Ｐの間を
結ぶ直線と、カメラの受光面であるｘ_S −ｙ_S 平面との
交点Ｐ_S （ｘ_S ，ｙ_S ）として観測される。一方、画像
処理手段４内においては、教示点Ｐの画像は画面座標系
Ｏ_i 内で点ｐ（ｕ，ｖ）として測定される。なお画面座
標系においてはｕ，ｖの単位は画素である。

【００２３】このようにして世界座標系、カメラ座標
系、スクリーン座標系および画面座標系を設定した場
合、各座標系における座標値の関係は以下に示すものと
なる。まず、カメラ座標系にＯ_C おける教示点Ｐの座標
値Ｐ_C ＝（Ｘ_C ，Ｙ_C ，Ｚ_C ）と世界座標系Ｏ_W におけ
る教示点Ｐの座標値Ｐ_W ＝（ｘ_W ，ｙ_W ，ｚ_W ）との関
係は、以下の式(1) により表される。

【００２４】 Ｐ_C ＝Ｒ・Ｐ_W ＋Ｔ …(1) ここで、Ｒ、Ｔはそれぞれ原点Ｏ_W から原点Ｏ_C への回
転行列および平行移動ベクトルであり、以下のように表
される。

【００２５】

【数１】

【００２６】さらに、カメラ座標系の座標値Ｐ_c ＝（Ｘ
_C ，Ｙ_C ，Ｚ_C ）と、スクリーン座標系の座標値Ｐ_S ＝
（ｘ_S ，ｙ_S ）との関係は透視変換の関係にあることか
ら以下の式(2) により表される。

【００２７】

【数２】

【００２８】ここで、ｆはカメラレンズの焦点距離であ
る。

【００２９】また、スクリーン座標系（ｘ_S ，ｙ_S ）
と、画面座標系（ｕ，ｖ）との関係は以下の式(3) によ
り表される。

【００３０】 ｕ＝ｓ_u ・ｘ_s ＋ｕ₀ ｖ＝ｓ_v ・ｙ_s ＋ｖ₀ …(3) ここで、ｓ_u ，ｓ_v はスケールファクタを、ｕ₀ ，ｖ₀
は画面座標系の原点の位置を表す。

【００３１】さらに、ｆ_u ＝ｓ_u ・ｆ，ｆ_v ＝ｓ_v ・ｆ
とおき、上記式(1) 〜(3) を整理すると以下の式(4) と
なる。

【００３２】

【数３】

【００３３】ここで上記式(4) におけるｒ₁₁〜ｒ₃₃，ｆ
_u ，ｆ_v ，ｕ₀ ，ｖ₀ ，ｔ_x ，ｔ_y ，ｔ_z はカメラパラ
メータである。

【００３４】また、レンズ歪みがないとき（ｕ，ｖ）の
位置にある点が、レンズ歪みにより（ｕ′，ｖ′）の位
置に写されるとき、（ｕ，ｖ）と（ｕ′，ｖ′）の関係
を次式で定義する（（ｕ，ｖ）と（ｕ′，ｖ′）は画面
座標系で表現されている）。

【００３５】

【数４】

【００３６】但し、ｇ₁ ，ｇ₂ ，ｇ₃ ，ｇ₄ ，ｋ₁ はレ
ンズの歪みパラメータである。

【００３７】式(4) の（ｕ，ｖ）を（ｕ′，ｖ′）に置
き換えると、式(4) ′となる。

【００３８】

【数５】

【００３９】次いで、式(4) ′においてｕ′−ｕ₀ ＝ｘ
_d ′，ｖ′−ｖ₀ ＝ｙ_d ′とおき式(4) ′と式(5) とを
整理すると以下の式(6) となる。

【００４０】

【数６】

【００４１】そして、複数の教示点を例えばキャリブレ
ーションプレート３の円形の教示点マーク３Ａの中心と
して、この教示点について式(6) を求め、未知数を最小
二乗法により求めて、カメラパラメータおよび歪パラメ
ータを求めるものである。本実施例においては、パラメ
ータを算出するために最低11個の教示点が必要となる。

【００４２】まず、ステップＳ１において歪パラメータ
ｇ₁ 〜ｇ₄ ，ｋ₁ およびカメラパラメータの初期値を設
定する。ここで歪パラメータは比較的小さな値を有する
ことから、初期値としてはｇ₁ 〜ｇ₄ ，ｋ₁ については
０を用いる。

【００４３】そして、ステップＳ２において各パラメー
タ初期値を式(5) に代入して、歪のない、補正された画
像を得る。すなわち、実際にスクリーン座標系に投影さ
れている画像はカメラ２のレンズ歪によって歪んでいる
ため、式(5) により画面座標系上の各画像の画素
（ｕ′，ｖ′）について歪を除去する補正を行い、補正
画像（ｕ，ｖ）を得る。

【００４４】ここでレンズによる歪みの補正は以下のよ
うにして行う。

【００４５】 ｘ_d ＝ｘ ｘ_d ′＝ｘ′ ｇ₁ ＋ｇ₃ ＝ａ ｇ₄ ＝ｂ ｇ₁ ＝ｃ ｋ₁ ＝ｋ ｙ_d ＝ｙ ｙ_d ′＝ｙ′ ｇ₂ ＝ｄ ｇ₃ ＝ｅ ｇ₂ ＋ｇ₄ ＝ｆ とおくと、式(5) は以下の式(7) のようになる。

【００４６】

【数７】

【００４７】これを整理すると、以下の式(8) となる。

【００４８】

【数８】

【００４９】式(8) においてｘ′，ｙ′，ａ，ｂ，ｃ，
ｄ，ｅ，ｆは既知であるため、ｘ，ｙを求めることがで
きる。ここで、ｘ，ｙを求めるために図５に示すフロー
チャートに従って以下の繰り返し計算を行う。

【００５０】ステップＳ６ 係数の設定 係数ｘ′，ｙ′，ａ，ｂ，ｃ，ｄ，ｅ，ｆを次式のよう
に設定する。

【００５１】 ｘ′＝ｘ_d ′ ａ＝ｇ₁ ＋ｇ₃ ｂ＝ｇ₄ ｃ＝ｇ₁ ｋ＝ｋ₁ ｙ′＝ｙ_d ′ ｄ＝ｇ₂ ｅ＝ｇ₃ ｆ＝ｇ₂ ＋ｇ₄ ステップＳ７ 初期値の設定 まず、初期値をｘ₀ ，ｙ₀ として

【００５２】

【数９】

【００５３】を用いる。但し、ｘ_d ′＝ｕ′−ｕ₀ ，ｙ
_d ′＝ｖ′−ｖ₀ ステップＳ８ 解の計算 ｘ＝ｘ₀ ，ｙ＝ｙ₀ を式(8) に代入し、以下の式(9) ，
式(10)に基づきｘ₁ ，ｙ₂ を計算する。

【００５４】

【数１０】

【００５５】ステップＳ９ ｘ₀ ，ｙ₀ の更新 ｘ₀ の更新 ｜ｘ₀ −ｘ₁ ｜≦｜ｘ₀ −ｘ₂ ｜のとき ｘ₀ ＝ｘ₁ ｜ｘ₀ −ｘ₁ ｜＞｜ｘ₀ −ｘ₂ ｜のとき ｘ₀ ＝ｘ₂ ｙ₀ の更新 ｜ｙ₀ −ｙ₁ ｜≦｜ｙ₀ −ｙ₂ ｜のとき ｙ₀ ＝ｙ₁ ｜ｙ₀ −ｙ₁ ｜＞｜ｙ₀ −ｙ₂ ｜のとき ｙ₀ ＝ｙ₂ …(11) とする。

【００５６】ステップＳ10 解の収束判定 ｜ｘ₀ −ｘ₀ ′｜＋｜ｙ₀ −ｙ₀ ′｜＜εならば、 ｘ_d ＝ｘ₀ ，ｙ_d ＝ｙ₀ として計算を終了する。

【００５７】｜ｘ₀ −ｘ₀ ′｜＋｜ｙ₀ −ｙ₀ ′｜≧ε
ならば、ステップＳ７，Ｓ８を繰り返す。

【００５８】但し、ｘ₀ ′，ｙ₀ ′は前回の計算値であ
り、εは予め設定した閾値である。

【００５９】ここで、補正画像における濃度値の補正に
ついて説明する。図６(a) に示すように、補正前の画像
すなわちレンズによる歪のある画像のある画素(i,j) の
４つの頂点をＰ_i,j ，Ｐ_i,j+1 ，Ｐ_i+1,j+1 ，Ｐ_i+1,j
とし、補正により元の位置画素（斜線部）に対して図６
(b) に示すように歪んだとする。そして補正後の画像の
頂点をＰ′_i,j ，Ｐ′_i,j+1 ，Ｐ′_i+1,j+1 ，Ｐ′
_i+1,j とする。そして、図６(c) に示すように、濃度を
補正すべき画素（斜線部）の頂点をＰ_x,y ，Ｐ_x,y+1 ，
Ｐ_x+1,y+1 ，Ｐ_x+1,y とし、この画像の外形線の補正後
の外形線との交点をそれぞれａ₁ ，ａ₂ ，ａ₃ ，ａ₄ と
し、各点の座標値を求める。

【００６０】さらに、四角形Ｐ′_i,j Ｐ′_i,j+1 Ｐ′
_i+1,j+1 Ｐ′_i+1,j の面積Ｓ_i,j と、四角形Ｐ′_i,j+1
Ｐ′_i,j+2 Ｐ′_i+1,j+2 Ｐ′_i+1,j+1 の面積Ｓ
_i,j+1 と、四角形Ｐ′_i+1,j+1 Ｐ′_i+1,j+2 Ｐ′
_i+2,j+2 Ｐ′_i+2,j+1 の面積Ｓ_i+1,j+1 と、四角形Ｐ′
_i+1,j Ｐ′_i+1,j+1 Ｐ′_i+2,j+1 Ｐ′_i+2,j の面積Ｓ
_i+1,j を求める。そして、この面積Ｓ_i,j ，Ｓ_i,j+1 ，
Ｓ_i+1,j+1 およびＳ_i+1,j の割合から画素(x,y) の濃度
値ｇ′(x,y) を以下の式(12)により求める。

【００６１】

【数１１】

【００６２】ここで、 ｇ(i,j) は四角形Ｐ_i,j Ｐ_i,j+1 Ｐ_i+1,j+1 Ｐ_i+1,j の
濃度 ｇ(i,j+1) は 四角形Ｐ_i,j+1 Ｐ_i,j+2 Ｐ_i+1,j+2 Ｐ_i+1,j+1 の濃度 ｇ(i+1,j+1) は 四角形Ｐ_i+1,j+1 Ｐ_i+1,j+2 Ｐ_i+2,j+2 Ｐ_i+2,j+1 の濃
度 ｇ(i+1,j) は 四角形Ｐ_i+1,j Ｐ_i+1,j+1 Ｐ_i+2,j+1 Ｐ_i+2,j の濃度 である。

【００６３】次いでステップＳ３においてレンズの歪が
補正された画像上における教示点の座標値（ｕ，ｖ）を
求める。

【００６４】そして、ステップＳ４において座標値
（ｕ，ｖ）を用いて、前述した式(6) によりカメラパラ
メータと歪パラメータとのキャリブレーションを行う。
このキャリブレーションは、補正された画像内における
教示点を複数定めて、式(6) を複数用いて最小二乗法に
より解いてカメラパラメータと歪パラメータを求めるも
のである。本実施例においてはカメラパラメータｒ₁₁〜
ｒ₁₃，ｔ_x ，ｔ_y ｔ_z ，ｆ_u ，ｆ_v ，ｕ₀ ，ｖ₀ であ
り、歪パラメータはｇ₁ 〜ｇ₄ 、ｋ₁ であるから、未知
数は21である。したがって、最低11個の教示点を求め
（多いほど良い）これらの教示点と(x,y,z) の値とから
式(6) により複数の式を作成し、最小二乗法によりカメ
ラパラメータと歪パラメータとを求めてキャリブレーシ
ョンを行う。

【００６５】次いでステップ６において、このようにし
てキャリブレーションにより求められたカメラパラメー
タと歪パラメータとが収束しているか否かの判定がなさ
れる。この判定は以下のようにして行う。

【００６６】まず、第１の方法としては、求めた歪パラ
メータと補正した画像から抽出した教示点の位置と、レ
ンズによる歪がないときの教示点の位置との距離の和を
求め、この和とある閾値とを比較する方法が挙げられ
る。

【００６７】また、第２の方法としては新しく求めたカ
メラパラメータ，歪パラメータと前のカメラパラメータ
と歪パラメータとの差の２乗の和を求めこの和を所定の
閾値と比較する方法が挙げられる。新しく求めたカメラ
パラメータを（ｔ_x ，ｔ_y ，ｔ_z ，θ_x ，θ_y ，θ_z ，
ｕ₀ ，ｖ₀ ，ｆ_u ，ｆ_v ）、歪パラメータを（ｇ₁ ，ｇ
₂ ，ｇ₃ ，ｇ₄ ，ｋ₁ ）とし、前のカメラパラメータを
（ｔ_x ′，ｔ_y ′，ｔ_z ′、θ_x ′，θ_y ′，θ_z ′、
ｕ₀ ′，ｖ₀ ′，ｆ_u ′，ｆ_v ′）、歪パラメータを
（ｇ₁ ′，ｇ₂ ′，ｇ₃ ′，ｇ₄ ′，ｋ₁ ′）とする。
そして次に示すΔｒを計算し、Δｒと閾値とを比較す
る。

【００６８】 Δｒ＝ｗ₁ （ｔ_x −ｔ_x ′）² ＋ｗ₂ （ｔ_y −ｔ_y ′）² ＋ ｗ₃ （ｔ_z −ｔ_z ′）² ＋ｗ₄ （θ_x −θ_x ′）² ＋ ｗ₅ （θ_y −θ_y ′）² ＋ｗ₆ （θ_z −θ_z ′）² ＋ ｗ₇ （ｕ₀ −ｕ₀ ′）² ＋ｗ₈ （ｖ₀ −ｖ₀ ′）² ＋ ｗ₉ （ｆ_u −ｆ_u ′）² ＋ｗ₁₀（ｆ_v −ｆ_v ′）² ＋ ｗ₁₁（ｇ₁ −ｇ₁ ′）² ＋ｗ₁₂（ｇ₂ −ｇ₂ ′）² ＋ ｗ₁₃（ｇ₃ −ｇ₃ ′）² ＋ｗ₁₄（ｇ₄ −ｇ₄ ′）² ＋ ｗ₁₅（ｋ₁ −ｋ₁ ′）² …(13) 但し、ｗ₁ ，ｗ₂ ，……，ｗ₁₅は重み係数 なお、式(13)においては、補正前のパラメータに「′」
を付すものとする。また、θ_x ，θ_y ，θ_z はｘ軸，ｙ
軸，ｚ軸のまわりの回転角でありカメラパラメータｒ₁₁
〜ｒ₁₃により定まる値である。

【００６９】この収束判定の結果、収束すなわちΔｒが
閾値よりも小さければ処理を終了し、収束していないけ
れば収束するまでステップＳ２からステップＳ５までの
処理を繰り返し行う。そしてこの収束した値Δｒを与え
るｔ_x ，ｔ_y ，ｔ_z ，θ_x ，θ_y ，θ_z ，ｕ₀ ，ｖ₀ ，
ｆ_u ，ｆ_v ，ｇ₁ ，ｇ₂ ，ｇ₃ ，ｇ₄ ，ｋ₁ が求めるべ
きカメラパラメータおよび歪パラメータである。

【００７０】このようにして求められたカメラパラメー
タおよび歪パラメータを用いてカメラのキャリブレーシ
ョンを行うことにより、カメラの位置決めがなされ、か
つカメラのレンズの歪も補正されたものとなるため、レ
ンズの歪による影響を除去して常に正確なキャリブレー
ションを行うことができる。

【００７１】このカメラによる撮影は以下のように行
う。すなわち、例えば、ステレオ計測により物体の三次
元位置を計測する場合は、まず２つのカメラを用いて、
各カメラから画像を入力する。そして上述した式(5) に
よりレンズの歪みパラメータを使い、入力画像を補正す
る。次いで、補正画像から計測したい特徴部を抽出し、
画面中における特徴部の座標を求める。最後に左右画面
における特徴部の座標、左右カメラのカメラパラメータ
より、特徴部の三次元座標を計算する。そしてこれによ
り、物体の位置を正確に求めることができる。

【００７２】なお、上述した実施例においては式(7) 〜
(11)によりレンズの歪みの補正を行っているが、これに
限定されるものではなく、ニュートン法を用いてｘ_d ，
ｙ_d′が収束するまで繰り返し計算を行い、その結果収
束したｘ_d ′，ｙ_d ′を補正された値として用いるよう
にしてもよいものである。

【００７３】

【発明の効果】以上詳細に説明したように、本発明によ
るキャリブレーション方法は、カメラパラメータのみな
らずカメラのレンズの歪を考慮してレンズの歪パラメー
タをも求めてキャリブレーションを行うようにしたた
め、撮像手段のレンズの歪の影響を除去することがで
き、常に正確なキャリブレーションを行うことができ
る。

【図面の簡単な説明】

【図１】本発明によるキャリブレーション方法を実施す
るための装置の概略を表す図

【図２】キャリブレーションプレートを表す図

【図３】キャリブレーション補正のフローチャート

【図４】世界座標系、カメラ座標系、スクリーン座標系
および画面座標系を表す図

【図５】レンズの歪の補正を説明するためのフローチャ
ート

【図６】画素濃度の補正を説明するための図

【符号の説明】

１ キャリブレーション補正装置 ２ カメラ ３ キャリブレーションプレート ４ 画像処理手段 ５ 演算手段 ６ データ入力手段 ７ データ出力手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｃ // Ｈ０４Ｎ 5/232 Ｚ (72)発明者 吉田 博行 広島県安芸郡府中町新地３番１号 マツダ 株式会社内 (72)発明者 高橋 弘行 広島県安芸郡府中町新地３番１号 マツダ 株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 キャリブレーション方法であって、 レンズを有する撮像手段により、基準教示点を有するキ
   ャリブレーションプレートを撮像し、 前記撮像手段の撮像手段座標系、該撮像手段のスクリー
   ン上のスクリーン座標系、該撮像手段により得られた画
   像の画面座標系、および世界座標系における前記教示点
   の座標の対応関係に基づいて、前記レンズの歪みを考慮
   して前記撮像手段の撮像手段パラメータおよび／または
   前記レンズの歪パラメータを算出することを特徴とする
   キャリブレーション方法。
2. 【請求項２】 前記撮像手段パラメータおよび前記歪パ
   ラメータの算出を、 該撮像手段パラメータおよび該歪パラメータの初期値を
   設定し、 該初期値に基づいて、前記画面座標系における前記画像
   の前記レンズによる歪を補正し、 該歪が補正された画像における前記教示点の座標値を算
   出し、 該算出された教示点の座標値および前記世界座標系にお
   ける前記教示点の対応関係に基づいて行うことを特徴と
   する請求項１記載のキャリブレーション方法。
3. 【請求項３】 前記各パラメータの算出により得られた
   前記撮像手段パラメータおよび前記歪パラメータに基づ
   いて前記画面座標系における前記画像の前記レンズによ
   る歪を補正し、 該歪が補正された画像における前記教示点の座標値を算
   出し、 該算出された教示点の座標値および前記世界座標系にお
   ける前記教示点の対応関係に基づいて前記撮像手段パラ
   メータおよび前記歪パラメータを算出し、 該算出された各パラメータが所定の値に収束するまで前
   記補正、前記座標値の算出および前記撮像手段パラメー
   タおよび前記歪パラメータの算出を繰り返し行うことを
   特徴とする請求項２記載のキャリブレーション方法。
4. 【請求項４】 前記撮像手段パラメータが、前記教示点
   の前記世界座標系から前記撮像手段座標系への変換を表
   す回転行列と平行移動ベクトル、前記スクリーン座標系
   と前記画面座標系との原点位置のずれ、および前記スク
   リーン座標系と前記画面座標系との関係を表すスケール
   ファクタと前記撮像手段の焦点距離との積であることを
   特徴とする請求項１、２または３記載のキャリブレーシ
   ョン方法。
5. 【請求項５】 前記レンズによる歪の補正を、式 ｘ_d ′＝ｘ_d ＋（ｇ₁ ＋ｇ₃ ）ｘ_d ² ＋ｇ₄ ｘ_d ｙ_d ＋
   ｇ₁ ｙ_d ²＋ｋ₁ ｘ_d （ｘ_d ² ＋ｙ_d ² ） ｙ_d ′＝ｙ_d ＋ｇ₂ ｘ_d ² ＋ｇ₃ ｘ_d ｙ_d ＋（ｇ₂ ＋ｇ
   ₄ ）ｙ_d ²＋ｋ₁ ｙ_d （ｘ_d ² ＋ｙ_d ² ） ｘ_d ＝ｕ−ｕ₀ ， ｘ_d ′＝ｕ′−ｕ₀ ｙ_d ＝ｖ−ｖ₀ ， ｙ_d ′＝ｖ′−ｖ₀ 但し、ｇ₁ 〜ｇ₄ ，ｋ₁ ：歪パラメータ ｕ，ｖ：レンズによる歪を補正した後の画面座標系にお
   ける前記教示点の座標 ｕ′，ｖ′：レンズによる歪を補正する前の画面座標系
   における前記教示点の座標 ｕ₀ ，ｖ₀ ：スクリーン座標系と画面座標系との原点位
   置のずれ により行うことを特徴とする請求項２、３または４記載
   のキャリブレーション方法。