JPS63136892A - カメラ座標系の較正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、テレビ・カメラの画像を結像させる結像面に
おける画像座標系の原点からのオフセット量を求めるカ
メラ座標系の較正装置に関する。

（従来の技術） 従来の工場自動化においては、テレビ・カメラ（視覚セ
ンサ）を用いて物体を位置決めする必要性がしばしば生
じる。例えば、平面上に開けられた穴にピンを挿入する
場合には、平面を正しい位置及び姿勢になるようにセッ
トしなければならない。

正しい位置及び姿勢に平面をセットするためには、平面
の位置と姿勢を測定する必要がある。このような位置及
び姿勢を測定する手法として、Ｙｕｂｉｎ　ｆｌｕｎｇ
等により１９８５年のＩＥＥＥ　Ｉｎｔｅｒｒｌａｔｉ
ＯｌｌａｌＣｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｒｏｂｏｔｉ
ｃｓ　ａｎｄ　Ａｕｔｏｎａ目Ｏｎの多積集８０ページ
から８５ページにｒ　Ｐａ５ｓｉｖｅ　ｒａｎｇｉｎｇ
　ｔ。

ｋｎｏｗｎ　ｐｌａｎａｒ　ｐｏｉｎｔ　５ｅｔＳ　Ｊ
として述べられている手法がある。この論文では幾何学
的関係が既知の４点のマークをテレビ・カメラで撮像し
て、前記マークの空間内における位置と姿勢を測定する
手法を述べている。前記４点のマークを平面上に記して
おけば、この手法により前記平面の位置との勢を測定す
ることができるが、この手法ではカメラの焦点距離ｆが
既知であることを仮定し、さらに、カメラ・レンズ系の
光軸と画像座標の原点が一致していることを仮定してい
る。一般に、単眼のカメラで以上のような測定を行う場
合には、あらかじめレンズ光軸とｉｉ＠像平面（ここで
、画像平面とはカメラの撮像面であり、例えば、ＣＣＤ
カメラではＣＣＤデバイスの撮像面である）が交わる点
く光軸点）を画像座標系の原点としなければならない。

レンズ光軸と画像座標系の原点との間のずれ、あるいは
誤差をオフセットと呼べば、このようなオフセントはレ
ンズ系とＣＣＤｍＣＤｍビデバイス又はＣＣＤデバイス
と画像メモリの間のいずれでも生じ得る。撮像デバイス
と標準レンズが一体化された市販のＣＣＤカメラでは、
レンズ系と撮像デバイスの間のオフセットは最小となる
ように調整されていると考えられるが、標単レンズの代
りに顕微鏡を用いるような場合には、機械的誤差により
オフセットが生じる。

又、レンズ系と撮像デバイスの間のオフセットがなかっ
たとしても、撮像デバイスの出力信号をＣＣＤカメラの
画像メモリに格納する場合にオフセットが生じ得る。す
なわち、ＣＣＤデバイスのアスペクト比（たてと横の比
）と画像メモリのアスペクト比の間の不整合性や、ＣＣ
Ｄデバイスの出力信号をｉｉ！ｊｉ像メモリに取り込む
タイミング等でオフセットが生じる。

一般的に、標準レンズ付きのＣＣＤカメラを用いる場合
において、画像メモリとして例えば５１２×５１２画素
のメモリを用いる場合には、画像メモリの中心ロケーシ
ョン（２５（３，２５６）が画素座標系の原点としても
、大きな誤差はないと考えられる。

しかしながら、先に述べたように、標準レンズの代りに
顕ＩＲ鏡を用いる場合には、機械誤差によりオフセット
が生じるので、５１２ｙ、　　５１２画素のメモリのど
のロケーションの画素が画像座標系の光軸点なのかを測
定しておく必要がある。また、光軸点、焦点距離及びＣ
ＣＤデバイスのアスペクト比は相互に関連し合っている
ので、これらのカメラパラメータは同時に較正する必要
があるが、これまで有効な改正手段が芹在しなかった。

（発明が解決しようとする問題点） 以上のように、光軸点、焦点距贋、ＣＣＤデバイスのア
スペクト比を同時に校正する有効な手法は従来存在しな
かった。

本発明は、これらのカメラパラメータを較正する簡易な
手法及び装Ｈｐ提供することを目的とする。

（問題点を解決するための手段） 前述の問題点を解決し、上記目的を達成するために本発
明が提供するカメラ座標系の較正装置は、平面上の二次
元座標である物体座標系に記されたｎ（ｎ≧４）点のマ
ークを観測するカメラと、該カメラのイメージ出力信号
を処理して前記カメラの光軸上で該カメラのレンズ中心
から焦点距離ｆだけ隔てた光軸点を原点とする二次元の
画像座標系における前記マークの位置（Ｐ＋１％）　　
（ｉ　＝　ｌ　。

２、・・・、Ω）を測定する画像処理装πと、前記マー
クの座標値（ｐｔ、ｑｔ）と前記物体座標系における前
記マークの座標値（ａｔ、　ｂｔ）　　（ｉ　＝　１　
、２゜・・・、ｎ）との間の透視射影変換関係Ａ　＋ａ
＋　Ｃ＋　ｂｔ　Ｄ ｐ＋＝ １＋ａ４Ｇ＋ｂｔＨ におけるパラメータＡ−Ｈを求める第１の計算装置と、
前記カメラと平面の相対姿勢を変えて得られる４つ以上
の下記方程式 ％式％ を連立させて解き、前記焦点距ｆｆＪ　ｆと前記光軸点
から前記画像座標系における原点までのオフセット量（
ｆｐ、　ｆ、、Ｉ）と前記カメラの画素サイズのアスペ
クト比Ｓを求める第２の計算装置とから成ることを特徴
とする。

（作用） 第２図は、本発明による各パラメータを求める原理を説
明するために示した座標系の概念図である。

レンズ中心０からカメラの結像面２１におろした垂線を
光軸とし、この光軸と結像面２１との交点を光軸点２２
とし、またレンズ中心０と光軸点２２との距雛を焦点距
離と・する。このようなレンズ中心０を原点とし、光軸
をＺ軸とする三次元座標のｘｙ２直交座標系（カメラ座
標系）を定めろ。又、結像面２１上に二次元座標のＰ９
直交座標系（画像座ａ系）ヲ定メ、ｐ、ｑ＠がソｈ　（
’れｘ、ｙ１Ｍ！、：平行とする。ここで、ｐｑ座標系
の原点２３の光軸点２２からのオフセント基を（ｆｐ、
ｆｑ）とし、焦点距雛をｆとすると、点（Ｘ＋５’＋Ｚ
）の透視射影像は下式で与えられる。

ｐ＝ｆｘ／ｚ　−ｆｐ　、　　ｑ＝ｆｙ／ｚ　−ｆｑ　
　　　　　（１）平面１２上の点の位置を定着するため
に二次元座標のａｂ直交座標系（物体座器系）を導入し
、カメラ座標系におけるａｂ座標系の原点の位置ベクト
ルをｒ　＝（ｒｘ　＋　ｒｙ　＋　ｒｚ　）　、ａ　、
　ｂ　ｌ’ｆｌの方向余弦ベクトルをそれぞれｕ＝（ｆ
ＪＸ、夛２．ρ２）、ｍ＝（ｍｘ　＋　ｍｌ　＋　ｍ２
　）とすれば、平面１２上の物体座標系における点（ａ
、ｂ）の画像座標系における像（ｐ、ｑ）は下式で与え
られる。

但し、 ここで、係数（パラメータ）Ａ〜Ｈは平面１２上のｎ（
ｎ≧４）藺の既知の特徴点（ａｔ、ｂｔ）と対応する像
（ｐｔ、　ｑ＋）　、　　＜　ｔ＝１．２．−、　ｎ）
とから最小二乗法により次のように求められる。

（２）式に（ａｔ　＋　ｂｒ　）　＋　　（ｐ、（１）
を代入して次式が得られろ。

（ｉ＝１．２．・・・、ｎ） これより、 （ｉ＝１．２．・・・、ｎ） 何代（５）を整理すれば次のパラメータＡ−Ｈに関する
線形方程式が得られる。

ＪＱ＝Ｕ　　　　　　　　　　　　　　　　（Ｇ）但し
、 ここで、二乗平均誤差を最小化する解Ｑ（ｆｔ小二乗解
）は Ｑ＝　（ＪＴ　Ｊ　）　−１ＪＴ　Ｕ　　　　　　　　
　　　（７）で与えられる。

ここで、ベクトル１．ｍの直交性を表わす式％式％ に（３）式のＪＸＩ　４Ｗ＋　！ＪＺ＋　ｍＸ＋　ｍ）
’＋　’；’Ｚを代入して整理すれば次式が得られる。

但し、 円＝Ｃ／Ｇ、　　虫＝Ｅ／Ｇ、　　ｐ、＝Ｄ／ｌｌ　　
Ｃ１，−４，’Ｈ（９）カメラ１１と平面１２の相対姿
勢を変えて得られる３個以上の方程式（９）を解けばｆ
、、　ｆｑ、　ｆ２　＋ｆＰ２＋ｆ、＋２が得られ、こ
れからカメラパラメータｆｐ、　ｆ４＋　ｆが求まる。

画像メモリの１画素のサイズのアスペクト比Ｓが不明の
場合には、（８）式のＰｎ＋ｆ’ｉにｓｐρ。

５ｐｆｌを代入して得られる方程式 を解けばカメラパラメータｆ＋　ｆｌ’＋　ｆｑ＋　　
Ｓが以下のように求まる。

カメラ１１と平面１２の相対姿勢を変えて得られるｎ個
（ｎ≧４）の方程式（１０）を下式のように書き直す。

ＰＬｆＰ’　＋’ｌｆｑ＋　ｔ　Ｖ（＋ｕ１＋ｆ（＝　
Ｏ（１１）−（ｉ＝１．２．・・・、ｎ） 但し、 （１１）式は次の行列方程式に書き直される。

ＶＸ＝１＃　　　　　　　　　　　　　　　　（１３）
但し、 （１３）式の晟小二乗解Ｘは次式で与えられる。

Ｘ＝（Ｖ↑Ｖ）　−１ＶＴ　Ｗ　　　　　　　　　　　
（１４）（１４）式で求められたｆｐ’　、　ｆｑ、　
ｔ　、　ｆ−がらパラメータｆＰ＋　ｆＱ＋　　ｆｒ　
ｓは下式で得られる。

ここで（９）式の（Ｐｊ、　ｑ４＞　＋　　＜ｐＨｒ　
ｑＩｌ）はそれぞれ（２）式においてａ、ｂを無限大と
した時の値である。

すなわち、 （ｐり＋　ｑｉ）　”す１ｎ（ｐ、ｑ）ａ→ω （ｐｂ、　ｑ、）　＝ｔ）　Ｌｍ　（ｐ、　ｑ）ｂ−■ であるから（ｐ−１虫）、（ら＋Ｑｌｌ）はそれぞれ方
向ベクトルρ１ｍの消点（無限遠点）と一致する。

従って（１０）式は直交する晰位方向ベクトルからカメ
ラパラメータｆ、、　ｆｑ、　　ｆ　、　ｓが求められ
ろことを意味する。従って、他の手法で求めた方向ベク
トルの消点に式（１０）〜（１５）を適用してもカメラ
パラメータが得られる。

（実施例） 第１図は本発明の実施例を示したブロック図である。第
１図において平面１２上に０点のマーク１〜ｎが記され
ており、これらのマーク１〜ｎをテレビ・カメラ１１で
撮像する。

画像処Ｆ！！装＝１３は、前記テレビ・カメラ１１のイ
メージ出力信号を°処理し、各マーク１〜ｎのイメージ
座標系における位置（ＰＬ、　ＣＩ＋）　　（ｉ　＝　
１〜ｎ）を求める装置である。現在市販されている画像
処理装置の多くは、このようなイメージ処Ｆ！、機能を
有しており、本発明はこのような画像処理装置の利用を
前提としている。

第１図における計算装置１４は、前記マーク１〜ｎのイ
メージ位ｎ　（ｐｔ、　Ｃ１）　　（ｉ　＝　ｌ〜ｎ　
）と前記平面１２上におけるマーク１〜−〇の既知の二
次元位Ｋ　（ａｔ＋　ｂｌ）　　（ｉ　＝　１〜ｎ　）
とから何代（７）に従ってパラメータＡ−Ｈを求める装
置である。

計算装置１５は、式（１４）及び（１５）に従ってカメ
ラパラメータｆ、□＋”Ｉ＋ｆ、Ｓを計算する装置であ
る。

以上の計算装７ｔ１４．１５は、マイクロコンピュータ
によって容易に実現可能である。

（発明の効果） 以上説明したように、本発明によれば平面上に記された
マークをテレビ・カメラで覗測することにより、カメラ
パラメータ（光軸点、焦点正零。

アスペクト比）を容易に較正することができるカメラ座
標系の較正装置が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例を示したブロック図、第２図
は本発明の詳細な説明するための各座標系を定義する概
念図である。 １１・・・ブレビ・カメラ、１２・・・平面、１３・・
・画像処理装置、１４．１５・・・計算装置。

Claims (1)

1. 【特許請求の範囲】 平面上の二次元座標である物体座標系に記されたｎ（ｎ
   ≧４）点のマークを観測するカメラと、該カメラのイメ
   ージ出力信号を処理して前記カメラの光軸上で該カメラ
   のレンズ中心から焦点距離ｆだけ隔てた光軸点を原点と
   する二次元の画像座標系における前記マークの位置（ｐ
   ＿ｉ、ｑ＿ｉ）（ｉ＝１、２、・・・、ｎ）を測定する
   画像処理装置と、前記マークの座標値（ｐ＿ｉ、ｑ＿ｉ
   ）と前記物体座標系における前記マークの座標値（ａ＿
   ｉ、ｂ＿ｉ）（ｉ＝１、２、・・・、ｎ）との間の透視
   射影変換関係ｐ＿ｉ＝（Ａ＋ａ＿ｉＣ＋ｂ＿ｉＤ）／（
   １＋ａ＿ｉＧ＋ｂ＿ｉＨ）ｑ＿ｉ＝（Ｂ＋ａ＿ｉＥ＋ｂ
   ＿ｉＦ）／（１＋ａ＿ｉＧ＋ｂ＿ｉＨ）におけるパラメ
   ータＡ〜Ｈを求める第１の計算装置と、前記カメラと平
   面の相対姿勢を変えて得られる４つ以上の下記方程式 （ｐ＿ｌ＋ｐ＿ｍ）ｓｆ＿ｐ＋（ｑ＿ｌ＋ｑ＿ｍ）ｆ＿
   ｑ＋ｓ＾２ｐ＿ｌｐ＿ｍ＋ｑ＿ｌｑ＿ｍ＋ｆ＿ｐ＾２＋
   ｆ＿ｑ＾２＋ｆ＾２＝０ （ここでｐ＿ｌ＝Ｃ／Ｇ、ｑ＿ｌ＝Ｅ／Ｇ、ｐ＿ｍ＝Ｄ
   ／Ｈ、ｑ＿ｍ＝Ｆ／Ｈ）を連立させて解き、前記焦点距
   離ｆと前記光軸点から前記画像座標系における原点まで
   のオフセット量（ｆ＿ｐ、ｆ＿ｑ）と前記カメラの画素
   サイズのアスペクト比ｓを求める第２の計算装置とから
   成ることを特徴とするカメラ座標系の較正装置。