JPS6295403A - 座標系較正装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ｃ産業上の利用分野〕 本発明はテレビ・カメラの画像座標系の原点位置を求め
る装置に関する。

〔従来の技術〕

工場自動化においては、テレビ・カメラ（視覚センサ）
を用いて物体を位置決めする必要性がしばしば生じる。

例えば、平面上に開けられた穴にピンを挿入する場合に
は、平面が正しい位置／姿勢になるようにセットしなけ
ればならない。

正しい位置／姿勢に平面をセットするためには、平面の
位置と姿勢を測定する必要がある。このような位置／姿
勢を測定する手法として、ユビン・ハング（Ｙｕｂｉｎ
　Ｈｕｎｇ）等により１９８５年のアイ・イー・イー・
イー・インターナショナル　コンファレンス　オン　ロ
ボティクス　アンド　オートメーション（ＩＥＥＥ　Ｉ
ｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏ
ｎＲｏｂｏｔ＋ｃｓ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ　
）の予稿集８０ページかう８５ページに「パッシブ　レ
ンジング　トウ　ノウン　プレーナ　ポインツ　セッツ
（Ｐａｓｓｉｖｅｒａｎｇｉｎｇ　ｔｏ　）（ｎｏｗｎ
　Ｐｌａｎａｒ　Ｐｏ１ｎｔ　５ｅｔｓ）　Ｊとして述
べられている手法がある。この論文では幾何学的関係が
既知の４点のマークをテレビ・カメラで撮像して、前記
マークの空間内における位置と姿勢を測定する手法を述
べている。前記４点のマークを平面に記しておけば、こ
の手法により前記平面の位置と姿勢を測定することがで
きるが、この手法ではカメラの焦点距離ｒが既知である
ことを仮定し、さらに、カメラ・レンズ系の光軸と画像
座標系の原点が一致していることを仮定している。

一般に、単眼のカメラで以上のような測定を行う場合に
は、あらかじめレンズ光軸と画像平面（ここで、画像平
面とはカメラの撮像面であり、ＣＣＤカメラではＣＣＤ
デバイスの撮像面である〉が交わる点を画像座標系の原
点としなければならない。

レンズ光軸と画像座標系の原点との間のずれ、あるいは
誤差をオフセットと呼べば、このようなオフセットはレ
ンズ系とＣＣＤ撮像デバイスの間、撮像デバイスと画像
メモリの間のいずれでも生じ得る。撮像デバイスと標準
レンズが一体化された市販のＣＣＤカメラでは、レンズ
系と撮像デバイスの間のオフセットは最小化されている
と考えられるが、標準レンズの代りに顕微鏡を用いるよ
うな場合には、機械的誤差によりオフセットが生じる。

又、レンズ系と撮像デバイスの間のオフセットがなかっ
たとしても、撮像デバイスの出力信号を画像メモリに格
納する場合にオフセットが生じ得る。すなわち、ＣＣＤ
デバイスのアスペクト比（縦／横比）と画像メモリのア
スペクト比の間の不整合性や、ＣＣＤデバイス出力信号
を画像メモリに取り込むタイミング等でオフセットが生
じる。

一般的に、標準レンズ付きのＣＣＤカメラを用いる場合
において、画像メモリとして例えば５１２Ｘ５１２画素
のメモリを用いる場合には、画像メモリの中心ロケーシ
ョン（２５６，２５６＞が画素座標系の原点としても、
大きな誤差はないと考えられる。しかしながら、先に述
べたように、標準レンズの代りに顕微鏡を用いる場合に
は、機械誤差によりオフセットが生じるので、５１２Ｘ
５１２画素のメモリのどのロケーションの画素が画像座
標系の原点なのかを測定しておく必要がある。

〔発明が解決しようとする問題点〕

以上のように、従来の平面図形の位置／姿勢の測定手法
では、レンズ光軸と画像平面が交わる点を画像座標系の
原点として設定する必要があるが、原点を求める有効な
手法はこれまで存在しなかった。

本発明は、画像座標系の原点を求めることのできる座標
系較正装置を提供することを目的とする。

より詳しく言えば、例えば第２図に示すように５１２Ｘ
５１２画素の画像メモリ上に二次元の画像座標系（ξ、
η）を設定する場合において、仮りに設定された画像座
標系（ξ′、η′）の原点○′と正しい画像座標系（ξ
、η）の原点Ｏとの間のオフセラ）債（ｆ＜　、　　ｈ
　）を求める座標系較正装置を提供する。ここで、正し
い画像座標系（ξ、η）とは、原点○がレンズの光軸と
交わるような座標系を意味する。

〔問題を解決するための手段〕

本発明は、テレビ・カメラに関する画像座標系の原点位
置を求める座標系較正装置において、平面上に記され且
つ正方形の頂点位置に配置されている４点のマークを斜
め方向から観測するテレビ・カメラの画像出力信号を処
理して前記マークの画像座標系における位置（ξｌ、η
＋）（ｉ＝１゜２．３．４）を測定する画像処理装置と
、前記画像座標値（ξ１．ηｌ）と前記平面上における
前記４点のマークの座標値（ａｉ、　Ｔ）＋）との間の
透視射影変換関係 ξ、＝（Δ＋ａｉＣ＋ｂｉＤ）／（１＋ａｌＧ＋ｂｉＨ
）及び ’７　ｔ　＝（Ｂ　＋　ａ　ｉ　Ｅ　＋　ｂ　ｔ　Ｆ　
）　／　（１＋　ａ　＋　Ｇ　十ｂ　ＩＨ）におけるバ
ラメークＡ〜Ｈを求める第１の計算装置と、前記テレビ
・カメラあるいは平面の相対的姿勢を変えて３方向から
前記４点のマークを観測し、前記第１の計算装置によっ
て１尋られるパラメータＣ４〜Ｈ」（ｊ＝１．２．３）
に関する３つの方程式 ％式％） ｆ：カメラ・レンズ系の焦点距離 を解き、当該画像座標系の原点と正しい画像座標系の原
点の間のオフセラ）　量ｆ４．　　ｆ？を求め、第２の
計算装置とから成ることを特徴としている。

〔作用〕・ 第３図はテレビ・カメラ１を用いて平面２上に記された
４点のマーク（マーク１，２，３．４）を測定している
図を示す。

このような測定系は、第４図に示すように平面２上の座
標系（ａ、ｂ）、画像座標系〈ξ、η）、基準座標系（
ｘ、ｙ、ｚ）の３座標系で表わされる。これらの座標系
はいずれも直交座標系であり、座標系（ａ、ｂ）は平面
２に記された４点のマーク１，２，３．４の幾何学的関
係を表わすための便宜上の座標系である。以下において
は、４点のマークが正方形の頂点位置に配置されている
ものとし、座標系（ａ、ｂ）における座標１直をそれぞ
れ（ａ、、　　ｂ、）＝（０，０）、　　（ａ２．　ｂ
２）＝（ｗ、　０）。

（ａ３．ｂ＊）−（０，ｗ）、（ａ＜、ｂｎ）＝　（ｗ
、ｗ）であるとする。ここで、Ｗは正方形の一辺の長さ
である。

基準座標系（ｘ、ｙ、ｚ）は三次元空間を記述するだめ
の直交座標系であり、その原点は第４図に示すようにレ
ンズ中心と一致するものとする。また、ｚ軸はレンズの
光軸とする。又、２＝ｆ（ｆは実効焦点距離）の平面上
に画像座標系（ξ、η）を設定し、ξ、η軸がそれぞれ
基準座標系のｘ、ｙ軸に平行とし、その原点をレンズ光
軸（２軸）と前記平面の交点とする。すなわち、画像座
標系（ξ、η）は正しい座標系であり、オフセット量は
ｆ４＝ｆ？＝Ｑである。

以下においては、オフセットがゼロの場合のマーク＜ａ
ｔ、ｂｔ）とその透視射影像（ξ１．η、）の間の関係
式を導びき、ついでこの関係式をオフセットがゼロでな
い場合に拡張し、真の原点からのオフセラ）ＩＦ５．ｈ
を求める方法を示す。

オフセットがゼｒ−＋の場合の関係式 平面２上の座標系（ａ、ｂ）のａ、ｂ軸の三次元空間（
ｘ、ｙ、ｚ）における方向余弦をそれぞれＬ”（ｎ、、
　Ｒ，、Ｌ）、　Ｍ＝（ｎｏ、　ｍｙ、　ｍＪ、原点を
Ｐ二（１’−１ｌ）ｙ、ｐ−）とすれば、平面２上の点
（ａ、ｂ）の三次元空間内の位置Ｘ＝　（ｘ、ｙ。

２）はＸ＝Ｐ＋ａＬ＋ｂＭである。一方、点Ｘ−（ｘ、
ｙ、ｚ）の透視射影像（ξ、η）はξ＝ｆｘ／ｚ、１＝
ｆｙ／ｚであるから、平面２上の点（ａ、ｂ）の像（ξ
、η）は次式（１）で表わされる。

Ａ−ｆ　ｔ）Ｘ／　ｌ）−、Ｂ−ｆ　ｌ）ｙ／　ｌ：’
２ｉここで前記４点のマークの座標値（ａｔ　、ｂｔ）
、対応する像（ξいηＩ）を旧式（１）に代入すれば次
式が得られる。

（ｉ−１，２，３，４）　　　　　　’これより、 ここで、（ａ、、　ｂｔ）　−（０，０）、　　（ａ２
．　ｂ２）−（ｗ、０）、（ａ３．ｂ３）−（０，ｗ）
、（ａ４．ｂｎ）＝（ｗ、ｗ）を代入すれば、次式が得
られる。

旧式（４）を解けばパラメータＡ〜Ｈは次式で求められ
る。

である。

すなわち、既知の正方形の一辺の長さＷと測定によって
得られる（ξｌ、η＋）（ｉ＝１．２，３゜４）を用い
てパラメータＡ〜Ｈが旧式（５）により求められる。

ここで、旧式（１）においてａ−１■（ｂ＝一定）。

ｂ−（Ｘ）（ａ−一定）とした時の（ξ、η）の１直を
それぞれ（ξ６．η、）、（ξ６．ηｂ）とすると、こ
れらはそれぞれ前記方向余弦ベクトルＬ−（ｆｆ、。

ｊａｙ、　ＩＩ！ｚ）、　　Ｍ＝　（ｍｘｌｍｙｌｍｚ
）の消点である。

すなわち、 である。一方、ベクトルＬとＭは直交するから、Ｎ、ｍ
、＋　Ｎ、ｍｙ＋　ｌ、ｍ、＝　Ｑ、すなわち式（１）
よりＣＤ＋ＥＦ＋ｆ２ＧＨ＝Ｏである。換言すれば、 である。従ってパラメータＣ−Ｈあるいは消点（ξ６．
ηａ）、（ξ１．η、）が分れば焦点距離ｆを、によっ
て求めることができる。

オフセットがある場合の関係式 第５図に示すように正しい座標系（ξ、η）から「ζ、
ｆｌだけ平行移動（オフセット）シた座標系（ξ′、η
′）を想定する。

このようなオフセットがある場合の透視射影像（ξ′、
η′）は である。

ここで、パラメータＡ〜Ｈはオフセットがゼロの場合の
パラメータであり、式（１）で与えられる。オフセット
した座標系（ξ′、η′）におけるベクトルＬ、Ｍの消
点（ξ４′、ηａ’）、（ξ、′。

η５′）は、 である。ここで、ξ６．η、は式（６）で与えられる。

すなわち、 ξ６−ξａ”ｆ４＋η、＝　’７ａ　’＋　ｈ　　］　
（１０）ξ、＝ξｂ”ｆ（＋　η、＝η　／＋ｆ７であ
る。

旧式（１０）を旧式（７）に代入すれば、（ξａ”ｆ４
）（ξｂ　’＋　ｆ４）＋］　（１１）（’７ａ”　ｆ
ｖ）（７７ｂ’＋　ｆｖ）＝　　ｆ２これを展開すれば
次式が得られる。

ここで、テレビ・カメラ１あるいは平面２の姿勢を変え
て３方向から同一図形を観測して得られる消点をそれぞ
れ（ξ１′、η、Ｊ’）、（ξ５Ｊ′。

ηｂ＊’）（Ｊ＝１．２．３）とすれば、これらの消点
に関する次の３つの方程式が得られる。

式（１３）の３つの方程式を互いに引き算すれば、ｆ、
　、　ｆｖに関する次の線形方程式が得られる。

旧式（１４）方程式の根ｆ４．ｆ、の解は下式で与えら
れる。

以上の過程をまとめると、次のステップでオフセットｆ
、、ｆηが求められる。

ステップ（０）　　ｊ＝１ ステップ（１）　４点のマークをテレビ・カメラで観測
し、式（５）によりパラ メータＡｊ／〜Ｈ，／を求める。

ステップ（２）　式（９）により消点（ξ６．′。

η、、’）、（ξ、Ｊ′、η６．′） を求める。

すなわちξ、　／　＝　Ｃ、／　／　Ｇ　、　／。

ηａＪ’　”Ｅｊ’／Ｇｊ’　。

ξｂ、１　’　＝　ＤＪ　’　／　Ｈ４’　。

ηｂＪ’＝Ｆ、’　／Ｈ，’ ステップ（３）　　ｊ＝３ならばステップ（５）へ、そ
うでなければステップ（４） へ。

ステップ（４）　テレビ・カメラあるいは平面の姿勢を
変える。ｊ−Ｊ＋１とし て、ステップ（１）へ戻る。

ステップ（５）　式（１４）及び式（１５）によりオフ
セットｆ４．ｆηを計算する。

また、焦点距離ｆは、ｆ４．ｆ、が求められれば、削成
（１１）より計算できる。すなわち、である。

〔実施例〕

第１図は本発明の一実施例を示す。第１図において一辺
の長さがＷの正方形の頂点位置に配置された４点のマー
ク（マーク１，２，３．４）が平面２の上に記されてお
り、これらのマークはテレビ・カメラ１で撮像される。

画像処理装置３はテレビ・カメラｌのイメージ出力信号
を処理し、各マークの画像座標系における図心位置（ξ
１′、η＋’）（ｉ＝１．２．３゜４）を求める装置で
ある。

現在、市販されている画像処理装置の多くはこのような
イメージ処理機能を有しており、本発明はこのような画
像処理装置を利用することを前提としている。

以上の画像処理装置の利用に当っては、マークと背景の
平面２の明度が十分に分離可能なようにマークの明度及
び照明を調整しておかねばならない。

第１図における第１の計算装置４は、前記マークの図心
位置（ξ１′、η＋’）（ｉ＝１．２゜３．４）と前記
正方形の一辺の長さＷとから、削成（５）に従ってパラ
メータＡ′〜Ｈ′を求める計算装置である。

第１図においては示されていないが、平面２の法線ベク
トルのテレビ・カメラ１に対する方向が異なるように、
テレビ・カメラ１あるいは平面２の姿勢を変えて、３方
自から前記４点のマークを測定してパラメータＡ′〜Ｈ
′を得るものとする。

第１．第２．及び第３の姿勢で得られるパラメータをそ
れぞれＡ　、　／〜Ｈ１’　＋　Ａ　２　’〜Ｈ２′。

Ａ３′〜Ｈ３／とする。

第１図の第２の計算装置５は３つの姿勢で得られた前記
パラメータＡＪ′〜Ｈｉ’　　（Ｊ＝１．２゜３）から
削成（９）に従って消点（ξ２．′、η４゜′）及び（
ξ６．′、ηｂ、＋’）（Ｊ＝１．２，３）を求め、つ
いで削成（１４）及び（１５）に従ってオフセットｆ４
．ｆ”／を求め、さらに削成（１６）に従って焦点距離
ｆを求める装置である。

以上の計算装置４及び５はマイクロコンピュータを用い
て容易に実現することができる。

〔発明の効果〕

以上のように、本発明によれば、テレビ・カメラの画像
座標系のオフセットｆ４．ｆ’７を計算することのでき
る座標系較正装置が得られる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成を説明するための図、 第２図はテレビ・カメラの画像座標のオフセットを説明
するだめの図、 第３図は本発明の基本的な考え方を説明するだめの図、 第４図は本発明の詳細な説明するための座標系の定義を
示す図、 第５図はオフセットを説明するための図である。 １　・・・・・・　テレビ・カメラ ２　・・・・・・　４点の被測定マークが記される平面
３　・・・・・・　画像処理装置 ４　・・・・・・　第１の計算装置 ５　・・・・・・　第２の計算装置 代理人　弁理士　　岩　佐　義　幸 １　テレヒ゛・カメラ 第１図 第２図 第３図

Claims (2)

【特許請求の範囲】
1. （１）テレビ・カメラに関する画像座標系の原点位置を
   求める座標系較正装置において、平面上に記され且つ正
   方形の頂点位置に配置されている４点のマークを斜め方
   向から観測するテレビ・カメラの画像出力信号を処理し
   て前記マークの画像座標系における位置（ξ＿ｉ、η＿
   ｉ）（ｉ＝１、２、３、４）を測定する画像処理装置と
   、前記画像座標値（ξ＿ｉ、η＿ｉ）と前記平面上にお
   ける前記４点のマークの座標値（ａ＿ｉ、ｂ＿ｉ）との
   間の透視射影変換関係 ξ＿ｉ＝（Ａ＋ａ＿ｉＣ＋ｂ＿ｉＤ）／（１＋ａ＿ｉＧ
   ＋ｂ＿ｉＨ）及び η＿ｉ＝（Ｂ＋ａ＿ｉＥ＋ｂ＿ｉＦ）／（１＋ａ＿ｉＧ
   ＋ｂ＿ｉＨ）におけるパラメータＡ〜Ｈを求める第１の
   計算装置と、前記テレビ・カメラあるいは平面の相対的
   姿勢を変えて３方向から前記４点のマークを観測し、前
   記第１の計算装置によって得られるパラメータＣ＿ｊ〜
   Ｈ＿ｊ（ｊ＝１、２、３）に関する３つの方程式 （ξ＿ａ＿ｊ−ｆ＿ξ）（ξ＿ｂ＿ｊ−ｆ＿ξ）＋（η
   ＿ａ＿ｊ−ｆ＿η　）（η＿ｂ＿ｊ−ｆ＿η　）＝−ｆ
   ＾２但し、ｊ＝１、２、３ ξ＿ａ＿ｊ＝Ｃ＿ｊ／Ｇ＿ｊ ξ＿ｂ＿ｊ＝Ｄ＿ｊ／Ｈ＿ｊ η＿ａ＿ｊ＝Ｅ＿ｊ／Ｇ＿ｊ η＿ｂ＿ｊ＝Ｆ＿ｊ／Ｈ＿ｊ ｆ：カメラ・レンズ系の焦点距離 を解き、当該画像座標系の原点と正しい画像座標系の原
   点の間のオフセット量ｆ＿ξ、ｆ＿ηを求める第２の計
   算装置とから成ることを特徴とする座標系較正装置。
2. （２）前記第２の計算装置が、さらに前記焦点距離を求
   めることを特徴とする特許請求の範囲第１項に記載の座
   標系較正装置。