JPH08210816A

JPH08210816A - ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法

Info

Publication number: JPH08210816A
Application number: JP7037787A
Authority: JP
Inventors: Katsutoshi Takizawa; 克俊滝澤
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 1995-02-03
Filing date: 1995-02-03
Publication date: 1996-08-20

Abstract

(57)【要約】（修正有）【目的】センサ座標系とロボット先端部の関係を簡便
に定める。【構成】キャリブレーション治具５のプレート５０を
移動テーブル５２上で位置決めする。タッチアップ用ハ
ンドで基準点５３，５４，５５をタッチアップし、ロボ
ット座標系Σr 上における位置Ｐri（ｉ＝１〜３）のデ
ータを獲得し、座標系Σr と治具座標系Σs の間の座標
変換行列［Ｇ］を求める。次に、ロボットを移動させて
カメラを位置決めし、フェイスプレート座標系Σf （ロ
ボットの先端部）を表わす行列［Ｒf ］から、座標系Σ
f から見た座標系Σs の位置を表わす行列［Ｈ］を求め
る。更に、この位置でカメラのキャリブレーションを実
行する。プレート５０の２つの位置で参照点５１ａ〜５
１ｄの画像データを取得し、画像処理装置を用いて参照
点５１ａ〜５１ｄの画像上の位置を検出し、カメラに関
するパラメータを算出して記憶する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は、ワーク等の対象物の
位置あるいは位置と姿勢（適宜「位置」で両者を表わ
す。）を計測する視覚センサをロボットの先端部に取り
付けて使用する型のロボット−視覚センサシステムにお
いて、ロボットの先端部に対して固定された座標系とセ
ンサ座標系を結合する為の方法に関する。本願発明は、
例えば、組み立て作業、加工作業等を行なう製造ライン
で利用されるロボット−視覚センサシステムに適用され
る。

【０００２】

【従来の技術】工場の製造ラインにおける組み立て作
業、加工作業等においては、作業の自動化・省力化を図
る為に、ロボット等の自動機械とＣＣＤカメラのような
カメラ手段（以下、単に「カメラ」とも言う。）を用い
た視覚センサを組み合わせたシステムが利用されてい
る。カメラを用いた視覚センサには、単体のカメラで撮
影された被計測対象物（以下、単に「対象物」と言
う。）の画像から、主として２次元的な位置情報（例え
ば、平面上の位置ずれ量）を得るもの、２台以上のカメ
ラを用いてステレオ視の原理によって３次元的な情報
（例えば、３次元な位置ずれ量）を得るもの、あるい
は、スリット状の光を対象物に投射して高輝度の光帯を
形成し、その画像から三角測量の原理によって対象物の
３次元計測を行なうものなどがある。

【０００３】これら視覚センサをロボットと組合せて使
用する場合には、いわゆるハンドアイ方式が広く利用さ
れている。このハンドアイ方式には次のような利点があ
る。

【０００４】（１）複数台の視覚センサを設置したり、
視覚センサの移動機構を別途設けたりしなくとも、ロボ
ットを移動させることによって視覚センサの位置を変更
し、複数の位置で計測を行うことが出来る。（２）ロボット移動量と視覚センサの移動量は等しいか
ら、ロボットの移動量から視覚センサの移動量が判る。（３）対象物近辺の作業スペースを視覚センサが占有し
ないので、システムのフレキシビリティが高い。

【０００５】このような視覚センサを用いて対象物の位
置を計測し、それに基づいてロボットの動作を補正する
為には、視覚センサの出力する対象物に関する位置のデ
ータをロボットが動作する座標系上のデータに変換する
ことが必要となる。

【０００６】ロボットが任意の姿勢をとった時、ロボッ
トが動作する座標系（以下、「ロボット座標系」と言
う。）から見たロボットのアームの先端（単に、「ロボ
ット先端部」とも言う。）の位置は、ロボットが持って
いる現在位置データから知ることが出来る。従って、ハ
ンドアイ方式の場合、ロボットアーム先端位置とセンサ
座標系（センサ側の計測データの表現に使用される座標
系）の関係が既知であれば、センサ座標系とロボット座
標系の関係を求めることが原理的に可能となる。

【０００７】しかし、実際にロボットアーム先端とセン
サ座標系との関係を正確に求めることは容易なことでな
く、以下に述べるような困難があった。

【０００８】ロボットアーム先端とセンサ座標系との関
係を求める為に従来から用いいられている方法の一つ
は、ロボットアーム先端に対する視覚センサの取り付け
位置（正確に言えば、センサ座標系の原点位置）が既知
となるように視覚センサを取り付ける方法である。この
方法では、ロボットアーム先端とセンサ座標系の関係は
視覚センサの取り付け位置に関する幾何学的データ（通
常は設計図面上のデータ）で表わされる。

【０００９】その為、ロボットとワークの衝突等の衝撃
によって視覚センサの取り付け位置に狂いが生じた時に
は、これを修復する簡便で適切な方法が無く、取り付け
位置のずれ量を正確に知ることも極めて困難である。

【００１０】また、実際のセンサ座標系はカメラの光学
系を基準とした座標系であり、その座標原点はカメラ内
部（レンズ系の焦点）にあり、ピント調節を行なっただ
けでもその位置が変化する。即ち、視覚センサのロボッ
トアーム先端に対する機械的な取り付け位置を決めただ
けでは、センサ座標系の位置が決まらない。従って、設
計図面上のデータからセンサ座標系の位置を正確に決定
することは実際上困難である。

【００１１】このように、ロボットアーム先端部とセン
サ座標系の関係を求めることが困難な為、現在使用され
ているハンドアイ方式のカメラにおいては、ロボットは
単に視覚センサの移動／位置決め手段としての役割を果
たすのみで、単に視覚センサを予め設定された計測位置
に位置決めするだけである。また、各計測位置毎につい
てセンサ座標系とロボット座標系を結合する作業が必要
とされており、なんらかの理由によって視覚センサの位
置が変更された場合には、座標系結合をやり直す必要が
あった。

【００１２】

【発明が解決しようとする課題】そこで、本願発明の目
的は、視覚センサの設計図面上データに頼らずに、簡単
な治具を用いてセンサ座標系とロボット先端部の関係を
簡便に定めることが出来る座標系結合方法を提供するこ
とにある。また、本願発明は、そのことを通して従来必
要とされていた計測位置毎のセンサ座標系とロボット座
標系の結合作業を不要することを企図している。

【００１３】

【課題を解決するための手段】本願発明は、ロボットと
該ロボットの先端部にカメラ手段を支持させた視覚セン
サを含むロボット−視覚センサシステムにおいて、セン
サ座標系とロボット先端部の関係をキャリブレーション
治具を用いて簡便に定める座標系結合方法を提供するこ
とにより、上記従来技術の問題点を解決した。

【００１４】本願発明の方法に従えば、先ず、ロボット
によりタッチアップ可能な複数の基準点を提供すると共
に前記センサに使用されているカメラ手段のキャリブレ
ーションに使用される複数の参照点を提供するキャリブ
レーション治具を前記ロボットの動作範囲内に設置す
る。そして、ロボットにより複数の基準点のタッチアッ
プを行なってキャリブレーション治具とロボット座標系
の関係を表わすデータを求める。更に、ロボットを用い
てカメラ手段を前記参照点の撮影が可能な位置に位置決
めし、該位置決め時のロボットの現在位置データと、キ
ャリブレーション治具とロボット座標系の関係を表わす
データから、ロボットの先端部に対するキャリブレーシ
ョン治具の位置を表わすデータを求める。

【００１５】また、この位置決め状態において、カメラ
手段のキャリブレーションを前記参照点の位置データを
治具座標系上で与える形で実行する。これにより、前記
求めたロボットの先端部に対するキャリブレーション治
具の位置を表わすデータは、ロボットの先端部に対する
センサ座標系の関係を表わすデータとして使用出来るよ
うになる。

【００１６】キャリブレーション治具は、移動テーブル
と該移動テーブル上に位置決め可能に載置された部材
（例えば、プレート）を備え、該プレート上に少なくと
も一つの基準点と少なくとも一つの参照点を設けたもの
とすることが出来る。

【００１７】また、プレート等の部材上には目視可能な
パターンを形成し、基準点及び参照点をこのパターン上
の特徴点として設けらることが出来る。

【００１８】例えば、プレート上に格子状のパターンを
形成し、３個の基準点と４個の参照点をパターン上の特
徴点（格子点）として設けられる。

【００１９】

【作用】上記ロボットによりタッチアップ可能な複数の
基準点と複数の参照点を備えたキャリブレーション治具
をロボットの動作範囲内に設置し、複数の基準点のタッ
チアップを行ない、ロボットの現在位置認識機能が利用
すれば、キャリブレーション治具とロボット座標系の関
係を表わすデータを得ることが出来る。このデータは、
ロボット座標系と治具座標系の関係を表わす座標変換行
列のデータに相当するものとなる。

【００２０】更に、ロボットを用いてカメラ手段を前記
参照点の撮影が可能な位置に位置決めし、該位置決め時
のロボットの現在位置データと、キャリブレーション治
具とロボット座標系の関係を表わすデータ（ロボット座
標系と治具座標系の関係を表わす座標変換行列のデー
タ）から、ロボットの先端部に対するキャリブレーショ
ン治具の位置を表わすデータを求める。このデータは、
ロボットの先端部に固定された座標系と治具座標系の関
係を表わす座標変換行列のデータに相当するものとな
る。

【００２１】また、この位置決め状態において、カメラ
手段のキャリブレーションを参照点の位置データを治具
座標系上で与える形で実行する。これにより、前記求め
たロボットの先端部に対するキャリブレーション治具の
位置を表わすデータ（ロボットの先端部に固定された座
標系と治具座標系の関係を表わす座標変換行列のデー
タ）は、ロボットの先端部に対するセンサ座標系の関係
を表わすデータとして使用出来るようになる。

【００２２】即ち、カメラのキャリブレーション時に使
用する参照点の位置データを治具座標系上で与えること
により、治具座標系はそのカメラキャリブレーションを
実行したした時点におけるセンサ座標系と同等の座標系
となる。従って、カメラキャリブレーションを実行時の
治具とロボット先端部との関係を表わすデータ（座標系
変換データ）は、ロボットが任意の位置にある時にセン
サ座標系とロボット先端部との関係を表わすデータ（座
標系変換データ）として使用出来る。

【００２３】キャリブレーション治具は、少なくとも３
個の基準点とカメラキャリブレーションに必要な個数の
参照点を提供しなければならないが、キャリブレーショ
ン治具を移動テーブル上とその上で可動な部材（例え
ば、プレート）で構成すれば、見かけ上、参照点あるい
は基準点の数を減らすことが出来る。

【００２４】例えば、格子模様を描いたプレートを移動
テーブル上に位置決め可能に載置し、３個の基準点と４
個の参照点を格子点等で与えれば、タッチアップを１回
のプレートの位置決めで実行し、ピンホールカメラのモ
デルを適用したカメラのキャリブレーションを２回のプ
レートの位置決め（その内に１回はタッチアップと共通
で良い。）で実行することが出来る。

【００２５】本来の作業時の対象物の計測時には、セン
サ側からセンサ座標系上で表現されたセンサデータが出
力される。このセンサデータは、ロボットがいかなる位
置にあっても、その時のロボット先端部の位置を表わす
データと、本願発明の方法を通して求められたセンサ座
標系とロボット先端部との関係を表わすデータ（座標系
変換データ）に基づいて、ロボット座標系上で表現され
たデータに変換され、例えば、ロボットの動作補正に利
用される。

【００２６】

【実施例】図１は、本願発明の方法を実施する際に使用
されるキャリブレーション治具を含むロボット−視覚セ
ンサシステムの概要を例示した要部ブロック図である。
システム全体は、大別して、ロボットコントローラ１、
画像処理装置２、視覚センサ部１０、ロボット２０並び
にキャリブレーション治具５から構成される。

【００２７】［視覚センサ部］視覚センサ部１０は通常
のＣＣＤカメラで構成され、画像処理装置に映像信号を
出力する。画像処理装置２は周知の構造と機能を有する
もので、センサ部１０からの映像信号をカメラインター
フェイスを介して取り込み、濃淡グレイスケールによる
明暗信号に変換した上でフレームメモリに格納する。フ
レームメモリに格納された画像データは、画像処理装置
内のプロセッサによって解析され、対象物のの画像上の
位置や視線方程式が計算される。計算結果は必要に応じ
てロボットコントローラ１へ伝送される。なお、画像処
理装置を構成するこれら個別要素の図示及び詳細な説明
は省略する。

【００２８】［ロボットコントローラ及びロボット］ロ
ボットコントローラ１は通常使用されている型のもので
あり、マイクロプロセッサからなる中央演算処理装置
（以下、「ＣＰＵ」と言う。）と、ＣＰＵにバス結合さ
れたＲＯＭメモリ、ＲＡＭメモリ、教示操作盤、ロボッ
トの軸制御器、汎用信号インターフェイスを備えてい
る。ＲＯＭメモリには、システム全体を制御するプログ
ラムが格納される。ＲＯＭメモリには、ロボット動作や
画像処理装置への指令送信、画像処理装置からの画像解
析結果の受信等を制御するプログラム、関連設定値等が
格納される。

【００２９】また、ＲＡＭメモリの一部は、ＣＰＵによ
る演算実行時の一時記憶用のメモリとしても使用され
る。軸制御器は、ロボット２０の各軸をサーボ回路を介
して制御する。汎用信号インターフェイスは、画像処理
装置２との指令やデータのやりとりに使用される。な
お、ロボットコントローラ１を構成するこれら個別要素
の図示及び詳細な説明は省略する。

【００３０】ロボット２０の動作は、ロボットコントロ
ーラ１のメモリに格納された動作プログラムによって制
御される。ロボット２０は６自由度のアームを有し、ア
ーム先端部２１にはＣＣＤカメラ１０がタッチアップ用
ハンド３と共に取り付けられている。ロボット２０を動
作させることにより、ＣＣＤカメラ１０をロボット２０
の動作範囲内の任意の位置に任意の姿勢で位置決めする
ことが出来る。

【００３１】また、ロボットには、ロボット座標系と共
にロボットアーム先端部に固定された座標系として、フ
ェイスプレート座標系Σf （後述図２参照）が既に設定
済みであるものとする。従って、ロボットアーム先端部
の位置はこのフェイスプレート座標系Σf の原点の位置
で代表され、その値（変換行列データ）は、ロボットコ
ントローラ１内部でロボット２０の現在位置データから
随時計算可能となっている。

【００３２】タッチアップ用ハンド３はキャリブレーシ
ョン実行時に装着されるもので、後述するキャリブレー
ション治具５の所定位置に設けられた基準点をタッチア
ップする為に使用される。ロボット２０に本来の作業を
行なわせる際には、タッチアップ用ハンド３を外して別
途用意される作業用のハンドと交換する。

【００３３】［キャリブレーション治具］図１中のキャ
リブレーション治具５の周辺部を座標系と共に拡大して
示した図２を参照図に加えて、キャリブレーション治具
について説明する。符号５で指示されたキャリブレーシ
ョン治具は、格子模様を描いたプレート５０と移動テー
ブル５２で構成される。プレート５０は、移動テーブル
５２上に精密位置決め可能な態様で載置されている。こ
の治具５の移動テーブル５２上に固定された関係で設定
され座標系をこの段階では「治具座標系」と呼び記号Σ
s で表わす。本事例では、図２に示したように、プレー
ト５０が移動可能な方向を±Ｚs 軸方向に設定する。

【００３４】プレート５０の格子模様上には、ＣＣＤカ
メラ１０によって取得される画像中で参照される参照点
が定められる。本事例では、参照点として格子模様の４
つの格子点５１ａ〜５１ｄを使用する。プレート５０の
移動テーブル５２上の位置（Ｚs 軸上の位置）を変えな
がら、各移動位置において図３に例示したような画像６
のデータが取得され、４個の参照点像５１ａ’〜５１
ｄ’が検出されて座標系結合に利用される。

【００３５】また、プレート５０のコーナ部には、ロボ
ット２０に装着されたタッチアップ用ハンド３でタッチ
アップされる３個の基準点５３，５４，５５が設けられ
ている。これら３つの基準点は治具座標系Σs を定める
基準となるもので、基準点５３→基準点５５の方向が＋
Ｘs 方向を与え、基準点５３→基準点５４の方向が＋Ｙ
s 方向を与える。＋Ｚs 方向は、治具座標系Σs が右手
座標系を構成するように定められる。

【００３６】キャリブレーション治具５は、これら基準
点５３，５４，５５に対する格子点（参照点）５１ａ〜
５１ｄの相対位置が精密な既知値となるように設計・製
作されている。例えば、格子模様面は精密仕上げの平面
上に格子間隔Ｄ＝１００．０ｍｍを以て正確に描かれて
いる。治具座標系Σs の原点位置は任意に定めれば良
く、例えばプレート５０が移動テーブ５２上に設定され
た基準位置にある時の基準点５３の位置を原点にとるこ
とが出来る。

【００３７】このような座標系設定により、プレート５
０が移動テーブル５２上の任意の位置に精密に位置決め
された時、参照点５１ａ〜５１ｄ並びに基準点５３，５
４，５５の各位置は治具座標系Σs 上で直ちに把握され
る。例えば、上記例示した原点の定め方を採用した場合
には、プレート５０が基準位置から＋Ｚs 方向に距離ｚ
0 だけ変位した位置に位置決めされた時の各参照点５１
ａ〜５１ｄ並びに基準点５３，５４，５５の座標値は、
格子模様の格子間隔をＤとして次のように表わされる。

【００３８】参照点５１ａ；（２Ｄ，Ｄ，ｚ0 ）参照点５１ｂ；（Ｄ，Ｄ，ｚ0 ）参照点５１ｃ；（Ｄ，２Ｄ，ｚ0 ）参照点５１ｄ；（２Ｄ，２Ｄ，ｚ0 ）基準点５３；（０，０，ｚ0 ）基準点５４；（０，３Ｄ，ｚ0 ）基準点５５；（３Ｄ，０，ｚ0 ）次に、以上の事柄を前提に、座標系結合の手順並びに必
要となる処理について、図４のフローチャートを参照図
に加えて説明する。なお、ロボットコントローラ１ある
いは画像処理装置２内で実行されるプロセッサ処理を全
く伴わない段階については、図４のフローチャートに記
載されていない。

【００３９】先ず、キャリブレーション治具５をロボッ
ト２０の動作範囲内に設置する。そして、プレート５０
を適当な位置に位置決めする。位置決めされたプレート
５０のＺs 軸上の位置（参照点５１ａ〜５１ｄ、基準点
５３，５４，５５の乗っている平面とＺs 軸上の交点の
Ｚs 軸座標値）をｚ1 とする。また、この時の基準点５
３，５４，５５の位置を順にＰsi（ｘsi，ｙsi，ｚsi；
ｉ＝１，２，３）で表わす。

【００４０】既に説明したように、これらの位置はキャ
リブレーション治具５の設計データを用いれば既知とな
る（例えば、格子間隔Ｄをロボットコントローラ１に教
示しておく）。

【００４１】キャリブレーション治具５の設置とプレー
ト５０の位置決めが完了したら、ロボット２０をジョグ
送りで移動させ、タッチアップ用ハンド３で基準点５
３，５４，５５をタッチアップし、その都度各基準点５
３，５４，５５のロボット座標系Σr 上における位置Ｐ
ri（ｘri，ｙri，ｚri；ｉ＝１，２，３）をロボットコ
ントローラ１に記憶させる。即ち、ロボット座標系上の
基準点位置を教示する（ステップＳ１）。

【００４２】ロボット座標系Σr と治具座標系Σs の関
係を表わす座標変換行列を［Ｇ］として次式（１）で表
わすと、Ｐsi，Ｐri（ｉ＝１，２，３）の値の組との間
に式（２）で表わされる関係が成立する。そこで、下記
（２）式を解いて座標変換行列［Ｇ］の行列要素を求め
る（ステップＳ２）。この処理は、ロボットコントロー
ラ１内で行なわれる。

【００４３】

【数１】次に、ロボット２０を移動させてカメラ１０を撮影位置
に位置決めする（ステップＳ３）。この撮影位置は、プ
レート５０上に設けられた参照点５１ａ〜５１ｄが適当
な大きさを以て視野に入る位置であれば、任意の位置に
選ぶことが出来る。カメラ１０が位置決めされたなら
ば、その時のロボットの先端部の位置（フェイスプレー
ト座標系Σf の原点位置）を表わす行列［Ｒf ］を求め
る。行列［Ｒf ］を求める計算処理は、ロボットコント
ローラ１内で現在位置データに基づいて実行され、結果
は所定のメモリに記憶される（ステップＳ４）。

【００４４】フェイスプレート座標系Σf （ロボット先
端部）から見た治具座標系Σs の位置を表わす行列を
［Ｈ］とすれば（図２参照）、行列［Ｒf ］、行列
［Ｇ］との間に次の（３）式の関係が成立する。そこ
で、ロボットコントローラ１内部で、次式（４）式によ
って行列［Ｈ］を計算し、所定のメモリに記憶する（ス
テップＳ５）。［Ｇ］＝［Ｒf ］［Ｈ］・・・（３）［Ｈ］＝［Ｒf ］^-1［Ｇ］・・・（４）次いで、この配置（ロボット２０を動かさない。）でカ
メラ１０のキャリブレーションを実行する（ステップＳ
６）。ステップＳ６におけるカメラ１０のキャリブレー
ションは一般的な手順にした従って行なえば良い。即
ち、プレート５０を移動テーブ上５２上でＺs 軸に沿っ
て移動させ、２つの位置（ｚs ＝ｚ1 ；ｚs ＝ｚ2 ）を
とらせ、各位置においてカメラ１０で参照点５１ａ〜５
１ｄの画像６（５１ａ’〜５１ｄ’）を取得し、画像処
理装置２を用いて参照点５１ａ〜５１ｄの位置を検出す
る。そして、２組の検出結果から、カメラ１０に関する
パラメータを算出し、結果を画像処理装置２内の所定の
メモリに記憶することでカメラ１０のキャリブレーショ
ンは完了する。

【００４５】ところで、ここで行なわれるカメラ１０の
キャリブレーションは、治具座標系Σs 上の位置が既知
データとして与えられる参照点５１ａ〜５１ｄについ
て、画像上の位置（カメラ座標系上の位置）との対応関
係を知り、それに基づいて治具座標系Σs 上の位置と画
像上の位置（カメラ座標系上の位置）との関係を一般的
に表わすパラメータを求める手続きに他ならない。従っ
て、これまでの説明で治具座標系と呼んで来た座標系Σ
s は、ここで実行されるキャリブレーションにおいては
完全にセンサ座標系の役割を果している。

【００４６】治具座標系Σs （実はセンサ座標系でもあ
る。）とロボット先端部（フェイスプレート座標系Σf
）の関係はステップＳ５で求められているから、この
ステップＳ６のキャリブレーションを完了した時点で、
ロボット先端部とセンサ座標系の結合が達成されたこと
になる（処理おわり）。

【００４７】ここで、治具座標系Σs がセンサ座標系の
役割を果していることを判り易くする為に、ステップＳ
６で実行されるカメラのキャリブレーション操作の一例
について説明する。

【００４８】３次元空間内の点とこの点をカメラで撮影
した際に得られる点像の画像上における２次元位置との
関係は透視変換として一般に知られている。図５は透視
変換における点と点像との関係を説明する図である。図
中、符号Ｆはカメラ１０のレンズ中心（焦点に相当）、
Ｓはカメラの投影面（画像面）を表わしている。３次元
空間内の任意の一点Ｐ（ｘ，ｙ，ｚ）の像は、点Ｐと点
Ｆを結ぶ直線Ｌと投影面Ｓの交点ｐ（ｕ，ｖ）に結像さ
れる。逆に、点ｐ（ｕ，ｖ）に結像される点の３次元空
間内の位置は必ず直線Ｌ上にある。このような直線Ｌは
視線と呼ばれ、この視線Ｌを３次元空間上で表わす方程
式は視線方程式と呼ばれている。

【００４９】カメラの光学系をピンホールカメラと等価
であると見なせば、３次元空間内の点Ｐ（ｘ，ｙ，ｚ）
と像点位置ｐ（ｕ，ｖ）との間には次式（５），（６）
で表わされる関係がある。

【００５０】

【数２】逆に、上式中の１１個のパラメータｃ11〜ｃ33の値が既
知であれば、ｐ（ｕ，ｖ）の値から視線Ｌを表わす視線
方程式を次式（７），（８）で決定することが出来る。

【００５１】

【数３】従って、カメラのキャリブレーションは上記未知パラメ
ータｃ11〜ｃ33の値を定めることに帰着される。実際に
キャリブレーションを行なうには、多数の参照点Ｐ（ｘ
i ，ｙi ，ｚi ；ｉ＝１，２，３・・・）の画像から、
画像上の位置データｐi （ｕi ，ｖi）を得る。本実施
例のケースで言えば、プレート５０の二つの位置につい
て計８組のデータセットが取得し、上記方程式（７），
（８）を解いてパラメータｃ11〜ｃ33の値を定めること
が出来る。

【００５２】カメラをピンホールカメラと見なさない場
合には、上記方程式（７），（８）に代えて、適用する
カメラモデルに適合した関係式を用いてカメラのパラメ
ータが決定される。しかし、どのようなカメラモデルが
適用される場合であっても、３次元空間内で位置が既知
である複数個の参照点をカメラで撮影し、参照点の３次
元位置とその点の画像上の位置を表わすデータからカメ
ラのパラメータを計算することはカメラのキャリブレー
ション一般に共通した手順である。

【００５３】複数台のカメラを使用したステレオ方式の
視覚センサやスリット光投影方式の視覚センサにおいて
もカメラのキャリブレーションは上記と同様の方法によ
って行なわれる。

【００５４】ここで重要なことは、一般に視線方程式
（上記例では（７），（８）式）が表現される座標系
は、キャリブレーションで参照点の位置を表現する際に
使用される座標系と一致しているということである。即
ち、本願発明では、ロボット座標系と結合される治具座
標系をカメラのキャリブレーション時には参照点の位置
表現に使用する方式を採用した為、その治具座標系は直
ちにセンサ座標系に転用され得るのである。

【００５５】本来の作業時の対象物の計測時には、セン
サ側からセンサ座標系上で表現されたセンサデータが出
力される。このセンサデータは、ロボットがいかなる位
置にあっても、その時のロボット先端部の位置を表わす
データと、本願発明の方法を通して求められたセンサ座
標系とロボット先端部との関係を表わすデータ（座標系
変換行列［Ｈ］のデータ）に基づいて、ロボット座標系
Σr 上で表現されたデータに変換され、例えば、ロボッ
トの動作補正に利用される。カメラ１０による対象物撮
影時のロボットの先端部（フェイスプレート座標系）の
位置を［Ｒ］、センサデータをＰs で表わすと、センサ
データＰs は次式（９）でロボットデータ［Ｐr ］に変
換され、ロボットの動作補正等に利用される。

【００５６】［Ｐr ］＝［Ｒ］［Ｈ］［Ｐs ］・・・（９）なお、以上説明した実施例で使用したキャリブレーショ
ンはあくまで例示であり、ロボットによりタッチアップ
可能な複数の基準点を提供すると共にセンサに使用され
ているカメラ手段のキャリブレーションに使用される複
数の参照点を提供するものであれば、他の任意の形態の
ものを使用し得る。例えば、移動テーブルに位置決め可
能に載置される部材としてブロック状の部材を用い、そ
の面上のいくつかの特徴点を基準点や参照点に使用する
ようにしても良い。

【００５７】

【発明の効果】本願発明によって、ロボットアーム先端
部に装着した視覚センサの座標系と、ロボットアーム先
端部の関係を簡便な手順で正確に求めることが可能にな
った。

【００５８】より具体的に言えば、本願発明は次のよう
な利点を有している。

【００５９】（１）実際に使用するロボット、センサ及
びキャリブレーション治具以外の要素が介在しないの
で、高精度の座標系結合が可能となる。（２）ロボットアームに対するセンサ（カメラ）の取り
付け位置に関する幾何学データが不要である。（３）干渉事故等によってセンサの取り付け位置に狂い
が生じた場合でも、座標系の結合を簡単にやりなおすこ
とが出来る。

【００６０】（４）キャリブレーション治具は、実際に
センサを使用する場所と異なる場所に設置可能なので、
実際の作業領域にキャリブレーション治具を設置する必
要がない。

【図面の簡単な説明】

【図１】本願発明の方法を実施する際に使用されるキャ
リブレーション治具を含むロボット−視覚センサシステ
ムの概要を例示した要部ブロック図である。

【図２】図１中のキャリブレーション治具の周辺部を座
標系と共に拡大して示した図である。

【図３】本実施例においてカメラで撮影された参照点の
画像を例示した図である。

【図４】本実施例において実行される処理について説明
するフローチャートである。

【図５】透視変換における点と点像との関係を説明する
図である。

【符号の説明】

１ロボットコントローラ２画像処理装置３タッチアップ用ハンド５キャリブレーション治具６プレートの画像１０センサ部（ＣＣＤカメラ）２０ロボット２１ロボットアーム先端部５０プレート５１ａ〜５１ｄ参照点（格子点）５１ａ’〜５１ｄ’ 参照点（格子点）の像５２移動テーブル５３〜５５基準点 Σs 治具座標系（センサ座標系） Σr ロボット座標系 Σf フェイスプレート座標系

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｂ２５Ｊ 19/04 Ｇ０１Ｂ 11/24 ＣＧ０６Ｔ 7/00 7/60

Claims

【特許請求の範囲】

【請求項１】ロボットと該ロボットの先端部にカメラ
手段を支持させた視覚センサを含むロボット−視覚セン
サシステムにおいてセンサ座標系とロボット先端部の関
係を定める座標系結合方法であって、前記ロボットによりタッチアップ可能な複数の基準点を
提供すると共に前記センサに使用されているカメラ手段
のキャリブレーションに使用される複数の参照点を提供
するキャリブレーション治具を前記ロボットの動作範囲
内に設置する段階と、前記ロボットにより前記複数の基準点のタッチアップを
行なって前記キャリブレーション治具とロボット座標系
の関係を表わすデータを求める段階と、前記ロボットを用いて、前記カメラ手段を前記参照点の
撮影が可能な位置に位置決めする段階と、該位置決め時のロボットの現在位置データと、前記前記
キャリブレーション治具とロボット座標系の関係を表わ
すデータから、前記ロボットの先端部に対する前記キャ
リブレーション治具の位置を表わすデータを求める段階
と、前記位置決めした状態で、前記カメラ手段のキャリブレ
ーションを前記参照点の位置データを治具座標系上で与
える形で実行する段階を含む、前記座標系結合方法。
【請求項２】前記キャリブレーション治具は、移動テ
ーブルと該移動テーブル上に位置決め可能に載置された
部材を備え、該部材上に少なくとも一つの前記基準点と
少なくとも一つの前記参照点が設けられている、請求項
１に記載された座標系結合方法。
【請求項３】前記キャリブレーション治具は、移動テ
ーブルと該移動テーブル上に位置決め可能に載置された
プレートを備え、該プレート上には目視可能なパターン
が形成されており、少なくとも一つの前記基準点と少な
くとも一つの前記参照点が前記パターン上の特徴点とし
て設けられている、請求項１に記載された座標系結合方
法。
【請求項４】前記キャリブレーション治具は、移動テ
ーブルと該移動テーブル上に位置決め可能に載置された
プレートを備え、該プレート上には目視可能なパターン
が形成されており、少なくとも３個の前記基準点と少な
くとも４個の参照点が前記パターン上の特徴点として設
けられている、請求項１に記載された座標系結合方法。