JP2686351B2

JP2686351B2 - 視覚センサのキャリブレーション方法

Info

Publication number: JP2686351B2
Application number: JP2190958A
Authority: JP
Inventors: 淳渡辺
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 1990-07-19
Filing date: 1990-07-19
Publication date: 1997-12-08
Anticipated expiration: 2012-12-08
Also published as: EP0493612B1; JPH0475887A; DE69105476D1; US6114824A; DE69105476T2; WO1992001539A1; EP0493612A1; EP0493612A4

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はロボットシステムにおける視覚センサのキャ
リブレーション方法に関し、特にロボットに取り付けら
れたカメラ等のキャリブレーションを行う視覚センサの
キャリブレーション方法に関する。

〔従来の技術〕

ロボットシステムでは視覚機能を持たせ、ワークをカ
メラ等によって撮像し、ワークの位置を認識させて、組
立作業、パレタイジング作業等を実行させることが実用
化されつつある。また、正確にワークの位置を認識する
ため、複数のカメラが使用される。このカメラは、ロボ
ットのアームに取り付けられ、ワークの位置が変化して
も、それに対応できるようにすることもある。

一方、正確にワークの位置を認識するために、ロボッ
ト座標系と、カメラ座標系との関係をキャリブレーショ
ンする必要がある。

ロボットに取り付けられたカメラのキャリブレーショ
ンを行う場合、そのカメラの視野内に、専用のキャリブ
レーション治具を設置する必要がある。

〔発明が解決しようとする課題〕

しかし、従来のキャリブレーション治具は、一般に大
きく、設置するのに特別のスペースが必要とされ、しか
も、ワークのライン上に設置されていた。このため、ス
ペース的に設置が困難であることが多く、設置するのに
時間を要していた。

また、キャリブレーション治具の設置位置精度を高く
する必要があり、そのための機構が別に設けられてい
た。このため、コストが高くついていた。

さらに、このような設置スペース、設置位置精度の問
題のために、ロボットシステムにおけるカメラのキャリ
ブレーションを行うのに、手間がかかり、時間を要して
いた。

本発明はこのような点に鑑みてなされたものであり、
ロボットに取り付けられたカメラのキャリブレーション
を手軽に、時間をかけずに行うことができる視覚センサ
のキャリブレーション方法を提供することを目的とす
る。

また、本発明の他の目的は、キャリブレーション治具
を設けるための特別のスペースを必要とせず、治具を容
易に設置できる視覚センサのキャリブレーション方法を
提供することである。

さらに、本発明の他の目的は、キャリブレーション治
具の設置位置精度を高くするための機構を別に設ける必
要がなく、その分コストを低減できる視覚センサのキャ
リブレーション方法を提供することである。

〔課題を解決するための手段〕

本発明では上記課題を解決するために、ロボットシス
テムにおける視覚センサのキャリブレーションを行う視
覚センサのキャリブレーション方法において、第１のロ
ボットのアームにキャリブレーション用のパターン板を
取り付け、第２のロボットのアームに視覚センサを取り
付け、第１のロボット制御装置は前記第１のロボット
を、第２のロボット制御装置は前記第２のロボットをそ
れぞれ共通座標上で制御し、前記第１のロボット制御装
置は、前記共通座標上における、前記パターン板の第１
のキャリブレーション・パターン・データを視覚センサ
制御装置に送り、前記視覚センサ制御装置は、前記視覚
センサによる前記パターン板の撮像画面から得られた第
２のキャリブレーション・パターン・データを求め、前
記第１のキャリブレーション・パターン・データと前記
第２のキャリブレーション・パターン・データからキャ
リブレーション・データを求め、視覚センサのキャリブ
レーションを行うことを特徴とする視覚センサのキャリ
ブレーション方法が、提供される。

〔作用〕

第１のロボット制御装置は第１のロボットを、第２の
ロボット制御装置は第２のロボットをそれぞれ共通座標
上で制御する。また、第１のロボット制御装置は、共通
座標上におけるパターン板の位置データを正確に内部に
持っている。すなわち、第１のロボットのアームの先端
の座標位置と、パターン板の取り付け寸法から得られ
た、パターン板の第１のキャリブレーション・パターン
・データを持っている。

この第１のキャリブレーション・パターン・データ
は、第１のロボット制御装置から視覚センサ制御装置
に、通信回線を経由して送られる。

視覚センサ制御装置は、第２のロボットのアームに取
り付けられた視覚センサによってパターン板を撮像し、
その撮像データに基づいて、パターン板の第２のキャリ
ブレーション・パターン・データを求める。次に、第１
のキャリブレーション・パターン・データと第２のキャ
リブレーション・パターン・データを比較し、キャリブ
レーション・データを求める。

このキャリブレーション・データに基づいて、ワーク
の、共通座標上における位置認識が行われる。

〔実施例〕

以下、本発明の一実施例を図面に基づいて説明する。

第１図は本発明の視覚センサのキャリブレーション方
式を実施するためのロボットシステムの全体の構成図で
ある。

第１ロボット１のアーム２には、パターン板３が結合
されている。パターン板３には複数のドットパターンが
設けられている。パターン板３の詳細については後述す
る。

第２ロボット４のアーム５には、カメラ６が結合され
ている。

第１ロボット１は、第１ロボット制御装置10によっ
て、第２ロボット４は、第２ロボット制御装置11によっ
てそれぞれ制御される。第１ロボット制御装置10及び第
２ロボット制御装置11は、各ロボット座標を共通座標に
変換する座標変換データを持っており、第１ロボット１
及び第２ロボット４を共通座標上で制御する。

第１ロボット制御装置10は第１ロボット１の共通座標
上におけるアーム２の先端位置、すなわちTCP（ツール
・センタ・ポイント）の座標位置を現在位置として認識
している。従って、アーム２のTCPとパターン板３の取
り付け寸法から、パターン板３の各ドットパターンの位
置である共通座標上でのキャリブレーション・パターン
・データをメモリ12に持っている。このキャリブレーシ
ョン・パターン・データをCPDr12aとする。

一方、視覚センサ制御装置20には第２ロボット４のカ
メラ６が結合されている。視覚センサ制御装置20は、カ
メラ６によってパターン板３を撮像し、カメラ６のキャ
リブレーションを行う。視覚センサ制御装置20はプロセ
ッサ（CPU）21を中心に構成されている。ROM22にはキャ
リブレーションを行うためのコントロール・ソフトウェ
ア22aが格納されており、キャリブレーション動作を制
御する。RAM23には後述のキャリブレーション・データ
（CD）23aと、第１ロボット制御装置10からのキャリブ
レーション・パターン・データ（CPDr）12aが格納され
ている。RAM24には、パターン板３の各ドットの座標位
置データ、ドットパターン・データ（DPD）24aが格納さ
れる。

プロセッサ21はコントロール・ソフトウェア22aに従
って、カメラ６によってパターン板３のドットパターン
を撮像する。この撮像データはカメラ・インタフェース
28を経由して、RAM25に一旦格納させる。この撮像デー
タはカメラ６の撮像面上での各ドットパターンの映像デ
ータである。

画像処理プロセッサ26は、この各ドットパターンの映
像データと予め格納されたドットパターン・データ（DP
D）24aとから、カメラ６のキャリブレーション・パター
ン・データ（CPDc）25aを求め、RAM25に格納する。

一方、第１ロボット制御装置10内のキャリブレーショ
ン・パターン・データ（CPDr）12aを通信回線13を経由
して、インタフェース27から読み取り、RAM23に格納す
る。

続いて、共通座標上でのキャリブレーション・パター
ン・データ（CPDr）12aとカメラ座標上でのキャリブレ
ーション・パターン・データ（CPDc）25aとを比較し
て、カメラ座標系の共通座標系における位置、姿勢の関
係を計算する。すなわち、キャリブレーションを行う。
この結果をキャリブレーション・データ（CD）23aとし
て、RAM23に格納する。

このキャリブレーション・データ（CD）23aに基づい
て、ワークの、共通座標上における位置認識が行われ
る。すなわち、プロセッサ21はカメラ６によってワーク
を撮像し、その撮像画面から得られたワークの映像デー
タと、RAM23に格納されているキャリブレーション・デ
ータ（CD）23aに基づいて、ワークの共通座標上におけ
る位置データを求める。

この位置データに基づいて、作業用ロボットは、組
立、パレタイジング作業等を行う。この作業は、パター
ン板を取り外した第１ロボット１が行うようにしてもよ
いし、第１、第２ロボットと同じ共通座標上にある第３
のロボットが行うようにしてもよい。

上記の説明では、第２ロボットのカメラのキャリブレ
ーションを行うようにしたが、第１ロボットにカメラ
を、第２ロボットにパターン板を結合し、第１ロボット
のカメラのキャリブレーションを行う構成とすることも
できる。したがって、２台のロボットは、互いに協力し
て相手のカメラのキャリブレーションを行うことができ
る。

さらに、上記の説明では、共通座標上でのキャリブレ
ーション・パターン・データ（CPDr）12aは、第１ロボ
ット制御装置10から視覚センサ制御装置20に入力される
ように構成したが、CPDr12aの数値データを手入力によ
って直接視覚センサ制御装置20に入力することもでき
る。

第２図はパターン板のドットパターンの詳細図であ
り。パターン板３には矩形状にドットパターン3a、3b、
3c等が配列されている。これらのドットパターンは理論
的に６個ありば足りるが、キャリブレーション・パター
ン・データを正確に求めるために、25個のドットパター
ンが設けられている。特に、ドットパターン3aは原点用
として他のドットパターンより大きくなっている。

このパターン板３は１種類のみを用意すればよく、そ
れほど大きなものは必要なく、簡単に製造できる。ロボ
ットへの取り付けも容易であり短時間でできる。

第３図（ａ）、（ｂ）及び（ｃ）は、３台のロボット
で互いに相手のカメラのキャリブレーションを行う例を
示す図である。第３図（ａ）において、第１ロボット１
にパターン板３が結合され、第２ロボット４、第３ロボ
ット30にカメラ6b、6cが結合されている。第２ロボット
４、第３ロボット30は、カメラ6b、6cを移動して、パタ
ーン板３がカメラ6b、6cの視野に入るようにする。カメ
ラ6b、6cは、パターン板３を撮像する。ここでは図示さ
れていない視覚センサ制御装置によって、各カメラの撮
像データが取り込まれ、それぞれのカメラの共通座標に
対するキャリブレーション・データが計算される。その
詳細は第１図の場合と同じである。

第３図（ｂ）は、第２ロボット４にパターン板が、第
１ロボット１、第３ロボット30にカメラ6a、6cが結合さ
れている場合を、第３図（ｃ）は、第３ロボット30にパ
ターン板３が、第１ロボット１、第２ロボット４にカメ
ラ6a、6cが結合されている場合を、それぞれ示してい
る。

このように、３台のロボットの任意の組み合わせで、
互いに協力して相手のカメラのキャリブレーションを行
うことができる。したがって、任意のカメラのキャリブ
レーションをニーズに応じてフレキシブルに行うことが
できる。

上記の説明では、３台のロボットの場合を示したが、
４台以上の場合でも同様である。

第４図は、キャリブレーション完了後、ロボットが移
動して、ワークの位置認識を行う場合を概略的に示した
図である。図において、第２ロボット４は、カメラ６の
キャリブレーション完了後、ＡからＢに移動する。第２
ロボット制御装置11は、第２ロボット４の移動量を共通
座標上で求め、その移動量データをメモリ（図示せず）
に格納する。カメラ６はワーク40のポイント40aを撮像
し、その撮像データが視覚センサ制御装置20に送られ
る。視覚センサ制御装置20は、第２ロボット制御装置11
のメモリに格納された第２ロボット４の移動量データ、
ポイント40aの撮像データ、及び第２ロボット４の移動
前に求められたキャリブレーション・データ（CD）23a
に基づいて、ポイント40aの共通座標上における位置に
関するデータを求める。

このように、キャリブレーション完了後は、カメラの
位置がロボットとともに移動したとしても、再度キャリ
ブレーションを行う必要はない。ワークの位置は、キャ
リブレーション・データに基づいて、直接カメラの撮像
画面から求められる。

なお、上記の説明では視覚センサとしてカメラを使用
したが、これ以外にもレーザ測長器等を使用して、パタ
ーン板のドットパターンを読み取り、キャリブレーショ
ン・パターン・データを求めるようにすることもでき
る。

〔発明の効果〕

以上説明したように本発明では、一方のロボットのパ
ターン板を、他方のロボットのカメラによって撮像し
て、そのカメラのキャリブレーションを行うようにした
ので、複数のロボットからなるロボットシステムにおい
て、任意のロボットに取り付けられたカメラのキャリブ
レーションを手軽に、時間をかけずに行うことができ
る。

また、キャリブレーション治具に小型で簡単なパター
ン板を用いるようにしたので、キャリブレーション治具
を容易に設置することができ、治具のためのスペースを
設ける必要もない。

さらに、キャリブレーション治具の設置位置精度を高
くするための機構を別に設ける必要がなく、その分コス
トを低減することができる。

【図面の簡単な説明】

第１図は本発明の視覚センサのキャリブレーション方式
を実施するためのロボットシステムの全体の構成図、第２図はパターン板のドットパターンの詳細図、第３図（ａ）、（ｂ）及び（ｃ）は、３台のロボットで
互いにキャリブレーションを行う例を示す図、第４図はキャリブレーション完了後、ロボットが移動し
てワークの位置認識を行う場合を概略的に示した図であ
る。１……第１ロボット２……アーム３……パターン板４……第２ロボット５……アーム６、6a、6b、6c……カメラ 10……第１ロボット制御装置 11……第２ロボット制御装置 12……メモリ 20……視覚センサ制御装置 21……プロセッサ 22……ROM 23……RAM 24……RAM 25……RAM 26……画像処理プロセッサ 30……第３ロボット 40……ワーク CD……キャリブレーション・データ CPDr……共通座標上のキャリブレーション・パターン・
データ CPDc……カメラ座標上のキャリブレーション・パターン
・データ

Claims

(57)【特許請求の範囲】

【請求項１】ロボットシステムにおける視覚センサのキ
ャリブレーションを行う視覚センサのキャリブレーショ
ン方法において、第１のロボットのアームにキャリブレーション用のパタ
ーン板を取り付け、第２のロボットのアームに視覚センサを取り付け、第１のロボット制御装置は前記第１のロボットを、第２
のロボット制御装置は前記第２のロボットをそれぞれ共
通座標上で制御し、前記第１のロボット制御装置は、前記共通座標上におけ
る、前記パターン板の第１のキャリブレーション・パタ
ーン・データを視覚センサ制御装置に送り、前記視覚センサ制御装置は、前記視覚センサによる前記
パターン板の撮像画面から得られた第２のキャリブレー
ション・パターン・データを求め、前記第１のキャリブレーション・パターン・データと前
記第２のキャリブレーション・パターン・データからキ
ャリブレーション・データを求め、視覚センサのキャリブレーションを行うことを特徴とす
る視覚センサのキャリブレーション方法。
【請求項２】前記第１及び第２のロボットは、３台以上
のロボットの任意の組み合わせによって構成され、任意
の視覚センサのキャリブレーションを行うことを特徴と
する請求項１記載の視覚センサのキャリブレーション方
法。
【請求項３】前記キャリブレーションの完了後、前記第
２のロボットが移動したとき、前記第２のロボット制御
装置は、前記第２のロボットの移動量を前記視覚センサ
制御装置に送り、前記視覚センサ制御装置は、前記移動
量、前記視覚センサによるワークの撮像画面から得られ
た撮像データ、及び前記キャリブレーション・データに
基づいて、前記ワークの共通座標上における位置認識を
行うことを特徴とする請求項１記載の視覚センサのキャ
リブレーション方法。
【請求項４】前記パターン板は、前記第１のロボットに
常時取り付けられている場合と、必要に応じて取り付け
られる場合とがあることを特徴とする請求項１記載の視
覚センサのキャリブレーション方法。
【請求項５】前記視覚センサはカメラであることを特徴
とする請求項１記載の視覚センサのキャリブレーション
方法。
【請求項６】前記視覚センサはレーザ測長器であること
を特徴とする請求項１記載の視覚センサのキャリブレー
ション方法。
【請求項７】１個の原点用のドット・パターンと、複数
の矩形上に配列されたドット・パターンからなるパター
ン板を使用することを特徴とする請求項１記載の視覚セ
ンサのキャリブレーション方法。
【請求項８】前記第１のキャリブレーション・パターン
・データは、前記視覚センサ制御装置に直接入力される
ことを特徴とする請求項１記載の視覚センサのキャリブ
レーション方法。