JP4020994B2

JP4020994B2 - Robot tool coordinate system correction setting method and end effector used in the method

Info

Publication number: JP4020994B2
Application number: JP27135696A
Authority: JP
Inventors: 伸介 ▲榊▼原; 善久古川
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 1996-09-24
Filing date: 1996-09-24
Publication date: 2007-12-12
Anticipated expiration: 2016-09-24
Also published as: JPH1097311A

Description

【０００１】
【発明の属する技術分野】
本発明は、ハンド等のエンドエフェクタ（手先効果器）をツールとして取り付けたロボットにおけるツール座標系補正設定方法、並びに該方法に使用するエンドエフェクタに関する。本発明は、例えばロボットとエンドエフェクタの間に介在させるアダプタの交換等に伴って生じるエンドエフェクタの位置・姿勢ずれを補償するようにツール座標系を再設定する際に適用される。
【０００２】
【従来の技術】
ロボットを各種作業に適用するに際しては、ロボットアーム先端のフェイスプレート（メカニカルインターフェイス）にハンド等のエンドエフェクタを取り付ることが通例である。そして、ロボットに所望の作業を実行させる為に、ロボットに、フェイスプレートに対するエンドエフェクタの位置・姿勢を表わすデータを与える必要がある。
【０００３】
エンドエフェクタの位置・姿勢を代表する点は一般にツール先端点（ＴＣＰ）と呼ばれており、このツール先端点を原点とするツール座標系を設定することで、ロボットにエンドエフェクタの位置・姿勢が教示される。一般に、ツール座標系の設定データは、フェイスプレート代表点（通常は中心点）を原点とするフェイスプレート座標系から見たツール座標系の相対的な位置・姿勢を記述する行列を表わすデータとしてロボットに与えられる。
【０００４】
一旦ツール座標系の設定を行なった後、ロボットの干渉事故等の原因でエンドエフェクタのフェイスプレートに対する相対的な位置・姿勢に変化を生じることがある。特に、力センサのように破損し易いアダプタがフェイスプレートとエンドエフェクタの間に介在している場合、アダプタを交換する機会も多く、それに伴ってエンドエフェクタの位置・姿勢ずれが発生することが避けられない。
【０００５】
このような事態に対する対処方法としては、次の３つが考えられる。
（１）エンドエフェクタの取付位置・姿勢を精密に調整し直し、元の（位置・姿勢ずれ発生前の）エンドエフェクタ位置・姿勢を正確に再現する。
（２）位置・姿勢ずれを起したエンドエフェクタをそのまま使えるように、教示をやり直す。
（３）エンドエフェクタの位置・姿勢ずれを補償するように、ツール座標系を補正設定（再設定）する。
【０００６】
しかし、（１）の方法は調整作業自体に熟練と時間を要し、ユーザである作業者にかかる負担が大きい。特に、エンドエフェクタがハンドであった場合、ツール先端点は教示作業上の便宜を考えてハンドの複数の爪の間（空中の点）に設定されることも多く、元のエンドエフェクタ位置・姿勢を再現することは非常に難しくなる。
【０００７】
また、（２）の方法も教示済みのプログラムが多い場合など、作業に要する時間が膨大となる。
（３）のタイプに属する技術としては、図１に示したような方法が知られている。この方法によれば、（ａ）ツール先端点（ＴＣＰ）として設定を希望するツール（エンドエフェクタ）の特定点が、空間内の同一点Ｐ0 に一致するような３つの姿勢ＲＢ１〜ＲＢ３をロボットにとらせ、（ｂ）各姿勢におけるロボットの現在位置データに基づいてツール先端点のフェイスプレートに対する相対位置を求め、更に、（ｃ）ツール座標系の座標軸の方向を別途教示する手順が実行される。
【０００８】
このような方法は、尖頭状のエンドエフェクタの先端にツール先端点を設定するというような単純なケースであれば比較的実行容易と考えられるが、エンドエフェクタがハンドであるような場合には、ロボットの３姿勢におけるツール先端点を同一点Ｐ0 に一致させることが困難になる。また、この方法では、ツール座標系の原点位置（ツール先端点位置）は取得出来るが、座標軸の方向を取得することが出来ないという問題点もある。
【０００９】
【発明が解決しようとする課題】
そこで、本発明の目的は、これら従来技術の問題点を克服し、エンドエフェクタの形状やツール先端点の設定位置に左右されずに、簡単な作業で安定した補正精度を以てツール座標系を補正設定することが出来る方法を提供するとともに、本方法を実行するに適したエンドエフェクタを提供することにある。
【００１０】
【課題を解決するための手段】
本発明のツール座標系補正設定方法は、ロボット手先部に支持されたエンドエフェクタにツール座標系を設定するとともに、ツール座標系と固定的な位置・姿勢関係にある治具座標系の原点位置と座標軸の方向を３次元視覚センサによる認識が可能な形態で表現する治具座標系表現手段を具備する治具を設け、ロボットの周辺に前記３次元視覚センサを配置し、ロボットのツール座標系を補正設定するものであり、次の諸段階を含んでいる。
【００１１】
（ａ）ロボット手先部に対する前記エンドエフェクタの位置・姿勢が、ツール座標系の設定時のそれから変化していない初期状態において、ロボットを前記３次元視覚センサによる前記治具座標系の位置・姿勢の検出が可能な治具座標系検出ロボット位置に位置決めする段階
（ｂ）３次元視覚センサを用いて前記治具座標系の位置・姿勢を検出する段階（ｃ）ロボット手先部に対するエンドエフェクタの位置・姿勢が、ツール座標系の設定時のそれから変化している可能性が生じた治具座標系再検出機会の到来時に、ロボットを治具座標系検出ロボット位置に位置決めする段階
（ｄ）３次元視覚センサを用いて治具座標系の位置・姿勢を検出する段階
（ｅ）上記（ｂ）の段階及び（ｄ）の段階で求められた治具座標系の位置・姿勢に基づいて、それまで設定されていたツール座標系を再設定する段階
エンドエフェクタは例えばハンドであり、力センサなどのアダプタを介してロボット手先部に支持されていても良い。典型的な実施形態においては、３次元視覚センサはスリット光投光手段と撮影手段と画像処理手段を備えた型のものが使用される。
【００１２】
典型的な実施形態において、治具に具備される治具座標系表現手段は、治具座標系の原点位置と座標軸の方向を表現する平坦面と稜線を備えている。また、ツール座標系と固定的な位置・姿勢関係にある治具座標系の原点位置と座標軸の方向を３次元視覚センサによる認識が可能な形態で表現する治具座標系表現手段を備えたハンドあるいは他のエンドエフェクタを用意しておくことは、上記ツール座標系補正設定方法を円滑に実施する上で好ましい。典型的な実施形態において使用されるエンドエフェクタは、治具座標系表現手段として、治具座標系の原点位置と座標軸の方向を表現する平坦面と稜線を備えている。ここで、該治具座標系表現手段は、前記ツール座標系に対して前記固定的な位置・姿勢関係を以て設けられており、且つ、前記原点位置と前記座標軸の方向は、前記３次元視覚センサによって認識が可能となっている。
【００１３】
【発明の実施の形態】
本発明に係るツール座標系補正設定方法は、エンドエフェクタがロボットの手先部（メカニカルインターフェイス）に直接、あるいはアダプタを介して適正に取り付けられた状態（位置・姿勢ずれ発生前の状態。以下、「初期状態」とも言う。）において開始される。はじめに、実施時の手順と基礎となる計算の概要を図２を参照して説明しておく。
【００１４】
１．初期状態において、作業に適したツール座標系Ｂを設定する。なお、このようなツール座標系Ｂの設定は、エンドエフェクタの形態や作業内容に即して実行される極めて一般的なものである。初期状態（位置・姿勢ずれ発生前）において、メカニカルインターフェイスの代表点（フェイスプレートに設定された座標系の原点Ｆ）に対するツール座標系Ｂの位置・姿勢を表わす同次変換行列を、図２に示したように ^FＴ_B とする。
２．初期状態が保たれている間に（ツール座標系Ｂの設定の前後いずれも可）、ロボットを３次元視覚センサの周辺の適当な位置に位置決めし、エンドエフェクタに固定された治具座標系Ａの位置・姿勢を検出する。以後、この検出を行なった際のロボットの位置（フェイスプレート座標系原点Ｆの位置で代表）を「治具座標系検出ロボット位置」と言う。
【００１５】
初期状態（位置・姿勢ずれ発生前）において、メカニカルインターフェイスの代表点（フェイスプレートに設定された座標系の原点Ｆ）に対する治具座標系Ａの位置・姿勢を表わす同次変換行列を、図２に示したように ^FＴ_A とする。行列
^FＴ_A と ^FＴ_B の間には下記（１）式の関係が成立する。
^FＴ_B ＝ ^FＴ_A ^AＴ_B ・・・（１）
ここで、行列 ^AＴ_B は治具座標系Ａに対するツール座標系Ｂの位置・姿勢を表わしている。
【００１６】
３．初期状態が壊れたと思われる時に（例えば、アダプタ交換時）、ロボットを再度治具座標系検出ロボット位置に位置決めし、３次元視覚センサ覚センサを用いて治具座標系の位置・姿勢を検出する。このように、エンドエフェクタの位置・姿勢変化の可能性の発生に伴い、治具座標系の再検出が行なわれる機会のことを「治具座標系再検出機会」という。治具座標系再検出機会における治具座標系をＡ’のフェイスプレート座標系原点Ｆに対する位置・姿勢を表わす同次変換行列を、図２に示したように、 ^FＴ_A'とする。
【００１７】
同様に、初期状態で設定されたツール座標系Ｂが位置・姿勢ずれを起したものをＢ’で表わせば、治具座標系再検出機会におけるツール座標系Ｂ’のフェイスプレート座標系原点Ｆに対する位置・姿勢を表わす同次変換行列 ^FＴ_B'は、下記（２）式で与えられる。
^FＴ_B'＝ ^FＴ_A' ^A'Ｔ_B' ・・・（２）
ここで、行列 ^A'Ｔ_B' は治具座標系再検出機会における治具座標系Ａ’に対するツール座標系Ｂ’の位置・姿勢を表わしているが、治具座標系がエンドエフェクタに固定されているという条件下では（即ち、エンドエフェクタ自身が変形しない限り）、両者の相対的な関係は保持されるから、
^A'Ｔ_B'＝ ^AＴ_B ・・・（３）
となる。（１）〜（３）式から、次式（４）の関係が得られる。
【００１８】
^FＴ_B'＝ ^FＴ_A' ^AＴ_B ＝ ^FＴ_A' ^FＴ_A ^-1 ^FＴ_B ・・・（４）
４．（４）式の最右辺を計算し、ツール座標系Ｂ’の再設定データとしてロボットに教示すれば、ツール座標系の位置・姿勢ずれを補償する形でツール座標系の再設定を行なうことが可能になる。
【００１９】
５．（４）式の右辺中の行列 ^FＴ_B は、初期状態において設定されたツール座標系のデータで与えられる。従って、残る乗算項 ^FＴ_A' ^FＴ_A ^-1 を３次元視覚センサによって検出される治具座標系Ａ及びＡ’の位置・姿勢から求めれば良いことになる。 ^FＴ_A'及び ^FＴ_A ^-1 は各々次のように表わすことが出来る。
^FＴ_A'＝ ^FＴ_R ^RＴ_A' ・・・（５）
^FＴ_A ^-1 ＝（ ^FＴ_R ^RＴ_A ）^-1＝ ^RＴ_A ^-1 ^FＴ_R ^-1 ・・・（６）
ここで、
^FＴ_R ；フェイスプレート座標系から見たロボット座標系の位置・姿勢を表わす同次変換行列
^RＴ_A'；ロボット座標系から見た治具座標系Ａ’の位置・姿勢を表わす同次変換行列
^RＴ_A ；ロボット座標系から見た治具座標系Ａの位置・姿勢を表わす同次変換行列
である。
【００２０】
上記（５），（６）式から、

となる。ここで、 ^RＴ_S はロボット座標系Ｒ（ロボットに設定済みの任意の３次元直交座標系）に対する３次元視覚センサのセンサ座標系Ｓの位置・姿勢を表わす同次変換行列であり、適当なキャリブレーションによって取得される。
６．結局、再設定されるツール座標系を表わす（４）式は、

となる。特殊なケースとして、エンドエフェクタの位置・姿勢に全くずれが生じていない場合には、当然 ^SＴ_A'＝ ^SＴ_A となるから、（８）式は下記（９）式となる。
^FＴ_B'＝ ^FＴ_B ・・・（９）
（８）式の右辺に含まれる行列の出所をまとめて記せば次のようになる。
^FＴ_R ， ^FＴ_R ^-1 ；治具座標系検出ロボット位置における現在位置データから求められる。
^RＴ_S ， ^RＴ_S ^-1 ；ロボット座標系Ｒとセンサ座標系Ｓを結合させるキャリブレーションデータから求められる。
^SＴ_A ^-1 ；初期状態における治具座標系Ａの検出データ（センサデータ）から求められる。
^SＴ_A' ；治具座標系再検出機会における治具座標系Ａ’の検出データ（センサデータ）から求められる。
^FＴ_B ；初期状態における治具座標系Ａの設定データである。
なお、上記（４）式において、 ^AＴ_B （座標系Ａ，Ｂの位置・姿勢関係）の正確なデータが用意出来る場合には、

から、 ^FＴ_B'を求めても良い。但し、この場合も ^FＴ_R ， ^RＴ_S のデータは必要である。そして、（８）式には ^FＴ_R と ^FＴ_R ^-1 、 ^RＴ_S と ^RＴ_S ^-1 が乗算関係で含まれているために、治具座標系検出ロボット位置や３次元視覚センサのキャリブレーションデータに多少の誤差があっても、それが ^FＴ_B'の計算結果に現れ難い。従って、（１０）式を使用するよりも、（８）式を使用することが好ましい。
【００２１】
このようにして、ツール座標系を再設定すれば、ロボット動作の再教示を行なわなくとも、エンドエフェクタが位置・姿勢ずれを起しす前と同じロボット作業を実行することが出来る。
【００２２】
図３は、本発明の方法を実施する際に使用可能なシステムの制御部を構成するロボット制御装置並びに関連接続関係を説明する要部ブロック図である。ロボット制御装置５は、ここでは３次元視覚センサの画像処理装置内蔵型のものが採用されており、中央演算処理装置（以下、ＣＰＵ）５１を備え、ＣＰＵ５１には、ＲＯＭからなるメモリ５２、ＲＡＭからなるメモリ５３、不揮発性メモリ５４、液晶ディスプレイを備えた教示操作盤５５、ロボットの各軸を制御するためのデジタルサーボ回路５６、ストラクチャライトユニット用インターフェイス６１、画像処理プロセッサ６２、モニタインターフェイス６３、フレームメモリ６４、プログラムメモリ６５、データメモリ６６及び汎用インターフェイス６７がバス５８を介して接続されている。
【００２３】
デジタルサーボ回路５６は、ロボットＲＢの各軸を制御するために、サーボアンプ５７を介してロボットＲＢの機構部に接続されている。また、ストラクチャライトユニット用インターフェイス６１にはストラクチャライトユニットＳＵが接続され、モニタインターフェイス６３には例えばＣＲＴからなるモニタディスプレイＭＯが接続されている。ストラクチャライトユニットＳＵは、後述するように、３次元視覚センサの投光部及び撮影部をユニット化したものである。
【００２４】
汎用インターフェイス６７には、必要に応じて各種の外部装置を接続することが出来るが、ここではロボット手先部のフェイスプレートとエンドエフェクタの間に介在するアダプタを構成する力センサ２が示されている。
【００２５】
ＲＯＭ５２には、システム各部の制御に必要なシステムログラムが格納されている。ＲＡＭ５３はデ−タの一時記憶や演算の為に利用されるメモリである。不揮発性メモリ５４には、ロボットＲＢ、ストラクチャライトユニットＳＵ、力センサ２などの外部装置の動作を規定した動作プログラムのデータ、座標系（座標系Ｒを含む；図１参照。）の設定データ、３次元視覚センサのキャリブレーションデータ（前述した行列 ^RＴ_S のデータを含む；図１参照。）、関連設定値等が格納される。
【００２６】
ストラクチャライトユニット用インターフェイス６１は、ストラクチャライトユニットＳＵの各部を制御するための指令の授受やＣＣＤカメラ（図４（ａ）参照）で撮影された画像の取り込みに用いられる。取り込まれた画像はグレイスケールに変換後、一旦フレームメモリ６４に格納される。フレームメモリ６４に格納された画像はモニタディスプレイＭＯ上に表示することが出来るようになっている。
【００２７】
プログラムメモリ６５には、画像処理プロセッサ６２を利用した画像処理と解析を行なうためのプログラムが格納され、データメモリ６６には画像処理と解析に関連した設定データ等が格納される。本実施形態では、特に、治具座標系の位置・姿勢を求めるための処理を定めたプログラムデータ並びに関連設定データがこれら格納データに含まれている。なお、処理の内容は後述する。
【００２８】
図４は、ストラクチャライトユニットＳＵの一般的構成を説明するもので、図４（ａ）にストラクチャライトユニットＳＵの要部構造、図４（ｂ）ストラクチャライトの形成方法を間単に記した。図４（ａ）に示されたストラクチャライトユニットＳＵは、ストラクチャライトＳＬとしてスリット光を投光するもので、投光部はレーザ発振器１２、円柱レンズ１３、偏向ミラーを備えたガルバノメータ１４（ステッピングモータで駆動）及び投光窓１１を備え、撮影部はＣＣＤカメラ２０及び撮影窓２１を備えている。
【００２９】
図４（ｂ）に示したように、レーザ発振器１２から出射されたレーザビームは円柱レンズ１３によってスリット光ＳＬに変換される。スリット光ＳＬは、ステッピングモータによる高速駆動が可能なガルバノメータ１４で投光方向を指示する指令値に従って所定の方向に偏向され、投光窓１１から被計測対象物１６上に投光される。被計測対象物Ｗ上に形成された輝線１５を含む画像がＣＣＤカメラ２０による影で取得され、画像処理装置を内蔵したロボット制御装置５に取り込まれる。
【００３０】
ロボット制御装置５は、前述した画像処理機能を利用して輝線１５を含む画像を解析し、輝線１５の端点位置１５１，１５２等の３次元位置を求める。なお、端点位置１５１，１５２等の３次元位置を求める原理とそれに基づく計算処理の詳細については周知事項なのでここでは説明を省略する。
【００３１】
次に、図５は図３、図４を参照して説明した構成と機能を利用して本発明の方法を実施する際の全体配置の概要を説明する模式図である。
ロボットＲＢは、ここではテーブルＴＢ上に供給されるワークＷ２にワークＷ１を嵌合する力制御ロボットとして描かれている。ロボットＲＢの手先部１には６軸力を検出する力センサ２が装着され、この力センサ２にエンドエフェクタとしてハンド３が取り付けられている。即ち、力センサ２はエンドエフェクタ（ハンド３）取付のためのアダプタの役割を果している。
【００３２】
ワークＷ１はハンド３の複数本の爪３１で把持され、テーブルＴＢ上のワークＷ２に嵌合される。力センサ２はワークＷ１を介して受ける力／モーメントを検出し、ロボット制御装置５に伝える。ロボット制御装置５は、力センサ２の出力を利用した力制御を実行し、嵌合動作が円滑に行なわれるようにする。
【００３３】
本実施形態でエンドエフェクタとして使用されているハンド３には、本発明の特徴に従って、治具座標系表現手段を備えた治具４が設けられている。治具４は、ハンド３に対して必要時に装着しても良く、また、ハンド３の一部として固設された構造としても良い。
【００３４】
本実施形態では、図示されているロボット姿勢を治具座標系検出ロボット位置に採用し、テーブルＴＢ上の適当な位置（治具４上の治具座標系表現手段の検出に好適な位置）にストラクチャライトユニットＳＵを設置する。ストラクチャライトユニットＳＵを含む３次元視覚センサのキャリブレーションは周知の適当な手法を用いて完了済み（ロボットＲＢに設定されている座標系Ｒとセンサ座標系Ｓが結合済み）であるとする。
【００３５】
治具４上の治具座標系の位置・姿勢を検出する際には、ストラクチャライトユニットＳＵの投光部からスリット光ＳＬが治具４に向けて投光され、撮影部で治具座標系表現手段上に形成された輝線像が撮影される。
【００３６】
治具４には、治具座標系の原点位置と座標軸の方向を知るために必要な情報を、３次元視覚センサによって認識可能な形態で提供する治具座標系表現手段が設けられている。本実施形態では、スリット光投光型の３次元視覚センサを採用していることを考慮して、スリット光ＳＬの投光により端点を持つ直線状の輝線が形成されるように、異なる方向を向いた複数本の稜線を提供する表面形状手段を以て治具座標系表現手段とする。
【００３７】
図６は本実施形態で採用される治具４の治具座標系表現形態の一例を説明するために、ロボット手先部１の周辺部を拡大描示し、治具座標系とツール座標系の関係を併記した見取り図である。図６に示したように、ロボットの手先部１に力センサ２を介して取り付けられたハンド３の周面上に設けられた治具４は、治具座標系表現手段（表面形状手段）として、長方形帯状の平坦面領域４１とそれに取り囲まれた凹部４２を備えている。
【００３８】
長方形枠状の平坦面領域４１は、内側の一つのコーナを以て治具座標系Ａ（図１も参照）の原点ＯA を表現し、原点ＯA から横方向及び縦方向に延びる稜線４１ａ，４１ｂ以て各々ＸA 軸、ＹA 軸を表現する。これに対してツール座標系Ｂ（図１も参照）は、ハンド３の３本の爪３１に囲まれた位置に原点ＯB を持ち、ハンド３の軸方向がＺB 軸となるように設定されている。
【００３９】
図１に関連して説明したように、ハンド３が変形しない限り、一旦固定された両座標系Ａ，Ｂの相対的な位置・姿勢関係は不変である。しかし、治具座標系Ａとツール座標系Ｂの相対的な位置・姿勢関係を特定のものとする必要はなく、予め知る必要もない。従って、治具４の取付位置に関して正確な位置決めを行なう負担は生じない。但し、前述の（１０）式を用いてツール座標系の設定データを更新する場合には、 ^AＴ_B を定めるための正確なデータが事前に必要となる。
【００４０】
図７は図６中に示された治具４のみを拡大抽出し、スリット光による輝線の形成状況を併記したものである。同図を参照し、治具座標系Ａ（またはＡ’）の位置・姿勢を３次元視覚センサを用いて検出する手順の概略を説明すれば、次の様になる。
ロボットＲＢが図５に示した如き治具座標系検出ロボット位置にある状態で、ストラクチャライトユニットＳＵを使ってスリット光を治具４の平坦面領域４１を斜めに横切るように投光する。投光は２回（またはそれ以上）行い、平坦面領域４１上に輝線Ｌ１（第１回目投光）、Ｌ２（第２回目投光）を形成する。輝線Ｌ１，Ｌ２の一部は凹部４２上にも形成されるが、ここでは座標系検出には利用されない。ストラクチャライトユニットＳＵとロボット制御装置５を合わせた３次元視覚センサを用いて治具座標系Ａ（またはＡ’）を定める手順は、例えば次のものとすることが出来る。説明の便宜上、この手順を「手順１」と呼ぶ。
【００４１】
［手順１］
１．輝線Ｌ１が稜線４１ａ，４１ｂを横切る点に対応する端点Ｃ2 、Ｃ3 の３次元位置を求める。
２．輝線Ｌ２が稜線４１ａ，４１ｂを横切る点に対応する端点Ｃ6 、Ｃ7 の３次元位置を求める。
３．端点Ｃ2 とＣ6 の位置から稜線４１ａが表わす直線を求める。
４．端点Ｃ3 とＣ7 の位置から稜線４１ｂが表わす直線を求める。
５．両者の交点として原点ＯA の３次元位置を求める。
６．端点Ｃ6 からＣ2 に向かうベクトル＜ｕ＞で治具座標系Ａ（Ａ’）のＸA 軸の方向を定める。
７．端点Ｃ3 からＣ7 に向かうベクトル＜ｗ＞で治具座標系Ａ（Ａ’）のＺA 軸の方向を定める。
８．＜ｖ＞＝＜ｗ＞×＜ｕ＞で治具座標系Ａ（Ａ’）のＹA 軸の方向を定める。
【００４２】
なお、端点Ｃ1 ，Ｃ5 ，Ｃ4 ，Ｃ8 を含めた端点の内の３個以上を使って平坦面４１の方向を求め、ＹA 軸の方向を定めても良い。
【００４３】
図８は本実施形態で採用される治具４の治具座標系表現形態の別の例を説明する図で、治具４を拡大描示し、スリット光による輝線の形成状況を併記されている。同図に示したように、本例の治具４は、治具座標系表現手段として、互いに直交した３つの平坦面領域４３〜４５を備えた三角錐形状部を備えている。そして、三角錐形状部は隣接する平坦面領域４３〜４５間の交線として、３本の互いに直交した稜線Ｈ１〜Ｈ３が提供されている。
【００４４】
これら稜線Ｈ１〜Ｈ３は、治具座標系Ａ（またはＡ’）のＸA 軸、ＹA 軸及びＺA 軸を表現し、それらの交点（三角錐の頂点）が原点ＯA を表現する。本例の治具４をハンド３に設けた場合について、治具座標系Ａ（またはＡ’）の位置・姿勢を３次元視覚センサを用いて検出する手順の概略を説明すれば、次の様になる。
図７に示した治具の場合と同じくロボットＲＢが図５に示した如き治具座標系検出ロボット位置にある状態で、ストラクチャライトユニットＳＵを使ってスリット光を治具４の平坦面領域４３〜４５の内の２つを横切るように投光する。投光は４回（またはそれ以上）行い、平坦面領域４３，４４上に輝線Ｌ３（第１回目投光）、Ｌ４（第２回目投光）を形成し、平坦面領域４３，４５上に輝線Ｌ５（第３回目投光）、Ｌ６（第４回目投光）を形成しする。
【００４５】
ストラクチャライトユニットＳＵとロボット制御装置５を合わせた３次元視覚センサを用いて治具座標系Ａ（またはＡ’）を定める手順は、例えば次のものとすることが出来る。説明の便宜上、この手順を「手順２」と呼ぶ。
【００４６】
［手順２］
１．輝線Ｌ３が稜線Ｈ１を横切る点に対応する端点Ｄ2 の３次元位置を求める。
【００４７】
２．輝線Ｌ４が稜線Ｈ１を横切る点に対応する端点Ｄ5 の３次元位置を求める。
【００４８】
３．輝線Ｌ５が稜線Ｈ２を横切る点に対応する端点Ｄ8 の３次元位置を求める。
【００４９】
４．輝線Ｌ４が稜線Ｈ２を横切る点に対応する端点Ｄ11の３次元位置を求める。
【００５０】
５．端点Ｄ2 とＤ5 の位置から稜線Ｈ１が表わす直線を求める。
６．端点Ｄ8 とＤ11の位置から稜線Ｈ２が表わす直線を求める。
７．両者の交点として原点ＯA の３次元位置を求める。
８．端点Ｄ5 からＤ2 に向かうベクトル＜ｐ＞で治具座標系Ａ（Ａ’）のＸA 軸の方向を定める。
９．端点Ｄ8 からＤ11に向かうベクトル＜ｑ＞で治具座標系Ａ（Ａ’）のＹA 軸の方向を定める。
１０．＜ｒ＞＝＜ｐ＞×＜ｑ＞で治具座標系Ａ（Ａ’）のＺA 軸の方向を定める。
【００５１】
なお、端点Ｄ1 ，Ｄ4 ，Ｄ7 ，Ｄ10，Ｄ3 ，Ｄ6 ，Ｄ9 ，Ｄ12等の端点のデータを加えて平坦面４３〜４５の方向を求め、各座標軸の方向を定めても良い。図９は、上記説明した実施形態においてロボット制御装置５で実行される処理の概要をまとめて記したフローチャートで、各ステップＭ１〜Ｍの要点は次の通りである。なお、３次元視覚センサのキャリブレーション、作業に適したツール座標系Ｂ（図６参照）の設定等の準備作業は完了済みとする。また、治具４は図７あるいは図８に示したものが、ハンド３に既に装着または固設されているものとする。
【００５２】
［Ｍ１］ロボットＲＢを治具座標系検出ロボット位置（図５参照）へ移動させる。治具座標系検出ロボット位置が未教示であればこれを不揮発性メモリ５４に記憶する。但し、治具座標系検出ロボット位置の記憶は、ステップＭ２の後で実行しても良い。
［Ｍ２］３次元視覚センサを起動させ、手順１（図７の治具使用の場合）または手順２（図８の治具使用の場合）に従った処理を行い、治具座標系Ａの位置・姿勢を検出して不揮発性メモリ５４に記憶する（前出の同次変換行列 ^SＴ_A を表わすデータまたは ^RＴ_A を表わすデータで記憶）。
［Ｍ３］治具座標系再検出機会が到来したならば、ロボットＲＢを治具座標系検出ロボット位置（図５参照）へ移動させる。治具座標系再検出機会は、例えば力センサ２の破損等によって、力センサ２（交換品）とハンド３（非交換品）を取り付け直した時に到来する。また、力センサ２の破損等が無くとも、メンテナンスのためのツール座標系設定状態チェック時に治具座標系再検出機会をもたせても良い。
【００５３】
［Ｍ４］３次元視覚センサを起動させ、手順１（図７の治具使用の場合）または手順２（図８の治具使用の場合）に従った処理を行い、治具座標系Ａ’の位置・姿勢を検出して不揮発性メモリ５４に記憶する（（前出の同次変換行列 ^SＴ_A'を表わすデータまたは ^RＴ_A'を表わすデータで記憶）。
［Ｍ５］前述した（８）式の計算を行なって ^FＴ_B'を求め、ツール座標系の設定データを更新する。これによって、ツール座標系Ｂ’の補正設定が完了する。
【００５４】
以上、本実施形態では３次元視覚センサとして他の型のものを採用しても良い。例えば、ストラクチャライトユニットＳＵの投光部に、スポット光投光走査型の投光部を装備したものを用いることも出来る。その場合、ストラクチャライトによって治具座標系表現手段上に形成される輝線は、連続または断続（輝点の列）のスポット光軌跡となる。
【００５５】
また、治具に具備される治具座標系表現手段も、上述した２例に限るものではない。例えば、治具座標系の原点位置と座標軸の方向を表現する数個のドットを記したマークを描いた治具を用い、これを２台のカメラで撮影し、治具座標系の位置・姿勢を定めるようにしても良い。
【００５６】
【発明の効果】
本発明によれば、エンドエフェクタの形状やツール先端点の設定位置に左右されずに、簡単な作業で安定した補正精度を以てツール座標系を補正設定することが出来る。例えば、ハンドの爪の間など、エンドエフェクタの構成部材上にない位置にツール座標系の原点が設定されるケースであっても、ツール座標系の補正設定に全く支障がない。また、３次元視覚センサによる治具座標系の位置・姿勢の検出に適合した治具座標系表現手段を具備したエンドエフェクタを利用することで、本方法がより円滑に実行することが出来る。
【図面の簡単な説明】
【図１】エンドエフェクタの位置・姿勢ずれを補償するように、ツール座標系を補正設定（再設定）するための従来技術について説明する図である。
【図２】本発明に係るツール座標系補正設定方法の概要を説明する概念図である。
【図３】本発明の方法を実施する際に使用可能なシステムの制御部を構成するロボット制御装置並びに関連接続関係を説明する要部ブロック図である。
【図４】（ａ）ストラクチャライトユニットの要部構造と、（ｂ）ストラクチャライトの形成方法を例示した模式図である。
【図５】本発明の方法を実施する際の全体配置の概要を説明する模式図である。
【図６】本実施形態で採用される治具４の治具座標系表現形態の一例を説明するために、ロボット手先部１の周辺部を拡大描示し、治具座標系とツール座標系の関係を併記した見取り図である。
【図７】図６中に示された治具４のみを拡大抽出し、スリット光による輝線の形成状況を併記したものである。
【図８】本実施形態で採用される治具４の治具座標系表現形態の別の例を説明する図である。
【図９】実施形態においてロボット制御装置５で実行される処理の概要をまとめて記したフローチャートである。
【符号の説明】
１ロボットの手先部
２力センサ（アダプタ）
３ハンド（エンドエフェクタ）
４治具
５ロボット制御装置（画像処理装置内蔵型）
１１投光窓
１２レーザ発振器
１３円柱レンズ
１４ガルバノメータ
１５，Ｌ１〜Ｌ６輝線
１６被計測対象物
２０ＣＣＤカメラ
２１撮影窓
３１ハンドの爪
４１平坦面領域（長方形帯状）
４１ａ，４１ｂ，Ｈ１〜Ｈ３稜線
４２凹部
４３〜４５互いに直交する平坦面領域（三角錐状）
５１中央演算処理装置（ＣＰＵ）
５２ＲＯＭメモリ
５３ＲＡＭメモリ
５４不揮発性メモリ
５５教示操作盤
５６デジタルサーボ回路
５７サーボアンプ
５８バス
６１ストラクチャライトユニット用インターフェイス
６２画像処理プロセッサ
６３モニタインターフェイス
６４フレームメモリ
６５プログラムメモリ
６６データメモリ
６７汎用インターフェイス
１５１，１５２，Ｃ1 〜Ｃ8 ，Ｄ1 〜Ｄ12 輝線の端点
Ａ治具座標系（初期状態）
Ａ’ 治具座標系（位置・姿勢ずれ発生後）
Ｂツール座標系（初期状態）
Ｂ’ ツール座標系（位置・姿勢ずれ発生後）
Ｆフェイスプレート代表点（フェイスプレート座標系原点）
ＭＯモニタディスプレイ
ＯA 治具座標系の原点
Ｒロボット座標系
ＲＢロボット
ＲＢ１〜ＲＢ３ロボット姿勢
Ｓセンサ座標系
ＳＬスリット光
ＳＵストラクチャライトユニット
ＴＢテーブル
Ｗ１，Ｗ２ワーク[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a tool coordinate system correction setting method in a robot to which an end effector (hand effector) such as a hand is attached as a tool, and an end effector used in the method. The present invention is applied when the tool coordinate system is reset so as to compensate for a position / posture shift of the end effector caused by, for example, replacement of an adapter interposed between the robot and the end effector.
[0002]
[Prior art]
When applying the robot to various operations, it is usual to attach an end effector such as a hand to a face plate (mechanical interface) at the tip of the robot arm. In order to cause the robot to perform a desired work, it is necessary to give the robot data indicating the position / posture of the end effector with respect to the face plate.
[0003]
The point representing the position / posture of the end effector is generally called the tool tip point (TCP). By setting the tool coordinate system with the tool tip point as the origin, the end effector's position / posture can be Be taught. In general, the setting data of the tool coordinate system is data representing a matrix describing the relative position and orientation of the tool coordinate system as seen from the face plate coordinate system with the face plate representative point (usually the center point) as the origin. Given to.
[0004]
Once the tool coordinate system is set, the relative position and posture of the end effector with respect to the face plate may change due to a robot interference accident or the like. In particular, when an easily damaged adapter such as a force sensor is interposed between the face plate and the end effector, there are many opportunities to replace the adapter, and avoiding the position / posture deviation of the end effector associated therewith. I can't.
[0005]
The following three methods can be considered as countermeasures against such a situation.
(1) The position and orientation of the end effector are precisely adjusted, and the original end effector position and orientation (before the occurrence of the position and orientation deviation) are accurately reproduced.
(2) Redo the teaching so that the end effector with the position / posture misalignment can be used as it is.
(3) The tool coordinate system is corrected (reset) so as to compensate for the position / posture deviation of the end effector.
[0006]
However, the method (1) requires skill and time for the adjustment work itself, and the burden on the operator who is the user is large. In particular, when the end effector is a hand, the tool tip point is often set between multiple claws (in the air) for the convenience of teaching work. It becomes very difficult to reproduce.
[0007]
Also, in the method (2), the time required for work becomes enormous when there are many taught programs.
As a technique belonging to the type (3), a method as shown in FIG. 1 is known. According to this method, (a) the robot has three postures RB1 to RB3 such that the specific point of the tool (end effector) desired to be set as the tool tip point (TCP) coincides with the same point P0 in the space. (B) obtaining a relative position of the tool tip point with respect to the face plate based on the current position data of the robot in each posture; and (c) a procedure for separately teaching the direction of the coordinate axis of the tool coordinate system. .
[0008]
Such a method is considered to be relatively easy to execute in a simple case where the tool tip point is set at the tip of a pointed end effector, but in the case where the end effector is a hand. Therefore, it is difficult to make the tool tip point in the three postures of the robot coincide with the same point P0. In addition, this method has a problem that although the origin position (tool tip point position) of the tool coordinate system can be acquired, the direction of the coordinate axis cannot be acquired.
[0009]
[Problems to be solved by the invention]
Therefore, the object of the present invention is to overcome these problems of the prior art and correct and set the tool coordinate system with stable correction accuracy with a simple operation regardless of the shape of the end effector and the setting position of the tool tip point. And providing an end effector suitable for performing the method.
[0010]
[Means for Solving the Problems]
The tool coordinate system correction setting method of the present invention sets the tool coordinate system to the end effector supported by the robot hand, and sets the origin position of the jig coordinate system having a fixed positional / posture relationship with the tool coordinate system. A jig having jig coordinate system expressing means for expressing the direction of the coordinate axis in a form that can be recognized by the three-dimensional visual sensor is provided, the three-dimensional visual sensor is arranged around the robot, and the tool coordinate system of the robot is The correction is set and includes the following steps.
[0011]
(A) In the initial state where the position / posture of the end effector relative to the robot hand has not changed from that at the time of setting the tool coordinate system, the robot is moved to the position / posture of the jig coordinate system by the three-dimensional visual sensor. Positioning to the position of the detecting robot coordinate system detection robot
(B) The step of detecting the position / posture of the jig coordinate system using a three-dimensional visual sensor (c) The position / posture of the end effector relative to the robot hand has changed from that at the time of setting the tool coordinate system. The stage of positioning the robot at the jig coordinate system detection robot position when the possibility of jig coordinate system re-detection has arrived
(D) A step of detecting the position / orientation of the jig coordinate system using a three-dimensional visual sensor.
(E) A step of resetting the tool coordinate system that has been set up to that point based on the position / orientation of the jig coordinate system determined in the steps (b) and (d).
The end effector is a hand, for example, and may be supported on the robot hand through an adapter such as a force sensor. In a typical embodiment, a three-dimensional visual sensor of the type including slit light projecting means, photographing means, and image processing means is used.
[0012]
  In a typical embodiment, the jig coordinate system representation means provided in the jig includes a flat surface and a ridge line that represent the origin position of the jig coordinate system and the direction of the coordinate axis. Also, a hand equipped with jig coordinate system expression means for expressing the origin position and the direction of the coordinate axis of the jig coordinate system having a fixed positional / posture relationship with the tool coordinate system in a form that can be recognized by a three-dimensional visual sensor. Alternatively, it is preferable to prepare another end effector in order to smoothly implement the tool coordinate system correction setting method. The end effector used in a typical embodiment includes a flat surface and a ridge line that express the origin position of the jig coordinate system and the direction of the coordinate axis as the jig coordinate system expressing means.Here, the jig coordinate system representation means is provided with the fixed positional / posture relationship with respect to the tool coordinate system, and the origin position and the direction of the coordinate axis are determined by the three-dimensional visual sensor. Can be recognized.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
The tool coordinate system correction setting method according to the present invention is a state in which the end effector is properly attached directly to the hand portion (mechanical interface) of the robot or via an adapter (a state before a position / posture deviation occurs. It is also called “initial state”.). First, an outline of procedures and basic calculations at the time of implementation will be described with reference to FIG.
[0014]
1. In the initial state, a tool coordinate system B suitable for work is set. Note that such setting of the tool coordinate system B is very general executed in accordance with the form of the end effector and the work content. FIG. 2 shows a homogeneous transformation matrix representing the position / orientation of the tool coordinate system B with respect to the representative point of the mechanical interface (the origin F of the coordinate system set on the face plate) in the initial state (before the position / orientation deviation occurs). As shown^FT_B And
2. While the initial state is maintained (either before or after the setting of the tool coordinate system B is possible), the robot is positioned at an appropriate position around the three-dimensional visual sensor, and the jig coordinate system A fixed to the end effector. Detects the position / posture. Hereinafter, the position of the robot when this detection is performed (represented by the position of the face plate coordinate system origin F) is referred to as a “jig coordinate system detection robot position”.
[0015]
FIG. 2 shows a homogeneous transformation matrix representing the position / posture of the jig coordinate system A with respect to the representative point of the mechanical interface (the origin F of the coordinate system set on the face plate) in the initial state (before occurrence of the position / posture deviation). As shown in^FT_A And line; queue; procession; parade
^FT_A When ^FT_B The following equation (1) is established.
^FT_B =^FT_A  ^AT_B                                  ... (1)
Where the matrix^AT_B Represents the position / posture of the tool coordinate system B with respect to the jig coordinate system A.
[0016]
3. When the initial state seems to be broken (for example, when the adapter is replaced), the robot is again positioned at the jig coordinate system detection robot position, and the position / posture of the jig coordinate system is detected using a three-dimensional visual sensor sense sensor. . In this way, the opportunity for redetection of the jig coordinate system in association with the occurrence of a change in the position / posture of the end effector is referred to as “jig coordinate system redetection opportunity”. As shown in FIG. 2, a homogeneous transformation matrix representing the position and orientation of the jig coordinate system at the jig coordinate system re-detection opportunity with respect to the origin F of the face plate coordinate system of A ′.^FT_{A '}And
[0017]
Similarly, if the tool coordinate system B set in the initial state has a position / posture deviation represented by B ′, the tool coordinate system B ′ relative to the face plate coordinate system origin F at the jig coordinate system re-detection opportunity is represented by B ′. Homogeneous transformation matrix representing position and orientation^FT_{B '}Is given by the following equation (2).
^FT_{B '}=^FT_{A '} ^{A '}T_{B '}                                  ... (2)
Where the matrix^{A '}T_{B '} Represents the position / posture of the tool coordinate system B ′ with respect to the jig coordinate system A ′ at the jig coordinate system re-detection opportunity, but under the condition that the jig coordinate system is fixed to the end effector (that is, As long as the end effector itself does not deform)
^{A '}T_{B '}=^AT_B                                        ... (3)
It becomes. From the equations (1) to (3), the relationship of the following equation (4) is obtained.
[0018]
^FT_{B '}=^FT_{A '} ^AT_B =^FT_{A '} ^FT_A ^-1  ^FT_B             ... (4)
4). If the rightmost side of the equation (4) is calculated and taught to the robot as the reset data of the tool coordinate system B ′, the tool coordinate system can be reset to compensate for the position / posture deviation of the tool coordinate system. It becomes possible.
[0019]
5. (4) Matrix in the right side of equation^FT_B Is given by the data of the tool coordinate system set in the initial state. Therefore, the remaining multiplication term^FT_{A '} ^FT_A ^-1 Is obtained from the position and orientation of the jig coordinate systems A and A ′ detected by the three-dimensional visual sensor.^FT_{A '}as well as ^FT_A ^-1 Can be expressed as follows.
^FT_{A '}=^FT_R  ^RT_{A '}                                  ... (5)
^FT_A ^-1 = (^FT_R  ^RT_A )^-1=^RT_A ^-1  ^FT_R ^-1         ... (6)
here,
^FT_R ; Homogeneous transformation matrix representing the position and orientation of the robot coordinate system as seen from the faceplate coordinate system
^RT_{A '}The homogeneous transformation matrix representing the position and orientation of the jig coordinate system A 'viewed from the robot coordinate system
^RT_A The homogeneous transformation matrix representing the position and orientation of the jig coordinate system A viewed from the robot coordinate system
It is.
[0020]
From the above formulas (5) and (6),

It becomes. here, ^RT_S Is a homogeneous transformation matrix representing the position and orientation of the sensor coordinate system S of the three-dimensional visual sensor with respect to the robot coordinate system R (arbitrary three-dimensional orthogonal coordinate system set for the robot), and is obtained by appropriate calibration. .
6). After all, the equation (4) representing the tool coordinate system to be reset is

It becomes. As a special case, if there is no deviation in the position and orientation of the end effector, naturally^ST_{A '}=^ST_A Therefore, the equation (8) becomes the following equation (9).
^FT_{B '}=^FT_B ... (9)
The source of the matrix included in the right side of equation (8) can be summarized as follows.
^FT_R ,^FT_R ^-1 ; It is calculated | required from the present position data in a jig | tool coordinate system detection robot position.
^RT_S ,^RT_S ^-1 It is obtained from calibration data that combines the robot coordinate system R and the sensor coordinate system S;
^ST_A ^-1 ; Obtained from detection data (sensor data) of the jig coordinate system A in the initial state.
^ST_{A '} It is obtained from the detection data (sensor data) of the jig coordinate system A 'at the jig coordinate system re-detection opportunity.
^FT_B ; Setting data of the jig coordinate system A in the initial state.
In the above equation (4),^AT_B When accurate data (position / posture relationship of coordinate systems A and B) can be prepared,

From^FT_{B '}You may ask for. However, also in this case^FT_R ,^RT_S The data of is necessary. And in equation (8)^FT_R When ^FT_R ^-1 ,^RT_S When ^RT_S ^-1 Is included in the multiplication relationship, even if there is a slight error in the jig coordinate system detection robot position and the calibration data of the 3D visual sensor.^FT_{B '}It is hard to appear in the calculation result. Therefore, it is preferable to use the formula (8) rather than the formula (10).
[0021]
By resetting the tool coordinate system in this way, the same robot operation as before the end effector has caused the position / posture deviation can be executed without re-teaching the robot operation.
[0022]
FIG. 3 is a principal block diagram for explaining a robot control apparatus and related connection relations constituting a control unit of a system that can be used when carrying out the method of the present invention. Here, the robot control device 5 employs a three-dimensional visual sensor built-in image processing device, and includes a central processing unit (hereinafter referred to as CPU) 51. The CPU 51 includes a memory 52 including a ROM, a RAM A memory 53, a nonvolatile memory 54, a teaching operation panel 55 having a liquid crystal display, a digital servo circuit 56 for controlling each axis of the robot, a structure light unit interface 61, an image processor 62, a monitor interface 63, A frame memory 64, a program memory 65, a data memory 66, and a general-purpose interface 67 are connected via a bus 58.
[0023]
The digital servo circuit 56 is connected to a mechanism unit of the robot RB via a servo amplifier 57 in order to control each axis of the robot RB. The structure light unit interface 61 is connected to the structure light unit SU, and the monitor interface 63 is connected to a monitor display MO made of, for example, a CRT. As will be described later, the structure light unit SU is obtained by unitizing a light projecting unit and a photographing unit of a three-dimensional visual sensor.
[0024]
Various types of external devices can be connected to the general-purpose interface 67 as required. Here, the force sensor 2 constituting an adapter interposed between the face plate of the robot hand and the end effector is shown. .
[0025]
The ROM 52 stores a system program necessary for controlling each part of the system. The RAM 53 is a memory used for temporary storage of data and calculation. In the nonvolatile memory 54, data of an operation program that defines the operation of an external device such as the robot RB, the structure light unit SU, and the force sensor 2, setting data of a coordinate system (including the coordinate system R; see FIG. 1), 3D visual sensor calibration data (the matrix described above)^RT_S Data; see FIG. ), Related setting values and the like are stored.
[0026]
The structure light unit interface 61 is used for sending / receiving commands for controlling each part of the structure light unit SU and capturing images taken by a CCD camera (see FIG. 4A). The captured image is temporarily stored in the frame memory 64 after being converted to gray scale. The image stored in the frame memory 64 can be displayed on the monitor display MO.
[0027]
The program memory 65 stores a program for performing image processing and analysis using the image processing processor 62, and the data memory 66 stores setting data related to image processing and analysis. In this embodiment, in particular, program data defining processing for obtaining the position / attitude of the jig coordinate system and related setting data are included in these stored data. The contents of the process will be described later.
[0028]
FIG. 4 illustrates a general configuration of the structure light unit SU. FIG. 4A simply shows the main structure of the structure light unit SU and FIG. 4B shows the structure light forming method. The structure light unit SU shown in FIG. 4A projects slit light as the structure light SL, and the light projecting unit is a galvanometer 14 (stepping motor) including a laser oscillator 12, a cylindrical lens 13, and a deflection mirror. And the light projection window 11, and the photographing unit is provided with a CCD camera 20 and a photographing window 21.
[0029]
As shown in FIG. 4B, the laser beam emitted from the laser oscillator 12 is converted into slit light SL by the cylindrical lens 13. The slit light SL is deflected in a predetermined direction by a galvanometer 14 that can be driven at a high speed by a stepping motor in accordance with a command value instructing a light projecting direction, and is projected onto the measurement target 16 from the light projecting window 11. An image including the bright line 15 formed on the measurement target W is acquired as a shadow by the CCD camera 20, and is captured by the robot control device 5 incorporating the image processing device.
[0030]
The robot controller 5 analyzes the image including the bright line 15 by using the image processing function described above, and obtains three-dimensional positions such as the end point positions 151 and 152 of the bright line 15. Since the principle for obtaining the three-dimensional positions such as the end point positions 151 and 152 and the details of the calculation processing based on the principle are well-known matters, description thereof is omitted here.
[0031]
Next, FIG. 5 is a schematic diagram for explaining the outline of the overall arrangement when the method of the present invention is implemented using the configuration and function described with reference to FIGS.
Here, the robot RB is depicted as a force control robot for fitting the workpiece W1 to the workpiece W2 supplied on the table TB. A force sensor 2 for detecting a six-axis force is attached to the hand portion 1 of the robot RB, and a hand 3 is attached to the force sensor 2 as an end effector. That is, the force sensor 2 serves as an adapter for attaching the end effector (hand 3).
[0032]
The workpiece W1 is held by a plurality of claws 31 of the hand 3, and is fitted to the workpiece W2 on the table TB. The force sensor 2 detects the force / moment received via the workpiece W1 and transmits it to the robot controller 5. The robot control device 5 executes force control using the output of the force sensor 2 so that the fitting operation is performed smoothly.
[0033]
The hand 3 used as an end effector in the present embodiment is provided with a jig 4 having jig coordinate system expression means according to the feature of the present invention. The jig 4 may be attached to the hand 3 when necessary, or may be a structure fixed as a part of the hand 3.
[0034]
In the present embodiment, the illustrated robot posture is adopted as the jig coordinate system detection robot position, and is set to an appropriate position on the table TB (a position suitable for detection of the jig coordinate system expressing means on the jig 4). Install the structure light unit SU. It is assumed that the calibration of the three-dimensional visual sensor including the structure light unit SU has been completed using a known appropriate technique (the coordinate system R set in the robot RB and the sensor coordinate system S have been combined).
[0035]
When detecting the position / orientation of the jig coordinate system on the jig 4, the slit light SL is projected from the light projecting portion of the structure light unit SU toward the jig 4, and the jig coordinate system is detected by the photographing unit. The bright line image formed on the expression means is photographed.
[0036]
The jig 4 is provided with jig coordinate system expression means for providing information necessary for recognizing the origin position of the jig coordinate system and the direction of the coordinate axis in a form recognizable by the three-dimensional visual sensor. In the present embodiment, considering that a slit light projection type three-dimensional visual sensor is adopted, different directions are set so that a linear bright line having an end point is formed by the projection of the slit light SL. The surface shape means that provides a plurality of facing ridgelines is used as the jig coordinate system expression means.
[0037]
FIG. 6 is an enlarged view of the peripheral portion of the robot hand portion 1 for explaining an example of the jig coordinate system expression form of the jig 4 employed in this embodiment, and the relationship between the jig coordinate system and the tool coordinate system. It is a sketch drawing in which As shown in FIG. 6, the jig 4 provided on the peripheral surface of the hand 3 attached to the hand portion 1 of the robot via the force sensor 2 is used as a jig coordinate system expressing means (surface shape means). The rectangular flat surface region 41 and the concave portion 42 surrounded by the rectangular belt-shaped flat surface region 41 are provided.
[0038]
The rectangular frame-shaped flat surface region 41 represents the origin OA of the jig coordinate system A (see also FIG. 1) with one inner corner, and includes

ridge lines

41a and 41b extending from the origin OA in the horizontal and vertical directions. Each represents the XA axis and the YA axis. On the other hand, the tool coordinate system B (see also FIG. 1) has an origin OB at a position surrounded by the three claws 31 of the hand 3 and is set so that the axial direction of the hand 3 is the ZB axis. Yes.
[0039]
As described with reference to FIG. 1, unless the hand 3 is deformed, the relative positional / posture relationship between the coordinate systems A and B once fixed is invariable. However, the relative position / posture relationship between the jig coordinate system A and the tool coordinate system B is not required to be specific, and it is not necessary to know in advance. Therefore, there is no burden of performing accurate positioning with respect to the mounting position of the jig 4. However, when updating the setting data of the tool coordinate system using the above-mentioned equation (10),^AT_B Precise data is required to determine
[0040]
FIG. 7 is an enlarged view of only the jig 4 shown in FIG. 6 and shows the formation of bright lines by slit light. The outline of the procedure for detecting the position / orientation of the jig coordinate system A (or A ′) using a three-dimensional visual sensor will be described with reference to FIG.
In a state where the robot RB is at the jig coordinate system detection robot position as shown in FIG. 5, the structure light unit SU is used to project the slit light so as to cross the flat surface region 41 of the jig 4 diagonally. Light projection is performed twice (or more), and bright lines L1 (first light projection) and L2 (second light projection) are formed on the flat surface region 41. Some of the bright lines L1 and L2 are also formed on the recess 42, but are not used here for coordinate system detection. The procedure for determining the jig coordinate system A (or A ′) using a three-dimensional visual sensor that combines the structure light unit SU and the robot controller 5 can be, for example, as follows. For convenience of explanation, this procedure is referred to as “procedure 1”.
[0041]
[Procedure 1]
1. The three-dimensional positions of the end points C2 and C3 corresponding to the points where the bright line L1 crosses the

ridge lines

41a and 41b are obtained.
2. The three-dimensional positions of the end points C6 and C7 corresponding to the points where the bright line L2 crosses the

ridge lines

41a and 41b are obtained.
3. A straight line represented by the edge 41a is obtained from the positions of the end points C2 and C6.
4). A straight line represented by the edge line 41b is obtained from the positions of the end points C3 and C7.
5. The three-dimensional position of the origin OA is obtained as the intersection between the two.
6). The vector <u> from the end point C6 to C2 determines the direction of the XA axis of the jig coordinate system A (A ').
7). The vector <w> from the end point C3 to C7 determines the direction of the ZA axis of the jig coordinate system A (A ').
8). <V> = <w> × <u> defines the direction of the YA axis of the jig coordinate system A (A ').
[0042]
The direction of the flat surface 41 may be obtained using three or more of the end points including the end points C1, C5, C4, and C8, and the direction of the YA axis may be determined.
[0043]
FIG. 8 is a diagram for explaining another example of the jig coordinate system expression form of the jig 4 employed in the present embodiment. The jig 4 is shown in an enlarged manner, and the formation of bright lines by slit light is also shown. . As shown in the figure, the jig 4 of this example includes a triangular pyramid-shaped portion including three flat surface regions 43 to 45 orthogonal to each other as a jig coordinate system expressing means. The triangular pyramid-shaped portion is provided with three mutually perpendicular ridgelines H1 to H3 as intersecting lines between the adjacent flat surface regions 43 to 45.
[0044]
These ridge lines H1 to H3 represent the XA axis, the YA axis, and the ZA axis of the jig coordinate system A (or A '), and their intersection (the apex of the triangular pyramid) represents the origin OA. The outline of the procedure for detecting the position / orientation of the jig coordinate system A (or A ′) using the three-dimensional visual sensor when the jig 4 of this example is provided on the hand 3 will be described as follows. become.
As in the case of the jig shown in FIG. 7, in the state where the robot RB is at the position of the jig coordinate system detection robot as shown in FIG. Light is projected across two of -45. The light is projected four times (or more), bright lines L3 (first light projection) and L4 (second light projection) are formed on the

flat surface regions

43 and 44, and the

flat surface regions

43 and 45 are formed. Bright lines L5 (third light projection) and L6 (fourth light projection) are formed.
[0045]
The procedure for determining the jig coordinate system A (or A ′) using a three-dimensional visual sensor that combines the structure light unit SU and the robot controller 5 can be, for example, as follows. For convenience of explanation, this procedure is referred to as “procedure 2”.
[0046]
[Procedure 2]
1. The three-dimensional position of the end point D2 corresponding to the point where the bright line L3 crosses the ridge line H1 is obtained.
[0047]
2. The three-dimensional position of the end point D5 corresponding to the point where the bright line L4 crosses the ridge line H1 is obtained.
[0048]
3. The three-dimensional position of the end point D8 corresponding to the point where the bright line L5 crosses the ridge line H2 is obtained.
[0049]
4). The three-dimensional position of the end point D11 corresponding to the point where the bright line L4 crosses the ridge line H2 is obtained.
[0050]
5. The straight line represented by the edge H1 is obtained from the positions of the end points D2 and D5.
6). The straight line represented by the edge H2 is obtained from the positions of the end points D8 and D11.
7). The three-dimensional position of the origin OA is obtained as the intersection between the two.
8). The vector <p> from the end point D5 to D2 determines the direction of the XA axis of the jig coordinate system A (A ').
9. The vector <q> from the end point D8 to D11 determines the direction of the YA axis of the jig coordinate system A (A ').
10. <R> = <p> × <q> defines the direction of the ZA axis of the jig coordinate system A (A ′).
[0051]
Note that the directions of the flat surfaces 43 to 45 may be obtained by adding end point data such as the end points D1, D4, D7, D10, D3, D6, D9, D12, etc., and the directions of the respective coordinate axes may be determined. FIG. 9 is a flowchart summarizing the processing executed by the robot controller 5 in the above-described embodiment. The main points of the steps M1 to M are as follows. It is assumed that preparation work such as calibration of the three-dimensional visual sensor and setting of a tool coordinate system B (see FIG. 6) suitable for the work has been completed. Further, the jig 4 shown in FIG. 7 or FIG. 8 is assumed to be already mounted or fixed on the hand 3.
[0052]
[M1] The robot RB is moved to the jig coordinate system detection robot position (see FIG. 5). If the jig coordinate system detection robot position is not taught, it is stored in the nonvolatile memory 54. However, the storage of the jig coordinate system detection robot position may be executed after step M2.
[M2] Start the 3D visual sensor, perform processing according to Procedure 1 (when using the jig shown in FIG. 7) or Procedure 2 (when using the jig shown in FIG. 8), and position the jig coordinate system A. The attitude is detected and stored in the nonvolatile memory 54 (the above-mentioned homogeneous transformation matrix^ST_A Data representing or^RT_A Is stored as data representing).
[M3] When the jig coordinate system re-detection opportunity arrives, the robot RB is moved to the jig coordinate system detection robot position (see FIG. 5). The jig coordinate system re-detection opportunity comes when the force sensor 2 (replacement product) and the hand 3 (non-replacement product) are reattached due to, for example, damage to the force sensor 2 or the like. Even if the force sensor 2 is not damaged, a jig coordinate system re-detection opportunity may be provided when checking the tool coordinate system setting state for maintenance.
[0053]
[M4] The 3D visual sensor is activated, and processing according to Procedure 1 (when using the jig shown in FIG. 7) or Procedure 2 (when using the jig shown in FIG. 8) is performed. The position / orientation is detected and stored in the nonvolatile memory 54 ((the above-mentioned homogeneous transformation matrix^ST_{A '}Data representing or^RT_{A '}Is stored as data representing).
[M5] Perform the calculation of equation (8) above.^FT_{B '}To update the setting data of the tool coordinate system. Thereby, the correction setting of the tool coordinate system B ′ is completed.
[0054]
As described above, in this embodiment, another type of three-dimensional visual sensor may be adopted. For example, a structure light unit equipped with a spot light projection scanning type light projecting unit can be used as the light projecting unit of the structure light unit SU. In that case, the bright line formed on the jig coordinate system representation means by the structure light becomes a continuous or intermittent (light line) spot light locus.
[0055]
Further, the jig coordinate system expression means provided in the jig is not limited to the above two examples. For example, using a jig on which a mark with a few dots representing the origin position of the jig coordinate system and the direction of the coordinate axis is drawn, this is taken with two cameras, and the position and orientation of the jig coordinate system May be determined.
[0056]
【The invention's effect】
According to the present invention, the tool coordinate system can be corrected and set with stable correction accuracy by a simple operation without being affected by the shape of the end effector and the setting position of the tool tip point. For example, even if the origin of the tool coordinate system is set at a position not on the component of the end effector, such as between the claws of the hand, there is no problem in the correction setting of the tool coordinate system. In addition, this method can be executed more smoothly by using an end effector equipped with jig coordinate system expression means adapted to detection of the position and orientation of the jig coordinate system by a three-dimensional visual sensor.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a conventional technique for correcting (resetting) a tool coordinate system so as to compensate for a position / posture shift of an end effector.
FIG. 2 is a conceptual diagram illustrating an outline of a tool coordinate system correction setting method according to the present invention.
FIG. 3 is a principal block diagram for explaining a robot control device constituting a control unit of a system that can be used when carrying out the method of the present invention and related connection relations.
FIGS. 4A and 4B are schematic views illustrating the main structure of a structure light unit, and FIG. 4B illustrating a method for forming a structure light.
FIG. 5 is a schematic diagram for explaining an outline of an overall arrangement when carrying out the method of the present invention.
FIG. 6 is an enlarged view of the periphery of the robot hand 1 to explain an example of a jig coordinate system expression form of the jig 4 employed in the present embodiment. It is a sketch drawing together with the relationship.
FIG. 7 is an enlarged view of only the jig 4 shown in FIG. 6 and shows the formation of bright lines by slit light.
FIG. 8 is a diagram illustrating another example of a jig coordinate system expression form of the jig 4 employed in the present embodiment.
FIG. 9 is a flowchart collectively showing an outline of processing executed by the robot control apparatus 5 in the embodiment.
[Explanation of symbols]
1 Robot hand
2 Force sensor (Adapter)
3 Hand (End Effector)
4 Jig
5 Robot controller (Built-in image processing device)
11 Floodlight window
12 Laser oscillator
13 Cylindrical lens
14 Galvanometer
15, L1-L6 bright line
16 Object to be measured
20 CCD camera
21 Shooting window
31 Hand nails
41 Flat surface area (rectangular band)
41a, 41b, H1-H3 ridgeline
42 recess
43 to 45 Flat surface regions orthogonal to each other (triangular pyramid shape)
51 Central processing unit (CPU)
52 ROM memory
53 RAM memory
54 Nonvolatile memory
55 Teaching operation panel
56 Digital Servo Circuit
57 Servo amplifier
58 Bus
61 Interface for structure light unit
62 Image processor
63 Monitor interface
64 frame memory
65 Program memory
66 Data memory
67 General-purpose interface
151, 152, C1 to C8, D1 to D12 Bright line end points
A Jig coordinate system (initial state)
A 'Jig coordinate system (after position / posture deviation)
B Tool coordinate system (initial state)
B 'Tool coordinate system (after position / posture deviation occurs)
F Face plate representative point (origin of face plate coordinate system)
MO monitor display
The origin of the OA jig coordinate system
R Robot coordinate system
RB robot
RB1 to RB3 robot posture
S Sensor coordinate system
SL slit light
SU Structure Light Unit
TB table
W1, W2 work

Claims

A tool coordinate system is set for the end effector supported by the robot hand, and the origin position and coordinate axis direction of the jig coordinate system that is in a fixed positional / posture relationship with the tool coordinate system are recognized by a three-dimensional visual sensor. Provide a jig equipped with a jig coordinate system expression means to express in a possible form,
A method of arranging the three-dimensional visual sensor around the robot and correcting and setting a tool coordinate system of the robot,
(A) In the initial state where the position / posture of the end effector with respect to the robot hand portion has not changed from that at the time of setting the tool coordinate system, the position of the jig coordinate system by the three-dimensional visual sensor is -Positioning to a jig coordinate system detection robot position capable of detecting the posture;
(B) detecting the position and orientation of the jig coordinate system using the three-dimensional visual sensor;
(C) At the time of arrival of a jig coordinate system re-detection chance that the position / posture of the end effector relative to the robot hand portion may have changed from that at the time of setting the tool coordinate system, the robot is Positioning to the jig coordinate system detection robot position;
(D) detecting the position and orientation of the jig coordinate system using the three-dimensional visual sensor;
(E) including a step of resetting the set tool coordinate system based on the position / orientation of the jig coordinate system obtained in the steps of (b) and (d).
A tool coordinate system correction setting method for the robot.

The robot tool coordinate system correction setting method according to claim 1, wherein the end effector is supported by the robot hand portion through an adapter.

The method for correcting and setting the tool coordinate system of the robot according to claim 1, wherein the adapter is a force sensor.

The robot tool coordinate system correction setting method according to any one of claims 1 to 3, wherein the end effector is a hand.

5. The tool coordinate system correction setting method for the robot according to claim 1, wherein the three-dimensional visual sensor includes a slit light projecting unit, a photographing unit, and an image processing unit.

The robot according to any one of claims 1 to 5, wherein the jig coordinate system expressing unit includes a flat surface and a ridge line that express an origin position and a direction of a coordinate axis of the jig coordinate system. Tool coordinate system correction setting method.

A tool coordinate system is set for the end effector supported by the robot hand, and a change in position / posture of the jig coordinate system that is in a fixed positional / posture relationship with the tool coordinate system is arranged around the robot. The end effector used in a method of detecting using a three-dimensional visual sensor and correcting and setting the tool coordinate system,
The direction of the origin position and the coordinate axes before the winding tool coordinate system with a jig coordinate system representation means for representable,
The jig coordinate system representation means is provided with the fixed position / posture relationship with respect to the tool coordinate system, and the origin position and the direction of the coordinate axis are recognized by the three-dimensional visual sensor. The end effector is possible .

The end effector according to claim 7, wherein the jig coordinate system expressing unit includes a flat surface and a ridge line that express an origin position of the jig coordinate system and a direction of a coordinate axis.

A tool coordinate system is set for the hand supported by the robot hand, and a change in position / posture of the jig coordinate system that is in a fixed position / posture relationship with the tool coordinate system is arranged around the robot. The hand used in a method of detecting using a three-dimensional visual sensor and correcting and setting the tool coordinate system,
The direction of the origin position and the coordinate axes before the winding tool coordinate system with a jig coordinate system representation means for representable,
The jig coordinate system representation means is provided with the fixed position / posture relationship with respect to the tool coordinate system, and the origin position and the direction of the coordinate axis are recognized by the three-dimensional visual sensor. The hand is possible .

The hand according to claim 9 , wherein the jig coordinate system expressing unit includes a flat surface and a ridge line that express an origin position and a direction of a coordinate axis of the jig coordinate system.