JP3946711B2 - ロボットシステム - Google Patents

ロボットシステム Download PDF

Info

Publication number
JP3946711B2
JP3946711B2 JP2004165075A JP2004165075A JP3946711B2 JP 3946711 B2 JP3946711 B2 JP 3946711B2 JP 2004165075 A JP2004165075 A JP 2004165075A JP 2004165075 A JP2004165075 A JP 2004165075A JP 3946711 B2 JP3946711 B2 JP 3946711B2
Authority
JP
Japan
Prior art keywords
robot
light receiving
coordinate system
translational movement
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2004165075A
Other languages
English (en)
Other versions
JP2005342832A (ja
Inventor
一訓 伴
一郎 管野
愼 山田
俊彦 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2004165075A priority Critical patent/JP3946711B2/ja
Priority to DE602005010630T priority patent/DE602005010630D1/de
Priority to EP05011702A priority patent/EP1607194B1/en
Priority to CNB2005100732157A priority patent/CN100415460C/zh
Priority to US11/142,496 priority patent/US20050273199A1/en
Publication of JP2005342832A publication Critical patent/JP2005342832A/ja
Application granted granted Critical
Publication of JP3946711B2 publication Critical patent/JP3946711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1692Calibration of manipulator
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1682Dual arm manipulator; Coordination of several manipulators
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39046Compare image of plate on robot with reference, move till coincidence, camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39114Hand eye cooperation, active camera on first arm follows movement of second arm
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39397Map image error directly to robot movement, position with relation to world, base not needed, image based visual servoing

Description

本発明は、複数のロボットを含むロボットシステムに関し、更に詳しく言えば、同ロボットシステムに含まれるロボット間の相対位置に関するキャリブレーションを簡単且つ高精度で行えるようにする技術に関する。本発明に係るロボットシステムは、例えばワークの搬送やワークに対する加工を複数のロボットの協調動作によって行なうようなアプリケーションにおいて有用である。
産業用ロボットを用いたシステムの1つの類型として、2台のロボット間の協調動作によって必要な作業(搬送、加工等)を行うシステムがある。このようなシステムにおいては、従動するロボットが先導するロボットの位置に基づいて移動目標となる位置を計算する必要がある。この計算を正確に行なうためには、各ロボットに設定されているロボット座標系の相対位置関係が予め分かっていなければならない。
このような趣旨で2台のロボット間の座標系の相対位置関係を予め求めておくことは、ロボット間で座標系結合を行なうための一種のキャリブレーションである。このロボット間の座標系結合のためのキャリブレーションとして一般に知られている代表的な手法に従えば、先ず各々のロボットのアーム先端部に位置合せ用の治具が装着される。そして、両ロボットが到達可能な範囲内に用意された3箇所以上の3次元空間上の位置に順次各ロボットを移動させ、その際に各ロボットで得られる現在位置のデータに基づいて、両ロボットに設定されているロボット座標系の相対的位置関係を表わすデータを求めることができる。
3箇所以上の3次元空間上の位置にロボットを移動させる方法としては、直接ロボット同士(各ロボットの先端部に装着された治具の先端同士)を接触させる方法もあれば、互いのロボットから離れた箇所に、固定されたキャリブレーション用治具を用意し、各ロボット(先端部に装着された治具の先端)で、その治具をタッチアップすることで間接的に接触させる方法もある。
但し、一般的なロボットについて、上記手法の詳細について公表している文献は見当たらない。なお、ロボットとポジショナとのキャリブレーションについては、下記特許文献1に記述がある。それによれば、ロボットとポジショナを直接接触させる方法での提案がなされている。
特開平8−129408号公報
上記した従来のロボット間のキャリブレーション手法には、いくつかの問題点がある。中でも従来手法が治具を必要としている点は、コスト面や作業者への負担の面で問題が大きい。即ち、直接的な接触、間接的な接触のいずれによるとしても、各々のロボット先端部に位置合せ用の治具を準備する必要があり、先ず治具に関連するコストが生じる。また、間接的な接触では、固定用の治具を用意しなければならない上に、後々のメンテナンスを考慮すると、その治具は教示時だけではなく、ロボットシステムの稼働時にも常に固定しておく必要があり、多くのロボットシステムでの兼用は困難である。更に、キャリブレーションの精度を得るためには、大きなサイズの治具を用意しなければならない。
また、直接接触させる方法では、2台のロボット間の距離が離れている場合は、治具の先端がたわまないよう、ロボット先端部の治具の剛性に配慮する必要がある。加えて、教示の問題もある。直接的な接触、間接的な接触のいずれによる手法においても、治具を装着した両ロボットの座標系同士の相対位置を算出するには、3次元空間上の3箇所以上で、2台のロボットを同一の位置に合せ、各々のロボットの位置を記憶させる必要があるが、精度を高めるためには、できるだけ広い範囲に3箇所の教示位置を設け、各箇所に位置合せ治具が正確に一致するようにしてロボットに教示を行なう必要がある。この教示には正確性が要求される上、接触による方法のため、ちょっとした誤操作(ジョグ送りのミス)で治具を他物体にぶつけてしまい破損事故を招く危険性がある。
このように従来の治具を用いた方法は、いずれも、使用者に大きな負担を強いるもので、改善が強く求められていた。本発明は各ロボットに設定されているロボット座標系間の相対位置を求めるキャリブレーションにおけるこれら問題を解消し、使用者の負担が小さく、且つ、高精度なキャリブレーションを実現できるようにすることを企図するものである。
本発明は、キャリブレーション対象とされる2台のロボットの一方に、受光デバイスを含む計測装置を搭載する一方、他方のロボットには特徴部を用意した物体を搭載し、計測装置による特徴部の計測(位置と大きさの計測)と、2台のロボットの相対移動とを組み合わせて、キャリブレーションに必要なデータを取得する手法を導入して、上記問題点を解決したものである。
より具体的に言えば本発明は、第1のロボット座標系が設定された第1のロボットと第2のロボット座標系が設定された第2のロボットを含むロボットシステムに適用され、請求項1の発明は、前記第1のロボット又は該第1のロボットに取り付けられた物体上に搭載された、受光デバイスを含む計測装置と、前記第1のロボットを、少なくとも3つの互いに異なる第1ロボット初期位置に位置決めする第1ロボット位置決め手段と、前記第2のロボットを、前記第1ロボット初期位置の夫々と対応し、互いに異なる第2ロボット初期位置に位置決めする第2ロボット位置決め手段と、前記第2のロボット又は該第2のロボットに取り付けられた物体上にあり、前記受光デバイスの受光面上に結像され得る特徴部を前記受光デバイスで捕らえ、前記受光デバイスの受光面上に結像した特徴部を検出する特徴部検出手段と、該特徴部検出手段による前記特徴部の検出結果に基づいて、前記受光面上における前記特徴部の位置と大きさを予め定めた目標値に一致させるような前記第2のロボットの並進移動量を計算する第2ロボット並進移動量計算手段と、該第2ロボット並進移動量計算手段によって求められた前記第2のロボットの並進移動量に応じて前記第2のロボットを並進移動させる第2ロボット移動手段と、該並進移動後の前記第2のロボットの位置情報を取得し記憶する位置情報記憶手段と、前記第1のロボットが前記第1ロボット位置決め手段によって前記第1ロボット初期位置の夫々に位置決めされた状態において、前記第2のロボットを該第1ロボット初期位置の夫々に対応する前記第2ロボット初期位置から、前記第2ロボット並進移動量計算手段による前記並進移動量の計算結果に従った前記第2ロボット移動手段により並進移動させ、該並進移動が完了する毎に前記位置情報記憶手段によって記憶される前記第2のロボットの位置情報と、前記第1ロボット初期位置の情報とに基づいて、前記第1のロボット座標系と前記第2のロボット座標系の相対位置を算出する相対位置算出手段とを備えたことを特徴としている。
ここで、上記ロボットシステムに、更に、前記第2のロボットの前記並進移動後、前記第2のロボットの位置を取得し記憶する前に、前記受光デバイスの受光面上に結像した特徴部の前記受光面上の位置と大きさが前記目標値に所定の誤差内で一致したことを判定する一致判定手段を具備させることができる(請求項2の発明)。
また、前記一致判定手段により、前記所定の誤差内で一致したと判定できなかった場合、前記第2ロボット位置決め手段により前記第2のロボットを再度第2ロボット初期位置に位置決めする手段を具備させることもできる(請求項3の発明)。
次に、請求項4の発明に係るロボットシステムは、第1のロボット座標系が設定された第1のロボットと第2のロボット座標系が設定された第2のロボットを含み、前記第1のロボット又は該第1のロボットに取り付けられた物体上に搭載された、受光デバイスを含む計測装置と、前記第2のロボットを、少なくとも3つの互いに異なる第2ロボット初期位置に位置決めする第2ロボット位置決め手段と、前記第1のロボットを前記第2ロボット初期位置の夫々と対応し、互いに異なる第1ロボット初期位置に位置決めする第1ロボット位置決め手段と、前記第2のロボット又は該第2のロボットに取り付けられた物体上にあり、前記受光デバイスの受光面上に結像され得る特徴部を前記受光デバイスで捕らえ、前記受光デバイスの受光面上に結像した特徴部を検出する特徴部検出手段と、該特徴部検出手段による前記特徴部の検出結果に基づいて、前記受光面上における前記特徴部の位置と大きさを予め定めた目標値に一致させるような前記第1のロボットの並進移動量を計算する第1ロボット並進移動量計算手段と、該第1ロボット並進移動量計算手段によって求められた前記第1のロボットの並進移動量に応じて前記第1のロボットを並進移動させる第1ロボット移動手段と、該並進移動後の前記第1のロボットの位置情報を取得し記憶する位置情報記憶手段と、前記第2のロボットが前記第2ロボット位置決め手段によって前記第2ロボット初期位置の夫々に位置決めされた状態において、前記第1のロボットを該第2ロボット初期位置の夫々に対応する前記第1ロボット初期位置から、前記第1ロボット並進移動量計算手段による前記並進移動量の計算結果に従った前記第1ロボット移動手段により並進移動させ、該並進移動が完了する毎に前記位置情報記憶手段によって記憶される前記第1のロボットの位置情報と、前記第2ロボット初期位置の情報とに基づいて、前記第1のロボット座標系と前記第2のロボット座標系の相対位置を算出する相対位置算出手段とを備えたことを特徴としている。
ここで、ロボットシステムに、更に、前記第1のロボットの前記並進移動後、前記第1のロボットの位置を取得し記憶する前に、前記受光デバイスの受光面上に結像した特徴部の前記受光面上での位置と大きさが前記目標値所定の誤差内で一致したことを判定する一致判定手段を具備させることができる(請求項5の発明)。また、前記一致判定手段により、前記所定の誤差内で一致したと判定できなかった場合、前記第1ロボット位置決め手段により前記第1のロボットを再度第1ロボット初期位置に位置決めする手段を具備させることもできる(請求項6の発明)。
そして、以上いずれの発明に係るロボットシステムにおいても、前記第1のロボットと前記第2のロボットを別々のロボット制御装置に接続し、両ロボット制御装置間を通信手段で接続することができる(請求項7の発明)。あるいは、前記第1のロボットと前記第2のロボットを同一のロボット制御装置に接続しても良い(請求項8の発明)。また、前記計測装置の搭載は、前記第1のロボットと前記第2のロボットの相対位置を算出する時に一時的に行われるようにしても良い(請求項9の発明)。更に、前記特徴部については、前記第1のロボットと前記第2のロボットの相対位置を算出する時に一時的に設けられても良い(請求項10の発明)。なお、上記計測装置に装備される受光デバイスは、典型的には2次元画像を撮像するカメラ(請求項11の発明)であるが、PSD(Positon Sensing Detector;位置検出型検出器)とすることもできる(請求項12の発明)。
本発明によれば、ロボット間の相対位置を求めるキャリブレーション作業が、非接触で、精度を確保し、且つ、簡単に行えるようになる。その結果、複数のロボットを同時に使用するロボットシステムにおいて、ユーザが負担してきた教示コスト及び治具の使用に関連するコストが軽減される。
以下、図面を順次参照して本発明の実施形態について説明する。先ず図1は、本発明の一実施形態の全体構成の概略を示した図である。同図において、キャリブレーション対象とされるロボットは、ロボットR1とロボットR2で、それぞれロボット制御装置5、6に接続されている。
一方のロボット(ここでは第1のロボット)R1のアーム先端部にはカメラ4が取り付けられている。カメラ4は、例えばCCDカメラであり、撮像により2次元画像を受光面(CCDアレイ面上)で検出する機能を持つ周知の受光デバイスである。なお、後述するように、受光デバイスとしてPSD(Positon Sensing Detector;位置検出型検出器)を用いることもできる。カメラ4は、LCD、CRT等からなるモニタ3を持つ画像処理装置2に接続されている。
他方のロボット(ここでは第2のロボット)R2のアーム先端部には特徴部30が用意されている。この特徴部30は、ロボットR2に元々備わっている特徴部(例えばボルトの頭部、ボルト穴、機体に印刷されているマーク等)であっても良いし、キャリブレーションのためのマーク等を描いた物体を取付けても良い。また、キャリブレーションのために特徴部30をアーム先端部に新たに描いても良い。符号31は特徴部30の位置を代表する点(特徴部代表点)である。後述するように、本実施形態では、特徴部30は円形輪郭を持つマークとし、特徴部代表点31はその円形輪郭の中心点とする。
なお、この物体は後述するキャリブレーションの作業実行中に固定されていれば十分であり、キャリブレーションの開始前や終了後は取り外して全く差し支えない。この点は、ロボットR1に取付けられるカメラ4についても同様で、キャリブレーションの作業実行中に固定されていれば良く、キャリブレーションの開始前や終了後は取り外し自由である。もちろん、キャリブレーション終了後もカメラ4を装着したままとし、本来の作業(ハンドリング等)のために、視覚センサのヘッド部として使用されても良い。また、キャリブレーションのために特徴部30を描いた場合には、これをキャリブレーション終了後に消しても構わない。
ロボットR1には、ロボットベースに固定されたロボット座標系Σb と、ツール取付面に固定されたメカニカルインターフェイス座標系Σf (図1では図示省略;図5を参照)が設定されており、ロボット制御装置5内では、キャリブレーションを実行する以前から、随時、このメカニカルインターフェイス座標系の原点の位置・姿勢(現在位置)を知ることができるようになっている。
同様に、ロボットR2には、ロボットベースに固定されたロボット座標系Σb'と、ツール取付面に固定されたメカニカルインターフェイス座標系Σf'(図1では図示省略;図5を参照)が設定されており、ロボット制御装置6内では、キャリブレーションを実行する以前から、随時、メカニカルインターフェイス座標系の原点の位置・姿勢(現在位置)を知ることができるようになっている。
ロボット制御装置5は図2に示したような周知のブロック構成を有している。即ち、メインCPU(以下、単にCPUと言う。)11に接続されたバス17に、RAM、ROM、不揮発性メモリ等からなるメモリ12、教示操作盤用インターフェイス13、通信インターフェイス14、サーボ制御器15、外部装置用の入出力インターフェイス16が並列に接続されている。
サーボ制御部15のサーボ制御器#1〜#n(nはロボットR1の軸数で、ここではn=6とする。)は、ロボットR1の制御のための演算処理(軌道計画作成とそれに基づく補間、逆変換など)を経て作成された移動指令を受け、各軸に付属したパルスコーダ(図示省略)から受け取るフィードバック信号と併せて各サーボアンプにトルク指令を出力する。
各サーボアンプA1 〜An は、各トルク指令に基づいて各軸のサーボモータに電流を供給してそれらを駆動する。通信インターフェイス14は、画像処理装置2及び第2のロボットR2のロボット制御装置6(図1参照)の通信インターフェイス(図示省略)に通信回線を介してそれぞれ接続されており、これら通信回線を介して、後述する計測に関連する指令、計測結果データ等の授受、各ロボットR1、R2の現在位置データ等が画像処理装置2及びロボット制御装置6との間で行なわれるようになっている。
ロボット制御装置6の構成と機能は、ロボット制御装置5と同様なので詳細説明は省く。但し、教示操作盤用インターフェイスと教示操作盤はロボット制御装置6では省略されている。即ち、教示操作盤用インターフェイス13に接続される教示操作盤18は、ロボットR1、R2兼用のもので、オペレータは、この教示操作盤18のマニュアル操作を通して、各ロボットR1、R2の動作プログラム(協調動作の動作プログラムを必要に応じて含む)の作成、修正、登録、あるいは各種パラメータの設定の他、教示された動作プログラムの再生運転、ジョグ送り等を実行する。ロボットR1、R2及びロボット制御装置5、6の基本機能を支えるシステムプログラムは、メモリ12のROMに格納される。
また、アプリケーションに応じて教示されるロボットの動作プログラム(例えばワークハンドリングのプログラム)並びに関連設定データは、ロボット制御装置5のメモリ12の不揮発性メモリ及びロボット制御装置6の同様のメモリ(図示省略)に適宜振り分けて格納されている。
また、後述する諸処理(キャリブレーションに関連したロボット移動及びそのための画像処理装置との通信のための処理)のためのプログラム、パラメータ等のデータもメモリ12の不揮発性メモリに格納される。メモリ12のRAMは、メインCPU11が行なう各種演算処理におけるデータの一時記憶の記憶領域に使用される。ロボット制御装置6内のメモリのRAMもロボット制御装置6のメインCPU(図示省略)が行なう各種演算処理におけるデータの一時記憶の記憶領域に使用される。
画像処理装置2は、図3に示した周知のブロック構成を有している。即ち、画像処理装置2はマイクロプロセッサからなるCPU20を有しており、CPU20には、バスライン50を介してROM21、画像処理プロセッサ22、カメラインターフェイス23、モニタインターフェイス24、入出力機器(I/O)25、フレームメモリ(画像メモリ)26、不揮発性メモリ27、RAM28及び通信インターフェイス29が各々接続されている。
カメラインターフェイス23には、撮像手段であるカメラ(ここではカメラ4;図21参照)が接続されており、カメラインターフェイス23を介して撮影指令が送られると、カメラ4に設定された電子シャッタ機能により撮影が実行され、カメラインターフェイス23を介して映像信号がグレイスケール信号の形でフレームメモリ26に格納される。モニタインターフェイス24にはモニタ(ここではモニタ3;図1参照)が接続されており、カメラが撮影中の画像、フレームメモリ26に格納された過去の画像、画像処理プロセッサ22による処理を受けた画像等が必要に応じて表示される。
以下、上記した構成と機能を前提に、本発明の技術思想を適用して、第1のロボットR1に設定されているロボット座標系Σb とロボットR2に設定されているロボット座標系Σb'の相対的な位置姿勢関係を求める手順について説明する。なお、受光デバイスは、画像処理装置2に接続されたカメラ(CCDカメラ)として説明するが、上記の通り、適宜、他の受光デバイスとそれに適合した信号処理装置に置き換えても良いことは言うまでもない。
先ず、必要な準備を図4のフローチャートに示した手順で実行する。各ステップの要点は下記の通りである。
ステップF1;
ロボットR1、R2の一方あるいは両方を移動させ、「目標値設定用基準状態」とする。ここで、目標値設定用基準状態は、カメラ4の視野で特徴部30を適当な大きさで捕らえ得る状態であれば、一般に、ロボットR1、R2の位置は任意に定めて差し支えなく、例えば、教示操作盤18を使ってロボットR1、R2の一方あるいは両方をジョグ移動させ、カメラ4が特徴部30と適当な距離を隔ててほぼ正対する状態(図1参照)で位置決めし、それを「目標値設定用基準状態」とする。
図5は、目標値設定用基準状態における特徴部30の位置とカメラの搭載位置との関係を示している。図中40は、カメラ4のレンズ中心と特徴部代表点31を結ぶ直線(視線)を表わしている。また、Vf は、ロボットR1のツール取付面に固定されたメカニカルインターフェイス座標系Σf から特徴部代表点31を見た位置(行列)を表わし、Sf'は、ロボットR2のツール取付面に固定されたメカニカルインターフェイス座標系Σf'から特徴部代表点31を見た位置(行列)を表わしている。
ステップF2;
目標値設定用基準状態で、カメラ4による撮像を実行し、特徴部30の画面上での位置を含む2次元特徴量を検出する。本実施形態では、特徴部30の受光面面上での位置(特徴部代表点31の受光面面上での位置)と大きさを検出し、「目標値」として記憶(設定)する。目標値設定用基準状態における特徴部30の画像の例を図6に示した。ここでは、円形の特徴部30とカメラ4がほぼ正対する状態を目標値設定用基準状態に定めているので、画面のほぼ中央に円形の像30cが映ることになる。31cはその中心点である。なお、一般には円形の特徴部30をカメラ4が斜めから見る可能性を考慮して、「特徴部30の受光面上での大きさ」は、「特徴部30の受光面上での最大径(楕円の長軸に沿った径)」で代表させるものとする。
ステップF3;
第2のロボットR2に取り付けられた特徴部30について、カメラ4及び画像処理装置2を用いて、ロボットR2のツール取付面に固定されたメカニカルインターフェイス座標系Σf'から見た位置、即ち、特徴部代表点31を見た位置(行列)Sf'を計測する。この計測には、特願2004−113451号の明細書/図面に記載した手法が利用でできる。その要点については後述する。
ステップF4;
第2のロボットR2に取り付けられた特徴部30について、カメラ4及び画像処理装置2を用いて、ロボットR1のロボット座標系Σb から見た位置、即ち、特徴部代表点31を見た位置(行列)を計測し、結果を記憶する。この計測には、特願2004−特願2004−9848号の明細書/図面に記載した手法が利用できる。その要点については後述する。
ステップF5;
ステップF4の結果と、同結果を得た時のロボットR1の現在位置(Σb 上でのΣf の位置)に基づいて、ロボットR1のツール取付面に固定されたメカニカルインターフェイス座標系Σf から見た特徴部30の位置、即ち、特徴部代表点31を見た位置(行列)Vf を求めて記憶し、準備作業を終了する。
以上の準備の下で、図7のフローチャートに示した手順で実行する。各ステップの要点は下記の通りである。
ステップG1;第1のロボットR1と第2のロボットR2を第1の初期状態の各位置に移動させる。第1の初期状態の各位置(ロボットR1の第1の初期位置とロボットR2の第1の初期位置)は、後述する第2、第3の初期位置と同様、カメラ4の視野で特徴部30を適当な大きさで捕らえ得る初期状態が得られるのであれば、一般には、3次元空間内に任意に定めて差し支えない。一般には初期状態ではカメラ4と特徴部30は前述した目標値に対応する位置(本実施形態では受光面中央付近;図6参照)からややはずれた位置になる。ここでは、カメラ4による撮像でモニタ3に図8中に符号30aで示したような特徴部(画像)位置が得られる状態が第1の初期状態であるものとする。符号31aは30aの中心位置(特徴部代表点の位置)である。初期状態への移動には、例えば教示操作盤18を用いたジョグ移動が利用できる。
ステップG2;第1の初期状態から、前述した目標値が得られるように第1のロボットR1を移動させる。図8中の符号30bは、目標値に対応する特徴部30の画像を表わしている。符号31bは30bの中心位置(特徴部代表点の位置)である。
この移動方法は比較的簡単である。例えば、最初にΣf のX,Y,Zの各方向について、それぞれ一定量動かしてみて、それぞれ画像上でどの方向に動き、どれだけ大きさが変化したかを観察し、第1のロボットR1(Σf )の3次元空間内での移動量と、画像上での目標値変化(画像上での移動量の変化と大きさの変化)の関係を導き、ロボットR1を移動させれば良い。
このような方法自体は周知であるから詳細説明は省略し、特徴部30の画像上の位置と大きさを目標値に一致させるまでのフローチャートを図9に示した。まず最初に撮像し、特徴部を検出する(ステップS1)。検出結果が位置、大きさにおいて、目標値に対して予め設定した誤差範囲内であるかチェックし(ステップS2)、誤差範囲内であれば処理を終了する。例えば、位置、大きさについての目標値からのずれがいずれも0.1%以下であれば、誤差範囲内とする。
誤差範囲内でない場合は、現在の検出結果を元に第1のロボットR1の移動量を決定する(ステップS3)。なお、この移動はΣf の姿勢を変えない並進移動として、その移動量を決定する。次いで、その決定された並進移動を実行し(ステップS4)、ステップS1へ戻る。以上の手順を繰り返すことで、最終的に目標値に検出結果を合わせることができる。
ステップG3;目標値が達成されたならば、第1のロボットR1と第2のロボットR2のいずれについても現在位置を取り込み、記憶する。これらをP1,Q1で表わす。
ステップG4;上記したステップG1〜ステップG3を、ステップG1における初期状態の各位置を変えながら、N回(N≧3)繰り返す。例えばN=3の場合、ロボットR1について3つの初期位置、ロボットR2について3つの初期位置をそれぞれ選び、3種類の初期状態を造れば良い。但し、ロボットR1についての3つの初期位置、およびロボットR2についての3つの初期位置は、いずれも一直線上には並ばないようにする。
ステップG5;N回の繰り返しによって得られたロボットR1の位置P1 ・・・PN とロボットR2の位置Q1 ・・・QN に基づいて、Σb からΣb'への座標変換を表わす行列Tを求める。そのために解くべき方程式は、次のように決まる。
即ち、上記の各位置のセットPi,Qi (i=1〜N)について、下記の式が成立するので、これらを連立方程式として解くことで、Tが得られることになる。
T*Qi *Sf'=Pi *Vf
ここで、Sf'及びVf のデータは前述の準備作業で記憶済みのものを使用する。
なお、このような連立方程式の解法は周知であり、ここでは詳細には触れない。また、ここでは目標値実現へ向けたロボット移動は、特徴部30を設けたロボットR1の移動としたが、カメラを移動するか計測対象を移動するかは相対的なものであることから、ロボットR2の移動で目標値を達成する同様の手法でTを算出することが可能であることは特に説明を要しないであろう。また、ここまでは別々の制御装置を通信回線で接続する構成で説明しているが、図10に符号1で示したように、ロボット制御装置を1台とし、第1のロボットと第2のロボットの双方を制御することも可能である。この場合は、当然、2台のロボット制御装置の場合では必要であった、ロボット制御装置間の通信回線は不要となる。なお、図10においては、カメラ4及びロボット制御装置1に接続される画像処理装置の描示を省略した。
最後に、前述した、「ロボットR2のメカニカルインターフェイス座標系Σf'から特徴部代表点31を見た位置(行列)Sf'」と、「ロボットR1のロボット座標系Σb から特徴部代表点31を見た位置(行列)Vf 」の求め方の要点を説明する。先ず、Sf'の求め方について述べる。
図5中には、カメラ4の視線40が記されている。これはカメラ4の代表点(例えば受光面の中心)から特徴部代表点31に向かう直線である。視線40に関連して、座標系Σv が図5中に記されている。即ち、座標系Σv は、カメラ4の代表点(例えば受光面中心)から特徴部代表点31に向かう視線40を表わす座標系であり、原点が視線40上にあり、1つの座標軸(例えばZ軸)が視線40に一致しているものとする。また、既述の通り、Σf はロボットR1のツール取付面に固定されたメカニカルインターフェイス座標系、Σf'はロボットR2のツール取付面に固定されたメカニカルインターフェイス座標系である。
Σf'から見た特徴部代表点31の位置Sf'を求める手順の概略は、図11のフローチャートに示されている。なお、このフローチャートにおいて、「ロボット」はロボットR2を指すものとする。
[ステップT1、T2について]
上述した構成を用いて特徴部代表点31の相対位置を求める場合、「視線40を求めること」が基本となる。一般に、視線を求めるためにはいわゆるカメラキャリブレーションの手法が知られているが、ここではそのような手法は必要としない。即ち、カメラキャリブレーションの手法に頼らずに視線40に関する情報を得るために、特徴部代表点31の受光面上での位置を受光面上の所定箇所に向かわせる(到達させる)ようにロボットを移動させる処理が基本となる。ここで、「受光面上の所定箇所」は具体的には例えば「受光面上の中心点(幾何学的な重心位置)」の如く、「所定の点」として予め定義されるので、以下、この処理を「所定点移動処理」と呼ぶことにする。
先ずステップT1では、カメラ4が特徴部代表点31を視野に収められる適当な初期位置へロボットR2を移動させる(初期位置にロボットを位置決め)。次いで、下記の如く所定点移動処理(ステップT2)を実行する。即ち、受光デバイス(カメラ、PSD等)で捉えられた特徴部代表点31が「受光面上の所定点」に向かうような方向に、ツール30を移動させ(ロボット移動を利用)、実際に、受光面上において所定の誤差内で特徴部代表点31を所定点に一致させる処理を実行する。
「受光面上の所定点」として、ここでは「受光面(CCDアレイ)の中心点」を採用する。図12は、特徴部代表点31を受光面の中心点に移動させる様子をモニタ画面を用いて示した図である。同図において、モニタ3の画面は、点Mがカメラ4の受光面の中心に対応するように設定されている。今、ロボットR2が適当な初期位置に位置決めされた状態で、特徴部30、特徴部代表点31の像30d、31dが図示したような位置に写っているものとする。
この場合、像31dが画面上で点Mに向かって斜め左下方向に移動する方向にロボットR2を移動させれば良い訳である。これは、前述した目標値実現のためのロボット移動と同様の移動であり、比較的簡単である。具体的には、例えばメカニカルインターフェイス座標系Σf'のXY平面内で任意のいくつかの方向(複数方向)にロボットR2を動かしてみて、その都度特徴部代表点の像31dが画像上でどの方向に移動したかを観察し、ロボットR2の移動方向と画像上での特徴部代表点の移動方向の関係、及びロボットの移動量と画像上での特徴部代表点の移動量の関係を求める手順を実行すれば良い。
このような手法により移動方向及び移動量比を求めること自体は周知であるから、詳細説明は省略する。また、以下の説明ではここまでの準備は済んでいるものとする。カメラ4によって撮像された特徴部代表点(像31d)を画像上の所定点Mに一致させる処理は前述した図9のフローチャートに示したものと同様であるから極く簡単に記す。
先ず、特徴部30の撮像を行ない、特徴部代表点31の画像上での位置31dを画像処理装置2内で求める。次いで、その位置が画像上での所定点Mに予め設定した誤差範囲内で一致しているか判断する。誤差範囲内で一致(点Mに像31eが一致)していれば、所定点移動処理を終了する。誤差範囲内でなければ、像31dを画像上で所定点M(像31e)に移動させるロボット並進移動指令(座標系Σf'の姿勢は一定)を算出する。それに基づいてロボットR2を移動させ、移動が完了したら一致度を再チェックする。以下、同様に、「一致」の判断が出されるまで、上述したサイクルを繰り返す。
[ステップT3について]
以上が「所定点移動処理」であり、この処理が完了した時点、即ち、図12中に符号31dで示した特徴部代表点像が写っているロボットの初期位置から、上記所定点移動処理により、画像中心Mに符号31eで示した特徴部代表点像が得られるロボット位置に移動が完了したら、ロボット座標系Σb'上での座標系Σf'の位置Qf1を取得し、記憶しておく。
[ステップT4について]
次に、視線40の方向を求める処理に移る。視線40は、画像中心に特徴部代表点像が写っている状態において、画像中心に相当するカメラ撮像面上の点Mと特徴部代表点31を結ぶ直線である。ここでは、この直線がロボットのメカニカルインターフェイスを表わす座標系Σf' に対して、どのような方向を向いているか求める。そのために先ずステップT4の処理によりロボットR2を並進移動させる。図13はこの処理に関連する説明図で、同図において、座標系Σv1は視線40の方向を求めるために考える座標系であり、次の条件を満たすものとする。
(I)座標系Σf' と座標系Σv1とは同一の原点を持つ。
(II)座標系Σv1のZ軸方向は視線40の方向と一致する。
この座標系Σv1のZ軸が、所定点移動処理完了時に座標系Σf'上でどの方向を向いているかを求める。より具体的には、座標系Σf' 上での座標系Σv1の姿勢を表わすオイラー角(W、P、R)の内の(W、P)成分を求めることを考える。
そのために、先ず実行するのがこのステップT4の並進移動である。この移動では、ツールの姿勢を変えずに特徴部代表点31とカメラの距離が異なる位置へロボットを並進移動させる(矢印A参照)。図13中における符号30a、30bは移動前、移動後のツールを表わしている。
[ステップT5、T6について]
ステップT4による並進移動を行なうと、当然、一般には特徴部代表点31の像は再度画像中心(受光面の中心)Mから外れる。そこで、再度、所定点移動処理を実行する(ステップT5)。所定点移動処理についてはステップT2で説明した通りで、特徴部代表点31の像は再び画像中心(受光面の中心)Mから誤差範囲内の位置に戻る。ステップT5の完了後に、ロボット座標系Σb'上での座標系Σf'の位置Qf2を取得し、記憶する(ステップT6)。
[ステップT7について]
上記ステップT3で得たQf1と上記ステップT6で得たQf2とを結ぶ直線は、視線40の方向を表わしている。ステップT4のロボット移動前のΣf'上で見たQf1からQf2への相対移動量をdX、dY、dZとすると、座標系Σf' 上での座標系Σv1の姿勢を表わすオイラー角(W、P、R)は下記の式で計算できる。これにより、座標系Σv1が定められたことになり、そのZ軸方向が視線40の方向を表わしている。
Figure 0003946711
[ステップT8、T9、T10、T11について]
ステップT7で視線40の方向が求められたので、次に視線40の位置を求める処理に進む。図14(a)、(b)はこの処理に関連する説明図で、図14(b)中、座標系Σv2は視線40の位置と方向を表わす座標系で、図5において座標系Σv として表記されたものに対応し、次の条件を満たすものとする。
(III)座標系Σv2は視線40上に原点を持つ。
(IV)座標系Σv2のZ軸方向は視線40の方向と一致する。
既に視線40の方向が座標系Σv1(図14(a)参照)のZ軸として求められており、座標系Σv2のZ軸方向は座標系Σv1のZ軸方向と同一である。原点位置を求めるために、Qf1を座標系Σv1のZ軸周りで180度回転させた位置へロボットを移動させ(ステップT8)、次いで再び所定点移動処理を実行する(ステップT9)。図14(a)はこの回転移動(矢印B参照)と、所定点移動処理による移動が完了した状態を併記しており、図14(b)には、座標系Σv2の原点位置が示されている。座標系Σv2の原点位置は、回転移動前後の座標系Σf' の中点で与えられる。
そこで、回転移動完了後にロボット位置Qf3を取得し、記憶する(ステップT10)。そして、このQf1とQf3の中点を座標系Σv2の原点位置として求める。
そして、ステップT8によるロボット移動前の座標系Σf'上で見たQf1からQf3への相対移動量をdX, dY, dZとして、座標系Σf'上で見た座標系Σv2の原点(X、Y、Z)を下記の式で求める。座標系Σv2の姿勢は座標系Σv1の姿勢と同一であるから、結局、ステップT8によるロボット移動前の座標系Σf'上で見た座標系Σv2の位置・姿勢が求められることになる(ステップT11)。以後これを表わす行列をVで表わすことにする。
Figure 0003946711
[ステップT12、T13、T14、T15について]
最後に、視線40の位置・姿勢を利用して、特徴部代表点の位置を求める処理を実行する。図15はこれに関連する説明図である。Qf1を座標系Σv2のY軸周りに傾けた位置にロボットを傾斜移動させる(ステップT12)。そして再度所定点移動処理を実行する(ステップT13)。図15は、この処理完了後の状態がツール30bとともに示されている(座標系Σv2は座標系Σv2'に移動)。なお、符号30aは、傾斜移動前の特徴部を表わしている。ステップT13完了後にロボット位置Qf4を取得し(ステップT14)、記憶する。
ここで、ロボットがQf4 に位置決めされている時のΣf'から見たΣv2'のZ軸はVで表され、ロボットがQf1 に位置決めされている時のΣv2のZ軸は、
Qf4−1・Qf1・V
で表される。両者のZ軸の交点を求めれば、それがロボット位置Qf4における特徴部代表点31の位置(座標系Σb'上での位置)となる。これをロボット位置Qf4を用いてSf'に変換すればそれが求めるものである(ステップT15)。
次に、Vf の求め方について述べる。Σf から見た特徴部代表点31の位置Vf を求める手順の概略は、図16のフローチャートに示されている。なお、このフローチャートにおいて、「ロボット」はロボットR1を指すものとする。また、便宜上、記号を一部図11のフローチャートと共用しているが、図16のフローチャート内及びその説明中でのみ有効なものである。
[ステップT1’、T2’について]
所定点移動処理は、前述したステップT1、T2と同様のプロセスで行なうものなので詳細説明は省略するが、要するに、受光デバイス(カメラ、PSD等)で捉えられた特徴部代表点31が「受光面上の所定点」に向かうような方向に、受光デバイスを移動させ、実際に、受光面上において所定の誤差内で特徴部代表点31を所定点に一致させる処理のことである。「受光面上の所定点」として、ここでも「受光面(CCDアレイ)の中心点」を採用する。
[ステップT3’について]
所定点移動処理が完了した時点、即ち、画像中心に特徴部代表点像が得られるロボット位置に移動が完了したら、ロボット座標系Σb 上での座標系Σf の位置Qf1を取得し、記憶しておく。
[ステップT4’について]
次に、視線40の方向を求める処理に移る。視線40は、画像中心に特徴部代表点像が写っている状態において、画像中心に相当するカメラ撮像面上の点Mと特徴部代表点31を結ぶ直線である。ここでは、この直線がロボットR1のメカニカルインターフェイスを表わす座標系Σf に対して、どのような方向を向いているか求める。そのために先ずステップT4’の処理によりロボットR1を並進移動させる。
図17はこの処理に関連する説明図で、同図において、座標系Σv1は視線40の方向を求めるために考える座標系であり、次の条件を満たすものとする。
(I)座標系Σf と座標系Σv1とは同一の原点を持つ。
(II)座標系Σv1のZ軸方向は視線40の方向と一致する。
この座標系Σv1のZ軸が、所定点移動処理完了時に座標系Σf 上でどの方向を向いているかを求める。より具体的には、座標系Σf 上での座標系Σv1の姿勢を表わすオイラー角(W、P、R)の内の(W、P)成分を求めることを考える。
そのために、先ず実行するのがこのステップT4’の並進移動である。この移動では、カメラの姿勢を変えずにカメラと特徴部代表点31の距離が異なる位置へロボットR1を並進移動させる(矢印A参照)。図17中における符号4a、4bは移動前、移動後のカメラを表わしている。
[ステップT5’、T6’について]
ステップT4’による並進移動を行なうと、当然、一般には特徴部代表点31の像は再度画像中心(受光面の中心)から外れる。そこで、再度、所定点移動処理を実行する(ステップT5’)。所定点移動処理については説明済みであり、特徴部代表点31の像は再び画像中心(受光面の中心)Mから誤差範囲内の位置に戻る。ステップT5’の完了後に、ロボット座標系Σb 上での座標系Σf の位置Qf2を取得し、記憶する(ステップT6’)。
[ステップT7’について]
上記ステップT3’で得たQf1と上記ステップT6’で得たQf2とを結ぶ直線は、視線40の方向を表わしている。ステップT4’のロボットR1移動前のΣf 上で見たQf1からQf2への相対移動量をdX、dY、dZとすると、座標系Σf 上での座標系Σv1の姿勢を表わすオイラー角(W、P、R)は下記の式で計算できる。これにより、座標系Σv1が定められたことになり、そのZ軸方向が視線40の方向を表わしている。
Figure 0003946711
[ステップT8’、T9’、T10’、T11’について]
ステップT7’で視線40の方向が求められたので、次に視線40の位置を求める処理に進む。図18(a)、(b)はこの処理に関連する説明図で、図18(b)中、座標系Σv2は視線40の位置と方向を表わす座標系で、図5において座標系Σv として表記されたものに対応し、次の条件を満たすものとする。
(III)座標系Σv2は視線40上に原点を持つ。
(IV)座標系Σv2のZ軸方向は視線40の方向と一致する。
既に視線40の方向が座標系Σv1(図18(a)参照)の姿勢でZ軸として求められており、座標系Σv2のZ軸方向は座標系Σv1のZ軸方向と同一である。原点位置を求めるために、Qf1 を座標系Σv1のZ軸周りで180度回転させた位置へロボットR1を移動させ(ステップT8’)、次いで再び所定点移動処理を実行する(ステップT9’)。図18(a)はこの回転移動(矢印B参照)と、所定点移動処理による移動が完了した状態を併記しており、図18(b)には、座標系Σv2の原点位置が示されている。座標系Σv2の原点位置は、回転移動前後の座標系Σf の中点で与えられる。
そこで、回転移動完了後にロボットR1の位置Qf3を取得し、記憶する(ステップT10’)。そして、このQf1とQf3 の中点を座標系Σv2 の原点位置として求める。
ステップT8’によるロボットR1移動前の座標系Σf 上で見たQf1 からQf3 への相対移動量をdX, dY, dZとして、座標系Σf 上で見た座標系Σv2の原点(X、 Y、Z)を下記の式で求める。座標系Σv2の姿勢は座標系Σv1の姿勢と同一であるから、結局、ステップT8’によるロボットR1移動前の座標系Σf 上で見た座標系Σv2の位置・姿勢が求められることになる(ステップT11’)。これを表わす行列をVで表わす。
Figure 0003946711
[ステップT12’、T13’、T14’、T15’について]
最後に、視線40の位置・姿勢を利用して、特徴部代表点の3次元位置を求める処理を実行する。図19はこれに関連する説明図である。Qf1を座標系Σv2のY軸周りに傾けた位置にロボットR1を傾斜移動させる(ステップT12’)。
そして再度所定点移動処理を実行する(ステップT13’)。図19は、この処理完了後の状態が視線40bとともに示されている(座標系Σv2は座標系Σv2' に移動)。なお、視線40aは、傾斜移動前の視線を表わしている。ステップT13’完了後にロボットR1の位置Qf4を取得し(ステップT14’)、記憶する。
ここで、ロボットR1がQf1に位置決めされている時(ステップT3’参照)のΣf 上で見た視線はVで表わされる一方、ロボットがQf4に位置決めされている時の視線は、
Qf1−1・Qf4・V
で表わされる。これらの式から、両者のZ軸の交点を求めれば、それが特徴部代表点(被測定ターゲット)31の3次元位置となる。これをロボット位置を用いてVf に変換すればそれが求めるものである(ステップT15’)。
本発明の実施形態における全体構成の概略を示した図である。 実施形態で用いるロボット制御装置のブロック構成の例を示した図である。 実施形態で用いる画像処理装置のブロック構成の例を示した図である。 実施形態で実行される準備の手順の概要を記したフローチャートである。 目標値設定用基準状態における特徴部の位置とカメラの搭載位置との関係を示した図である。 目標値設定用基準状態における特徴部の画像の例を表わした図である。 実施形態で実行されるキャリブレーションの手順を説明するフローチャートである。 実施形態で特徴部の位置と大きさを画像上で目標値に一致させる移動について説明する図である。 実施形態で特徴部の位置と大きさを画像上で目標値に一致させる移動の手順について説明するフローチャートである。 ロボット制御装置を一台としした変形例を示した図である。 Σf'から見た特徴部代表点の位置Sf'を求める手順の概略を記したフローチャートである。 特徴部代表点を受光デバイスの受光面の中心点に移動させる様子をモニタ画面を用いて示した図である。 ステップT4の処理に関連する説明図である。 ステップT8の処理に関連する説明図で、(a)は回転移動による座標系Σv1の移動の様子を表わし、(b)は回転移動と座標系Σv2の位置の関係を表わしている。 Sf'を求める処理に関連する説明図である。 Σf から見た特徴部代表点の位置Vf を求める手順の概略を記したフローチャートである。 ステップT4’の処理に関連する説明図である。 ステップT8’の処理に関連する説明図で、(a)は回転移動による座標系Σv1の移動の様子を表わし、(b)は回転移動と座標系Σv2の位置の関係を表わしている。 特徴部代表点の3次元位置を求める処理に関連する説明図である。
符号の説明
1、5、6 ロボット制御装置
2 画像処理装置
3 モニタ
4 カメラ
11 メインCPU(ロボット制御装置内)
12 メモリ
13 教示操作盤用インターフェイス
14 通信インターフェイス(ロボット制御装置側)
15 サーボ制御器
16 外部装置用の入出力インターフェース
17、50 バス
18 教示操作盤
20 CPU(画像処理装置内)
21 ROM
22 画像処理プロセッサ
23 カメラインターフェイス
24 モニタインターフェイス
25 入力機器
26 フレームメモリ
27 不揮発性メモリ
28 RAM
29 通信インターフェイス(画像処理装置側)
30 特徴部(マーク)
30a、30b、30c、30d、30e 特徴部の像(または移動前後の位置)
31 特徴部代表点
31a、31b、31c、31d、31e 特徴部代表点の像
32 ツール取付面
40、40a、40b 視線
R1 第1のロボット
R2 第2のロボット

Claims (12)

  1. 第1のロボット座標系が設定された第1のロボットと第2のロボット座標系が設定された第2のロボットを含むロボットシステムであって、
    前記第1のロボット又は該第1のロボットに取り付けられた物体上に搭載された、受光デバイスを含む計測装置と、
    前記第1のロボットを、少なくとも3つの互いに異なる第1ロボット初期位置に位置決めする第1ロボット位置決め手段と、
    前記第2のロボットを、前記第1ロボット初期位置の夫々と対応し、互いに異なる第2ロボット初期位置に位置決めする第2ロボット位置決め手段と、
    前記第2のロボット又は該第2のロボットに取り付けられた物体上にあり、前記受光デバイスの受光面上に結像され得る特徴部を前記受光デバイスで捕らえ、前記受光デバイスの受光面上に結像した特徴部を検出する特徴部検出手段と、
    該特徴部検出手段による前記特徴部の検出結果に基づいて、前記受光面上における前記特徴部の位置と大きさを予め定めた目標値に一致させるような前記第2のロボットの並進移動量を計算する第2ロボット並進移動量計算手段と、
    第2ロボット並進移動量計算手段によって求められた前記第2のロボットの並進移動量に応じて前記第2のロボットを並進移動させる第2ロボット移動手段と、
    並進移動後の前記第2のロボットの位置情報を取得し記憶する位置情報記憶手段と、
    前記第1のロボットが前記第1ロボット位置決め手段によって前記第1ロボット初期位置の夫々に位置決めされた状態において、前記第2のロボットを該第1ロボット初期位置の夫々に対応する前記第2ロボット初期位置から、前記第2ロボット並進移動量計算手段による前記並進移動量の計算結果に従った前記第2ロボット移動手段により並進移動させ、該並進移動が完了する毎に前記位置情報記憶手段によって記憶される前記第2のロボットの位置情報と、前記第1ロボット初期位置の情報とに基づいて、前記第1のロボット座標系と前記第2のロボット座標系の相対位置を算出する相対位置算出手段とを備えたことを特徴とする、ロボットシステム。
  2. 前記第2のロボットの前記並進移動後、前記第2のロボットの位置を取得し記憶する前に、前記受光デバイスの受光面上に結像した特徴部の前記受光面上の位置と大きさが前記目標値に所定の誤差内で一致したことを判定する一致判定手段を備えたことを特徴とする、請求項1に記載のロボットシステム。
  3. 前記一致判定手段により、前記所定の誤差内で一致したと判定できなかった場合、前記第2ロボット位置決め手段により前記第2のロボットを再度第2ロボット初期位置に位置決めする手段を備えたことを特徴とする、請求項2に記載のロボットシステム。
  4. 第1のロボット座標系が設定された第1のロボットと第2のロボット座標系が設定された第2のロボットを含むロボットシステムであって、
    前記第1のロボット又は該第1のロボットに取り付けられた物体上に搭載された、受光デバイスを含む計測装置と、
    前記第2のロボットを、少なくとも3つの互いに異なる第2ロボット初期位置に位置決めする第2ロボット位置決め手段と、
    前記第1のロボットを前記第2ロボット初期位置の夫々と対応し、互いに異なる第1ロボット初期位置に位置決めする第1ロボット位置決め手段と、
    前記第2のロボット又は該第2のロボットに取り付けられた物体上にあり、前記受光デバイスの受光面上に結像され得る特徴部を前記受光デバイスで捕らえ、前記受光デバイスの受光面上に結像した特徴部を検出する特徴部検出手段と、
    該特徴部検出手段による前記特徴部の検出結果に基づいて、前記受光面上における前記特徴部の位置と大きさを予め定めた目標値に一致させるような前記第1のロボットの並進移動量を計算する第1ロボット並進移動量計算手段と、
    第1ロボット並進移動量計算手段によって求められた前記第1のロボットの並進移動量に応じて前記第1のロボットを並進移動させる第1ロボット移動手段と、
    並進移動後の前記第1のロボットの位置情報を取得し記憶する位置情報記憶手段と、
    前記第2のロボットが前記第2ロボット位置決め手段によって前記第2ロボット初期位置の夫々に位置決めされた状態において、前記第1のロボットを該第2ロボット初期位置の夫々に対応する前記第1ロボット初期位置から、前記第1ロボット並進移動量計算手段による前記並進移動量の計算結果に従った前記第1ロボット移動手段により並進移動させ、該並進移動が完了する毎に前記位置情報記憶手段によって記憶される前記第1のロボットの位置情報と、前記第2ロボット初期位置の情報とに基づいて、前記第1のロボット座標系と前記第2のロボット座標系の相対位置を算出する相対位置算出手段とを備えたことを特徴とする、ロボットシステム。
  5. 前記第1のロボットの前記並進移動後、前記第1のロボットの位置を取得し記憶する前に、前記受光デバイスの受光面上に結像した特徴部の前記受光面上での位置と大きさが前記目標値に所定の誤差内で一致したことを判定する一致判定手段を備えたことを特徴とする、請求項4に記載のロボットシステム。
  6. 前記一致判定手段により、前記所定の誤差内で一致したと判定できなかった場合、前記第1ロボット位置決め手段により前記第1のロボットを再度第1ロボット初期位置に位置決めする手段を備えたことを特徴とする、請求項5に記載のロボットシステム。
  7. 前記第1のロボットは第1のロボット制御装置に接続される一方、前記第2のロボットは、前記第1のロボット制御装置とは別の第2のロボット制御装置に接続されており、
    前記第1のロボット制御装置と前記第2のロボット制御装置とは通信手段で接続されていることを特徴とする、請求項1乃至請求項6のいずれか1項に記載のロボットシステム。
  8. 前記第1のロボットと前記第2のロボットは、同一のロボット制御装置に接続されていることを特徴とする、請求項1乃至請求項6のいずれか1項に記載のロボットシステム。
  9. 前記計測装置の搭載は、前記第1のロボットと前記第2のロボットの相対位置を算出する時に一時的に行われることを特徴とする、請求項1乃至請求項8のいずれか1項に記載されたロボットシステム。
  10. 前記特徴部は、前記第1のロボットと前記第2のロボットの相対位置を算出する時に一時的に設けられることを特徴とする、請求項1乃至請求項8のいずれか1項に記載されたロボットシステム。
  11. 前記受光デバイスが、2次元画像を撮像するカメラであることを特徴とする、請求項1乃至請求項10のいずれか1項に記載されたロボットシステム。
  12. 前記受光デバイスが、位置検出型検出器であることを特徴とする、請求項1乃至請求項10のいずれか1項に記載されたロボットシステム。
JP2004165075A 2004-06-02 2004-06-02 ロボットシステム Active JP3946711B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004165075A JP3946711B2 (ja) 2004-06-02 2004-06-02 ロボットシステム
DE602005010630T DE602005010630D1 (de) 2004-06-02 2005-05-31 Robotersystem bestehend aus mehreren Robotern mit Mitteln zur Kalibrierung ihrer relativen Lage
EP05011702A EP1607194B1 (en) 2004-06-02 2005-05-31 Robot system comprising a plurality of robots provided with means for calibrating their relative position
CNB2005100732157A CN100415460C (zh) 2004-06-02 2005-06-01 机械手系统
US11/142,496 US20050273199A1 (en) 2004-06-02 2005-06-02 Robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004165075A JP3946711B2 (ja) 2004-06-02 2004-06-02 ロボットシステム

Publications (2)

Publication Number Publication Date
JP2005342832A JP2005342832A (ja) 2005-12-15
JP3946711B2 true JP3946711B2 (ja) 2007-07-18

Family

ID=34937084

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004165075A Active JP3946711B2 (ja) 2004-06-02 2004-06-02 ロボットシステム

Country Status (5)

Country Link
US (1) US20050273199A1 (ja)
EP (1) EP1607194B1 (ja)
JP (1) JP3946711B2 (ja)
CN (1) CN100415460C (ja)
DE (1) DE602005010630D1 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3905073B2 (ja) * 2003-10-31 2007-04-18 ファナック株式会社 アーク溶接ロボット
JP4137927B2 (ja) * 2005-08-04 2008-08-20 ファナック株式会社 ロボットプログラミング装置
DE102006004153B4 (de) * 2006-01-27 2014-10-23 Vision Tools Hard- Und Software Entwicklungs Gmbh Automatisches Einmessen kooperierender Roboter
JP4267005B2 (ja) * 2006-07-03 2009-05-27 ファナック株式会社 計測装置及びキャリブレーション方法
JP4298757B2 (ja) 2007-02-05 2009-07-22 ファナック株式会社 ロボット機構のキャリブレーション装置及び方法
DE102007008903A1 (de) * 2007-02-23 2008-08-28 Abb Technology Ag Einrichtung zum Steuern eines Roboters
JP2008254097A (ja) * 2007-04-03 2008-10-23 Denso Wave Inc 複数ロボット間の相対位置計算方法
CN101861510B (zh) 2007-09-14 2014-05-14 海克斯康测量技术有限公司 对准多臂测量机的臂参考系的方法
US8554371B2 (en) * 2007-10-01 2013-10-08 Kaufman Engineered Systems Vision aided case/bulk palletizer system
SG152090A1 (en) * 2007-10-23 2009-05-29 Hypertronics Pte Ltd Scan head calibration system and method
EP3858416B1 (en) 2008-05-06 2023-11-01 Corindus, Inc. Catheter system
JP5314962B2 (ja) * 2008-08-06 2013-10-16 住友重機械プロセス機器株式会社 コークス炉押出機
EP2320990B2 (en) * 2008-08-29 2023-05-31 Corindus, Inc. Catheter control system and graphical user interface
JP2010152550A (ja) * 2008-12-24 2010-07-08 Canon Inc 作業装置及びその校正方法
US8939842B2 (en) 2009-01-13 2015-01-27 Meimadtek Ltd. Method and system for operating a self-propelled vehicle according to scene images
WO2010107916A1 (en) 2009-03-18 2010-09-23 Corindus Inc. Remote catheter system with steerable catheter
JP5293442B2 (ja) * 2009-06-18 2013-09-18 株式会社安川電機 ロボットシステム及び物品並置方法
JP5312261B2 (ja) * 2009-08-18 2013-10-09 本田技研工業株式会社 ロボットの制御方法
JP5428639B2 (ja) * 2009-08-19 2014-02-26 株式会社デンソーウェーブ ロボットの制御装置及びロボットのティーチング方法
JP2011067889A (ja) * 2009-09-25 2011-04-07 Ihi Corp キャリブレーション装置及びキャリブレーション方法
EP3572115B1 (en) 2009-10-12 2024-02-21 Corindus, Inc. Catheter system with percutaneous device movement algorithm
US9962229B2 (en) 2009-10-12 2018-05-08 Corindus, Inc. System and method for navigating a guide wire
JP5549202B2 (ja) * 2009-12-01 2014-07-16 セイコーエプソン株式会社 光学式位置検出装置、ハンド装置および位置検出機能付き表示装置
JP2011115877A (ja) * 2009-12-02 2011-06-16 Canon Inc 双腕ロボット
US9833293B2 (en) 2010-09-17 2017-12-05 Corindus, Inc. Robotic catheter system
US8781629B2 (en) 2010-09-22 2014-07-15 Toyota Motor Engineering & Manufacturing North America, Inc. Human-robot interface apparatuses and methods of controlling robots
CN101973035B (zh) * 2010-11-11 2012-05-23 北京理工大学 机器人关节初始位置精确定位方法及装置
WO2012078989A1 (en) * 2010-12-10 2012-06-14 Wayne State University Intelligent autonomous camera control for robotics with medical, military, and space applications
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
CN102909728B (zh) * 2011-08-05 2015-11-25 鸿富锦精密工业(深圳)有限公司 机器人工具中心点的视觉校正方法
JP5561260B2 (ja) * 2011-09-15 2014-07-30 株式会社安川電機 ロボットシステム及び撮像方法
CN103889663B (zh) 2011-09-28 2016-09-28 Ur机器人有限公司 机器人的校准和编程
JP5928114B2 (ja) * 2012-04-12 2016-06-01 セイコーエプソン株式会社 ロボットシステム、ロボットシステムのキャリブレーション方法、ロボット
JP5949242B2 (ja) * 2012-07-11 2016-07-06 セイコーエプソン株式会社 ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
US8874265B2 (en) 2012-08-27 2014-10-28 International Business Machines Corporation Robot-based material removal in unstable static equilibrium system
JP6012742B2 (ja) * 2012-09-04 2016-10-25 富士機械製造株式会社 作業装置
JP6108860B2 (ja) * 2013-02-14 2017-04-05 キヤノン株式会社 ロボットシステム及びロボットシステムの制御方法
JP5678979B2 (ja) * 2013-03-15 2015-03-04 株式会社安川電機 ロボットシステム、校正方法及び被加工物の製造方法
US10589973B2 (en) 2013-10-25 2020-03-17 Ats Automation Tooling Systems Inc. Flexible feeding and closing machine for hinged caps
US9874628B2 (en) * 2013-11-12 2018-01-23 The Boeing Company Dual hidden point bars
JP6425385B2 (ja) * 2014-01-24 2018-11-21 キヤノン株式会社 ロボット制御方法、ロボット制御装置、プログラム、記録媒体、及び部品の製造方法
CN105934313B (zh) * 2014-01-26 2018-02-06 Abb瑞士股份有限公司 用于将对象移动到目标位置的方法、装置和机器人系统
CN103768729B (zh) * 2014-01-28 2017-05-17 深圳市医诺智能科技发展有限公司 一种基于激光定位灯检测医疗设备移动的方法和装置
CN103878774A (zh) * 2014-02-25 2014-06-25 西安航天精密机电研究所 一种基于机器人的视觉标定方法
JP6361213B2 (ja) * 2014-03-26 2018-07-25 セイコーエプソン株式会社 ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
WO2015165062A1 (en) * 2014-04-30 2015-11-05 Abb Technology Ltd Method for calibrating tool centre point for industrial robot system
JP6384195B2 (ja) * 2014-08-20 2018-09-05 株式会社安川電機 ロボットシステムおよびロボット教示方法
WO2016114834A2 (en) * 2014-10-22 2016-07-21 Think Surgical, Inc. Actively controlled optical tracker with a robot
US9465390B2 (en) * 2014-11-11 2016-10-11 Google Inc. Position-controlled robotic fleet with visual handshakes
GB2548294B (en) * 2014-11-25 2020-10-28 Synaptive Medical Barbados Inc Hand guided automated positioning device controller
EP3954317A1 (en) 2014-12-05 2022-02-16 Corindus, Inc System and method for navigating a guide wire
AU2016222790B2 (en) 2015-02-25 2020-04-02 Mako Surgical Corp. Navigation systems and methods for reducing tracking interruptions during a surgical procedure
CN104820418B (zh) * 2015-04-22 2018-04-24 遨博(北京)智能科技有限公司 一种针对机械臂的嵌入式视觉系统及其使用方法
JP6267157B2 (ja) * 2015-05-29 2018-01-24 ファナック株式会社 位置補正機能を有するロボットを備えた生産システム
GB201509341D0 (en) 2015-05-29 2015-07-15 Cambridge Medical Robotics Ltd Characterising robot environments
US9807292B2 (en) * 2015-06-30 2017-10-31 Abb Schweiz Ag Technologies for pan tilt unit calibration
DE102016116702B4 (de) 2015-09-14 2019-01-24 Fanuc Corporation Messsystem zum Kalibrieren der mechanischen Parameter eines Roboters
JP6235664B2 (ja) * 2015-09-14 2017-11-22 ファナック株式会社 ロボットの機構パラメータを校正するために使用される計測装置
US9757859B1 (en) * 2016-01-21 2017-09-12 X Development Llc Tooltip stabilization
US9815204B2 (en) * 2016-01-22 2017-11-14 The Boeing Company Apparatus and method to optically locate workpiece for robotic operations
US9744665B1 (en) 2016-01-27 2017-08-29 X Development Llc Optimization of observer robot locations
US10059003B1 (en) 2016-01-28 2018-08-28 X Development Llc Multi-resolution localization system
US9987747B2 (en) * 2016-05-24 2018-06-05 Semes Co., Ltd. Stocker for receiving cassettes and method of teaching a stocker robot disposed therein
GB2552019B (en) 2016-07-08 2020-01-08 Rolls Royce Plc Methods and apparatus for controlling at least one of a first robot and a second robot to collaborate within a system
CN106272444B (zh) * 2016-08-31 2018-11-13 山东中清智能科技股份有限公司 一种实现手眼关系和双机器人关系同时标定的方法
CN106705862B (zh) * 2016-12-30 2019-08-02 株洲时代电子技术有限公司 一种快速换轨作业轨枕螺栓位置检测方法
CN107339950B (zh) * 2016-12-30 2019-08-02 株洲时代电子技术有限公司 一种快速换轨作业轨枕螺栓位置检测系统及方法
JP6811635B2 (ja) * 2017-02-10 2021-01-13 川崎重工業株式会社 ロボットシステム及びその制御方法
WO2018163450A1 (ja) * 2017-03-09 2018-09-13 三菱電機株式会社 ロボット制御装置およびキャリブレーション方法
CN110340936B (zh) * 2018-04-03 2024-01-30 泰科电子(上海)有限公司 校准方法和校准系统
CN110349218A (zh) * 2018-04-03 2019-10-18 泰科电子(上海)有限公司 摄像机的标定方法和标定系统
CN108436915A (zh) * 2018-04-17 2018-08-24 上海达野智能科技有限公司 双机器人运动控制方法
JP7108470B2 (ja) * 2018-06-05 2022-07-28 Juki株式会社 基板組立装置
CN109048905B (zh) * 2018-08-23 2022-02-18 珠海格力智能装备有限公司 机器人末端执行器坐标系的确定方法及装置
WO2020051748A1 (zh) * 2018-09-10 2020-03-19 深圳配天智能技术研究院有限公司 标定方法及标定装置
CN113423540A (zh) * 2019-02-22 2021-09-21 Abb瑞士股份有限公司 德尔塔机器人校准方法、控制系统、德尔塔机器人和机器人系统
CN110631496A (zh) * 2019-10-29 2019-12-31 南京佑创汽车研究院有限公司 电池包箱盖与线束间距检测方法
CN111015734B (zh) * 2019-11-20 2021-05-07 国网天津市电力公司 带电作业机器人的导引系统和方法
CN111318471B (zh) * 2020-02-27 2022-03-18 广东海信宽带科技有限公司 一种光模块测试设备
CN111993466B (zh) * 2020-08-24 2022-03-08 哈工大机器人集团股份有限公司 基于激光跟踪仪的双臂机器人联合操作测试方法
CN113547515B (zh) * 2021-07-16 2022-07-12 华中科技大学 一种基于超声伺服手术机器人的坐标标定方法
DE102021128336A1 (de) 2021-10-29 2023-05-04 Carl Zeiss Industrielle Messtechnik Gmbh System und Verfahren zum Kalibrieren und/oder Regeln einer beweglichen Mehrgelenkkinematik
CN114750160B (zh) * 2022-05-16 2023-05-23 深圳市大族机器人有限公司 机器人控制方法、装置、计算机设备和存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2512099B2 (ja) * 1988-08-24 1996-07-03 松下電器産業株式会社 ロボットの動作教示方法および制御装置
JP2698660B2 (ja) * 1989-06-12 1998-01-19 株式会社日立製作所 マニピュレータの制御方法及び制御装置並びにマニピュレータ装置
US5086401A (en) * 1990-05-11 1992-02-04 International Business Machines Corporation Image-directed robotic system for precise robotic surgery including redundant consistency checking
JP2514490B2 (ja) * 1991-07-05 1996-07-10 株式会社ダイヘン 産業用ロボットの連動手動操作による教示制御方法
JPH05111897A (ja) * 1991-10-21 1993-05-07 Fanuc Ltd 複数台のロボツトの相対位置関係取得方式
US5515478A (en) * 1992-08-10 1996-05-07 Computer Motion, Inc. Automated endoscope system for optimal positioning
JP3070329B2 (ja) * 1993-03-31 2000-07-31 松下電器産業株式会社 産業用ロボットシステム
NO302055B1 (no) * 1993-05-24 1998-01-12 Metronor As Fremgangsmåte og system for geometrimåling
JP3208953B2 (ja) * 1993-09-29 2001-09-17 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP2903964B2 (ja) * 1993-09-29 1999-06-14 株式会社デンソー 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
US5784542A (en) * 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
US6221007B1 (en) * 1996-05-03 2001-04-24 Philip S. Green System and method for endoscopic imaging and endosurgery
EP1016506B1 (en) * 1997-01-29 2008-12-03 Kabushiki Kaisha Yaskawa Denki Device and method for calibrating robot
JPH11184526A (ja) * 1997-12-19 1999-07-09 Toshiba Corp 3次元位置補正方法ならびに同方法を用いたリモートマニピュレータシステム
CN1146494C (zh) * 1998-07-15 2004-04-21 Ce核电力有限公司 可视管位置检验系统
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
JP3421608B2 (ja) * 1999-04-08 2003-06-30 ファナック株式会社 教示モデル生成装置
JP3905771B2 (ja) * 2001-03-02 2007-04-18 株式会社ミツトヨ 測定機の校正方法及び装置
JP3577028B2 (ja) * 2001-11-07 2004-10-13 川崎重工業株式会社 ロボットの協調制御システム
DE102004026813A1 (de) * 2004-06-02 2005-12-29 Kuka Roboter Gmbh Verfahren und Vorrichtung zum Steuern von Handhabungsgeräten

Also Published As

Publication number Publication date
EP1607194B1 (en) 2008-10-29
CN100415460C (zh) 2008-09-03
EP1607194A2 (en) 2005-12-21
JP2005342832A (ja) 2005-12-15
EP1607194A3 (en) 2006-10-04
DE602005010630D1 (de) 2008-12-11
US20050273199A1 (en) 2005-12-08
CN1704210A (zh) 2005-12-07

Similar Documents

Publication Publication Date Title
JP3946711B2 (ja) ロボットシステム
JP7207851B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム及び記録媒体
JP4021413B2 (ja) 計測装置
JP4191080B2 (ja) 計測装置
JP6964989B2 (ja) 制御方法、ロボットシステム、物品の製造方法、プログラム、及び記録媒体
JP3733364B2 (ja) 教示位置修正方法
JP6468741B2 (ja) ロボットシステム及びロボットシステムの校正方法
US9517563B2 (en) Robot system using visual feedback
JP4267005B2 (ja) 計測装置及びキャリブレーション方法
CN108994876B (zh) 示教位置修正装置和示教位置修正方法
JP5670416B2 (ja) ロボットシステム表示装置
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
TWI613054B (zh) 齒輪機構之組裝裝置及組裝方法
JP2016187846A (ja) ロボット、ロボット制御装置およびロボットシステム
JP6565175B2 (ja) ロボットおよびロボットシステム
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット
JP6507792B2 (ja) ロボットおよびロボットシステム
WO2024062535A1 (ja) ロボット制御装置
JP2017074637A (ja) ツールセンターポイント推定方法、ツールセンターポイント推定装置
JPH06206186A (ja) 視覚センサ付き水平多関節型ロボットのハンドリング精度校正法
CN115397626A (zh) 坐标系设定系统和位置姿势测量系统

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070411

R150 Certificate of patent or registration of utility model

Ref document number: 3946711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100420

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110420

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120420

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130420

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140420

Year of fee payment: 7