JP6301045B1 - ロボット制御装置およびキャリブレーション方法 - Google Patents

ロボット制御装置およびキャリブレーション方法 Download PDF

Info

Publication number
JP6301045B1
JP6301045B1 JP2017566435A JP2017566435A JP6301045B1 JP 6301045 B1 JP6301045 B1 JP 6301045B1 JP 2017566435 A JP2017566435 A JP 2017566435A JP 2017566435 A JP2017566435 A JP 2017566435A JP 6301045 B1 JP6301045 B1 JP 6301045B1
Authority
JP
Japan
Prior art keywords
calibration data
robot
error
reference marker
robot control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017566435A
Other languages
English (en)
Other versions
JPWO2018163450A1 (ja
Inventor
泰憲 櫻本
泰憲 櫻本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority claimed from PCT/JP2017/021349 external-priority patent/WO2018163450A1/ja
Application granted granted Critical
Publication of JP6301045B1 publication Critical patent/JP6301045B1/ja
Publication of JPWO2018163450A1 publication Critical patent/JPWO2018163450A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

ロボット制御装置(2)は、キャリブレーションデータを使用してロボット(1)の動作を制御するロボット制御部(20)と、ビジョンセンサ(3)が取得した画像データから基準マーカ(5)のカメラ座標を取得する画像処理部(21)と、キャリブレーションデータに対応する基準マーカのカメラ座標と基準マーカの現在のカメラ座標との差に基づいて誤差を求める誤差算出部(22)と、誤差の絶対値が閾値より大きくなった場合に、新たなキャリブレーションデータを算出するキャリブレーションデータ算出部(24)と、新たなキャリブレーションデータを登録するキャリブレーションデータ記憶部(26)と、を備え、ロボットの動作を間に挟んでキャリブレーションデータ算出部に新たなキャリブレーションデータを複数回算出させて、キャリブレーションデータ記憶部に複数のキャリブレーションデータを登録させる。

Description

本発明は、ロボットを制御するロボット制御装置およびロボット制御装置におけるキャリブレーション方法に関する。
ロボットの絶対位置の精度向上を目的とした機構誤差の補正方法として、以下の特許文献1のような方法が提案されている。特許文献1においては、ロボットの作業領域を区分し、その小領域毎にロボットの機構誤差を計算し、その誤差が小さくなる誤差解析式を決定し、その解析式を使用して機構誤差を補正している。
特開平07−200017号公報
特許文献1の従来技術においては、領域を分割した小領域毎に誤差を小さくする誤差解析式を決定していることから、作業空間における機構誤差の低減は保障される。しかし、ロボットを長期稼働させた際の熱ドリフトといった経時的な変化における機構誤差の低減は保障されていないため、ロボットを長期稼働させた場合において、ロボットの絶対位置の精度が低下するという問題があった。
本発明は、上記に鑑みてなされたものであって、ロボットに経時的な機構誤差が生じる環境下において、ロボットの動作の位置精度の向上を図ることが可能なロボット制御装置を得ることを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、キャリブレーションデータを使用してロボットの動作を制御するロボット制御部と、ビジョンセンサが取得した画像データから基準マーカのカメラ座標を取得する画像処理部と、キャリブレーションデータに対応する基準マーカのカメラ座標と基準マーカの現在のカメラ座標との差に基づいて誤差を求める誤差算出部と、誤差の絶対値が閾値より大きくなった場合に、新たなキャリブレーションデータを算出するキャリブレーションデータ算出部と、新たなキャリブレーションデータを登録するキャリブレーションデータ記憶部と、を備える。本発明は、ロボットの動作を間に挟んでキャリブレーションデータ算出部に新たなキャリブレーションデータを複数回算出させて、キャリブレーションデータ記憶部に複数の新たなキャリブレーションデータを登録させることを特徴とする。
本発明によれば、ロボットに経時的な機構誤差が生じる環境下において、ロボットの動作の位置精度の向上を図ることが可能なロボット制御装置を得ることができるという効果を奏する。
本発明の実施の形態1にかかるロボット制御システムの構成例を示す図 実施の形態1にかかるロボット、ビジョンセンサおよび基準マーカの様子を示す斜視図 実施の形態1にかかるロボット制御装置の機能をコンピュータで実現する場合のハードウェア構成を示す図 実施の形態1にかかるキャリブレーションデータの事前登録を説明するフローチャート 実施の形態1におけるカメラ座標における誤差とロボット座標における誤差との関係を説明する図 実施の形態1にかかるロボット、ビジョンセンサおよび基準マーカの別の構成の様子を示す斜視図 実施の形態1にかかる固定方式における基準マーカの撮像画面を示す図 実施の形態1にかかる固定方式における基準マーカの撮像画面を示す別の図 本発明の実施の形態2にかかるロボット制御装置の構成を示す図 実施の形態2にかかるキャリブレーションデータを使用したロボット制御システムの実運用時のフローチャート 実施の形態2における誤差の時間変化を説明する図
以下に、本発明の実施の形態にかかるロボット制御装置およびキャリブレーション方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
図1は、本発明の実施の形態1にかかるロボット制御システム100の構成例を示す図である。図2は、実施の形態1にかかるロボット1、ビジョンセンサ3および基準マーカ5の様子を示す斜視図である。図1および図2は、ビジョンセンサ3がロボット1の手先に取り付けられているハンドアイ方式の例が示されている。
図1に示すように、ロボット制御システム100は、ロボット1と、ロボット1を制御するロボット制御装置2と、ロボット1の手先に取り付けられたビジョンセンサ3と、作業台4と、作業台4の上のロボット1の動作範囲内に設置された基準マーカ5と、を備える。ビジョンセンサ3の具体例はカメラである。
ロボット制御装置2は、キャリブレーションデータを使用してロボット1に指令を出してロボット1の動作を制御するロボット制御部20と、ビジョンセンサ3が取得した画像データを処理する画像処理部21と、ロボット1の制御位置誤差を算出する誤差算出部22と、算出された誤差を判定する誤差判定部23と、を備える。キャリブレーションデータは、ロボット1の座標系であるロボット座標系とビジョンセンサ3の座標系であるカメラ座標系との間の変換、すなわち校正を行うためのパラメータである。
ロボット制御装置2は、さらに、キャリブレーションデータを算出するキャリブレーションデータ算出部24と、算出されたキャリブレーションデータと登録されているキャリブレーションデータとの類似度を判定するキャリブレーションデータ類似判定部25と、キャリブレーションデータを登録するキャリブレーションデータ記憶部26と、ロボット制御部20が使用するキャリブレーションデータを更新するキャリブレーションデータ更新部27と、キャリブレーションデータの算出を繰り返すか否かを判定する終了条件判定部28と、を備える。
ロボット制御装置2は、キャリブレーションデータを自動的に求める自動キャリブレーション機能を有している。自動キャリブレーションとは、ビジョンセンサ3が取り付けられたロボット1の手先を前後左右といった方向に動かし、複数の視点から基準マーカ5を撮像して認識し、基準マーカ5のカメラ座標と、ロボット1のロボット座標との対応関係を取得することで、キャリブレーションデータを算出することである。ここで、基準マーカ5のカメラ座標は、ビジョンセンサ3の撮像画面内におけるカメラ座標系での基準マーカ5の座標である。カメラ座標系は、ここでは2次元の例で説明するが、2次元に限定されず3次元であってもかまわない。ロボット1のロボット座標とは、ロボット1が接地された空間における、ビジョンセンサ3が取り付けられたロボット1の手先の3次元座標である。
ロボット制御装置2の自動キャリブレーションにおいては、まず、ロボット制御部20の指令に基づいてビジョンセンサ3が取り付けられたロボット1の手先が前後左右といった方向に動かされ、基準マーカ5をビジョンセンサ3が複数の視点から撮像して画像データが取得される。画像処理部21は取得した複数の視点での画像データから基準マーカ5を認識して、基準マーカ5のそれぞれのカメラ座標を得る。複数の視点から基準マーカ5をビジョンセンサ3が撮像した時のロボット1のロボット座標系におけるそれぞれのロボット座標はロボット制御部20が把握しているので、カメラ座標とロボット座標との組み合わせを視点の数だけ取得することができる。1つの視点におけるカメラ座標とロボット座標との対応関係により、キャリブレーションデータの各パラメータを未知数とする方程式が1つ得られる。したがって、3つ以上の視点におけるカメラ座標とロボット座標との組み合わせを取得することにより、方程式が3つ以上得られる。そして、キャリブレーションデータ算出部24は、得られた3つ以上の方程式を連立させて解くことによりキャリブレーションデータを算出することが可能となる。このようにしてキャリブレーションデータを算出することが自動キャリブレーションである。
図3は、実施の形態1にかかるロボット制御装置2の機能をコンピュータで実現する場合のハードウェア構成を示す図である。ロボット制御装置2の機能をコンピュータで実現する場合、ロボット制御装置2の機能は、図3に示すようにCPU(Central Processing Unit)201、メモリ202、記憶装置203、表示装置204および入力装置205により実現される。ロボット制御装置2のキャリブレーションデータ記憶部26の機能は、記憶装置203により実現されるが、ロボット制御装置2のそれ以外の機能は、ロボット1の動作プログラムといったソフトウェアにより実現される。ソフトウェアは、プログラムとして記述されて記憶装置203に格納される。CPU201は、記憶装置203に記憶された動作プログラムをメモリ202に読み出してロボット1の動作を制御する。また、このようにして、CPU201は、実施の形態1にかかるロボット制御装置2における以下に説明するキャリブレーション方法を実現する。すなわち、動作プログラムは、実施の形態1にかかるキャリブレーション方法をコンピュータに実行させるものである。したがって、ロボット制御装置2は、実施の形態1にかかるキャリブレーション方法を実施するステップを結果的に実行することになる動作プログラムを格納するための記憶装置203を備えていることになる。メモリ202は、RAM(Random Access Memory)といった揮発性の記憶領域が該当する。記憶装置203は、ROM(Read Only Memory)、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(登録商標)(Electrically Erasable Programmable Read Only Memory)といった不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disk)が該当する。表示装置204の具体例は、モニタ、ディスプレイである。入力装置205の具体例は、キーボード、マウス、タッチパネルである。
図4は、実施の形態1にかかるキャリブレーションデータの事前登録を説明するフローチャートである。キャリブレーションデータの事前登録とは、ロボット1の実運用の前にキャリブレーションデータを生成してキャリブレーションデータ記憶部26に登録することである。以下では、登録されているキャリブレーションデータが存在しない最初の状態からはじめて、複数のキャリブレーションデータを登録する手順を説明する。
まず、ロボット制御部20は、基準マーカ5を撮像する位置へロボット1の手先を移動させる(ステップS001)。この移動は、基準マーカ5をビジョンセンサ3が撮像できる位置までロボット1を移動すればよい。この移動による移動後のロボット1のロボット座標を基準ロボット座標としてロボット制御装置2が記憶し、以後の基準マーカ5の撮像時には、ロボット制御部20はロボット1のロボット座標が基準ロボット座標となるように制御する。
次に、ビジョンセンサ3が基準マーカ5を撮像して画像データを作成し、画像処理部21が画像データを処理して基準マーカ5のカメラ座標vを取得する(ステップS002)。
ステップS002の後は、ステップS016に進み自動キャリブレーションを実行する。先に説明したように自動キャリブレーションを実行してキャリブレーションデータ算出部24がキャリブレーションデータを算出する。このキャリブレーションデータを最初の予備キャリブレーションデータGとする。ここで、キャリブレーションデータ算出部24が算出したキャリブレーションデータを予備キャリブレーションデータと呼ぶのは、この後説明するように、算出されたキャリブレーションデータがキャリブレーションデータ記憶部26に登録されないことがあるからである。
次に、ステップS016で算出された予備キャリブレーションデータがキャリブレーションデータ記憶部26に既に登録されているキャリブレーションデータに類似するか否かをキャリブレーションデータ類似判定部25が判定する(ステップS017)。算出された予備キャリブレーションデータがキャリブレーションデータ記憶部26に既に登録されているキャリブレーションデータに類似するとキャリブレーションデータ類似判定部25が判定した場合(ステップS017:Yes)、算出された予備キャリブレーションデータは破棄され、ステップS020に進む。算出された予備キャリブレーションデータがキャリブレーションデータ記憶部26に既に登録されているキャリブレーションデータに類似しないとキャリブレーションデータ類似判定部25が判定した場合(ステップS017:No)、ステップS018に進む。
ステップS016で算出された予備キャリブレーションデータが最初の予備キャリブレーションデータGである場合は、キャリブレーションデータ記憶部26に既に登録されているキャリブレーションデータが存在しない。この場合も、ステップS017において、予備キャリブレーションデータGは、キャリブレーションデータ記憶部26に既に登録されているキャリブレーションデータに類似しないとキャリブレーションデータ類似判定部25が判定し(ステップS017:No)、ステップS018に進む。なお、キャリブレーションデータ類似判定部25による類似の判定方法については後で詳述する。
ロボット制御装置2は、既に登録されているキャリブレーションデータと類似していないとキャリブレーションデータ類似判定部25によって判定された予備キャリブレーションデータをキャリブレーションデータ記憶部26に登録する(ステップS018)。したがって、ステップS016で求められた予備キャリブレーションデータGは、キャリブレーションデータHとしてキャリブレーションデータ記憶部26に登録される。キャリブレーションデータHは、キャリブレーションデータ記憶部26に最初に、即ち、一番目に登録されたキャリブレーションデータである。このとき、ステップS002で取得されたカメラ座標vは、キャリブレーションデータHに対応する基準マーカ5のカメラ座標mとしてキャリブレーションデータHと共にキャリブレーションデータ記憶部26に登録される。
そして、ステップS019においては、キャリブレーションデータ更新部27が、ロボット制御部20が使用するキャリブレーションデータを、ステップS018でキャリブレーションデータ記憶部26に登録したキャリブレーションデータHに更新する。ステップS019においては、キャリブレーションデータ更新部27が、ロボット制御部20が使用するキャリブレーションデータに設定されているキャリブレーションデータを、新たに登録されたキャリブレーションデータ、すなわちキャリブレーションデータ記憶部26に最後に登録されたキャリブレーションデータに更新する。キャリブレーションデータ記憶部26に最初のキャリブレーションデータHが登録されて最初にステップS019に進んだときは、ロボット制御部20が使用するキャリブレーションデータが設定されていないので、キャリブレーションデータHがロボット制御部20に設定される。
ステップS020では、終了条件が満たされるか否かを終了条件判定部28が判定する。終了条件は、この後説明するステップS011におけるロボット1の動作時間が複数回加算された合計が実運用で想定される時間を超えた場合、予め定めた数のキャリブレーションデータのキャリブレーションデータ記憶部26への登録が完了した場合、といった条件であり、複数の条件のいずれかを満たせば終了とすることを終了条件としてもよい。ステップS011におけるロボット1の動作時間が加算された合計が実運用で想定される時間を超えた場合を終了条件とするのは、実運用に沿った環境におけるキャリブレーションデータの取得が完了したと想定されるためである。また、予め定めた数のキャリブレーションデータのキャリブレーションデータ記憶部26への登録が完了した場合を終了条件とするのは、登録されたキャリブレーションデータの多様性が必要なだけ確保できたと考えられるためである。したがって、終了条件が満たされたと終了条件判定部28が判定すれば(ステップS020:Yes)、処理は終了である。
ただし、ステップS001から最初にステップS020に進んだ場合は、ステップS011も経ていないし、キャリブレーションデータ記憶部26に一つしかキャリブレーションデータが登録されていないので、終了条件判定部28は終了条件が満たされていないと判定し(ステップS020:No)、ステップS011に進む。
ステップS011では、ロボット制御部20はロボット1に実運用と同じ動作を行わせる。ステップS011におけるロボット1の動作は、連続動作試験といった事前動作確認においてロボット1に実行させる動作であり、図4のキャリブレーションデータの事前登録は、連続動作試験といった事前動作確認作業に追加して実行することが可能である。
ステップS011における予め定められたロボット1の動作が終了すると、ロボット制御部20は、基準マーカ5を撮像する位置へロボット1の手先を移動させる(ステップS012)。このとき、ロボット制御部20は、ロボット1のロボット座標がステップS001で記憶された基準ロボット座標となるように制御する。
次に、ビジョンセンサ3が基準マーカ5を撮像して画像データを作成し、画像処理部21が画像データを処理して基準マーカ5のカメラ座標vを取得する(ステップS013)。このとき取得されたカメラ座標vがステップS002または前回のステップS013で取得されたカメラ座標vと異なる場合は、その原因は、ロボット1を稼働させた際の熱ドリフトといった経時的な変化による機構誤差である。
そして、誤差算出部22がロボット1の制御位置誤差dを算出する(ステップS014)。具体的には、以下の数式(1)に基づいて算出する。
d=H(v−m) i=1,..,n (1)
ここで、v,m,dはベクトルであり、Hは行列である。
数式(1)におけるHは、ロボット制御部20が現在使用しているキャリブレーションデータであり、mはキャリブレーションデータHに対応する基準マーカ5のカメラ座標である。したがって、(v−m)は、ロボット1が基準ロボット座標となるように制御された状態で撮像された基準マーカ5の現在のカメラ座標vが、使用されているキャリブレーションデータHに対応する基準マーカ5のカメラ座標mからどれだけずれたかを示すカメラ座標における誤差ベクトルである。そして、キャリブレーションデータHに(v−m)を乗ずることによりロボット座標における誤差ベクトルである制御位置誤差dが得られる。
図5は、実施の形態1におけるカメラ座標における誤差とロボット座標における誤差との関係を説明する図である。図5のカメラ座標においてカメラ座標vに基準マーカ5の現在の認識位置が示されている。そして、ロボット制御部20に現在設定されて使用されているキャリブレーションデータHに対応する基準マーカ5のカメラ座標mも図5のカメラ座標に示されている。カメラ座標vがカメラ座標mからずれているのは、上述したようにロボット1を稼働させた際の熱ドリフトといった経時的変化における機構誤差が原因である。そして、数式(1)の右辺の括弧を外したときの第一項であるHは、ロボット座標における今回のカメラ座標vに対応する計測点となる。数式(1)の右辺の括弧を外したときの第二項であるHは基準マーカ5の設置位置に基づいて決定されるロボット座標における固定座標であり、これが基準ロボット座標になっている。H が固定座標であることは、基準マーカ5のカメラ座標mが動くことによりキャリブレーションデータHを変更する必要があることを示している。そして、HのH からのずれがロボット座標における誤差ベクトルである制御位置誤差dになっている。
なお、最初にステップS014に入ったときは、ロボット制御部20が現在使用しているキャリブレーションデータはHであり、キャリブレーションデータHに対応する基準マーカ5のカメラ座標はmであるので、数式(1)は、d=H(v−m)となる。
ステップS014でロボット1の制御位置誤差dを求めた後、誤差判定部23は、誤差dの絶対値が予め定めた閾値より大きいか否かを判定する(ステップS015)。誤差dの絶対値が閾値以下であると誤差判定部23が判定した場合(ステップS015:No)、ステップS020に進む。
誤差dの絶対値が予め定めた閾値より大きいと誤差判定部23が判定した場合(ステップS015:Yes)、ステップS016に進み自動キャリブレーションを実行する。ステップS016において、キャリブレーションデータ算出部24が算出した新たなキャリブレーションデータを予備キャリブレーションデータGとする。
次に、ステップS017において、ステップS016で求められた予備キャリブレーションデータGがキャリブレーションデータ記憶部26に既に登録されているキャリブレーションデータに類似するか否かをキャリブレーションデータ類似判定部25が判定する(ステップS017)。キャリブレーションデータ記憶部26に現在登録されているのはキャリブレーションデータHだけである。したがって、予備キャリブレーションデータGがキャリブレーションデータHに類似するとキャリブレーションデータ類似判定部25が判定した場合(ステップS017:Yes)、予備キャリブレーションデータGは破棄され、ステップS020に進む。予備キャリブレーションデータGがキャリブレーションデータHに類似しないとキャリブレーションデータ類似判定部25が判定した場合(ステップS017:No)、ステップS018に進み、予備キャリブレーションデータGは、キャリブレーションデータHとしてキャリブレーションデータ記憶部26に登録される。
ステップS017において、予備キャリブレーションデータGが登録されているキャリブレーションデータHと類似するか否かをキャリブレーションデータ類似判定部25が判定する判定方法の一例を以下に説明する。まず、行列である予備キャリブレーションデータGの要素を順に並べてノルムが1のベクトルにして、これをgとする。次に、同じく行列であるキャリブレーションデータHの要素をgを作成したときと同じ順に並べてノルムが1のベクトルにして、これをhとする。そして、gとhとの内積を計算し、定められた値と比較する。gとhとの内積が定められた値以上の場合は、キャリブレーションデータ類似判定部25は、予備キャリブレーションデータGがキャリブレーションデータHに類似していると判定する(ステップS017:Yes)。一方、gとhとの内積が定められた値未満の場合は、キャリブレーションデータ類似判定部25は、予備キャリブレーションデータGがキャリブレーションデータHに類似していないと判定する(ステップS017:No)。
ステップS018で、予備キャリブレーションデータGがキャリブレーションデータHとして、キャリブレーションデータ記憶部26に登録された後は、ステップS019に進む。
ステップS019においては、キャリブレーションデータ更新部27が、ロボット制御部20が使用するキャリブレーションデータに設定されているキャリブレーションデータHを、キャリブレーションデータ記憶部26に新たに登録されたキャリブレーションデータHに更新する。その後、ステップS020に進む。
以上のようにして、図4に示されたフローチャートが実行されて、ステップS018が繰り返し実行されることにより、キャリブレーションデータ記憶部26には、ロボット1の実動作環境における経時的変化を考慮した条件下での多様性を有したn個のキャリブレーションデータであるキャリブレーションデータH,H,..,Hが事前登録されることになる。また、キャリブレーションデータH,H,..,Hそれぞれに対応する基準マーカ5のカメラ座標m,m,..,mもキャリブレーションデータ記憶部26に登録される。
以上説明したように、実施の形態1にかかるロボット制御装置2によれば、ロボット1を長期稼働させた際の熱ドリフトといった経時的な機構誤差が生じる環境下において、当該機構誤差を考慮した複数のキャリブレーションデータをキャリブレーションデータ記憶部26に登録することができる。これら複数のキャリブレーションデータをロボット制御部20が使用することにより、ロボット1に経時的な変形が加わる場合においても、機構誤差を補正してロボット1の動作の位置精度の向上を図ることが可能となる。
ロボット制御部20は、登録された複数のキャリブレーションデータをキャリブレーションデータ記憶部26に登録された順番に使用してもよい。また、ロボット制御部20は、登録された複数のキャリブレーションデータをキャリブレーションデータ記憶部26に登録された時間間隔に従って使用してもよい。さらに、ロボット制御部20は、登録された複数のキャリブレーションデータを実施の形態2においてこの後説明する方法に従って使用してもよい。いずれの方法によっても、ロボット1に経時的な変形が加わる場合において、機構誤差を補正してロボット1の動作の位置精度の向上を図ることが期待できる。
なお、図4に示されたフローチャートは、ロボット1にステップS011の処理を実行させる動作プログラムに、図4のステップS011以外の処理を実行する内容を追加することによって実現することが可能である。
図1および図2では、ビジョンセンサ3がロボット1の手先に取り付けられているハンドアイ方式の例を示したが、ビジョンセンサ3の設置方式はこれに限定されない。図6は、実施の形態1にかかるロボット1、ビジョンセンサ3および基準マーカ5の別の構成の様子を示す斜視図である。図7は、実施の形態1にかかる固定方式における基準マーカ5の撮像画面を示す図である。図8は、実施の形態1にかかる固定方式における基準マーカ5の撮像画面を示す別の図である。
図6に示すように、ロボット1が設置されている空間にビジョンセンサ3が動かないように固定されていて、基準マーカ5がロボット1の手先に取り付けられている固定方式を採用してもよい。なお、図6では記載を省いたロボット制御装置2にビジョンセンサ3は接続されている。
この場合、図4のステップS002およびキャリブレーションデータを登録することになる場合のステップS013において、基準マーカ5のカメラ座標vすなわちカメラ座標mを取得する様子が図7に示される。そして、図7のようにしてカメラ座標mが取得された後、ステップS011が何度か繰り返されて、ロボット1が熱ドリフトといった経時的変化を経た後に、基準マーカ5のカメラ座標vを取得する様子が図8に示される。図8に示されるように、カメラ座標mから経時的変化によりカメラ座標vが動いている。
このように、固定方式を採用した場合にも、ハンドアイ方式を採用した場合と全く同様に図4のフローチャートを実行することができ、キャリブレーションデータH,H,..,Hをキャリブレーションデータ記憶部26に事前登録することが可能である。なお、ビジョンセンサ3の構成方法は、図4のフローチャートを実行することができるのであれば、ハンドアイ方式および固定方式以外の構成方法を採用してもかまわない。
実施の形態2.
図9は、本発明の実施の形態2にかかるロボット制御装置6の構成を示す図である。ロボット制御装置6は、図1のロボット制御装置2にキャリブレーションデータ選択部30が追加されている。ロボット制御装置6のキャリブレーションデータ選択部30以外の要素の機能は、同じ符号を付されたロボット制御装置2の要素の機能と同じである。実施の形態2にかかるロボット制御システムの構成は、図1のロボット制御装置2をロボット制御装置6に置き換えた構成である。また、ビジョンセンサ3は、図1および図2のハンドアイ方式、図6の固定方式またはそれ以外のやり方で構成されていてもかまわない。
図10は、実施の形態2にかかるキャリブレーションデータを使用したロボット制御システムの実運用時のフローチャートである。図10のフローチャートを開始する前に、実施の形態1で説明したように、キャリブレーションデータ記憶部26にキャリブレーションデータH,H,..,Hが事前登録されているとする。そして、使用するキャリブレーションデータとして、キャリブレーションデータH,H,..,Hの中から選択された1つのキャリブレーションデータHがロボット制御部20に設定されている。ロボット制御部20に最初に設定するキャリブレーションデータHは、ロボット1の実運用を開始する際に、熱ドリフトといった経時的変化が起きていない状況であると考えられる場合は、キャリブレーションデータHを選んでもよいが、キャリブレーションデータH,H,..,Hの中から選択されるのであればいずれのキャリブレーションデータであってもかまわない。
まず、ロボット制御部20は定められた作業を実行するようにロボット1を動作させる(ステップS021)。なお、図4のステップS011では、ステップS021の動作を行っている。
次に、ロボット制御部20は、基準マーカ5を撮像する位置へロボット1の手先を移動させる(ステップS022)。このとき、ロボット制御部20は、ロボット1が図4のステップS001で記憶された基準ロボット座標となるように制御する。
次に、ビジョンセンサ3が基準マーカ5を撮像して画像データを作成し、画像処理部21が画像データを処理して基準マーカ5のカメラ座標vを取得する(ステップS023)。
そして、誤差算出部22がロボット1の制御位置誤差dを算出する(ステップS024)。制御位置誤差dは、実施の形態1でステップS014を説明したときに用いた数式(1)により算出する。したがって、最初にステップS024を実行して求められるd=H (v−m)となる。
ステップS024でロボット1の制御位置誤差dを求めた後、誤差判定部23は、誤差dの絶対値が予め定めた閾値より大きいか否かを判定する(ステップS025)。誤差dの絶対値が閾値以下であると誤差判定部23が判定した場合(ステップS025:No)、ステップS028に進む。
誤差dの絶対値が予め定めた閾値より大きいと誤差判定部23が判定した場合(ステップS025:Yes)、ステップS026に進み、キャリブレーションデータ選択部30が、キャリブレーションデータ記憶部26から誤差dの絶対値が最小になるキャリブレーションデータを選択する。具体的には、キャリブレーションデータ記憶部26に登録されているキャリブレーションデータH,H,..,Hについて数式(1)により誤差dを求めて、誤差dの絶対値が最小になるキャリブレーションデータをキャリブレーションデータ選択部30が選択する。
そして、キャリブレーションデータ更新部27が、ロボット制御部20が使用するキャリブレーションデータに設定されているキャリブレーションデータを、ステップS026で選択されたキャリブレーションデータに更新する(ステップS027)。したがって、最初にステップS026を実行する場合は、ロボット制御部20が使用するキャリブレーションデータに設定されているキャリブレーションデータHがステップS026で選択されたキャリブレーションデータHに更新される。
その後、ステップS028では、終了条件が満たされるか否かを終了条件判定部28が判定する。終了条件は、ロボット1の実運用における終了条件である。したがって、終了条件が満たされたと終了条件判定部28が判定すれば(ステップS028:Yes)、処理は終了である。終了条件が満たされていないと終了条件判定部28が判定すれば(ステップS028:No)、ステップS021に戻ってロボット1を動作させる。
図11は、実施の形態2における誤差dの時間変化を説明する図である。図11において、誤差dは、ロボット1の経時的な変化による機械誤差によって時間を経るにつれて増大するが、ステップS027でロボット制御部20が使用するキャリブレーションデータを更新する度に閾値を超えないように減少している様子が示されている。
以上説明したように、実施の形態2にかかるロボット制御装置6によれば、ロボット1の動作中に経時的な機構誤差に応じたキャリブレーションデータを取得する時間が不要となり、経時的な機構誤差を適切に補正しつつ、ロボット1を効率的に動作させることが可能となる。
以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
1 ロボット、2,6 ロボット制御装置、3 ビジョンセンサ、4 作業台、5 基準マーカ、20 ロボット制御部、21 画像処理部、22 誤差算出部、23 誤差判定部、24 キャリブレーションデータ算出部、25 キャリブレーションデータ類似判定部、26 キャリブレーションデータ記憶部、27 キャリブレーションデータ更新部、28 終了条件判定部、30 キャリブレーションデータ選択部、100 ロボット制御システム、201 CPU、202 メモリ、203 記憶装置、204 表示装置、205 入力装置。

Claims (6)

  1. キャリブレーションデータを使用してロボットの動作を制御するロボット制御部と、
    ビジョンセンサが取得した画像データから基準マーカのカメラ座標を取得する画像処理部と、
    前記キャリブレーションデータに対応する前記基準マーカのカメラ座標と前記基準マーカの現在のカメラ座標との差に基づいて誤差を求める誤差算出部と、
    前記誤差の絶対値が閾値より大きくなった場合に、新たなキャリブレーションデータを算出するキャリブレーションデータ算出部と、
    前記新たなキャリブレーションデータを登録するキャリブレーションデータ記憶部と、
    を備え、
    前記ロボットの動作を間に挟んで前記キャリブレーションデータ算出部に前記新たなキャリブレーションデータを複数回算出させて、前記キャリブレーションデータ記憶部に複数の前記新たなキャリブレーションデータを登録させる
    ことを特徴とするロボット制御装置。
  2. 前記キャリブレーションデータ記憶部に登録されているキャリブレーションデータと類似しない前記新たなキャリブレーションデータを前記キャリブレーションデータ記憶部に登録させる
    ことを特徴とする請求項1に記載のロボット制御装置。
  3. 前記誤差の絶対値が閾値より大きくなった場合に、前記キャリブレーションデータ記憶部に登録された複数のキャリブレーションデータの中から前記誤差の絶対値が最小になるキャリブレーションデータを選択するキャリブレーションデータ選択部をさらに備え、
    前記ロボット制御部は、前記キャリブレーションデータ選択部が選択したキャリブレーションデータを使用する
    ことを特徴とする請求項1または2に記載のロボット制御装置。
  4. 前記ビジョンセンサは前記ロボットに備えられている
    ことを特徴とする請求項1から3のいずれか1つに記載のロボット制御装置。
  5. 前記ビジョンセンサは動かないように固定されている
    ことを特徴とする請求項1から3のいずれか1つに記載のロボット制御装置。
  6. キャリブレーションデータを使用してロボットを動作させる動作ステップと、
    ビジョンセンサが取得した画像データから基準マーカのカメラ座標を取得するステップと、
    前記キャリブレーションデータに対応する前記基準マーカのカメラ座標と前記基準マーカの現在のカメラ座標との差に基づいて誤差を求める誤差算出ステップと、
    前記誤差の絶対値が閾値より大きくなった場合に、新たなキャリブレーションデータを算出するステップと、
    前記新たなキャリブレーションデータを登録する登録ステップと、
    を備え、
    前記動作ステップを間に挟んで前記算出するステップに前記新たなキャリブレーションデータを複数回算出させることにより、前記登録ステップが複数の前記新たなキャリブレーションデータを登録する
    ことを特徴とするキャリブレーション方法。
JP2017566435A 2017-03-09 2017-06-08 ロボット制御装置およびキャリブレーション方法 Active JP6301045B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017045267 2017-03-09
JP2017045267 2017-03-09
PCT/JP2017/021349 WO2018163450A1 (ja) 2017-03-09 2017-06-08 ロボット制御装置およびキャリブレーション方法

Publications (2)

Publication Number Publication Date
JP6301045B1 true JP6301045B1 (ja) 2018-03-28
JPWO2018163450A1 JPWO2018163450A1 (ja) 2019-03-14

Family

ID=61756601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017566435A Active JP6301045B1 (ja) 2017-03-09 2017-06-08 ロボット制御装置およびキャリブレーション方法

Country Status (1)

Country Link
JP (1) JP6301045B1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019177450A (ja) * 2018-03-30 2019-10-17 日本電産株式会社 キャリブレーション精度の評価方法及び評価装置
WO2019234814A1 (ja) * 2018-06-05 2019-12-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
JP2020168669A (ja) * 2019-04-01 2020-10-15 ファナック株式会社 ロボットを制御するための機構誤差パラメータを較正する較正装置
JP2021010994A (ja) * 2019-07-09 2021-02-04 株式会社日立製作所 センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
US11173609B2 (en) 2019-01-22 2021-11-16 Samsung Electronics Co., Ltd Hand-eye calibration method and system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
JP2006035384A (ja) * 2004-07-28 2006-02-09 Fanuc Ltd ロボットシステムにおける3次元視覚センサの再校正方法及び装置
JP2014069272A (ja) * 2012-09-28 2014-04-21 Denso Wave Inc キャリブレーション装置、および撮像装置のキャリブレーション方法
JP2016078195A (ja) * 2014-10-21 2016-05-16 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置及びロボットの制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
JP2006035384A (ja) * 2004-07-28 2006-02-09 Fanuc Ltd ロボットシステムにおける3次元視覚センサの再校正方法及び装置
JP2014069272A (ja) * 2012-09-28 2014-04-21 Denso Wave Inc キャリブレーション装置、および撮像装置のキャリブレーション方法
JP2016078195A (ja) * 2014-10-21 2016-05-16 セイコーエプソン株式会社 ロボットシステム、ロボット、制御装置及びロボットの制御方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019177450A (ja) * 2018-03-30 2019-10-17 日本電産株式会社 キャリブレーション精度の評価方法及び評価装置
JP7035727B2 (ja) 2018-03-30 2022-03-15 日本電産株式会社 キャリブレーション精度の評価方法及び評価装置
WO2019234814A1 (ja) * 2018-06-05 2019-12-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
JPWO2019234814A1 (ja) * 2018-06-05 2021-02-12 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
JP7064586B2 (ja) 2018-06-05 2022-05-10 株式会社日立製作所 カメラ位置姿勢校正装置、カメラ位置姿勢校正方法並びにロボット
US11865730B2 (en) 2018-06-05 2024-01-09 Hitachi, Ltd. Camera position/attitude calibration device, camera position/attitude calibration method, and robot
US11173609B2 (en) 2019-01-22 2021-11-16 Samsung Electronics Co., Ltd Hand-eye calibration method and system
JP2020168669A (ja) * 2019-04-01 2020-10-15 ファナック株式会社 ロボットを制御するための機構誤差パラメータを較正する較正装置
JP7048535B2 (ja) 2019-04-01 2022-04-05 ファナック株式会社 ロボットを制御するための機構誤差パラメータを較正するロボットの制御装置
US11712806B2 (en) 2019-04-01 2023-08-01 Fanuc Corporation Calibration apparatus for calibrating mechanism error parameter for controlling robot
JP2021010994A (ja) * 2019-07-09 2021-02-04 株式会社日立製作所 センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法
JP7249221B2 (ja) 2019-07-09 2023-03-30 株式会社日立製作所 センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法

Also Published As

Publication number Publication date
JPWO2018163450A1 (ja) 2019-03-14

Similar Documents

Publication Publication Date Title
WO2018163450A1 (ja) ロボット制御装置およびキャリブレーション方法
JP6301045B1 (ja) ロボット制御装置およびキャリブレーション方法
JP5850962B2 (ja) ビジュアルフィードバックを利用したロボットシステム
CN112964196B (zh) 三维扫描方法、系统、电子装置和计算机设备
US20230060472A1 (en) Teaching device, teaching method, and robot system
CN113825980B (zh) 机器人手眼标定方法、装置、计算设备以及介质
US8861785B2 (en) Information processing device, information processing method and program
US12042942B2 (en) Robot hand-eye calibration method and apparatus, computing device, medium and product
JP7515795B2 (ja) 画像処理システム、及び、画像処理方法、並びに、画像処理プログラム
JP6235664B2 (ja) ロボットの機構パラメータを校正するために使用される計測装置
US9607244B2 (en) Image processing device, system, image processing method, and image processing program
EP3547260B1 (en) System and method for automatic calibration of image devices
CN112183171A (zh) 一种基于视觉信标建立信标地图方法、装置
CN110969665A (zh) 一种外参标定方法、装置、系统及机器人
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
JP2017146952A5 (ja) 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
CN110930444B (zh) 一种基于双边优化的点云匹配方法、介质、终端和装置
JP5267100B2 (ja) 運動推定装置及びプログラム
CN110619664B (zh) 基于激光图案辅助的摄像机距离姿态计算方法及服务器
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
CN108345463B (zh) 基于机器人的三维测量方法、装置、机器人和存储介质
CN117340879A (zh) 一种基于图优化模型的工业机器人参数辨识方法和系统
JPH07146121A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171221

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171221

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180227

R150 Certificate of patent or registration of utility model

Ref document number: 6301045

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250