WO2021145280A1 - ロボットシステム - Google Patents
ロボットシステム Download PDFInfo
- Publication number
- WO2021145280A1 WO2021145280A1 PCT/JP2021/000486 JP2021000486W WO2021145280A1 WO 2021145280 A1 WO2021145280 A1 WO 2021145280A1 JP 2021000486 W JP2021000486 W JP 2021000486W WO 2021145280 A1 WO2021145280 A1 WO 2021145280A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- robot
- image
- coordinate system
- unit
- visual sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1694—Program controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1679—Program controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39045—Camera on end effector detects reference pattern
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/39—Robotics, robotics to robotics hand
- G05B2219/39057—Hand eye calibration, eye, camera on hand, end effector
Definitions
- the storage unit 51 includes a model pattern storage unit 511 and a calibration data storage unit 512.
- the model pattern storage unit 511 stores a model pattern that models the image of the object W, for example, a model pattern that represents the characteristics of the image of the object W.
- the first acquisition unit 521 acquires the first position Pw of the object W in the robot coordinate system based on the first image of the object W and the calibration data captured by the visual sensor 4.
- FIG. 3 is a diagram showing the movement of the visual sensor 4.
- the motion control unit 61 of the robot control device 6 moves the robot 2 so that the object W is within the imaging range, and the visual sensor 4 images the first image of the object W.
- the first acquisition unit 521 stores the position of the robot 2 at the time of imaging.
- the second acquisition unit 522 calculates three or more viewpoints from the position of the object W in the image coordinate system. do. In this case, the second acquisition unit 522 acquires the position where the distance between the three or more lines of sight is the shortest as the second position Ps of the object W by using the intersection of three or more viewpoints or the least squares method.
- the determination unit 523 determines whether or not the difference between the first position Pw and the second position Ps is within a predetermined range.
- the estimation unit 524 stores the calibration data when the determination unit 523 determines that the difference is out of the predetermined range and when the two lines of sight do not intersect (for example, as shown in FIG. 4). It is presumed that the calibration data stored in the unit 512 is incorrect.
- the visual sensor 4 captures a plurality of second images of the object W, and the second acquisition unit 522 takes the robot coordinate system of the object W based on the first image and the plurality of second images. You may acquire a plurality of second positions in.
- the present invention is not limited to the above-described embodiments.
- the effects described in the present embodiment merely list the most preferable effects arising from the present invention, and the effects according to the present invention are not limited to those described in the present embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
ロボットの動作補正を適切に行うことができるロボットシステムを提供すること。ロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、を備える。
Description
本発明は、ロボットシステムに関する。
従来より、ロボットシステムは、撮像装置等の視覚センサを有し、視覚センサによって対象物の位置を認識し、対象物のハンドリング及び加工等の作業を行っている。視覚センサは、ロボットのハンド付近に設けられた撮像装置や、ロボットの周辺に設けられた撮像装置により対象物を撮像する。
このようなロボットシステムは、撮像した画像から対象物を検出し、検出した対象物の位置に対してロボットが作業するようにロボットの動作を制御する。
ロボットシステムは、撮像装置のキャリブレーションデータを用いて、検出した対象物の位置（画像座標系の位置、又は視覚センサから見たセンサ座標系の位置）を、ロボットから見たワークの位置（ロボット座標系の位置）に変換する（例えば、特許文献１参照）。これにより、ロボットシステムは、検出した対象物の位置に対してロボットが作業を行うように、ロボットの動作を補正することができる。
このようなロボットシステムにおいて、視覚センサを用いたロボットの動作補正は、様々な設定の誤りによって正しく行われない場合がある。このような場合、ロボットが意図されない動作をするため、ロボットの動作補正を適切に行うことが求められている。
本開示に係るロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、を備える。
本開示に係るロボットシステムは、ロボットを所定の距離移動した複数の位置において、対象物の複数の画像をそれぞれ撮像する視覚センサと、前記ロボットの動作制御の基準となるロボット座標系と、前記視覚センサによる計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記複数の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記複数の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、を備える。
本開示に係るロボット制御方法は、ロボットの動作補正を設定するステップと、前記ロボットの第１の位置において対象物の第１の画像を撮像するステップと、前記ロボットを前記第１の位置から所定の距離移動した第２の位置において前記対象物の第２の画像を撮像するステップと、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得するステップと、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得するステップと、前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定するステップと、前記差分が前記所定の範囲外であると判定された場合、前記第１の位置、前記第２の位置、前記第１の位置及び前記第２の位置に対応する前記ロボットの位置に基づいて、前記ロボットの動作補正の異常原因を推定するステップと、推定された前記ロボットの動作補正の異常原因に基づいて、前記ロボットの動作補正の設定を変更するステップと、を備える。
本開示に係るロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置と前記第２の位置とに基づいて、前記第１の位置と前記第２の位置との関係が所定の範囲内であるか否かを判定する判定部と、を備える。
本開示に係るロボットシステムは、ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から移動した複数の位置において前記対象物の複数の画像を撮像する視覚センサと、前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、前記対象物の第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、前記第１の画像及び前記複数の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、前記第１の位置及び前記複数の位置に基づいて、前記第１の位置及び前記複数の位置の関係が所定の範囲内であるか否かを判定する判定部と、を備える。
本発明によれば、ロボットの動作補正を適切に行うことができる。
以下、本発明の実施形態の一例について説明する。
図１は、ロボットシステム１の構成を示す図である。
図１に示すように、ロボットシステム１は、ロボット２と、アーム３と、視覚センサ４と、視覚センサ制御装置５と、ロボット制御装置６と、を備える。
ロボットシステム１は、例えば、視覚センサ４で撮像された対象物Ｗの画像に基づいて、対象物Ｗの位置を認識し、対象物Ｗのハンドリング又は加工等の作業を行う。
図１は、ロボットシステム１の構成を示す図である。
図１に示すように、ロボットシステム１は、ロボット２と、アーム３と、視覚センサ４と、視覚センサ制御装置５と、ロボット制御装置６と、を備える。
ロボットシステム１は、例えば、視覚センサ４で撮像された対象物Ｗの画像に基づいて、対象物Ｗの位置を認識し、対象物Ｗのハンドリング又は加工等の作業を行う。
ロボット２のアーム３の先端部には、ハンド又はツールが取り付けられている。ロボット２は、ロボット制御装置６の制御により、対象物Ｗのハンドリング又は加工等の作業を行う。また、ロボット２のアーム３の先端部には、視覚センサ４が取り付けられている。
視覚センサ４は、視覚センサ制御装置５の制御により、対象物Ｗを撮像する。視覚センサ４は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサで構成される撮像素子と、レンズを含む光学系とを有する二次元カメラが用いられてもよく、三次元計測ができるステレオカメラ等が用いられてもよい。
ロボット制御装置６は、ロボット２の動作プログラムを実行し、ロボット２の動作を制御する。その際、ロボット制御装置６は、視覚センサ制御装置５によって検出された対象物Ｗの位置に対してロボット２が所定の作業を行うように、ロボット２の動作を補正する。
図２は、視覚センサ制御装置５及びロボット制御装置６の構成を示す図である。視覚センサ制御装置５は、記憶部５１と、制御部５２と、を備える。
記憶部５１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の各種情報を格納するハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。
記憶部５１は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）やアプリケーションプログラム等を格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、その他の各種情報を格納するハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置である。
記憶部５１は、モデルパターン記憶部５１１と、キャリブレーションデータ記憶部５１２と、を備える。
モデルパターン記憶部５１１は、対象物Ｗの像をモデル化したモデルパターン、例えば対象物Ｗの像の特徴を表すモデルパターンを記憶する。
モデルパターン記憶部５１１は、対象物Ｗの像をモデル化したモデルパターン、例えば対象物Ｗの像の特徴を表すモデルパターンを記憶する。
キャリブレーションデータ記憶部５１２は、ロボット２の動作制御の基準となるロボット座標系と、視覚センサ４による計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶する。キャリブレーションデータの形式及びそれを求める方法は、種々の方式が提案されており、いずれの方式を用いてもよい。
制御部５２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサであり、記憶部５１に記憶されたプログラムを実行することによって第１の取得部５２１、第２の取得部５２２、判定部５２３、推定部５２４、キャリブレーション部５２５及び報知部５２６として機能する。
第１の取得部５２１は、視覚センサ４によって撮像された対象物Ｗの第１の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置Ｐｗを取得する。
第２の取得部５２２は、対象物Ｗの第１の画像及び第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置Ｐｓを取得する。
判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。
推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。
また、判定部５２３により差分が前記所定の範囲外であると判定された場合、視覚センサ４は、複数の位置において対象物Ｗの複数の画像を撮像する。そして、推定部５２４は、複数の画像及び複数の位置に基づいて、ロボット２の動作補正の異常原因を推定する。
キャリブレーション部５２５は、視覚センサ４のキャリブレーションを実行する。視覚センサ４のキャリブレーションの詳細については後述する。
報知部５２６は、判定部５２３により差分が所定の範囲外であると判定された場合、ロボット２の動作補正に異常があることを報知する。
また、報知部５２６は、推定部５２４により推定された異常原因を報知する。報知部５２６による報知の態様は、例えば、表示部（図示せず）等に異常メッセージを表示すること等である。
報知部５２６は、判定部５２３により差分が所定の範囲外であると判定された場合、ロボット２の動作補正に異常があることを報知する。
また、報知部５２６は、推定部５２４により推定された異常原因を報知する。報知部５２６による報知の態様は、例えば、表示部（図示せず）等に異常メッセージを表示すること等である。
ロボット制御装置６は、動作制御部６１を備える。動作制御部６１は、ロボット２の動作プログラムを実行し、ロボット２の動作を制御する。
次に、図３から図８を参照して視覚センサ制御装置５の詳細な動作について説明する。
まず、キャリブレーション部５２５による視覚センサ４のキャリブレーションは、例えば以下のように行われる。
図７は、キャリブレーション用のキャリブレーション治具７を示す図である。図８は、キャリブレーション治具７を用いたキャリブレーションを示す図である。
キャリブレーション治具７は、視覚センサ４により認識可能なパターンとして、図７に示すようなドットパターンを有している。ドットパターンは、格子状に配置された大小のドットから構成される。寸法が大きいドットは、Ｌ字状に配置されており、キャリブレーション治具７の座標系を表している。
まず、キャリブレーション部５２５による視覚センサ４のキャリブレーションは、例えば以下のように行われる。
図７は、キャリブレーション用のキャリブレーション治具７を示す図である。図８は、キャリブレーション治具７を用いたキャリブレーションを示す図である。
キャリブレーション治具７は、視覚センサ４により認識可能なパターンとして、図７に示すようなドットパターンを有している。ドットパターンは、格子状に配置された大小のドットから構成される。寸法が大きいドットは、Ｌ字状に配置されており、キャリブレーション治具７の座標系を表している。
キャリブレーション部５２５は、ロボット座標系から見たキャリブレーション治具７の位置を予め設定する。
また、キャリブレーション治具７のドットの間隔は、キャリブレーション治具の設計図面等から既知である。よって、キャリブレーション部５２５は、ドットの間隔として既知の値を指定し、ドットの間隔をキャリブレーションデータの一部としてキャリブレーションデータ記憶部５１２に記憶する。
また、キャリブレーション治具７のドットの間隔は、キャリブレーション治具の設計図面等から既知である。よって、キャリブレーション部５２５は、ドットの間隔として既知の値を指定し、ドットの間隔をキャリブレーションデータの一部としてキャリブレーションデータ記憶部５１２に記憶する。
視覚センサ４は、キャリブレーション治具７を撮像する。また、キャリブレーション部５２５は、キャリブレーション治具７を撮像したときのロボットの位置を取得する。
動作制御部６１は、ロボット２をキャリブレーション治具７に対して垂直方向へ移動させ、視覚センサ４は、キャリブレーション治具７を撮像する。また、キャリブレーション部は、キャリブレーション治具７を撮像したときのロボットの位置を取得する。
動作制御部６１は、ロボット２をキャリブレーション治具７に対して垂直方向へ移動させ、視覚センサ４は、キャリブレーション治具７を撮像する。また、キャリブレーション部は、キャリブレーション治具７を撮像したときのロボットの位置を取得する。
キャリブレーション部５２５は、キャリブレーション治具７の各画像の複数のドットの画像座標系での位置とロボット座標系での位置の情報を用いて視覚センサ４のキャリブレーションを行う。
視覚センサ４のキャリブレーションを行うことによって、視覚センサ４の外部パラメータ及び内部パラメータが求められる。
ここで、外部パラメータは、視覚センサの位置及び姿勢に関する情報であり、内部パラメータは、レンズの焦点距離、レンズ歪、受光素子の寸法等の視覚センサの光学系の条件に関する情報である。
図３は、視覚センサ４の移動を示す図である。まず、ロボット制御装置６の動作制御部６１は、対象物Ｗが撮像範囲に入るようにロボット２を移動し、視覚センサ４は、対象物Ｗの第１の画像を撮像する。このとき、第１の取得部５２１は、撮像時のロボット２の位置を記憶する。
ここで、外部パラメータは、視覚センサの位置及び姿勢に関する情報であり、内部パラメータは、レンズの焦点距離、レンズ歪、受光素子の寸法等の視覚センサの光学系の条件に関する情報である。
図３は、視覚センサ４の移動を示す図である。まず、ロボット制御装置６の動作制御部６１は、対象物Ｗが撮像範囲に入るようにロボット２を移動し、視覚センサ４は、対象物Ｗの第１の画像を撮像する。このとき、第１の取得部５２１は、撮像時のロボット２の位置を記憶する。
第１の取得部５２１は、撮像した第１の画像の予め定められた範囲から、モデルパターン記憶部５１１に記憶されたモデルパターンを用いて対象物Ｗを検出する。これにより、第１の取得部５２１は、対象物Ｗの画像座標系における位置姿勢を取得する。
第１の取得部５２１は、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータ及び撮像時のロボット２の位置に基づいて、対象物Ｗの画像座標系における位置をロボット座標系（ワールド座標系）における三次元位置Ｐｗに変換する。このようにすることで、第１の取得部５２１は、対象物Ｗのロボット座標系における第１の位置Ｐｗを取得する。
ここで、対象物Ｗを検出するために二次元カメラを用いた場合、第１の取得部５２１は、対象物Ｗの検出箇所が、ある平面（補正平面）上にあると仮定して、三次元位置である第１の位置Ｐｗを取得する。この補正平面は、典型的には、視覚センサ制御装置５に接続された操作盤（図示せず）等を用いてユーザによって設定される。
通常、ロボット２の動作補正は、対象物Ｗの第１の位置Ｐｗを用いて行われる。このとき、動作補正の方式は、絶対位置補正と、相対位置補正とが用いられる。
絶対位置補正では、動作制御部６１は、ロボット２のＴＣＰ（Ｔｏｏｌ Ｃｅｎｔｅｒ Ｐｏｉｎｔ）８（図８参照）を第１の位置Ｐｗへ移動させる。
相対位置補正では、制御部５２は、予め基準となる対象物の位置（基準位置）を定め、基準位置と第１の位置Ｐｗとの差分を補正量として算出する。そして、ロボット制御装置６は、求めた補正量を、予め設定されたロボット２の動作に加えることにより、ロボット２の動作補正を行う。
絶対位置補正では、動作制御部６１は、ロボット２のＴＣＰ（Ｔｏｏｌ Ｃｅｎｔｅｒ Ｐｏｉｎｔ）８（図８参照）を第１の位置Ｐｗへ移動させる。
相対位置補正では、制御部５２は、予め基準となる対象物の位置（基準位置）を定め、基準位置と第１の位置Ｐｗとの差分を補正量として算出する。そして、ロボット制御装置６は、求めた補正量を、予め設定されたロボット２の動作に加えることにより、ロボット２の動作補正を行う。
上記のような動作補正の設定を行う際に、様々な設定の誤りによって正しく行われない場合がある。
そこで、ロボット２の動作補正の誤りを判定するために、本実施形態に係るロボットシステム１は、以下に示すような処理を実行する。
そこで、ロボット２の動作補正の誤りを判定するために、本実施形態に係るロボットシステム１は、以下に示すような処理を実行する。
図３に示すように、ロボット制御装置６の動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きに所定の距離Ｄ移動し、視覚センサ４は、ロボット２が所定の距離Ｄ移動した位置において対象物Ｗの第２の画像を撮像する。
ここで、所定の距離Ｄは、基準位置から、対象物Ｗが十分移動し、かつ視覚センサ４によって対象物Ｗが検出可能な位置までの距離を示す。
ここで、所定の距離Ｄは、基準位置から、対象物Ｗが十分移動し、かつ視覚センサ４によって対象物Ｗが検出可能な位置までの距離を示す。
図４は、第２の位置Ｐｓについて示す図である。図５は、第１の位置Ｐｗと第２の位置Ｐｓとの関係を示す図である。
第２の取得部５２２は、基準位置において対象物Ｗを撮像した第１の画像と、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像した第２の画像とのそれぞれにおいて対象物を検出する。これにより、二つの視点Ａ及びＢにおける画像座標系の対象物の位置が求められる。
第２の取得部５２２は、基準位置において対象物Ｗを撮像した第１の画像と、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像した第２の画像とのそれぞれにおいて対象物を検出する。これにより、二つの視点Ａ及びＢにおける画像座標系の対象物の位置が求められる。
そして、第２の取得部５２２は、画像座標系における対象物Ｗの位置から二つの視線を算出する。第２の取得部５２２は、２つの視線の交点又は２つの視線間の距離が最も近い点を対象物Ｗの第２の位置Ｐｓとして取得する。
図４の例では、２つの視線が交わっていないため、第２の取得部５２２は、２つの視線間の距離が最も近い点を対象物Ｗの第２の位置Ｐｓとして取得する。
なお、撮像部は、第２の画像として複数の画像を撮像してもよい。この場合、撮像部は、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像し、撮像した位置から更にロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像することを繰り返す。
なお、撮像部は、第２の画像として複数の画像を撮像してもよい。この場合、撮像部は、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像し、撮像した位置から更にロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像することを繰り返す。
また、撮像部が第２の画像として複数の画像（例えば、３以上の画像）を撮像した場合、第２の取得部５２２は、画像座標系における対象物Ｗの位置から３以上の視点を算出する。この場合、第２の取得部５２２は、３以上の視点の交点又は最小二乗法を用いて３以上の視線間の距離が最も短くなる位置を対象物Ｗの第２の位置Ｐｓとして取得する。
ここで、対象物Ｗは移動していないため、画像内の対象物Ｗの位置は変動するが、第１の位置Ｐｗと第２の位置Ｐｓとの位置のずれ（差分）は、誤差範囲内であるべきである。
そこで、判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。
そこで、判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。
推定部５２４は、判定部５２３により差分が所定の範囲内であると判定された場合、ロボット２の動作補正が正常であると判断する。
また、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、ロボット２の動作補正が異常であると判断し、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。
また、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、ロボット２の動作補正が異常であると判断し、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。
具体的には、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、２つの視線が交わっていない（例えば図４のような場合）とき、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータが誤っていると推定する。
また、推定部５２４は、判定部５２３により差分が所定の範囲外であると判定された場合、２つの視線が交わっていれば、図５に示すように補正平面が正しくないと推定する。
キャリブレーションデータが誤っていると推定された場合には、別のキャリブレーション手法でキャリブレーションすることで、キャリブレーションデータのどこが誤っているかを推定することができる。図６は、視覚センサ４の移動を示す図である。図６に示すように、動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きにグリッド状に移動する。視覚センサ４は、ロボット２が移動した複数の位置において対象物Ｗの画像を撮像する。これにより、視覚センサ４は、対象物Ｗの複数の画像を撮像する。
キャリブレーション部５２５は、撮像された複数の画像から対象物Ｗを検出し、対象物Ｗの画像座標系における位置Ｐｃｉを取得する。
また、キャリブレーション部５２５は、画像を撮像した際のロボット２のフランジの位置から見た対象物Ｗの位置Ｐｓｉを求める。
このように動作制御部６１は、ロボット２をｎ回（ｉ＝１，２，３，・・・，ｎ）移動し、視覚センサ４は、対象物Ｗの画像をｎ回撮像する。これによって得られたｎ個の（Ｐｃｉ，Ｐｓｉ）の組を用いて、キャリブレーション部５２５は、視覚センサ４のキャリブレーションを行う。
また、キャリブレーション部５２５は、画像を撮像した際のロボット２のフランジの位置から見た対象物Ｗの位置Ｐｓｉを求める。
このように動作制御部６１は、ロボット２をｎ回（ｉ＝１，２，３，・・・，ｎ）移動し、視覚センサ４は、対象物Ｗの画像をｎ回撮像する。これによって得られたｎ個の（Ｐｃｉ，Ｐｓｉ）の組を用いて、キャリブレーション部５２５は、視覚センサ４のキャリブレーションを行う。
推定部５２４は、このように求められた視覚センサ４の外部パラメータ及び内部パラメータを、上述したようにキャリブレーション部５２５により予め求められた外部パラメータ及び内部パラメータ（図７及び図８参照）と比較することにより、外部パラメータ及び内部パラメータの異常を判定することができる。
例えば、推定部５２４は、外部パラメータが正しくない場合、キャリブレーションで求められた内部パラメータが正しくない、又はキャリブレーション治具７の位置が正しくないと推定する。
また、推定部５２４は、内部パラメータが正しくない場合、指定したドットの間隔が正しくない又は適切でないドットをキャリブレーションに使用してしまっていると推定する。
また、推定部５２４は、内部パラメータが正しくない場合、指定したドットの間隔が正しくない又は適切でないドットをキャリブレーションに使用してしまっていると推定する。
図９は、視覚センサ制御装置５の処理を示すフローチャートである。
ステップＳ１において、動作制御部６１は、対象物Ｗが撮像範囲に入るようにロボット２を移動し、視覚センサ４は、対象物Ｗの第１の画像を撮像する。このとき、第１の取得部５２１は、撮像時のロボット２の位置を記憶する。
ステップＳ１において、動作制御部６１は、対象物Ｗが撮像範囲に入るようにロボット２を移動し、視覚センサ４は、対象物Ｗの第１の画像を撮像する。このとき、第１の取得部５２１は、撮像時のロボット２の位置を記憶する。
ステップＳ２において、第１の取得部５２１は、撮像した第１の画像の予め定められた範囲から、モデルパターン記憶部５１１に記憶されたモデルパターンを用いて対象物Ｗを検出する。
第１の取得部５２１は、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータ及び撮像時のロボット２の位置に基づいて、対象物Ｗの画像座標系における位置をロボット座標系における第１の位置Ｐｗに変換する。
第１の取得部５２１は、キャリブレーションデータ記憶部５１２に記憶されたキャリブレーションデータ及び撮像時のロボット２の位置に基づいて、対象物Ｗの画像座標系における位置をロボット座標系における第１の位置Ｐｗに変換する。
ステップＳ３において、ロボット制御装置６の動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きに所定の距離Ｄ移動し、視覚センサ４は、ロボット２が所定の距離Ｄ移動した位置において対象物Ｗの第２の画像を撮像する。
ステップＳ４において、第２の取得部５２２は、基準位置において対象物Ｗを撮像した第１の画像と、ロボット２を所定の距離Ｄ移動した位置において対象物Ｗを撮像した第２の画像とのそれぞれにおいて対象物を検出する。
第２の取得部５２２は、画像座標系における対象物Ｗの位置から二つの視線を算出する。第２の取得部５２２は、２つの視線の交点又は２つの視線間の距離が最も近い点を対象物Ｗの第２の位置Ｐｓとして取得する。
ステップＳ５において、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する。差分が所定の範囲内である（ＹＥＳ）場合、処理は、ステップＳ６へ移り、差分が所定の範囲外である（ＮＯ）場合、処理は、ステップＳ７へ移る。
ステップＳ６において、推定部５２４は、ロボット２の動作補正が正常であると判断し、その後処理を終了する。
ステップＳ７において、ロボット２の動作補正が異常であると判断し、第１の位置Ｐｗ、第２の位置Ｐｓ、第１の位置Ｐｗ及び第２の位置Ｐｓに対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する。
ステップＳ８において、報知部５２６は、ロボットの動作補正に異常があることを報知する。また、報知部５２６は、推定部５２４により推定された異常原因を報知する。
ステップＳ８において、報知部５２６は、ロボットの動作補正に異常があることを報知する。また、報知部５２６は、推定部５２４により推定された異常原因を報知する。
ステップＳ９において、動作制御部６１は、ロボット２を基準位置から視覚センサ４の光軸に対して直交する向きにグリッド状に移動する。視覚センサ４は、ロボット２が移動した複数の位置において対象物Ｗの画像を撮像する。これにより、視覚センサ４は、対象物Ｗの複数の画像を撮像する。
ステップＳ１０において、キャリブレーション部５２５は、撮像された複数の画像から対象物Ｗを検出し、対象物Ｗの画像座標系における位置Ｐｃｉを取得する。
また、キャリブレーション部５２５は、画像を撮像した際のロボット２のフランジの位置から見た対象物Ｗの位置Ｐｓｉを求める。これによって得られたｎ個の（Ｐｃｉ，Ｐｓｉ）の組を用いて、キャリブレーション部５２５は、視覚センサ４のキャリブレーションを行う。
また、キャリブレーション部５２５は、画像を撮像した際のロボット２のフランジの位置から見た対象物Ｗの位置Ｐｓｉを求める。これによって得られたｎ個の（Ｐｃｉ，Ｐｓｉ）の組を用いて、キャリブレーション部５２５は、視覚センサ４のキャリブレーションを行う。
本実施形態によれば、ロボットシステム１は、ロボット２の基準位置において対象物Ｗの第１の画像を撮像し、ロボット２を基準位置から所定の距離Ｄ移動した位置において対象物Ｗの第２の画像を撮像する視覚センサ４と、ロボット２の動作制御の基準となるロボット座標系と、視覚センサ４による計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部５１２と、第１の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置Ｐｗを取得する第１の取得部５２１と、第１の画像及び第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置Ｐｓを取得する第２の取得部５２２と、第１の位置Ｐｗと第２の位置Ｐｓとの差分が所定の範囲内であるか否かを判定する判定部５２３と、を備える。これにより、ロボットシステム１は、第１の位置Ｐｗと第２の位置Ｐｓとの差分からロボット２の動作補正の異常を判定することができる。
また、ロボットシステム１は、判定部５２３により差分が所定の範囲外であると判定された場合、第１の位置、第２の位置、第１の位置及び第２の位置に対応するロボット２の位置に基づいて、ロボット２の動作補正の異常原因を推定する推定部５２４を更に備える。これにより、ロボットシステム１は、ロボット２の動作補正に異常があった場合、異常の原因を推定することができる。したがって、ロボットシステム１は、推定されたロボット２の動作補正の原因に基づいて、ロボット２の動作補正を適切に行うことができる。
また、ロボットシステム１は、判定部５２３により差分が所定の範囲外であると判定された場合、視覚センサ４は、複数の位置において対象物Ｗの複数の画像を撮像し、推定部５２４は、複数の画像及び複数の位置に基づいて、ロボット２の動作補正の異常原因を推定する。これにより、ロボットシステム１は、ロボット２の動作補正を適切に行うことができる。
なお、視覚センサ４は、対象物Ｗの第２の画像を複数撮像し、第２の取得部５２２は、第１の画像及び複数の第２の画像に基づいて、対象物Ｗのロボット座標系における複数の第２の位置を取得してもよい。
これにより、ロボットシステム１は、複数の第２の画像及び複数の第２の位置を用いて、ロボット２の動作補正の異常を判定することができる。
また、ロボットシステム１は、推定部５２４により推定されたロボットの動作補正の異常原因に基づいて、ロボットの動作補正の設定を変更する設定変更部を更に備えてもよい。これにより、ロボットシステム１は、ロボットの動作補正の設定変更を適切に行うことができる。
また、ロボットシステム１は、推定部５２４により推定されたロボットの動作補正の異常原因に基づいて、ロボットの動作補正の設定を変更する設定変更部を更に備えてもよい。これにより、ロボットシステム１は、ロボットの動作補正の設定変更を適切に行うことができる。
また、上述した実施形態では、ロボットシステム１は、第１の画像及び第２の画像を用いたが、例えば、第２の画像に相当する画像のみを用いてもよい。
例えば、ロボットシステム１は、複数の第２の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置を取得する第１の取得部５２１と、複数の第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置を取得する第２の取得部５２２と、を備えてもよい。
例えば、ロボットシステム１は、複数の第２の画像及びキャリブレーションデータに基づいて、対象物Ｗのロボット座標系における第１の位置を取得する第１の取得部５２１と、複数の第２の画像に基づいて、対象物Ｗのロボット座標系における第２の位置を取得する第２の取得部５２２と、を備えてもよい。
また、上述した実施形態に代えて、ロボットシステム１の判定部５２３は、第１の位置Ｐｗ及び第２の位置の三次元位置の差分のそれぞれの要素を確認する方法や、距離を確認する方法等を用いてもよい。すなわち、判定部５２３は、第１の位置Ｐｗと第２の位置Ｐｓとに基づいて、第１の位置Ｐｗと第２の位置Ｐｓとの関係が所定の範囲内であるか否かを判定してもよい。
また、上述した実施形態に代えて、ロボットシステム１の判定部５２３は、３以上の位置の分散や標準偏差を計測するという方法を用いてもよい。すなわち、判定部５２３は、第１の位置及び複数の位置に基づいて、第１の位置及び複数の位置の関係が所定の範囲内であるか否かを判定してもよい。
また、上述した実施形態に代えて、ロボットシステム１の判定部５２３は、３以上の位置の分散や標準偏差を計測するという方法を用いてもよい。すなわち、判定部５２３は、第１の位置及び複数の位置に基づいて、第１の位置及び複数の位置の関係が所定の範囲内であるか否かを判定してもよい。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
１ ロボットシステム
２ ロボット
３ アーム
４ 視覚センサ
５ 視覚センサ制御装置
６ ロボット制御装置
６１ 動作制御部
５１１ モデルパターン記憶部
５１２ キャリブレーションデータ記憶部
５２１ 第１の取得部
５２２ 第２の取得部
５２３ 判定部
５２４ 推定部
５２５ キャリブレーション部
５２６ 報知部
２ ロボット
３ アーム
４ 視覚センサ
５ 視覚センサ制御装置
６ ロボット制御装置
６１ 動作制御部
５１１ モデルパターン記憶部
５１２ キャリブレーションデータ記憶部
５２１ 第１の取得部
５２２ 第２の取得部
５２３ 判定部
５２４ 推定部
５２５ キャリブレーション部
５２６ 報知部
Claims (11)
- ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、
前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。 - 前記判定部により前記差分が前記所定の範囲外であると判定された場合、前記第１の位置、前記第２の位置、前記第１の位置及び前記第２の位置に対応する前記ロボットの位置に基づいて、前記ロボットの動作補正の異常原因を推定する推定部を更に備える請求項１に記載のロボットシステム。
- 前記判定部により前記差分が前記所定の範囲外であると判定された場合、前記視覚センサは、複数の位置において前記対象物の複数の画像を撮像し、
前記推定部は、前記複数の画像及び前記複数の位置に基づいて、前記ロボットの動作補正の前記異常原因を推定する、請求項２に記載のロボットシステム。 - 前記判定部により前記差分が前記所定の範囲外であると判定された場合、前記ロボットの動作補正に異常があることを報知する報知部を更に備える請求項２に記載のロボットシステム。
- 前記報知部は、前記推定部により推定された前記異常原因を報知する、請求項４に記載のロボットシステム。
- 前記視覚センサは、前記対象物の前記第２の画像を複数撮像し、
前記第２の取得部は、前記第１の画像及び複数の前記第２の画像に基づいて、前記対象物のロボット座標系における複数の前記第２の位置を取得する、請求項１から５のいずれか一項に記載のロボットシステム。 - 前記推定部により推定された前記ロボットの動作補正の異常原因に基づいて、前記ロボットの動作補正の設定を変更する設定変更部を更に備える請求項２又は３に記載のロボットシステム。
- ロボットを所定の距離移動した複数の位置において、対象物の複数の画像をそれぞれ撮像する視覚センサと、
前記ロボットの動作制御の基準となるロボット座標系と、前記視覚センサによる計測処理の基準となる画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記複数の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記複数の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。 - ロボットの動作補正を設定するステップと、
前記ロボットの第１の位置において対象物の第１の画像を撮像するステップと、
前記ロボットを前記第１の位置から所定の距離移動した第２の位置において前記対象物の第２の画像を撮像するステップと、
前記第１の画像及びキャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得するステップと、
前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得するステップと、
前記第１の位置と前記第２の位置との差分が所定の範囲内であるか否かを判定するステップと、
前記差分が前記所定の範囲外であると判定された場合、前記第１の位置、前記第２の位置、前記第１の位置及び前記第２の位置に対応する前記ロボットの位置に基づいて、前記ロボットの動作補正の異常原因を推定するステップと、
推定された前記ロボットの動作補正の異常原因に基づいて、前記ロボットの動作補正の設定を変更するステップと、
を備えるロボット制御方法。 - ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から所定の距離移動した位置において前記対象物の第２の画像を撮像する視覚センサと、
前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記第１の画像及び前記第２の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置と前記第２の位置とに基づいて、前記第１の位置と前記第２の位置との関係が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。 - ロボットの所定の位置において対象物の第１の画像を撮像し、前記ロボットを前記所定の位置から移動した複数の位置において前記対象物の複数の画像を撮像する視覚センサと、
前記ロボットのロボット座標系と、前記視覚センサの画像座標系とを互いに関連付けるキャリブレーションデータを記憶するキャリブレーションデータ記憶部と、
前記対象物の第１の画像及び前記キャリブレーションデータに基づいて、前記対象物のロボット座標系における第１の位置を取得する第１の取得部と、
前記第１の画像及び前記複数の画像に基づいて、前記対象物のロボット座標系における第２の位置を取得する第２の取得部と、
前記第１の位置及び前記複数の位置に基づいて、前記第１の位置及び前記複数の位置の関係が所定の範囲内であるか否かを判定する判定部と、
を備えるロボットシステム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/758,120 US12186920B2 (en) | 2020-01-14 | 2021-01-08 | Robot system |
| JP2021571171A JP7414850B2 (ja) | 2020-01-14 | 2021-01-08 | ロボットシステム |
| DE112021000229.5T DE112021000229B4 (de) | 2020-01-14 | 2021-01-08 | Robotersystem |
| CN202180008788.9A CN114945450B (zh) | 2020-01-14 | 2021-01-08 | 机器人系统 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020003862 | 2020-01-14 | ||
| JP2020-003862 | 2020-01-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021145280A1 true WO2021145280A1 (ja) | 2021-07-22 |
Family
ID=76864418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/000486 Ceased WO2021145280A1 (ja) | 2020-01-14 | 2021-01-08 | ロボットシステム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US12186920B2 (ja) |
| JP (1) | JP7414850B2 (ja) |
| CN (1) | CN114945450B (ja) |
| DE (1) | DE112021000229B4 (ja) |
| WO (1) | WO2021145280A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2023157067A1 (ja) * | 2022-02-15 | 2023-08-24 | ||
| WO2025057290A1 (ja) * | 2023-09-12 | 2025-03-20 | ファナック株式会社 | パラメータ修正装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118809616B (zh) * | 2024-08-23 | 2024-12-17 | 海信集团控股股份有限公司 | 一种机器人的运动规划方法、装置、机器人及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251086A (ja) * | 2004-03-08 | 2005-09-15 | Fanuc Ltd | 視覚センサ |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP2012037391A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| JP2014128845A (ja) * | 2012-12-28 | 2014-07-10 | Fanuc Ltd | ロボットシステム表示装置 |
| JP2018113610A (ja) * | 2017-01-12 | 2018-07-19 | ファナック株式会社 | 視覚センサの異常原因推定システム |
| WO2018163450A1 (ja) * | 2017-03-09 | 2018-09-13 | 三菱電機株式会社 | ロボット制御装置およびキャリブレーション方法 |
| JP2020075327A (ja) * | 2018-11-08 | 2020-05-21 | ファナック株式会社 | 制御システム |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2690603B2 (ja) * | 1990-05-30 | 1997-12-10 | ファナック株式会社 | 視覚センサのキャリブレーション方法 |
| JP3946716B2 (ja) * | 2004-07-28 | 2007-07-18 | ファナック株式会社 | ロボットシステムにおける３次元視覚センサの再校正方法及び装置 |
| JP5574805B2 (ja) * | 2010-04-28 | 2014-08-20 | 株式会社ダイヘン | 視覚センサを有するマニピュレータのセンサキャリブレーション方法及びロボット制御システム |
| JP6468741B2 (ja) * | 2013-07-22 | 2019-02-13 | キヤノン株式会社 | ロボットシステム及びロボットシステムの校正方法 |
| JP5850962B2 (ja) * | 2014-02-13 | 2016-02-03 | ファナック株式会社 | ビジュアルフィードバックを利用したロボットシステム |
| JP6710946B2 (ja) * | 2015-12-01 | 2020-06-17 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
| JP6396516B2 (ja) * | 2017-01-12 | 2018-09-26 | ファナック株式会社 | 視覚センサのキャリブレーション装置、方法及びプログラム |
| JP7003462B2 (ja) * | 2017-07-11 | 2022-01-20 | セイコーエプソン株式会社 | ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法 |
| JP6886620B2 (ja) * | 2017-08-09 | 2021-06-16 | オムロン株式会社 | キャリブレーション方法、キャリブレーションシステム及びプログラム |
| JP2019049467A (ja) * | 2017-09-11 | 2019-03-28 | ファナック株式会社 | 距離計測システムおよび距離計測方法 |
| JP6869159B2 (ja) * | 2017-10-03 | 2021-05-12 | 株式会社ダイヘン | ロボットシステム |
| CN109816717A (zh) * | 2017-11-20 | 2019-05-28 | 天津工业大学 | 动态场景中轮式移动机器人的视觉镇定控制 |
| JP7204354B2 (ja) * | 2018-06-19 | 2023-01-16 | キヤノン株式会社 | ロボットシステム、ロボットシステムの制御方法、ロボットシステムを用いた物品の製造方法、プログラム及び記録媒体 |
| JP7237483B2 (ja) * | 2018-07-18 | 2023-03-13 | キヤノン株式会社 | ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法 |
-
2021
- 2021-01-08 DE DE112021000229.5T patent/DE112021000229B4/de active Active
- 2021-01-08 CN CN202180008788.9A patent/CN114945450B/zh active Active
- 2021-01-08 JP JP2021571171A patent/JP7414850B2/ja active Active
- 2021-01-08 WO PCT/JP2021/000486 patent/WO2021145280A1/ja not_active Ceased
- 2021-01-08 US US17/758,120 patent/US12186920B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005251086A (ja) * | 2004-03-08 | 2005-09-15 | Fanuc Ltd | 視覚センサ |
| JP2006250722A (ja) * | 2005-03-10 | 2006-09-21 | Toshiba Corp | キャリブレーション装置及びその方法、キャリブレーション用プログラム |
| JP2012037391A (ja) * | 2010-08-06 | 2012-02-23 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| JP2014128845A (ja) * | 2012-12-28 | 2014-07-10 | Fanuc Ltd | ロボットシステム表示装置 |
| JP2018113610A (ja) * | 2017-01-12 | 2018-07-19 | ファナック株式会社 | 視覚センサの異常原因推定システム |
| WO2018163450A1 (ja) * | 2017-03-09 | 2018-09-13 | 三菱電機株式会社 | ロボット制御装置およびキャリブレーション方法 |
| JP2020075327A (ja) * | 2018-11-08 | 2020-05-21 | ファナック株式会社 | 制御システム |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2023157067A1 (ja) * | 2022-02-15 | 2023-08-24 | ||
| WO2023157067A1 (ja) * | 2022-02-15 | 2023-08-24 | ファナック株式会社 | ロボットシステムおよびキャリブレーション方法 |
| WO2025057290A1 (ja) * | 2023-09-12 | 2025-03-20 | ファナック株式会社 | パラメータ修正装置 |
| DE112023006603T5 (de) | 2023-09-12 | 2026-05-07 | Fanuc Corporation | Parameterkorrekturvorrichtung |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7414850B2 (ja) | 2024-01-16 |
| CN114945450A (zh) | 2022-08-26 |
| CN114945450B (zh) | 2024-10-01 |
| DE112021000229B4 (de) | 2025-07-10 |
| US20230032421A1 (en) | 2023-02-02 |
| US12186920B2 (en) | 2025-01-07 |
| JPWO2021145280A1 (ja) | 2021-07-22 |
| DE112021000229T5 (de) | 2022-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2416113B1 (en) | Position and orientation measurement apparatus and position and orientation measurement method | |
| US10979694B2 (en) | Information processing apparatus, method, and storage medium | |
| JP6280525B2 (ja) | カメラのミスキャリブレーションの実行時決定のためのシステムと方法 | |
| JP6855492B2 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| US9599462B2 (en) | Three-dimensional shape measurement apparatus and control method thereof | |
| US10242438B2 (en) | Information processing apparatus, control method of information processing apparatus, and storage medium for image recognition of the assembly of an object | |
| KR20140008262A (ko) | 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램 | |
| CN114174006A (zh) | 机器人手眼标定方法、装置、计算设备、介质以及产品 | |
| CN110490944A (zh) | 用于计算距离信息的立体相机及其方法、车辆和存储介质 | |
| JP2008256692A (ja) | ステレオビジョンプローブシステムの包括的校正方法 | |
| JP7414850B2 (ja) | ロボットシステム | |
| CN111152243B (zh) | 控制系统 | |
| JPWO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
| JP5487946B2 (ja) | カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置 | |
| US20100262290A1 (en) | Data matching apparatus, data matching method and mobile robot | |
| JP7427370B2 (ja) | 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体 | |
| JPWO2017042995A1 (ja) | 車載用ステレオカメラ装置、およびその補正方法 | |
| WO2022124232A1 (ja) | 画像処理システム及び画像処理方法 | |
| CN115397626A (zh) | 坐标系设定系统和位置姿势测量系统 | |
| WO2005073669A1 (en) | Semi and fully-automatic camera calibration tools using laser-based measurement devices | |
| CN119704259B (zh) | 传感器标定方法、存储介质、电子设备及程序产品 | |
| KR101770866B1 (ko) | 뎁스 센서와 촬영 카메라 간의 관계에 기초한 뎁스 영상 보정 장치 및 방법 | |
| JP2020197495A (ja) | 情報処理装置、計測装置、情報処理方法、プログラム、システム及び物品の製造方法 | |
| WO2022224358A1 (ja) | ロボット | |
| JP2020059064A (ja) | ロボットツールセンターポジションのずれ検出装置及び検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21741606 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2021571171 Country of ref document: JP Kind code of ref document: A |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21741606 Country of ref document: EP Kind code of ref document: A1 |
|
| WWG | Wipo information: grant in national office |
Ref document number: 112021000229 Country of ref document: DE |