WO2024048491A1 - ロボットシステム、および、ロボットシステムの制御方法 - Google Patents

Abstract

このロボットシステム（１００）は、キャリブレーション動作において、ロボットアーム（１１）を一の基準姿勢に配置した状態で基準画像を取得する。そして、ロボットシステム（１００）は、取得された基準画像に基づいて、識別部材が撮像部（２１、２２）の視野に含まれた状態で撮像部（２１、２２）により撮像されるように、ロボットアーム（１１）の複数のキャリブレーション用の姿勢を設定し、設定された複数のキャリブレーション用の姿勢ごとに、撮像部（２１、２２）により識別部材が撮像されたキャリブレーション用の校正画像を取得する。

Description

ロボットシステム、および、ロボットシステムの制御方法

　この開示は、ロボットシステム、および、ロボットシステムの制御方法に関する。

　従来、撮像部によって撮像された撮像画像に基づいてロボットアームの動作を制御するロボットシステムが知られている。たとえば、特開２０２２－０２８６７２号公報には、ビジョンシステムカメラとロボットアームとを備えるシステムが開示されている。特開２０２２－０２８６７２号公報に開示されているシステムでは、カメラにより撮像されたシーン内でロボットアームの運動を制御するために、キャリブレーション動作であるハンドアイ校正が実行される。ハンドアイ校正では、ロボットアームに取り付けられた校正オブジェクトを移動させることにより、多数の異なる配置の校正オブジェクトの画像がカメラによって撮像される。そして、撮像された画像内の校正オブジェクトの特徴を特定することによって、ロボット座標空間からカメラ座標空間への変換が計算される。

　特開２０２２－０２８６７２号公報に記載のシステムでは、ハンドアイ校正においてカメラの視野内に校正オブジェクトが配置されるように、事前校正プロセスが実行される。事前校正プロセスでは、カメラの視野内において３点校正が実行され、ロボット座標空間から画像座標空間への粗い変換が計算される。具体的には、事前校正プロセスでは、まず、校正オブジェクトの特徴パターンがカメラの視野の中心領域に配置される。そして、移動距離であるステップサイズを調整しながら校正オブジェクトを移動させることによって、識別された校正オブジェクトの特徴点を用いて３点校正が実行される。ロボット座標空間からカメラ座標空間への粗い変換と、カメラの視野のサイズに基づいて、校正オブジェクトの特徴をカメラの視野内に維持する空間位置が計算されることにより、ハンドアイ校正におけるロボットの運動範囲が設定される。

特開２０２２－０２８６７２号公報

　しかしながら、上記特開２０２２－０２８６７２号公報に記載されているようなロボットシステムでは、ロボットアームの位置情報であるロボット座標空間と、撮像画像の位置情報であるカメラ画像座標系とを対応付けるハンドアイ校正を行うために、ロボットアームの位置を変更しながら３点校正を行うことによって粗い変換を計算する事前校正プロセスが実行される。そのため、キャリブレーション動作であるハンドアイ校正において、ロボットアームの複数の姿勢を設定するために、事前に３点の位置に校正オブジェクトを移動させて画像を取得する必要があるとともに、取得された３点の位置の画像に基づいて事前にロボットアームの位置情報と撮像画像の位置情報とを対応付ける粗い変換の演算処理を実行する必要があるため、キャリブレーション動作における制御処理に要する時間および処理量が増大することが考えられる。したがって、ロボットアームの位置情報と撮像画像の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することが望まれている。

　この開示は、上記のような課題を解決するためになされたものであり、この開示の１つの目的は、ロボットアームの位置情報と撮像画像の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することが可能なロボットシステムおよびロボットシステムの制御方法を提供することである。

　上記目的を達成するために、この開示の第１の局面によるロボットシステムは、ワークに対して作業を行うハンドが取り付けられるロボットアームと、ワークを撮像する撮像部と、撮像部により撮像された撮像画像に基づいてロボットアームを動作させるために、ロボットアームの位置情報と撮像画像の位置情報とを対応付けるキャリブレーション動作を行う制御部と、を備え、制御部は、ロボットアームを一の姿勢に配置した状態で撮像部によりキャリブレーション用の識別部材が撮像された１つの撮像画像である基準画像を取得するとともに、取得された基準画像に基づいて、キャリブレーション動作において識別部材が撮像部の視野に含まれた状態で撮像部により撮像されるように、ロボットアームの複数のキャリブレーション用の姿勢を設定し、設定された複数のキャリブレーション用の姿勢の各々ごとに、撮像部により識別部材が撮像されたキャリブレーション用の撮像画像である校正画像を取得する。

　この開示の第１の局面によるロボットシステムでは、上記のように、制御部は、ロボットアームを一の姿勢に配置した状態で撮像部によりキャリブレーション用の識別部材が撮像された１つの撮像画像である基準画像を取得する。そして、制御部は、取得された基準画像に基づいて、キャリブレーション動作において識別部材が撮像部の視野に含まれた状態で撮像部により撮像されるように、ロボットアームの複数のキャリブレーション用の姿勢を設定する。そして、制御部は、設定された複数のキャリブレーション用の姿勢の各々ごとに、撮像部により識別部材が撮像されたキャリブレーション用の撮像画像である校正画像を取得する。これにより、１つの撮像画像である基準画像に基づいてロボットアームの複数のキャリブレーション用の姿勢が設定されるため、３点校正のように複数の撮像画像に基づいて予め粗い変換を行うことによってキャリブレーション用の姿勢を設定する場合に比べて、キャリブレーション用の姿勢を設定するための制御処理に要する時間を短縮することができるとともに、制御処理の処理量を減少させることができる。その結果、ロボットアームの位置情報と撮像画像の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することができる。

　また、上記目的を達成するために、この開示の第２の局面によるロボットシステムの制御方法は、ワークに対して作業を行うハンドが取り付けられるロボットアームの位置情報と、ワークを撮像する撮像部により撮像された撮像画像の位置情報とを対応付けるキャリブレーション動作を行うステップと、キャリブレーション動作が行われた後に、撮像部により撮像された撮像画像に基づいて、ロボットアームの動作を制御するステップと、を備え、キャリブレーション動作を行うステップは、ロボットアームを一の姿勢に配置した状態で撮像部によりキャリブレーション用の識別部材が撮像された１つの撮像画像である基準画像を取得するステップと、取得された基準画像に基づいて、識別部材が撮像部の視野に含まれた状態で撮像部により撮像されるように、ロボットアームの複数のキャリブレーション用の姿勢を設定するステップと、設定された複数のキャリブレーション用の姿勢の各々ごとに、撮像部により識別部材が撮像されたキャリブレーション用の撮像画像である校正画像を取得するステップと、を含む。

　この開示の第２の局面によるロボットシステムの制御方法では、上記のように、ロボットアームを一の姿勢に配置した状態で撮像部によりキャリブレーション用の識別部材が撮像された１つの撮像画像である基準画像を取得する。そして、取得された基準画像に基づいて、識別部材が撮像部の視野に含まれた状態で撮像部により撮像されるように、ロボットアームの複数のキャリブレーション用の姿勢を設定する。そして、設定された複数のキャリブレーション用の姿勢の各々ごとに、撮像部により識別部材が撮像されたキャリブレーション用の撮像画像である校正画像を取得する。これにより、１つの撮像画像である基準画像に基づいてロボットアームの複数のキャリブレーション用の姿勢が設定されるため、３点校正のように複数の撮像画像に基づいて予め粗い変換を行うことによってキャリブレーション用の姿勢を設定する場合に比べて、キャリブレーション用の姿勢を設定するための制御処理に要する時間を短縮することができるとともに、制御処理の処理量を減少させることができる。その結果、ロボットアームの位置情報と撮像画像の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することが可能なロボットシステムの制御方法を提供することができる。

　本開示によれば、上記のように、ロボットアームの位置情報と撮像画像の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することが可能なロボットシステムおよびロボットシステムの制御方法を提供することができる。

本開示の一実施形態によるロボットシステムの全体構成を示した模式図である。 ２つの撮像部の各々による撮像画像の一例を示した図である。 キャリブレーション用の複数の校正画像を説明するための図である。 ２つの撮像部の視野と識別部材との配置を説明するための図である。 基準画像５１ａの一例を示した図である。 基準画像５２ａの一例を示した図である。 基準平面における４つのキャリブレーション用の姿勢の取得を説明するための図である。 基準平面における４つのキャリブレーション用の姿勢における校正画像の一例を示した図である。 基準平面よりも奥側における４つのキャリブレーション用の姿勢の取得を説明するための図である。 基準平面よりも奥側における４つのキャリブレーション用の姿勢における校正画像の一例を示した図である。 基準平面よりも手前側における４つのキャリブレーション用の姿勢の取得を説明するための図である。 基準平面よりも手前側における４つのキャリブレーション用の姿勢における校正画像の一例を示した図である。 本開示の一実施形態によるロボットシステムの制御方法を示したフローチャート図である。

　以下、本開示を具体化した実施形態を図面に基づいて説明する。

　（ロボットシステムの構成）
　図１から図１２までを参照して、本開示の一実施形態によるロボットシステム１００の構成について説明する。

　図１に示すように、ロボットシステム１００は、撮像部２１および撮像部２２により撮像されたワークＷに対してロボットアーム１１が作業を行うシステムである。たとえば、ロボットアーム１１は、ロボットアーム１１の近傍に配置されたワークＷを所定位置に積み換える作業を行う。図１では、ワークＷが、段ボール箱である例を示している。

　ロボットシステム１００は、ロボット１０と、撮像部２１と、撮像部２２と、ビジョンコントローラ３０とを備える。なお、撮像部２１は、請求の範囲の「撮像部」および「第１撮像部」の一例である。また、撮像部２２は、請求の範囲の「撮像部」および「第２撮像部」の一例である。また、ビジョンコントローラ３０は、請求の範囲における「制御部」の一例である。

　ロボット１０は、ロボットアーム１１と、ロボットコントローラ１２と、を含む。ロボットアーム１１は、複数の関節部を有する垂直多関節ロボットアームである。ロボットアーム１１には、ワークＷに対して作業を行うハンドＨが取り付けられている。たとえば、ハンドＨは、ワークＷを把持する。ハンドＨは、ロボットアーム１１の先端部に取り付けられている。ロボットアーム１１は、ロボットコントローラ１２に制御されて、複数の関節部を動作させる。たとえば、ロボットアーム１１は、複数の関節部に設けられたサーボモータなどの駆動部の駆動により動作する。なお、ロボットコントローラ１２は、請求の範囲における「制御部」の一例である。

　ロボットコントローラ１２は、ロボットアーム１１の動作を制御する。また、ロボットコントローラ１２は、ロボットアーム１１に取り付けられたハンドＨの動作を制御する。ロボットコントローラ１２は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサと、情報を記憶するメモリと、を含む。ロボットコントローラ１２は、ビジョンコントローラ３０と通信を行う。

　撮像部２１および撮像部２２は、ワークＷを撮像する。撮像部２１および撮像部２２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、または、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサなどの撮像素子を含む。撮像部２１は、ロボットアーム１１とは異なる第１位置に配置されている。撮像部２２は、撮像部２１とは別個に、ロボットアーム１１とは異なる第２位置に配置されている。第１位置および第２位置の各々は、たとえば、ロボットアーム１１とは離間した床面、壁面、または、ロボットアーム１１の基台部分などである。すなわち、撮像部２１および撮像部２２は、ロボットアーム１１の動作とは別個に、ワークＷを撮像する位置に固定されて配置されている。そして、撮像部２１および撮像部２２の各々は、共に共通のワークＷを撮像するように配置されている。撮像部２１および撮像部２２は、ワークＷの三次元的な位置を取得するためのステレオカメラとして配置されている。したがって、撮像部２１および撮像部２２は、三角測量によりワークＷの位置を識別するために、左右方向に所定の距離分互いに離間した状態で固定されている。撮像部２１と撮像部２２とは、ビジョンコントローラ３０に対して並列に接続されている。

　ビジョンコントローラ３０は、撮像部２１および撮像部２２において撮像された画像を処理する画像処理装置である。ビジョンコントローラ３０は、たとえば、ＣＰＵおよびＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等のプロセッサと、情報を記憶するメモリ、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などの記憶装置と、を含むパーソナルコンピュータである。

　図２に示すように、ビジョンコントローラ３０は、撮像部２１および撮像部２２を制御することによって、撮像部２１による撮像画像４１と撮像部２２による撮像画像４２とを取得する。そして、ビジョンコントローラ３０は、取得された撮像画像４１および撮像画像４２に対して画像処理を行うことによって、撮像画像４１および撮像画像４２の各々に含まれるワークＷを検出する。なお、撮像画像４１は、請求の範囲における「第１撮像画像」および「撮像画像」の一例である。また、撮像画像４２は、請求の範囲における「第２撮像画像」および「撮像画像」の一例である。

　（撮像画像に基づくロボットアームの制御）
　ロボットシステム１００では、ロボットコントローラ１２およびビジョンコントローラ３０による制御処理によって、撮像部２１および撮像部２２により撮像されたワークＷの画像である撮像画像４１および撮像画像４２に基づいて、ロボットアーム１１によるワークＷの把持が行われる。ビジョンコントローラ３０は、撮像部２１により撮像された撮像画像４１と撮像部２２により撮像された撮像画像４２とに基づいて、ロボットアーム１１の動作を制御するための信号をロボットコントローラ１２に対して出力する。具体的には、ビジョンコントローラ３０は、撮像部２１により撮像された撮像画像４１と撮像部２２により撮像された撮像画像４２とに対して画像処理を行うことによって、ロボットアーム１１の動作を制御するためにワークＷの三次元的な位置を取得する。そして、ビジョンコントローラ３０は、取得されたワークＷの三次元的な位置を示す信号をロボットコントローラ１２に出力する。ロボットコントローラ１２は、ビジョンコントローラ３０からの信号に基づいて、ワークＷに対して作業を行わせるようにロボットアーム１１の動作を制御する。すなわち、ロボットコントローラ１２は、ビジョンコントローラ３０からの信号に基づいてワークＷの三次元的な位置を認識する。そして、ロボットコントローラ１２は、認識したワークＷの位置に基づいて、ロボットアーム１１に取り付けられたハンドＨがワークＷを把持するように、ロボットアーム１１およびハンドＨを動作させる。

　〈キャリブレーション動作〉
　ここで、ロボットシステム１００では、撮像画像４１および撮像画像４２に基づいてロボットアーム１１によるワークＷの把持を行う場合には、撮像部２１および撮像部２２の座標系とロボットアーム１１の座標系との相対的な関係を認識する必要がある。そこで、ロボットコントローラ１２およびビジョンコントローラ３０は、互いに通信を行いながら、撮像部２１および撮像部２２により撮像された撮像画像４１および撮像画像４２に基づいてロボットアーム１１を動作させるために、予め、ロボットアーム１１の位置情報と、撮像画像４１および撮像画像４２の各々の位置情報とを対応付けるキャリブレーション動作を実行する。すなわち、本実施形態では、ロボットコントローラ１２およびビジョンコントローラ３０が互いに通信を行いながら制御処理を実行することによって、キャリブレーション動作を行う制御部として動作する。キャリブレーション動作は、たとえば、ロボットシステム１００の設置時、または、撮像部２１および撮像部２２の交換時などにおいて実行される。

　図３に示すように、キャリブレーション動作では、ロボットコントローラ１２によりロボットアーム１１の姿勢を変更しながら、ロボットアーム１１の先端のハンドＨに取り付けられたキャリブレーション用の識別部材１０１を撮像部２１および撮像部２２により複数回撮像することによって、ビジョンコントローラ３０により複数のキャリブレーション用の撮像画像４１である複数の校正画像５１と複数のキャリブレーション用の撮像画像４２である複数の校正画像５２とが取得される。そして、ビジョンコントローラ３０は、複数の校正画像５１および複数の校正画像５２に含まれるキャリブレーション用の識別部材１０１の位置および角度を画像処理によって識別することによって、ロボットアーム１１の位置情報と、撮像画像４１および撮像画像４２の位置情報とを対応付ける演算処理を実行する。識別部材１０１は、複数の識別点１０１ａが格子状に配置されている板状の部材である。

　具体的には、図４に示すように、キャリブレーション動作において、ロボットコントローラ１２は、ロボットアーム１１を複数のキャリブレーション用の姿勢に移動させることよって、ハンドＨに取り付けられた識別部材１０１を、撮像部２１の視野２１ａと撮像部２２の視野２２ａとの両方に含まれる位置に配置する。ビジョンコントローラ３０は、撮像部２１および撮像部２２を制御することによって、撮像部２１の視野２１ａと撮像部２２の視野２２ａとの両方に含まれる位置に配置された識別部材１０１に対して、複数のキャリブレーション用の姿勢ごとに撮像を行う。本実施形態では、ロボットコントローラ１２は、ロボットアーム１１の複数のキャリブレーション用の姿勢を、自動的に設定する。なお、ここで言うロボットアーム１１の姿勢は、ロボットアーム１１の配置位置および配置角度を示す。

　図５に示すように、キャリブレーション動作では、複数のキャリブレーション用の姿勢を取得するために、まず、基準となる基準画像５１ａが取得される。本実施形態では、ビジョンコントローラ３０は、ロボットアーム１１を一の基準姿勢に配置した状態で撮像部２１により識別部材１０１が撮像された基準画像５１ａを取得する。基準画像５１ａは、基準姿勢のロボットアーム１１に配置された識別部材１０１が撮像部２１により撮像された１つの撮像画像４１である。基準姿勢では、撮像部２１の視野２１ａの略中心であり、かつ、撮像部２２の視野２２ａの略中心となる位置に、識別部材１０１が配置される。したがって、基準画像５１ａは、画像の略中心に識別部材１０１が配置されるように撮像される。なお、基準画像５１ａは、請求の範囲における「基準画像」および「第１基準画像」の一例である。

　図６に示すように、基準画像５１ａと同様に、複数のキャリブレーション用の姿勢を取得するためにロボットアーム１１を一の基準姿勢に配置した状態で撮像部２２によりロボットアーム１１のハンドＨに配置された識別部材１０１が撮像された１つの基準画像５２ａが取得される。撮像部２２による基準画像５２ａも基準画像５１ａと同様に、画像の略中心に識別部材１０１が配置されるように撮像される。なお、基準画像５２ａは、請求の範囲における「基準画像」および「第２基準画像」の一例である。

　また、基準姿勢において、識別部材１０１の識別点１０１ａの並ぶ面が撮像部２１および撮像部２２の両方に向くように、識別部材１０１が配置される。撮像部２１および撮像部２２は、互いに離間して配置されているため、基準姿勢のロボットアーム１１に配置された状態で、識別部材１０１は、撮像部２１および撮像部２２の各々が配置される中間地点に識別点１０１ａの並ぶ面が向くように配置される。したがって、基準画像５１ａおよび基準画像５２ａの両方において、識別部材１０１は、複数の識別点１０１ａが配置されている面が、略正面を向いた状態で撮像される。

　なお、ロボットアーム１１を基準姿勢に配置するための制御量は、作業者による入力に基づいて設定される。たとえば、ビジョンコントローラ３０は、ビジョンコントローラ３０に接続されたディスプレイなどの図示しない表示装置に、撮像部２１および撮像部２２の各々からの画像である撮像画像４１および撮像画像４２を表示するとともに、撮像画像４１および撮像画像４２の各々に対して中心位置を識別するための十字形状の画像などを重畳させて表示する。そして、作業者は、図示しない表示装置における中心位置を識別するための十字形状を視認しながら、識別部材１０１を撮像部２１の視野２１ａと撮像部２２の視野２２ａとの両方の中心の位置に配置する。たとえば、ビジョンコントローラ３０またはロボットコントローラ１２に接続された図示しないキーボードおよびマウスなどの操作部に対する入力操作に基づいて、ロボットコントローラ１２によりロボットアーム１１の姿勢が変更されて識別部材１０１の配置が調整されることによって、基準姿勢が設定される。

　そして、本実施形態では、ロボットコントローラ１２およびビジョンコントローラ３０は、取得された基準画像５１ａおよび基準画像５２ａに基づいて、キャリブレーション動作において識別部材１０１が撮像部２１の視野２１ａと撮像部２２の視野２２ａとの両方に含まれた状態で撮像部２１および撮像部２２の各々により撮像されるように、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定する。ロボットコントローラ１２およびビジョンコントローラ３０は、キャリブレーション動作において、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａにおける画像上の識別部材１０１における識別位置の距離Ｄとに基づいて、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定する。識別位置の距離Ｄは、識別部材１０１における複数の識別点１０１ａ同士の距離である。たとえば、識別位置の距離Ｄは、格子状に配置された複数の識別点１０１ａのうちの四隅の識別点１０１ａ同士の距離である。

　詳細には、ビジョンコントローラ３０は、取得された基準画像５１ａおよび基準画像５２ａの各々において、識別部材１０１に含まれる枠線１０１ｂを検出する。そして、ビジョンコントローラ３０は、枠線１０１ｂの内側に含まれる格子状に配置された複数の識別点１０１ａの各々を識別する。そして、ビジョンコントローラ３０は、複数の識別点１０１ａのうちの四隅の識別点１０１ａ同士の距離を取得することによって、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１における識別位置の距離Ｄを取得する。画像上の識別部材１０１における識別位置の距離Ｄは、たとえば、ピクセル数で表される数値である。また、画像上の識別部材１０１における識別位置の距離Ｄは、たとえば、画像の横方向と縦方向とに沿って各々取得される。そして、ビジョンコントローラ３０は、実際の識別部材１０１における四隅の識別点１０１ａ同士の距離である実際の識別位置の距離Ｄを、予め記憶している。

　ビジョンコントローラ３０は、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１の識別位置の距離Ｄとを比較することによって、撮像部２１の視野２１ａと撮像部２２の視野２２ａとの両方に識別部材１０１が含まれるために、ロボットアーム１１が識別部材１０１をどの程度移動させても識別部材１０１が視野２１ａおよび視野２２ａに含まれるかの限界の移動量を算出する。そして、ビジョンコントローラ３０は、算出された移動量をロボットコントローラ１２に対して出力する。ロボットコントローラ１２は、ビジョンコントローラ３０から出力された移動量を取得するとともに、取得された移動量に基づいて、キャリブレーション用の姿勢を設定する。本実施形態では、ロボットコントローラ１２およびビジョンコントローラ３０によって、取得された基準画像５１ａおよび５１ｂに基づいて、校正画像５１および校正画像５２を取得するための１２個のキャリブレーション用の姿勢が設定される。

　図７に示すように、ロボットコントローラ１２およびビジョンコントローラ３０は、取得された基準画像５１ａおよび基準画像５２ａに基づいて、所定の基準平面Ｓ１内における４か所の位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に識別部材１０１を移動させるようにキャリブレーション用のロボットアーム１１の４つの姿勢を設定する。所定の基準平面Ｓ１は、基準画像５１ａおよび基準画像５２ａが撮像された際の識別部材１０１の位置である位置Ｐ１を含む。そして、基準平面Ｓ１は、識別部材１０１の識別点１０１ａが並ぶ面に沿う平面である。ビジョンコントローラ３０は、位置Ｐ１から、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に識別部材１０１を移動させる場合に、識別部材１０１の識別点１０１ａが配置されている面に沿って識別部材１０１を移動させるための移動量を示す信号を、ロボットコントローラ１２に対して出力する。

　図８に示すように、ロボットコントローラ１２は、ビジョンコントローラ３０から取得された移動量を示す信号に基づいて、所定の基準平面Ｓ１内における４か所の位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に識別部材１０１を移動させることによって、校正画像５１および校正画像５２において画像の四隅の各々に識別部材１０１が配置されるように、キャリブレーション用のロボットアーム１１の４つの姿勢を設定する。なお、図８では、校正画像５１のみを図示し、校正画像５２の図示を省略している。位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５は、撮像部２１の視野２１ａおよび撮像部２２の視野２２ａの両方に識別部材１０１が含まれる位置となるように、ビジョンコントローラ３０により算出される。すなわち、ビジョンコントローラ３０は、撮像部２１による基準画像５１ａと撮像部２２による基準画像５２ａとの各々において、撮像部２１の視野２１ａ内および撮像部２２の視野２２ａ内に識別部材１０１が配置されるために、実際の識別部材１０１の撮像部２１および撮像部２２に対する移動距離の限界となる移動量の値を算出する。そして、ビジョンコントローラ３０は、基準画像５１ａと基準画像５２ａとのうちの、識別部材１０１の限界となる移動量が小さい方に合わせて、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５を取得する。ロボットコントローラ１２は、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に識別部材１０１が配置されるように、ロボットアーム１１の姿勢を変更する。ロボットコントローラ１２は、識別部材１０１を位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５の各々に配置する度に、ビジョンコントローラ３０に対して、校正画像５１および校正画像５２の撮像を指示する信号を出力するとともに、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５の各々に識別部材１０１を配置するための姿勢を示す信号を出力する。なお、ビジョンコントローラ３０は、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５の識別部材１０１を撮像した校正画像５１および校正画像５２において、識別部材１０１の一部または全部が含まれてない場合には、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５を補正する。その場合には、たとえば、中心である位置Ｐ１からの移動距離を算出結果から徐々に小さくしていく。すなわち、算出された限界の移動量の値が、画像の中心に向かうように徐々に小さくされる。そして、補正された位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に対応する移動量が再度ロボットコントローラ１２に出力されて、再度校正画像５１および校正画像５２の撮像が行われる。

　そして、ロボットコントローラ１２は、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に配置された状態の識別部材１０１を撮像した校正画像５１および校正画像５２が取得された後に、基準平面Ｓ１内における４か所の位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５の各々と、基準平面Ｓ１に直交する方向の一方側である奥側の点との間の位置と他方側である手前側の点との間の位置との各々に識別部材１０１を移動させるように、ロボットアーム１１の８つの姿勢をさらに設定する。

　たとえば、図９に示すように、ロボットコントローラ１２は、基準平面Ｓ１に直交する方向の一方側である奥側において、キャリブレーション用の４つの姿勢を取得するための４つの位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５を取得する。ロボットコントローラ１２は、位置Ｐ１から、奥側方向に位置を移動した後、撮像部２１の視野２１ａおよび撮像部２２の視野２２ａの最上端となる位置を位置Ｐａ、最下端となる位置を位置Ｐｂとして取得する。そして、ロボットコントローラ１２は、位置Ｐａと位置Ｐ２との中点を位置Ｐ１２として取得し、位置Ｐａと位置Ｐ３との中点を位置Ｐ１３として取得し、位置Ｐｂと位置Ｐ４との中点を位置Ｐ１４として取得し、位置Ｐｂと位置Ｐ５との中点を位置Ｐ１５として取得する。

　そして、図１０に示すように、ロボットコントローラ１２は、識別部材１０１を位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５の各々に配置する度に、ビジョンコントローラ３０に対して、校正画像５１および校正画像５２の撮像を指示する信号を出力するとともに、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５の各々に識別部材１０１を配置するための姿勢を示す信号を出力する。なお、ロボットコントローラ１２は、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５において、識別部材１０１が基準姿勢の状態から、撮像部２１および撮像部２２に対する相対的な角度を変更して配置されるようにキャリブレーション用の姿勢を設定する。すなわち、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５では、位置Ｐ１の姿勢から、識別部材１０１を基準平面Ｓ１に沿って平行に移動させるようにキャリブレーション用の姿勢を設定していたが、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５では、識別部材１０１の識別点１０１ａが配置される面は、基準平面Ｓ１とは異なる向きに向かうように配置されている。たとえば、基準平面Ｓ１における互いに直交する方向をＸ方向およびＹ方向として、基準平面Ｓ１に直交する方向をＺ方向とすると、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５では、識別部材１０１は、基準姿勢における状態から、Ｘ方向回り、Ｙ方向回り、および、Ｚ方向回りのうちの少なくとも１つの方向に所定の角度分回転させた状態で配置される。なお、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５における角度方向は、予め設定されている。

　また、図１１に示すように、奥側と同様に、ロボットコントローラ１２は、基準平面Ｓ１に直交する方向の他方側である手前側において、キャリブレーション用の４つの姿勢を取得するための４つの位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５を取得する。ロボットコントローラ１２は、位置Ｐ１から、手前側方向に位置を移動した後、撮像部２１の視野２１ａおよび撮像部２２の視野２２ａの最上端となる位置を位置Ｐｃ、最下端となる位置を位置Ｐｄとして取得する。そして、ロボットコントローラ１２は、位置Ｐｃと位置Ｐ２との中点を位置Ｐ２２として取得し、位置Ｐｃと位置Ｐ３との中点を位置Ｐ２３として取得し、位置Ｐｄと位置Ｐ４との中点を位置Ｐ２４として取得し、位置Ｐｄと位置Ｐ５との中点を位置Ｐ２５として取得する。

　そして、図１２に示すように、ロボットコントローラ１２は、識別部材１０１を位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５の各々に配置する度に、ビジョンコントローラ３０に対して、校正画像５１および校正画像５２の撮像を指示する信号を出力するとともに、位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５の各々に識別部材１０１を配置するための姿勢を示す信号を出力する。位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５と同様に、位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５では、識別部材１０１の識別点１０１ａが配置される面は、基準平面Ｓ１とは異なる向きに向かうように配置されている。位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５では、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５と同様に、識別部材１０１は、基準姿勢における状態から、Ｘ方向回り、Ｙ方向回り、および、Ｚ方向回りの少なくとも１つの方向に所定の角度分回転させた状態で配置される。なお、位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５における角度方向も、予め設定されている。なお、図８、図１０、および、図１２では、校正画像５１のみの例を図示しているが、校正画像５２においても同様である。また、図８、図１０、および、図１２の校正画像５１では、ロボットアーム１１の図示を省略している。

　なお、位置Ｐａおよび位置Ｐｂの基準平面Ｓ１からの奥行き方向の距離は、予め設定されている。また、奥行き方向の距離は、作業者による入力操作に基づいて変更されてもよい。同様に、位置Ｐｃおよび位置Ｐｄの基準平面Ｓ１からの手前側方向の距離も、予め設定されており、作業者により変更されてもよい。また、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５における角度方向と、位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５における角度方向とを、作業者による入力操作によって変更してもよい。

　ロボットコントローラ１２は、基準姿勢に基づいて設定された１２個のキャリブレーション用の姿勢に基準姿勢を合わせた１３個の姿勢をキャリブレーション用の姿勢として設定する。そして、ビジョンコントローラ３０は、設定された１３個のキャリブレーション用の姿勢の各々において、撮像部２１および撮像部２２の各々により撮像を行うことによって、１３枚の校正画像５１と１３枚の校正画像５２とを取得する。そして、ビジョンコントローラ３０は、取得された１３枚の校正画像５１と１３枚の校正画像５２との各々における識別部材１０１の位置と、１３枚の校正画像５１および１３枚の校正画像５２の各々が撮像された時点におけるロボットアーム１１の姿勢とに基づいて、ロボットアーム１１の位置情報と、撮像部２１および撮像部２２の位置情報とを対応付ける演算処理を実行することによってキャリブレーション動作を実行する。詳細には、ビジョンコントローラ３０は、取得された１３枚の校正画像５１と１３枚の校正画像５２との各々において、識別部材１０１の識別点１０１ａの座標を検出する。そして、ビジョンコントローラ３０は、１３枚の校正画像５１と１３枚の校正画像５２との各々における識別点１０１ａの座標と、１３個のキャリブレーション用の姿勢とを対応付けることによって、ロボットアーム１１の位置情報であるロボット１０の座標系と、撮像部２１および撮像部２２の各々の座標系とを対応付ける演算処理を実行する。

　（ロボットシステムの制御方法）
　図１３を参照して、ロボットシステム１００の制御方法について説明する。このロボットシステム１００の制御方法は、ロボットコントローラ１２およびビジョンコントローラ３０により制御処理が実行されることによって行われる。

　図１３に示すように、まず、ステップＳ１０１において、キャリブレーション動作が開始され、基準画像５１ａおよび基準画像５２ａが取得される。具体的には、作業者による操作に基づいて、ロボットアーム１１が一の基準姿勢に設定される。そして、ロボットアーム１１を一の基準姿勢に配置した状態で、キャリブレーション用の識別部材１０１が撮像部２１および撮像部２２を用いて撮像されることによって、１つの基準画像５１ａと１つの基準画像５２ａが取得される。

　次に、ステップＳ１０２において、取得された基準画像５１ａおよび基準画像５２ａに基づいて、識別部材１０１が撮像部２１の視野２１ａおよび撮像部２２の視野２２ａの両方に含まれた状態で、撮像部２１および撮像部２２の各々により撮像されるように、ロボットアーム１１の複数のキャリブレーション用の姿勢が設定される。具体的には、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａの各々における画像上の識別部材１０１における識別位置の距離Ｄとに基づいて、位置Ｐ１、位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５と、位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５と、位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５との１３個の位置に識別部材１０１が配置されるように、１３個のキャリブレーション用の姿勢が設定される。

　次に、ステップＳ１０３において、設定された複数のキャリブレーション用の姿勢の各々において、撮像部２１および撮像部２２より撮像された複数のキャリブレーション用の校正画像５１および校正画像５２が取得される。具体的には、１３個のキャリブレーション用の姿勢の各々において識別部材１０１が撮像されることによって、１３枚の校正画像５１と１３枚の校正画像５２とが取得される。

　次に、ステップＳ１０４において、取得された１３枚の校正画像５１と１３枚の校正画像５２との各々における識別部材１０１の位置と、１３枚の校正画像５１と１３枚の校正画像５２との各々が撮像された時点におけるロボットアーム１１の姿勢とに基づいて、ロボットアーム１１の位置情報と、撮像部２１の撮像画像４１および撮像部２２の撮像画像４２の位置情報とを対応付けるキャリブレーション動作の演算処理が実行される。

　このように、ステップＳ１０１からステップＳ１０４までにおいて、ワークＷに対して作業を行うハンドＨが取り付けられるロボットアーム１１の位置情報と、ワークＷを撮像する撮像部２１および撮像部２２により撮像された撮像画像である撮像画像４１および撮像画像４２の位置情報とを対応付けるキャリブレーション動作が実行される。

　そして、ステップＳ１０５において、ステップＳ１０１からステップＳ１０４までのキャリブレーション動作が行われた後に、撮像部２１により撮像された撮像画像４１と、撮像部２２により撮像された撮像画像４２とに基づいて、ロボットアーム１１の動作が制御される。

　［実施形態の効果］
　本実施形態では、以下のような効果を得ることができる。

　本実施形態では、ロボットコントローラ１２およびビジョンコントローラ３０は、ロボットアーム１１を一の基準姿勢に配置した状態で撮像部２１によりキャリブレーション用の識別部材１０１が撮像された１つの撮像画像４１である基準画像５１ａを取得する。また、ロボットコントローラ１２およびビジョンコントローラ３０は、キャリブレーション動作において、ロボットアーム１１を一の基準姿勢に配置した状態で撮像部２２によりキャリブレーション用の識別部材１０１が撮像された１つの撮像画像４２である基準画像５２ａを取得する。そして、ロボットコントローラ１２およびビジョンコントローラ３０は、取得された基準画像５１ａおよび基準画像５２ａに基づいて、キャリブレーション動作において識別部材１０１が撮像部２１の視野２１ａと撮像部２２の視野２２ａとに含まれた状態で撮像部２１および撮像部２２により撮像されるように、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定する。そして、ロボットコントローラ１２およびビジョンコントローラ３０は、設定された複数のキャリブレーション用の姿勢の各々ごとに、撮像部２１により識別部材１０１が撮像されたキャリブレーション用の撮像画像４１である校正画像５１と、撮像部２２により識別部材１０１が撮像されたキャリブレーション用の撮像画像４２である校正画像５２とを取得する。これにより、１つの撮像画像４１である基準画像５１ａと、１つの撮像画像４２である基準画像５２ａとに基づいてロボットアーム１１の複数のキャリブレーション用の姿勢が設定されるため、３点校正のように複数の撮像画像に基づいて予め粗い変換を行うことによってキャリブレーション用の姿勢を設定する場合に比べて、キャリブレーション用の姿勢を設定するための制御処理に要する時間を短縮することができるとともに、制御処理の処理量を減少させることができる。その結果、ロボットアーム１１の位置情報と撮像画像４１および撮像画像４２の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することができる。

　また、本実施形態では、ロボットコントローラ１２およびビジョンコントローラ３０は、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１における識別位置の距離Ｄとに基づいて、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定する。これにより、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１における識別位置の距離Ｄとを比較することによって、撮像部２１の視野２１ａ内および撮像部２２の視野２２ａ内に識別部材１０１が配置されるために、実際の識別部材１０１の撮像部２１および撮像部２２に対する相対的な移動距離の限界となる値を容易に取得することができる。そのため、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１における識別位置の距離Ｄとに基づいてキャリブレーション用の姿勢を設定することによって、識別部材１０１が撮像部２１の視野２１ａと撮像部２２の視野２２ａとに含まれるようにキャリブレーション用の姿勢を容易に設定することができる。

　また、本実施形態では、識別部材１０１は、複数の識別点１０１ａを含み、ロボットコントローラ１２およびビジョンコントローラ３０は、複数の識別点１０１ａ同士の実際の距離に基づいて実際の識別部材１０１における識別位置の距離Ｄを取得するとともに、複数の識別点１０１ａが撮像された基準画像５１ａおよび基準画像５２ａにおける画像上の複数の識別点１０１ａ同士の距離に基づいて画像上の識別部材１０１における識別位置の距離Ｄを取得することによって、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定する。これにより、識別部材１０１における複数の識別点１０１ａ同士の距離を取得することによって、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１における識別位置の距離Ｄとをより容易に取得することができる。そのため、識別部材１０１における識別位置が撮像部２１の視野２１ａおよび撮像部２２の視野２２ａに含まれるようにキャリブレーション用の姿勢をより容易に設定することができる。

　また、本実施形態では、識別部材１０１は、複数の識別点１０１ａが格子状に配置されている板状の部材を含み、ロボットコントローラ１２およびビジョンコントローラ３０は、格子状に配置された複数の識別点１０１ａのうちの四隅の識別点１０１ａ同士の実際の距離に基づいて実際の識別部材１０１における識別位置の距離Ｄを取得するとともに、格子状に配置された複数の識別点１０１ａが撮像された基準画像５１ａおよび基準画像５２ａにおける画像上の四隅の識別点１０１ａ同士の距離に基づいて画像上の識別部材１０１における識別位置の距離Ｄを取得することによって、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定する。これにより、格子状に配置された複数の識別点１０１ａのうちの四隅の識別点１０１ａ同士の距離を取得することによって、実際の識別部材１０１における識別位置の距離Ｄと、基準画像５１ａおよび基準画像５２ａにおける画像上の識別部材１０１における識別位置の距離Ｄとをより一層容易に取得することができる。そのため、識別部材１０１における識別位置が撮像部２１の視野２１ａおよび撮像部２２の視野２２ａに含まれるようにキャリブレーション用の姿勢をより一層容易に設定することができる。

　また、本実施形態では、ロボットシステム１００は、ロボットアーム１１とは異なる第１位置に固定され、ワークＷを撮像する撮像部２１と、撮像部２１とは別個に、ロボットアーム１１とは異なる第２位置に固定され、撮像部２１と共にワークＷを撮像する撮像部２２と、を含み、ロボットコントローラ１２およびビジョンコントローラ３０は、撮像部２１による撮像画像である撮像画像４１と撮像部２２による撮像画像である撮像画像４２とに基づいてロボットアーム１１を動作させるために、ロボットアーム１１の位置情報と、撮像画像４１および撮像画像４２の各々の位置情報とを対応付けるキャリブレーション動作を行う。そして、ロボットコントローラ１２およびビジョンコントローラ３０は、キャリブレーション動作において、ロボットアーム１１を一の基準姿勢に配置した状態で撮像部２１によりハンドＨに配置された識別部材１０１が撮像された１つの撮像画像４１である基準画像５１ａと、ロボットアーム１１を一の基準姿勢に配置した状態で撮像部２２によりハンドＨに配置された識別部材１０１が撮像された１つの撮像画像４２である基準画像５２ａとを取得するとともに、取得された基準画像５１ａおよび基準画像５２ａに基づいて、キャリブレーション動作において識別部材１０１が撮像部２１および撮像部２２の両方の視野２１ａおよび視野２２ａに含まれた状態で、撮像部２１および撮像部２２の各々により撮像されるように、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定し、設定された複数のキャリブレーション用の姿勢の各々ごとに、撮像部２１および撮像部２２の各々により撮像された校正画像５１および校正画像５２を取得する。これにより、識別部材１０１が撮像部２１および撮像部２２の両方の視野２１ａおよび視野２２ａに含まれた状態で、撮像部２１および撮像部２２の各々により撮像されるように、ロボットアーム１１の複数のキャリブレーション用の姿勢を設定することができるので、互いに異なる２つの撮像部２１および撮像部２２を用いることによってロボットアーム１１の動作を三次元的に制御する場合にも、ロボットアーム１１の位置情報と撮像画像４１および撮像画像４２の各々の位置情報とを対応付けるキャリブレーション動作において、制御処理に要する時間および処理量が増大することを抑制することができる。

　また、本実施形態では、ロボットコントローラ１２およびビジョンコントローラ３０は、識別部材１０１が画像の略中心に配置されるように撮像された基準画像５１ａおよび５２ａを取得するとともに、取得された基準画像５１ａおよび５２ａに基づいて、基準画像５１ａおよび５２ａが撮像された際の識別部材１０１の位置Ｐ１を含む所定の基準平面Ｓ１内における４か所の位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５に識別部材１０１を移動させることによって、校正画像５１および５２において画像の四隅の各々に識別部材１０１が配置されるようにロボットアーム１１の４つの姿勢を設定し、基準平面Ｓ１内における４か所の位置Ｐ２、位置Ｐ３、位置Ｐ４、および、位置Ｐ５の各々と、基準平面Ｓ１に直交する方向の一方側の点との間の位置Ｐ１２、位置Ｐ１３、位置Ｐ１４、および、位置Ｐ１５と他方側の点との間の位置Ｐ２２、位置Ｐ２３、位置Ｐ２４、および、位置Ｐ２５との各々に識別部材１０１を移動させるように、ロボットアーム１１の８つの姿勢を設定する。これにより、撮像部２１および撮像部２２に対して識別部材１０１を三次元的に移動させるように１３個のキャリブレーション用の姿勢を設定することができる。そのため、識別部材１０１を三次元的に移動させることによって、キャリブレーション動作において、ロボットアーム１１の位置情報と撮像画像４１および撮像画像４２の位置情報とを精度よく対応付けることができる。

　［変形例］
　今回開示された実施形態は、全ての点で例示であり制限的なものではないと考えられるべきである。本開示の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内での全ての変更（変形例）が含まれる。

　たとえば、上記実施形態では、ロボットアーム１１とは異なる位置である第１位置および第２位置に固定されて配置された撮像部２１および撮像部２２により、ロボットアーム１１に配置された識別部材１０１を撮像することによって、キャリブレーション動作が実行される例を示したが、本開示はこれに限られない。本開示では、ロボットアームに配置された撮像部によって作業を行う対象であるワークが配置される位置に配置された識別部材を撮像することによって、キャリブレーション動作を実行するようにしてもよい。すなわち、ロボットアームに配置された撮像部によって、ワークを撮像しながら、ワークに対して作業が行われてもよい。その場合にも、上記実施形態と同様に、１つの基準画像を取得するとともに１つの基準画像における画像上の識別部材の識別位置の距離と、実際の識別部材の識別位置の距離とに基づいて、複数のキャリブレーション用の姿勢が設定される。

　また、上記実施形態では、複数の識別点１０１ａが格子状に並べられた識別部材１０１を用いることによって、複数の識別点１０１ａのうちの四隅に配置された識別点１０１ａ同士の距離を取得することによって、識別部材１０１の識別位置の距離Ｄを取得する例を示したが、本開示はこれに限られない。本開示では、識別部材の識別位置の距離は、識別点同士の距離ではなくてもよい。たとえば、大きさを識別可能な十字形状の記号、または、矩形の記号などを識別部材に配置するようにしてもよい。また、識別点を格子状に設けず、４つの識別点のみを設けるようにしてもよい。

　また、上記実施形態では、撮像部２１および撮像部２２の２つの撮像部を用いて撮像された撮像画像４１および撮像画像４２に基づいて、ロボットアーム１１の動作を制御する例を示したが、本開示はこれに限られない。本開示では、１つの撮像部を用いてロボットアームの動作を制御するようにしてもよい。

　また、上記実施形態では、１３個のキャリブレーション用の姿勢が設定される例を示したが、本開示はこれに限られない。本開示では、１３よりも多くのキャリブレーション用の姿勢を設定してもよい。また、１３より少ないキャリブレーション用の姿勢を設定してもよい。また、キャリブレーション用の姿勢は、上記実施形態の例とは異なる位置に識別部材が配置される姿勢であってもよい。また、１３個のキャリブレーション用の姿勢における識別部材の角度は、上記実施形態の例とは異なる角度であってもよい。

　また、上記実施形態では、ワークＷを把持する作業を行うロボットアーム１１の例を示したが、本開示はこれに限られない。本開示では、ロボットアームを、ワークの製造および組立の作業を行うようにしてもよい。

　また、上記実施形態では、キャリブレーション動作がロボットコントローラ１２およびビジョンコントローラ３０の２つのハードウェアによる制御処理により実行される例を示したが、本開示はこれに限られない。本開示では、制御部としての１つの制御装置によって、キャリブレーション動作の制御が実行されてもよい。また、撮像された画像を取得するビジョンコントローラではなく、ロボットアームの動作を制御するロボットコントローラによって、ロボットの位置情報と撮像画像の位置情報とを対応付ける演算処理が行われてもよい。また、ロボットコントローラによって、校正画像から識別部材を検出する制御が行われてもよい。

　本明細書で開示する要素の機能は、開示された機能を実行するよう構成またはプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔｓ）、従来の回路、および／または、それらの組み合わせ、を含む回路または処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路または回路と見なされる。本開示において、回路、ユニット、または手段は、列挙された機能を実行するハードウェアであるか、または、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラムまたは構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、またはユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェアおよび／またはプロセッサの構成に使用される。

　［態様］
　上記した例示的な実施形態は、以下の態様の具体例であることが当業者により理解される。

　（項目１）
　ワークに対して作業を行うハンドが取り付けられるロボットアームと、
　前記ワークを撮像する撮像部と、
　前記撮像部により撮像された撮像画像に基づいて前記ロボットアームを動作させるために、前記ロボットアームの位置情報と前記撮像画像の位置情報とを対応付けるキャリブレーション動作を行う制御部と、を備え、
　前記制御部は、
　　前記ロボットアームを一の姿勢に配置した状態で前記撮像部によりキャリブレーション用の識別部材が撮像された１つの前記撮像画像である基準画像を取得するとともに、
　　取得された前記基準画像に基づいて、前記キャリブレーション動作において前記識別部材が前記撮像部の視野に含まれた状態で前記撮像部により撮像されるように、前記ロボットアームの複数のキャリブレーション用の姿勢を設定し、
　　設定された前記複数のキャリブレーション用の姿勢の各々ごとに、前記撮像部により前記識別部材が撮像されたキャリブレーション用の前記撮像画像である校正画像を取得する、ロボットシステム。

　（項目２）
　前記制御部は、実際の前記識別部材における識別位置の距離と、前記基準画像における画像上の前記識別部材における前記識別位置の距離とに基づいて、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定する、項目１に記載のロボットシステム。

　（項目３）
　前記識別部材は、複数の識別点を含み、
　前記制御部は、前記複数の識別点同士の実際の距離に基づいて実際の前記識別部材における前記識別位置の距離を取得するとともに、前記複数の識別点が撮像された前記基準画像における画像上の前記複数の識別点同士の距離に基づいて画像上の前記識別部材における前記識別位置の距離を取得することによって、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定する、項目２に記載のロボットシステム。

　（項目４）
　前記識別部材は、前記複数の識別点が格子状に配置されている板状の部材を含み、
　前記制御部は、格子状に配置された前記複数の識別点のうちの四隅の前記識別点同士の実際の距離に基づいて実際の前記識別部材における前記識別位置の距離を取得するとともに、格子状に配置された前記複数の識別点が撮像された前記基準画像における画像上の前記四隅の識別点同士の距離に基づいて画像上の前記識別部材における前記識別位置の距離を取得することによって、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定する、項目３に記載のロボットシステム。

　（項目５）
　前記撮像部は、前記ロボットアームとは異なる第１位置に固定され、前記ワークを撮像する第１撮像部と、前記第１撮像部とは別個に、前記ロボットアームとは異なる第２位置に固定され、前記第１撮像部と共に前記ワークを撮像する第２撮像部と、を含み、
　前記制御部は、
　　前記第１撮像部による前記撮像画像である第１撮像画像と前記第２撮像部による前記撮像画像である第２撮像画像とに基づいて前記ロボットアームを動作させるために、前記ロボットアームの位置情報と、前記第１撮像画像および前記第２撮像画像の各々の位置情報とを対応付ける前記キャリブレーション動作を行い、
　　前記キャリブレーション動作において、前記ロボットアームを前記一の姿勢に配置した状態で前記第１撮像部により前記ハンドに配置された前記識別部材が撮像された１つの前記第１撮像画像である第１基準画像と、前記ロボットアームを前記一の姿勢に配置した状態で前記第２撮像部により前記ハンドに配置された前記識別部材が撮像された１つの前記第２撮像画像である第２基準画像とを取得するとともに、
　　取得された前記第１基準画像および前記第２基準画像に基づいて、前記キャリブレーション動作において前記識別部材が前記第１撮像部および前記第２撮像部の両方の視野に含まれた状態で、前記第１撮像部および前記第２撮像部の各々により撮像されるように、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定し、
　　設定された前記複数のキャリブレーション用の姿勢の各々ごとに、前記第１撮像部および前記第２撮像部の各々により撮像された前記校正画像を取得する、項目１～４のいずれか１項に記載のロボットシステム。

　（項目６）
　前記制御部は、
　　前記識別部材が画像の略中心に配置されるように撮像された前記基準画像を取得するとともに、
　　取得された前記基準画像に基づいて、前記基準画像が撮像された際の前記識別部材の位置を含む所定の基準平面内における４か所の位置に前記識別部材を移動させることによって、前記校正画像において画像の四隅の各々に前記識別部材が配置されるように前記ロボットアームの４つの姿勢を設定し、
　　前記基準平面内における４か所の位置の各々と、前記基準平面に直交する方向の一方側の点との間の位置と他方側の点との間の位置との各々に前記識別部材を移動させるように、前記ロボットアームの８つの姿勢を設定する、項目１～５のいずれか１項に記載のロボットシステム。

　（項目７）
　ワークに対して作業を行うハンドが取り付けられるロボットアームの位置情報と、前記ワークを撮像する撮像部により撮像された撮像画像の位置情報とを対応付けるキャリブレーション動作を行うステップと、
　前記キャリブレーション動作が行われた後に、前記撮像部により撮像された前記撮像画像に基づいて、前記ロボットアームの動作を制御するステップと、を備え、
　前記キャリブレーション動作を行うステップは、
　　前記ロボットアームを一の姿勢に配置した状態で前記撮像部によりキャリブレーション用の識別部材が撮像された１つの前記撮像画像である基準画像を取得するステップと、
　　取得された前記基準画像に基づいて、前記識別部材が前記撮像部の視野に含まれた状態で前記撮像部により撮像されるように、前記ロボットアームの複数のキャリブレーション用の姿勢を設定するステップと、
　　設定された前記複数のキャリブレーション用の姿勢の各々ごとに、前記撮像部により前記識別部材が撮像されたキャリブレーション用の前記撮像画像である校正画像を取得するステップと、を含む、ロボットシステムの制御方法。

Claims (7)

1. 　ワークに対して作業を行うハンドが取り付けられるロボットアームと、
   　前記ワークを撮像する撮像部と、
   　前記撮像部により撮像された撮像画像に基づいて前記ロボットアームを動作させるために、前記ロボットアームの位置情報と前記撮像画像の位置情報とを対応付けるキャリブレーション動作を行う制御部と、を備え、
   　前記制御部は、
   　　前記ロボットアームを一の姿勢に配置した状態で前記撮像部によりキャリブレーション用の識別部材が撮像された１つの前記撮像画像である基準画像を取得するとともに、
   　　取得された前記基準画像に基づいて、前記キャリブレーション動作において前記識別部材が前記撮像部の視野に含まれた状態で前記撮像部により撮像されるように、前記ロボットアームの複数のキャリブレーション用の姿勢を設定し、
   　　設定された前記複数のキャリブレーション用の姿勢の各々ごとに、前記撮像部により前記識別部材が撮像されたキャリブレーション用の前記撮像画像である校正画像を取得する、ロボットシステム。
2. 　前記制御部は、実際の前記識別部材における識別位置の距離と、前記基準画像における画像上の前記識別部材における前記識別位置の距離とに基づいて、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定する、請求項１に記載のロボットシステム。
3. 　前記識別部材は、複数の識別点を含み、
   　前記制御部は、前記複数の識別点同士の実際の距離に基づいて実際の前記識別部材における前記識別位置の距離を取得するとともに、前記複数の識別点が撮像された前記基準画像における画像上の前記複数の識別点同士の距離に基づいて画像上の前記識別部材における前記識別位置の距離を取得することによって、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定する、請求項２に記載のロボットシステム。
4. 　前記識別部材は、前記複数の識別点が格子状に配置されている板状の部材を含み、
   　前記制御部は、格子状に配置された前記複数の識別点のうちの四隅の前記識別点同士の実際の距離に基づいて実際の前記識別部材における前記識別位置の距離を取得するとともに、格子状に配置された前記複数の識別点が撮像された前記基準画像における画像上の前記四隅の識別点同士の距離に基づいて画像上の前記識別部材における前記識別位置の距離を取得することによって、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定する、請求項３に記載のロボットシステム。
5. 　前記撮像部は、前記ロボットアームとは異なる第１位置に固定され、前記ワークを撮像する第１撮像部と、前記第１撮像部とは別個に、前記ロボットアームとは異なる第２位置に固定され、前記第１撮像部と共に前記ワークを撮像する第２撮像部と、を含み、
   　前記制御部は、
   　　前記第１撮像部による前記撮像画像である第１撮像画像と前記第２撮像部による前記撮像画像である第２撮像画像とに基づいて前記ロボットアームを動作させるために、前記ロボットアームの位置情報と、前記第１撮像画像および前記第２撮像画像の各々の位置情報とを対応付ける前記キャリブレーション動作を行い、
   　　前記キャリブレーション動作において、前記ロボットアームを前記一の姿勢に配置した状態で前記第１撮像部により前記ハンドに配置された前記識別部材が撮像された１つの前記第１撮像画像である第１基準画像と、前記ロボットアームを前記一の姿勢に配置した状態で前記第２撮像部により前記ハンドに配置された前記識別部材が撮像された１つの前記第２撮像画像である第２基準画像とを取得するとともに、
   　　取得された前記第１基準画像および前記第２基準画像に基づいて、前記キャリブレーション動作において前記識別部材が前記第１撮像部および前記第２撮像部の両方の視野に含まれた状態で、前記第１撮像部および前記第２撮像部の各々により撮像されるように、前記ロボットアームの前記複数のキャリブレーション用の姿勢を設定し、
   　　設定された前記複数のキャリブレーション用の姿勢の各々ごとに、前記第１撮像部および前記第２撮像部の各々により撮像された前記校正画像を取得する、請求項１に記載のロボットシステム。
6. 　前記制御部は、
   　　前記識別部材が画像の略中心に配置されるように撮像された前記基準画像を取得するとともに、
   　　取得された前記基準画像に基づいて、前記基準画像が撮像された際の前記識別部材の位置を含む所定の基準平面内における４か所の位置に前記識別部材を移動させることによって、前記校正画像において画像の四隅の各々に前記識別部材が配置されるように前記ロボットアームの４つの姿勢を設定し、
   　　前記基準平面内における４か所の位置の各々と、前記基準平面に直交する方向の一方側の点との間の位置と他方側の点との間の位置との各々に前記識別部材を移動させるように、前記ロボットアームの８つの姿勢を設定する、請求項１に記載のロボットシステム。
7. 　ワークに対して作業を行うハンドが取り付けられるロボットアームの位置情報と、前記ワークを撮像する撮像部により撮像された撮像画像の位置情報とを対応付けるキャリブレーション動作を行うステップと、
   　前記キャリブレーション動作が行われた後に、前記撮像部により撮像された前記撮像画像に基づいて、前記ロボットアームの動作を制御するステップと、を備え、
   　前記キャリブレーション動作を行うステップは、
   　　前記ロボットアームを一の姿勢に配置した状態で前記撮像部によりキャリブレーション用の識別部材が撮像された１つの前記撮像画像である基準画像を取得するステップと、
   　　取得された前記基準画像に基づいて、前記識別部材が前記撮像部の視野に含まれた状態で前記撮像部により撮像されるように、前記ロボットアームの複数のキャリブレーション用の姿勢を設定するステップと、
   　　設定された前記複数のキャリブレーション用の姿勢の各々ごとに、前記撮像部により前記識別部材が撮像されたキャリブレーション用の前記撮像画像である校正画像を取得するステップと、を含む、ロボットシステムの制御方法。

Images