JP7389237B2 - 座標系設定システム及び位置姿勢計測システム - Google Patents

Description

本開示は、座標系設定システム及び位置姿勢計測システムに関する。

従来、画像処理装置を用いてロボット動作の補正を行うプログラムを作成する際には、補正する座標系の設定が必要である。そこで、教示者がロボットを操作して座標系の原点、Ｘ方向、Ｙ方向等をタッチアップし、ロボットのＴＣＰ（ロボットアーム先端部の中心点：Ｔｏｏｌ Ｃｅｎｔｅｒ Ｐｏｉｎｔ）を特定の位置に合わせることにより、座標系を設定する技術が知られている（例えば、特許文献１参照）。

特開平０３－２５１３７８号公報

しかしながら、上記のタッチアップ操作には時間を要するうえ、ロボット操作に慣れていない教示者が行った場合には誤った座標系を設定するおそれがあり、この場合にはビジョンによる補正が期待通りに働かなくなるという問題がある。これに対して、キャリブレーション治具に座標系を自動的に設定するような技術も提案されてはいるが、複数の視点からキャリブレーション治具を撮像する必要があり時間を要する。

従って、ロボット等の産業機械の制御に使用する座標系を簡易に設定できる技術の開発が望まれる。

本開示の一態様は、産業機械の制御に使用する座標系を設定する座標系設定システムであって、キャリブレーション済みの視覚センサと、前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、前記視覚センサにより、前記座標系を設定したい位置に設置されたキャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、前記画像処理部による画像処理結果を用いて前記産業機械の制御に使用する座標系を設定する座標系設定部と、を備え、前記座標系設定部は、前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、前記基準位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定する、座標系設定システムである。

本開示の一態様によれば、産業機械の制御に使用する座標系を簡易に設定することができる座標系設定システムを提供できる。

本開示の第１実施形態に係るロボットシステムの構成を示す図である。 本開示の第１実施形態に係る座標系設定システムの構成を示すブロック図である。 キャリブレーション治具の平面図である。 本開示の第１実施形態に係る座標系設定システムにおける座標系設定処理の手順を示すフローチャートである。 本開示の第２実施形態に係るロボットシステムの構成を示す図である。 本開示の第２実施形態に係る座標系設定システムにおける座標系設定処理の手順を示すフローチャートである。 本開示の第３実施形態に係るロボットシステムを示す図である。 本開示の第３実施形態に係る位置姿勢計測システムの構成を示すブロック図である。 動作の補正量を説明するための図である。

以下、本開示の実施形態について図面を参照して説明する。

［第１実施形態］
本開示の第１実施形態に係る座標系設定システムは、ロボットの動作を制御するための座標系を設定したい位置に設置されたキャリブレーション治具を、キャリブレーション済みのカメラを用いて撮像することで、教示者がロボット操作を必要とせずに簡易に座標系を設定することができるシステムである。

図１は、本開示の第１実施形態に係るロボットシステムＳの構成を示す図である。図１に示されるように、ロボットシステムＳは、本開示の第１実施形態に係る座標系設定システム１を含んで構成される。ロボットシステムＳは、産業機械としてのロボット２と、視覚センサとしてのカメラ４と、視覚センサ制御装置１０と、ロボット制御装置２０と、キャリブレーション治具Ｊと、を備える。このロボットシステムＳは、例えば、カメラ４で撮像されたワークの撮像画像に基づいて、ワークの位置を認識し、ワークのハンドリング又は加工等の所定の作業を実行するシステムである。

ロボット２のロボットアーム３の先端部には、フランジ５を介して手先のツール６が取り付けられている。ロボット２は、ロボット制御装置２０の制御により、ワークのハンドリング又は加工等の所定の作業を実行する。また、ロボット２のロボットアーム３の先端部には、カメラ４が取り付けられている。

カメラ４は、視覚センサ制御装置１０により制御され、ワーク等の撮像対象物を撮像する。カメラ４は、キャリブレーション済みのカメラが用いられる。視覚センサとしては、一般的な二次元カメラを用いてもよく、ステレオカメラ等の三次元センサを用いてもよい。また、カメラ４は、図１に示されるようなロボット２のフランジ５に取り付けられたハンドカメラでもよく、例えば台Ｔの上方等に固定配置された固定カメラでもよい。

視覚センサ制御装置１０は、視覚センサとしてのカメラ４を制御する。また、視覚センサ制御装置１０は、カメラ４で撮像された撮像画像から、撮像対象物の位置及び姿勢を検出する。

ロボット制御装置２０は、ロボットの動作プログラムを実行し、ロボット２の動作を制御する。その際、ロボット制御装置２０は、視覚センサ制御装置１０により検出されたワーク等の撮像対象物の位置に対して、ロボット２が所定の作業を実行するように、ロボット２の動作を補正する。

また、ロボット制御装置２０は、カメラ４の撮像時、カメラ４の位置及び姿勢を制御するように、ロボット２の位置及び姿勢を制御する。このように、ロボット制御装置２０は、撮像対象物の位置及び姿勢を固定とし、カメラ４の位置及び姿勢を制御することにより、撮像対象物とカメラ４の相対位置を制御する。

図２は、本開示の第１実施形態に係る座標系設定システム１の構成を示すブロック図である。図２に示されるように、本開示の第１実施形態に係る座標系設定システム１は、視覚センサとしてのカメラ４と、視覚センサ制御装置１０を構成する画像処理部１１及びキャリブレーションデータ記憶部１２と、ロボット制御装置２０を構成する座標系設定部２１と、を備える。

画像処理部１１は、カメラ４を用いて撮像された撮像画像が入力画像１３として入力され、この入力画像１３を画像処理する。より具体的に画像処理部１１は、例えばモデルパターンを用いて入力画像１３中から対象物を検出し、対象物の位置及び姿勢を検出する。また、本開示の第１実施形態では、画像処理部１１は、カメラ４によりキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する。より詳しくは、画像処理部１１は、カメラ４により、後述するように座標系を設定したい位置に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する。

視覚センサ制御装置１０における画像処理部１１及びロボット制御装置２０は、例えば、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）等の演算プロセッサで構成される。視覚センサ制御装置１０における画像処理部１１及びロボット制御装置２０の各種機能は、例えば所定のソフトウェア（プログラム、アプリケーション）を実行することで実現される。視覚センサ制御装置１０における画像処理部１１及びロボット制御装置２０の各種機能は、ハードウェアとソフトウェアとの協働で実現されてもよいし、ハードウェア（電子回路）のみで実現されてもよい。

キャリブレーションデータ記憶部１２は、カメラ４のキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶する。視覚センサ制御装置１０におけるキャリブレーションデータ記憶部１２は、例えば、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）等の書き換え可能なメモリで構成される。

カメラ４のキャリブレーションデータには、カメラ４の内部パラメータと外部パラメータが記憶されている。カメラ４の内部パラメータは、レンズひずみや焦点距離等のパラメータである。外部パラメータは、基準位置を基準とした視覚センサ位置（カメラ４の位置）である。

座標系設定部２１は、画像処理部１１による画像処理結果に基づいて、ロボット２の制御に使用する座標系を設定する。なお、本開示の第１実施形態では、座標系設定部２１をロボット制御装置２０内に構成したがこれに限定されない。例えば、座標系設定部２１を視覚センサ制御装置１０内に構成してもよい。

座標系設定部２１は、カメラ４により、キャリブレーション治具Ｊを撮像して得られた撮像画像とキャリブレーションデータに基づいて、視覚センサ位置を基準としたキャリブレーション治具Ｊの位置を求める。即ち、座標系設定部２１は、キャリブレーション治具撮像時のカメラ４の位置を基準としたキャリブレーション治具Ｊの位置を求める。これについては、カメラ４がハンドカメラである場合と固定カメラである場合いずれも同様にして求められる。

なお、キャリブレーション済みのカメラを用いて撮像した撮像画像内のキャリブレーション治具の位置情報から、カメラ位置を基準としたキャリブレーション治具の位置を求める原理については、松山隆司著の「コンピュータビジョン、技術評論と将来展望」等で周知である。即ち、カメラ内部の幾何学的変換特性及び物体が存在する三次元空間と二次元画像平面の幾何学的関係が既に求まっており、さらにキャリブレーション治具の特性からカメラとキャリブレーション治具の距離が一意に求まることで、二次元画像平面からキャリブレーション治具の三次元空間位置を一意に決定できるため、キャリブレーション済みのカメラを用いて撮像した撮像画像内のキャリブレーション治具の位置情報から、カメラ位置を基準としたキャリブレーション治具の位置を求めることが可能となっている。

また、座標系設定部２１は、キャリブレーションデータ記憶部１２に記憶されたキャリブレーションデータに基づいて、ロボット２に対して予め設定された基準位置を基準とした視覚センサ位置を求める。これについては、カメラ４がハンドカメラである場合と固定カメラである場合とで求め方が異なる。そのため、座標系設定部２１では、キャリブレーションデータ記憶部１２に記憶されたキャリブレーションデータから、カメラ４がハンドカメラであるか固定カメラであるかを判別する。

ここで、基準位置とは、例えばロボット２の土台の中心に通常設定されるベース座標系の基準位置である。この基準位置は、ロボット２の動作を制御するうえで必要であり、予め設定されている。

カメラ４が固定カメラである場合には、ロボット２の動作によりカメラ４の位置は変わらないため、カメラ４のキャリブレーションデータから、基準位置を基準としたカメラ４の位置を取得し、キャリブレーション実行時の基準位置を基準としたカメラ４の位置を、キャリブレーション治具撮像時（即ち、座標系設定処理を実行している現在であり、以下、単に撮像時ともいう）の基準位置を基準としたカメラ４の位置とする。

これに対して、カメラ４がハンドカメラである場合には、ロボット２が動作するとカメラ４の位置も連動して変わるため、先ず、カメラ４を取り付けた後はロボット２の動作によっては変わらないフランジ５の位置を基準としたカメラ４の位置を、キャリブレーションデータ記憶部１２に記憶されたキャリブレーションデータから取得する。また、ロボット制御装置２０から、撮像時の基準位置を基準としたフランジ５の位置を取得する。そして、取得したフランジ５の位置を基準としたカメラ４の位置と、取得した撮像時の基準位置を基準としたフランジ５の位置と、に基づいて、撮像時の基準位置を基準としたカメラ４の位置を計算して求める。

また、座標系設定部２１は、上述のようにして求めた視覚センサ位置を基準としたキャリブレーション治具Ｊの位置と、同じく上述のようにして求めた基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具Ｊの位置を計算により求め、この基準位置を基準としたキャリブレーション治具の位置を用いて、ロボット２の制御に使用する座標系を設定する。これにより、ロボット２の制御に使用する座標系が、キャリブレーション治具Ｊ上に設定される。

図３は、キャリブレーション治具Ｊの平面図である。キャリブレーション治具Ｊとしては、カメラのキャリブレーションに使用可能な従来公知のキャリブレーション治具を用いることができる。図３のキャリブレーション治具Ｊは、平面上に配置されたドットパターンをカメラ４で撮像することでカメラ４のキャリブレーションに必要な情報を取得するための治具であり、ドットパターンとしての要件である（１）ドットパターンの格子点間隔が既知であること、（２）一定数以上の格子点が存在すること、（３）各格子点がどの格子点にあたるか一意に特定可能である、の３つの要件を満たしている。キャリブレーション治具Ｊは、図３に示されるような二次元の平面に所定のドットパターン等の特徴が配置されたものに限られず、三次元の立体に特徴が配置されたものでもよく、二次元位置情報（Ｘ方向、Ｙ方向）に加えて高さ方向（Ｚ方向）の位置情報を含めた三次元位置情報が得られるものであればよい（図１参照）。また、このキャリブレーション治具Ｊは、カメラ４のキャリブレーション実行時に用いたものと同じものでもよく、異なるものであってもよい。なお、カメラ４により撮像したドットパターンから、カメラ４の位置を基準としたドットパターンの位置姿勢を計算するためには、上述のキャリブレーションデータの内部パラメータが使用される。

本開示の第１実施形態では、キャリブレーション治具Ｊは、座標系を設定したい位置に設置される。設定される座標系は、ロボット２の制御に使用され、例えばロボット２の動作を補正する補正量の計算に使用することが可能である。その他、ロボット２の教示位置の設定に使用する座標系等にも使用可能である。図１に示す例では、キャリブレーション治具Ｊは台Ｔ上に載置されている。

次に、本開示の第１実施形態に係る座標系設定システム１における座標系設定処理について、図４を参照して詳しく説明する。図４は、本開示の第１実施形態に係る座標系設定システム１における座標系設定処理の手順を示すフローチャートである。図４に示されるように、本開示の第１実施形態に係る座標系設定システム１における座標系設定処理では、キャリブレーション済みのカメラ４でキャリブレーション治具Ｊを撮像することにより、ロボット２の制御に使用する座標系を設定する。

ステップＳ１では、キャリブレーション済みのカメラ４を用いて、キャリブレーション治具Ｊを撮像する。これにより、視覚センサ制御装置１０は、座標系を設定したい位置（本開示の第１実施形態では、台Ｔの上面）に設置されたキャリブレーション治具Ｊの撮像画像を入力画像１３として取得する。本ステップ後はステップＳ２に進む。

ステップＳ２では、キャリブレーション治具撮像時（以下、単に撮像時ともいう）のカメラ４の位置を基準としたキャリブレーション治具Ｊの位置を計算する。具体的には、ステップＳ１で撮像された撮像画像と、キャリブレーションデータ記憶部１２に予め記憶されているカメラ４のキャリブレーションデータを用いて、カメラ４の位置を基準としたキャリブレーション治具Ｊの位置を計算する。なお、このカメラ４の位置を基準としたキャリブレーション治具Ｊの位置は、既存のキャリブレーション計算によって計算可能である。本ステップ後はステップＳ３に進む。

ステップＳ３では、カメラ４の設置が固定であるかを判別する。この判別がＮＯである場合、即ち図１に示されるようにカメラ４がロボット２のフランジ５に取り付けられたハンドカメラ等である場合には、ステップＳ４に進む。一方、この判別がＹＥＳである場合、即ちカメラ４が例えば台Ｔの上方に固定された固定カメラである場合には、ステップＳ９に進む。

ステップＳ４は、カメラ４がロボット２のフランジ５に取り付けられたハンドカメラであり、ロボット２が動作するとカメラ４の位置も連動して変わる場合の処理である。そのため本ステップでは、カメラ４を取り付けた後はロボット２の動作によっては変わらないフランジ５の位置を基準としたカメラ４の位置を、キャリブレーションデータから取得する。なおハンドカメラの場合、フランジ５とカメラ４の相対位置は、キャリブレーション実行時にキャリブレーションの外部パラメータとして求められる。本ステップ後はステップＳ５に進む。

ステップＳ５では、ロボット制御装置２０から、撮像時の基準位置を基準としたフランジ５の位置を取得する。ここで、予め設定された基準位置を基準としたフランジ５の位置情報については、ロボット２に対する動作指令を生成するロボット制御装置２０から常に取得可能である。本ステップ後はステップＳ６に進む。

ステップＳ６では、撮像時の基準位置を基準としたカメラ４の位置を計算する。具体的には、ステップＳ４で取得したフランジ５の位置を基準としたカメラ４の位置と、ステップＳ５で取得した撮像時の基準位置を基準としたフランジ５の位置と、に基づいて、撮像時の基準位置を基準としたカメラ４の位置を計算する。本ステップ後はステップＳ７に進む。

ステップＳ７では、撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を計算して求める。具体的には、ステップＳ２で計算した撮像時のカメラ４の位置を基準としたキャリブレーション治具Ｊの位置と、ステップＳ６で計算した撮像時の基準位置を基準としたカメラ４の位置と、に基づいて、撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を計算する。本ステップ後はステップＳ８に進む。

ステップＳ８では、ステップＳ８で計算して求めた撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を用いて、ロボット２の制御に使用する座標系を設定し、本処理を終了する。

一方、ステップＳ９は、カメラ４が例えば台Ｔの上方に固定された固定カメラであり、ロボット２の動作によりカメラ４の位置は変わらない場合である。そのため本ステップでは、カメラ４のキャリブレーションデータから、基準位置を基準としたカメラ４の位置を取得し、キャリブレーション実行時の基準位置を基準としたカメラ４の位置を、撮像時の基準位置を基準としたカメラ４の位置とする。なお、固定カメラの場合、基準位置を基準としたカメラ４の位置は、キャリブレーション実行時にキャリブレーションの外部パラメータとして求められる。本ステップ後、上述のステップＳ７、ステップＳ８に順次進み、上述の各手順を実行した後、本処理を終了する。

本開示の第１実施形態に係る座標系設定システム１によれば、以下の効果が奏される。
本開示の第１実施形態に係る座標系設定システム１では、キャリブレーション済みのカメラ４と、カメラ４のキャリブレーション実行時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部１２と、カメラ４により座標系を設定したい位置に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像を処理する画像処理部１１と、画像処理部１１による画像処理結果を用いてロボット２の制御に使用する座標系を設定する座標系設定部２１と、を設けた。
そして、座標系設定部２１が、カメラ４によりキャリブレーション治具Ｊを撮像して得られた撮像画像とキャリブレーションデータに基づいて、カメラ４の位置を基準としたキャリブレーション治具Ｊの位置を求めるとともに、キャリブレーションデータに基づいて、基準位置を基準としたカメラ４の位置を求める構成とした。加えて、座標系設定部２１が、求めたカメラ４の位置を基準としたキャリブレーション治具Ｊの位置と、求めた基準位置を基準としたカメラ４の位置と、に基づいて、基準位置を基準としたキャリブレーション治具Ｊの位置を求め、これを用いてロボット２の制御に使用する座標系を設定する構成とした。

これにより、教示者はロボット操作を必要とせず、座標系を設定したい位置に置いたキャリブレーション治具Ｊを、キャリブレーション済みのカメラ４で撮像することで、簡易にロボット２の制御に使用する座標系を設定することができる。そのため、ロボット操作に慣れていない教示者が、誤った座標系を設定してロボット２が期待通りに制御できないリスクを回避することができる。従来、キャリブレーション治具に座標系を自動的に設定する技術が存在するが、複数の視点からキャリブレーション治具を撮像する必要があったため時間を要するうえ、１台の固定カメラでは不可能であったところ、本開示の第１実施形態によれば、１台のカメラによる一度の撮像のみで可能であり、短時間で簡易に座標系を設定することができる。

また本開示の第１実施形態では、カメラ４が固定カメラである場合には、キャリブレーションデータから取得される基準位置を基準としたカメラ４の位置を、基準位置を基準とした視覚センサ位置とする構成とした。また、カメラ４がハンドカメラである場合には、キャリブレーションデータから取得されるフランジ５の位置を基準としたカメラ４の位置と、キャリブレーション治具撮像時の基準位置を基準としたフランジ５の位置と、に基づいて、キャリブレーション治具撮像時の基準位置を基準としたカメラ４の位置を求める構成とした。

これにより、カメラ４がハンドカメラである場合と固定カメラである場合とを問わず、いずれの場合であっても、上述と同様の効果を得ることができる。

［第２実施形態］
上述の第１実施形態では、キャリブレーション治具Ｊが台Ｔ上に設置された例を示したが、本開示の第２実施形態として、キャリブレーション治具Ｊを、ロボット２のフランジ５に設置してもよい。この場合においても、カメラ４は、固定カメラでもハンドカメラでもいずれであってもよい。以下、本開示の第２実施形態について図５及び図６を参照して説明するが、上述の第１実施形態と同様の構成については同一の符号を付し、その説明を適宜省略する。

図５は、本開示の第２実施形態に係るロボットシステムＳＡの構成を示す図である。ロボットシステムＳＡは、本開示の第２実施形態に係る座標系設定システム１Ａを含んで構成される。ロボットシステムＳＡは、産業機械としてのロボット２と、視覚センサとしてのカメラ４と、視覚センサ制御装置１０と、ロボット制御装置２０と、キャリブレーション治具Ｊと、を備える。

本開示の第２実施形態に係る座標系設定システム１Ａは、上述の第１実施形態に係る座標系設定システム１と同様の構成である。即ち、本開示の第２実施形態に係る座標系設定システム１Ａは、視覚センサとしてのカメラ４と、視覚センサ制御装置１０を構成する画像処理部１１及びキャリブレーションデータ記憶部１２と、ロボット制御装置２０を構成する座標系設定部２１と、を備える。

本開示の第２実施形態では、カメラ４がロボット２の上方に配置された所定の固定部Ｆに取り付けられた固定カメラである点が第１実施形態と相違する。また、キャリブレーション治具Ｊがロボット２のフランジ５に設置される点が第１実施形態と相違する。

また、本開示の第２実施形態では、座標系設定部２１による座標系設定処理の内容の一部が、第１実施形態と相違する。具体的には、本開示の第２実施形態における座標系設定部２１では、カメラ４により、フランジ５に設置されたキャリブレーション治具Ｊを撮像して得られた撮像画像に基づいてカメラ４の位置を基準としたキャリブレーション治具Ｊの位置を求めるとともに、キャリブレーションデータに基づいてキャリブレーション治具Ｊ撮像時の基準位置を基準としたカメラ４の位置をそれぞれ求め、これらに基づいて、キャリブレーション治具Ｊ撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置を求める。また、キャリブレーション治具Ｊ撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置及び前記キャリブレーション治具Ｊ撮像時の基準位置を基準としたフランジ５の位置に基づいて、フランジ５の位置を基準としたキャリブレーション治具Ｊの位置を求める。そして、求めたフランジ５の位置を基準としたキャリブレーション治具Ｊの位置を用いて、ロボット２の制御に使用する座標系を設定する。

図６は、本開示の第２実施形態他に係る座標系設定システム１Ａにおける座標系設定処理の手順を示すフローチャートである。図６に示されるように、本開示の第２実施形態他に係る座標系設定システム１Ａにおける座標系設定処理のステップＳ１～ステップＳ７及びステップＳ９は、それぞれ、上述の第１実施形態他に係る座標系設定システム１における座標系設定処理のステップＳ１～ステップＳ７及びステップＳ９と同様である。

ステップＳ１０は、ステップＳ７後に実行される。本ステップでは、フランジ５の位置を基準としたキャリブレーション治具Ｊの位置を計算する。具体的には、ステップＳ７で求めたキャリブレーション治具Ｊ撮像時の基準位置を基準としたキャリブレーション治具Ｊの位置と、ステップＳ５で求めたキャリブレーション治具Ｊ撮像時の基準位置を基準としたフランジ５の位置に基づいて、フランジ５の位置を基準としたキャリブレーション治具Ｊの位置を求める。本ステップ後はステップＳ１１に進む。

ステップＳ１１では、ステップＳ１０で求めたフランジ５の位置を基準としたキャリブレーション治具Ｊの位置を用いて、ロボット２の制御に使用する座標系を設定し、本処理を終了する。

以上により、ロボット２のフランジ５に、ロボット２を制御するための座標系が設定され、上述の第１実施形態と同様の効果が得られる。

［第３実施形態］
上述の第１実施形態及び第２実施形態では、基準位置を基準としたキャリブレーション治具Ｊの位置を用いて座標系を設定する座標系設定システム１を提案したが、本開示の第３実施形態では、基準位置から見たキャリブレーション治具Ｊの三次元位置と姿勢を計算する位置姿勢計測システム１Ｂを提案する。以下、本開示の第３実施形態について図７～図９を参照して説明するが、上述の第１実施形態と同様の構成については同一の符号を付し、その説明を省略する。

図７は、本開示の第３実施形態に係るロボットシステムＳＡを示す図である。図８は、本開示の第３実施形態に係る位置姿勢計測システム１Ｂの構成を示すブロック図である。図９は、動作の補正量を説明するための図である。なお、図７では、ロボット２、視覚センサ制御装置１０及びロボット制御装置２０Ｂの記載を省略して示している。

図７に示されるように本実施形態では、工作機械７の表面に配置されたキャリブレーション治具Ｊを、ロボット２が把持するキャリブレーション済みのカメラ４で撮像する。また、図８に示されるように、本実施形態に係る位置姿勢計測システム１Ｂは、位置姿勢計算部２２を備え、この位置姿勢計算部２２により、カメラ４から見たキャリブレーション治具Ｊの三次元位置と姿勢（Ｘ，Ｙ，Ｚ，Ｗ，Ｐ，Ｒ）を計測し、該計測された三次元位置と姿勢から、ロボット２に対する工作機械７の三次元的な位置と姿勢を計算する。

より詳しくは、本実施形態に係る位置姿勢計算部２２は、カメラ４によりキャリブレーション治具Ｊを撮像して得られた撮像画像とキャリブレーションデータに基づいて、カメラ位置を基準としたキャリブレーション治具Ｊの三次元位置及び姿勢を求める。また、位置姿勢計算部２２は、キャリブレーションデータに記憶された、ロボット２に対して予め設定された基準位置を基準としたカメラ位置を求める。さらに、位置姿勢計算部２２は、カメラ位置を基準としたキャリブレーション治具Ｊの三次元位置及び姿勢と、基準位置を基準としたカメラ位置と、に基づいて、基準位置を基準としたキャリブレーション治具Ｊの三次元位置及び姿勢を求める。これにより、キャリブレーション治具Ｊが配置された工作機械７のロボット２に対する三次元的な位置と姿勢を取得する。

以上のように本実施形態に係る位置姿勢計測システム１Ｂは、ロボット２に対する工作機械７の三次元的な位置姿勢を取得可能である。そのため、取得された現在の三次元的な位置姿勢と元々の基準の位置姿勢とから、図示しない補正部により、ずれ量を補正量として求め、その補正量分、ロボット２の動作に補正をかけることが可能である。具体的に、図９に示されるように、現在の検出位置にある工作機械７が基準位置にあるそれと重なるように座標系自体を移動・回転し、ここで求めた座標系の移動量をずれ量（補正量）とすることによって、ロボット２の所定の動作に簡単に補正をかけることが可能である。なお、図９は二次元で示しているが、三次元でも基本的に変わらない。

なお、本開示は上記の各態様に限定されるものではなく、本開示の目的を達成できる範囲での変形、改良は本開示に含まれる。

例えば、座標系設定システム１，１Ａをロボット２の制御に使用する座標系の設定に適用したが、これに限定されない。ロボット２以外の各種工作機械の制御に使用する座標系の設定にも適用可能である。

１，１Ａ 座標系設定システム
１Ｂ 位置姿勢計測システム
２ ロボット
３ ロボットアーム
４ カメラ（視覚センサ）
５ フランジ
６ 手先のツール
１０ 視覚センサ制御装置
１１ 画像処理部
１２ キャリブレーションデータ記憶部
１３ 入力画像
２０，２０Ｂ ロボット制御装置
２１ 座標系設定部
２２ 位置姿勢計算部
Ｊ キャリブレーション治具
Ｓ，ＳＡ，ＳＢ ロボットシステム
Ｔ 台

Claims (4)

1. 産業機械の制御に使用する座標系を設定する座標系設定システムであって、
   キャリブレーション済みの視覚センサと、
   前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
   前記視覚センサにより、前記座標系を設定したい位置に設置されたキャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、
   前記画像処理部による画像処理結果を用いて前記産業機械の制御に使用する座標系を設定する座標系設定部と、を備え、
   前記座標系設定部は、
   前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
   前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
   前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、
   前記基準位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定し、
   前記産業機械は、
   ロボットアームと、前記ロボットアームと手先のツールを繋ぐフランジと、を有するロボットであり、
   前記座標系設定部は、
   前記視覚センサが固定カメラである場合には、前記キャリブレーションデータから取得される基準位置を基準としたカメラ位置を、前記基準位置を基準とした視覚センサ位置とし、
   前記視覚センサが前記フランジに取り付けられたハンドカメラである場合には、前記キャリブレーションデータから取得されるフランジ位置を基準としたカメラ位置と、キャリブレーション治具撮像時の基準位置を基準としたフランジの位置と、に基づいて、キャリブレーション治具撮像時の前記基準位置を基準とした視覚センサ位置を求める、座標系設定システム。
2. 産業機械の制御に使用する座標系を設定する座標系設定システムであって、
   キャリブレーション済みの視覚センサと、
   前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
   前記視覚センサにより、前記座標系を設定したい位置に設置されたキャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、
   前記画像処理部による画像処理結果を用いて前記産業機械の制御に使用する座標系を設定する座標系設定部と、を備え、
   前記座標系設定部は、
   前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
   前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
   前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、
   前記基準位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定し、
   前記産業機械は、
   ロボットアームと、前記ロボットアームと手先のツールを繋ぐフランジと、を有するロボットであり、
   前記画像処理部は、
   前記視覚センサにより、前記フランジに設置された前記キャリブレーション治具を撮像して得られた撮像画像を処理し、
   前記座標系設定部は、
   前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
   前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
   前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、
   前記基準位置を基準としたキャリブレーション治具の位置及び前記産業機械から取得した基準位置を基準としたフランジの位置に基づいて、フランジの位置を基準としたキャリブレーション治具の位置を求め、かつ、
   前記フランジの位置を基準としたキャリブレーション治具の位置を用いて前記産業機械の制御に使用する座標系を設定する、座標系設定システム。
3. 産業機械の基準位置から見たキャリブレーション治具の三次元位置と姿勢を計測する位置姿勢計測システムであって、
   キャリブレーション済みの視覚センサと、
   前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
   前記視覚センサにより、前記キャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、
   前記画像処理部による画像処理結果を用いて、前記産業機械の基準位置から見た前記キャリブレーション治具の三次元位置と姿勢を計算する位置姿勢計算部と、を備え、
   前記位置姿勢計算部は、
   前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
   前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
   前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、
   前記産業機械は、
   ロボットアームと、前記ロボットアームと手先のツールを繋ぐフランジと、を有するロボットであり、
   前記位置姿勢計算部は、
   前記視覚センサが固定カメラである場合には、前記キャリブレーションデータから取得される基準位置を基準としたカメラ位置を、前記基準位置を基準とした視覚センサ位置とし、
   前記視覚センサが前記フランジに取り付けられたハンドカメラである場合には、前記キャリブレーションデータから取得されるフランジ位置を基準としたカメラ位置と、キャリブレーション治具撮像時の基準位置を基準としたフランジの位置と、に基づいて、キャリブレーション治具撮像時の前記基準位置を基準とした視覚センサ位置を求める、位置姿勢計測システム。
4. 産業機械の基準位置から見たキャリブレーション治具の三次元位置と姿勢を計測する位置姿勢計測システムであって、
   キャリブレーション済みの視覚センサと、
   前記視覚センサのキャリブレーションを実行した時に得られたキャリブレーションデータを予め記憶するキャリブレーションデータ記憶部と、
   前記視覚センサにより、前記キャリブレーション治具を撮像して得られた撮像画像を処理する画像処理部と、
   前記画像処理部による画像処理結果を用いて、前記産業機械の基準位置から見た前記キャリブレーション治具の三次元位置と姿勢を計算する位置姿勢計算部と、を備え、
   前記位置姿勢計算部は、
   前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
   前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
   前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、
   前記産業機械は、
   ロボットアームと、前記ロボットアームと手先のツールを繋ぐフランジと、を有するロボットであり、
   前記画像処理部は、
   前記視覚センサにより、前記フランジに設置された前記キャリブレーション治具を撮像して得られた撮像画像を処理し、
   前記位置姿勢計算部は、
   前記視覚センサにより前記キャリブレーション治具を撮像して得られた撮像画像と前記キャリブレーションデータに基づいて求めた、視覚センサ位置を基準としたキャリブレーション治具の位置と、
   前記キャリブレーションデータに記憶された、前記産業機械に対して予め設定された基準位置を基準とした視覚センサ位置と、
   前記視覚センサ位置を基準としたキャリブレーション治具の位置と、前記基準位置を基準とした視覚センサ位置と、に基づいて、基準位置を基準としたキャリブレーション治具の位置と、を求め、かつ、
   前記基準位置を基準としたキャリブレーション治具の位置及び前記産業機械から取得した基準位置を基準としたフランジの位置に基づいて、フランジの位置を基準としたキャリブレーション治具の位置を求める、位置姿勢計測システム。

Images