JP6777670B2

JP6777670B2 - 画像処理を利用してロボットの教示を補正するロボットシステム

Info

Publication number: JP6777670B2
Application number: JP2018060088A
Authority: JP
Inventors: 恭平小窪; 文和藁科
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2018-03-27
Filing date: 2018-03-27
Publication date: 2020-10-28
Anticipated expiration: 2038-03-27
Also published as: DE102019001969A1; CN110303474A; US20190299403A1; DE102019001969B4; JP2019171497A; US11376732B2; CN110303474B

Description

本発明は、ロボットシステムに関し、特に画像処理を利用してロボットの教示を補正するロボットシステムに関する。

従来、ワークを撮像装置によって撮像し、取得した画像からワークの特徴を検出し、検出結果からロボットがワークを取出す位置（即ち、ロボットの目標位置）を計算し、ロボットの教示位置を補正した上で、ロボットがワークを取出す技術がある。

本願に関連する先行技術としては、特許文献１が公知である。特許文献１には、ワークとマーカーとを撮像した撮像画像を受け付ける画像認識部と、ロボットの教示データを生成する処理部と、を含み、処理部は、画像認識部が受け付けた撮像画像によってロボットの第１の教示データを生成し、ロボットの把持部にワークを把持させてロボットの第２の教示データを生成することが開示されている。

特開２０１５−１１２６５４号公報

画像処理を利用してロボットの教示を補正する技術において、ワークの特徴に個体差があったり、ワークの特徴が陰に隠れたりすることが原因で、画像からワークの特徴を検出できない場合がある。一方で、斯かる技術を利用しないと、手作業でロボットの教示を補正する必要があり、教示作業の効率が低下する。また、斯かる技術のための教示処理においては、予め特徴のテンプレート画像等を記憶しておく必要があるため、教示処理に手間が掛かるという問題もあった。

そこで、ワークの特徴の検出率を向上させつつ、ロボットの教示を簡易化する技術が求められている。

本開示の一態様は、ワークに対して作業を行うロボットと、前記ロボットを制御するロボット制御装置と、ワークを撮像する撮像装置と、を備える、ロボットシステムであって、撮像した画像からワークの特徴を検出し、検出結果に基づいてロボットの教示を補正するロボットシステムにおいて、ワークの第１特徴及び第２特徴と、第１特徴の位置とロボットの目標位置との間の第１位置関係と、第１特徴の位置と第２特徴の位置との間の第２位置関係と、を予め記憶する記憶部と、記憶した第１特徴及び第２特徴に基づいて、撮像した画像から第１特徴及び第２特徴の少なくとも一方を検出する特徴検出部と、検出した第１特徴及び第２特徴の少なくとも一方の位置を計算する特徴位置計算部と、第１特徴を画像から検出できた場合には、計算した第１特徴の位置と記憶した第１位置関係とに基づいてロボットの目標位置を計算すると共に、第１特徴を画像から検出できず、第２特徴を画像から検出できた場合には、計算した第２特徴の位置と記憶した第２位置関係とに基づいて第１特徴の位置を計算し、計算した第１特徴の位置と記憶した第１位置関係とに基づいてロボットの目標位置を計算する目標位置計算部と、を備える、ロボットシステムを提供する。

本開示の一態様によれば、複数のワークの特徴を用意しておき、撮像した画像から一方の特徴を検出できなかった場合には、他方の特徴を検出するため、ワークの特徴の検出率を向上させつつ、ロボットの教示を簡易化できる。

第１実施形態におけるロボットシステムを示す概略図である。第１実施形態におけるロボットの目標位置と、ワークの第１特徴及び第２特徴とを含む撮像画像を示す図である。他の実施形態におけるロボットの目標位置及び目標姿勢と、ワークの第１特徴及び第２特徴とを含む撮像画像を示す図である。第１実施形態におけるロボットシステムの教示処理を示すフローチャートである。第１実施形態におけるロボットシステムの補正処理を示すフローチャートである。第２実施形態におけるロボットシステムの教示処理を示すフローチャートである。第２実施形態におけるロボットシステムの補正処理を示すフローチャートである。第２実施形態におけるロボットシステムの構成を示すブロック図である。別の実施形態におけるロボットシステムの構成を示すブロック図である。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

図１は、第１実施形態におけるロボットシステム１を示す概略図である。ロボットシステム１は、ワーク１０に対して作業を行うロボット１１と、ロボット１１を制御するロボット制御装置１２と、ワーク１０を撮像する撮像装置１３と、を備えている。

ロボット１１は、例えばサーボモータ等によって駆動される６軸のロボットマニピュレータであり、ワーク１０を取出すハンド１４を備えている。ハンド１４は、真空ポンプを利用した真空把持部、又は、磁石を利用した磁力把持部を有している。他の実施形態では、ハンド１４が指部材を有していてもよい。

ロボット制御装置１２は、有線又は無線を介してロボット１１と通信可能に接続されており、教示作業によって生成された作業プログラムに従ってロボット１１に対する動作指令を生成し、ロボット１１を動作させ、一方で、位置、速度等のフィードバック制御を行う。また、ロボット制御装置１２は、有線又は無線を介して撮像装置１３と通信可能に接続されており、撮像した画像からワーク１０の特徴を検出し、検出した特徴に基づいてロボット１１がワーク１０を取出す位置（及び姿勢）（即ち、ロボット１１の目標位置（及び目標姿勢））を求め、ロボット１１の教示位置（及び教示姿勢）を補正する。

撮像装置１３は、図示しない構造柱に配置されており、ワーク１０を上方から撮像する。他の実施形態では、撮像装置１３がロボット１１のエンドエフェクタに配置されていてもよい。

図２は、第１実施形態におけるロボットの目標位置１５と、ワーク１０の第１特徴１６及び第２特徴１７を含む撮像画像１８を示す図である。ロボットの目標位置１５は、マスターワークの撮像画像上で教示者によって教示され、座標値として予め記憶されるが、実際に取出すワーク１０の位置は変化するため、画像処理を利用して撮像画像１８からワーク１０の特徴を検出し、検出結果に基づいてロボットの目標位置１５を求め、教示位置を補正する必要がある。

しかしながら、ワーク１０の特徴に個体差があったり、ワーク１０の特徴が陰に隠れたりすることが原因で、撮像画像１８からワーク１０の特徴を検出できない場合がある。そこで、ロボットシステム１は、ワーク１０の特徴を２種類（即ち、第１特徴１６及び第２特徴１７）用意しておき、第１特徴１６を検出できなかった場合には、第２特徴１７を検出することによって検出に失敗してしまう確率を低くする。

また、第１実施形態におけるロボットシステム１においては、ハンド１４が真空把持部又は磁力把持部を有するため、ロボットの目標姿勢を一定とし、ロボットの目標位置１５のみを求めればよい。しかしながら、ハンド１４が指部材を有する他の実施形態においては、実際に取出すワーク１０の姿勢の変化に応じてハンド１４の指部材がワーク１０を把持する姿勢も変化するため、ロボットの目標姿勢も求める必要がある。

図３は、他の実施形態におけるロボットの目標位置１５及び目標姿勢１９と、ワーク１０の第１特徴１６及び第２特徴１７とを含む撮像画像１８を示す図である。ロボットの目標姿勢１９は、マスターワークの撮像画像上で教示者によって教示され、座標軸回りの回転角として予め記憶されるが、実際に取出すワーク１０の姿勢は変化するため、画像処理を利用して撮像画像１８からワーク１０の特徴を検出し、検出結果に基づいてロボットの目標姿勢１９を求め、教示姿勢を補正する必要がある。

図４は、第１実施形態におけるロボットシステム１の教示処理を示すフローチャートである。ロボットシステム１は、概略的に、以下の手順で教示処理を行う。

＜教示処理＞
（ステップＳ１０）マスターワークを撮像する。
（ステップＳ１１）撮像画像上で第１特徴、第２特徴を教示し、予め記憶しておく。
（ステップＳ１２）第１特徴の位置とロボットの目標位置との間の第１位置関係を教示し、予め記憶しておく。
（ステップＳ１３）第２特徴の位置とロボットの目標位置との間の第１位置関係を教示し、予め記憶しておく。
なお、「第１位置関係」とは、例えば、特徴の位置を座標上の原点（０，０，０）としたときのロボットの目標位置の座標値（１５０，１００，０）である。

ハンドが指部材を有する他の実施形態においては、続いて、以下の教示処理も行う。
（ステップＳ１４）第１特徴の姿勢とロボットの目標姿勢との間の第１姿勢関係を教示し、予め記憶しておく。
（ステップＳ１５）第２特徴の姿勢とロボットの目標姿勢との間の第１姿勢関係を教示し、予め記憶しておく。
なお、「第１姿勢関係」とは、例えば、特徴の姿勢を座標軸周りの回転角（０°，０°，０°）としたときのロボットの目標姿勢の回転角（０°，０°，９０°）である。

図５は、第１実施形態におけるロボットシステム１の補正処理を示すフローチャートである。ロボットシステム１は、概略的に、以下の手順で補正処理を行う。なお、ハンドが指部材を有する他の実施形態においては、「位置」だけでなく「姿勢」も処理することに留意されたい。

＜補正処理＞
（ステップＳ２０）実際に取出すワークを撮像する。
（ステップＳ２１）撮像画像から第１特徴を検出する。
（ステップＳ２２）撮像画像から第１特徴を検出できたか否か判定する。
（ステップＳ２３）撮像画像から第１特徴を検出できた場合には、検出結果から第１特徴の位置（及び姿勢）を計算する。
（ステップＳ２４）計算した第１特徴の位置（及び姿勢）と予め記憶した第１位置関係（及び第１姿勢関係）とに基づいてロボットの目標位置（及び目標姿勢）を計算する。
（ステップＳ２５）ロボットの教示位置（及び教示姿勢）を補正する。
（ステップＳ２６）撮像画像から第１特徴を検出できなかった場合には、撮像画像から第２特徴を検出する。
（ステップＳ２７）撮像画像から第２特徴を検出できたか否か判定する。
（ステップＳ２８）撮像画像から第２特徴を検出できた場合には、検出結果から第２特徴の位置（及び姿勢）を計算する。
（ステップＳ２９）計算した第２特徴の位置（及び姿勢）と予め記憶した第１位置関係（及び第１姿勢関係）とに基づいてロボットの目標位置（及び目標姿勢）を計算する。
（ステップＳ２５）ロボットの教示位置（及び教示姿勢）を補正する。

第１実施形態における＜補正処理＞によれば、ワークの特徴を複数用意しておき、撮像した画像から一方の特徴を検出できなかった場合には、他方の特徴を検出するため、ワークの特徴の検出率を向上させることができる。一方で、ロボットの教示を手作業で補正する必要がないため、ロボットの教示を簡易化できる。しかしながら、ワークの種類が増えた場合には、ワーク毎に、複数の特徴のテンプレート画像と、特徴の位置（及び姿勢）とロボットの目標位置（及び目標姿勢）との間の第１位置関係（及び第１姿勢関係）とを教示し、予め記憶しておかなければならないため、＜教示処理＞の手間が増える。そこで、後述する第２実施形態においては、さらに＜教示処理＞に掛かる手間を減らし、ロボットの教示を簡易化する。

図６は、第２実施形態におけるロボットシステム１の教示処理を示すフローチャートである。ロボットシステム１は、概略的に、以下の手順で教示処理を行う。

＜教示処理＞
（ステップＳ３０）マスターワークを撮像する。
（ステップＳ３１）撮像画像上で第１特徴、第２特徴を教示し、予め記憶しておく。
（ステップＳ３２）第１特徴の位置とロボットの目標位置との間の第１位置関係を教示し、予め記憶しておく。
（ステップＳ３３）第１特徴の位置と第２特徴の位置との間の第２位置関係を計算し、予め記憶しておく。
なお、「第２位置関係」とは、例えば、第１特徴の位置を座標上の原点（０，０，０）としたときの第２特徴の位置の座標値（１５０，１００，０）である。

ハンドが指部材を有する他の実施形態においては、続いて、以下の教示処理も行う。
（ステップＳ３４）第１特徴の姿勢とロボットの目標姿勢との間の第１姿勢関係を教示し、予め記憶しておく。
（ステップＳ３５）第１特徴の姿勢と第２特徴の姿勢との間の第２姿勢関係を計算し、予め記憶しておく。
なお、「第２姿勢関係」とは、例えば、第１特徴の姿勢を座標軸周りの回転角（０°，０°，０°）としたときの第２特徴の姿勢の回転角（０°，０°，９０°）である。

図７は、第２実施形態におけるロボットシステム１の補正処理を示すフローチャートである。ロボットシステム１は、概略的に、以下の手順で補正処理を行う。なお、ハンドが指部材を有する他の実施形態においては、「位置」だけでなく「姿勢」も処理することに留意されたい。

＜補正処理＞
（ステップＳ４０）実際に取出すワークを撮像する。
（ステップＳ４１）撮像画像から第１特徴を検出する。
（ステップＳ４２）撮像画像から第１特徴を検出できたか否か判定する。
（ステップＳ４３）撮像画像から第１特徴を検出できた場合には、検出結果から第１特徴の位置（及び姿勢）を計算する。
（ステップＳ４４）計算した第１特徴の位置（及び姿勢）と予め記憶した第１位置関係（及び第１姿勢関係）とに基づいてロボットの目標位置（及び目標姿勢）を計算する。
（ステップＳ４５）ロボットの教示位置（及び教示姿勢）を補正する。
（ステップＳ４６）撮像画像から第１特徴を検出できなかった場合には、撮像画像から第２特徴を検出する。
（ステップＳ４７）撮像画像から第２特徴を検出できたか否か判定する。
（ステップＳ４８）撮像画像から第２特徴を検出できた場合には、検出結果から第２特徴の位置（及び姿勢）を計算する。
（ステップＳ４９）計算した第２特徴の位置（及び姿勢）と予め記憶した第２位置関係（及び第２姿勢関係）とに基づいて第１特徴の位置（及び姿勢）を計算する。
（ステップＳ４４）計算した第１特徴の位置（及び姿勢）と予め記憶した第１位置関係（及び第１姿勢関係）とに基づいてロボットの目標位置（及び目標姿勢）を計算する。
（ステップＳ４５）ロボットの教示位置（及び教示姿勢）を補正する。

第２実施形態における＜教示処理＞においては、第２特徴の位置（及び姿勢）とロボットの目標姿勢（及び目標位置）との間の第１位置関係（及び第１姿勢関係）を教示する必要がなく、第１特徴の位置（及び姿勢）と第２特徴の位置（及び姿勢）との間の第２位置関係（及び第２姿勢関係）を自動的に計算して求め、予め記憶しておく。このため、さらに＜教示処理＞の手間が軽減され、ロボットの教示を簡易化できる。

図８は、第２実施形態におけるロボットシステム１の構成を示すブロック図である。第２実施形態におけるロボットシステム１はロボット１１を制御するロボット制御装置１２を備えており、ロボット制御装置１２が画像処理を利用してロボット１１の教示を補正する。なお、図８においては、ハンド１４が指部材を有する他の実施形態にも対応できるように、ロボット制御装置１２が「位置」だけでなく「姿勢」も処理する構成を有するが、「姿勢」を処理する構成は必須ではないことに留意されたい。

ロボット制御装置１２は、撮像した画像からワークの特徴を検出し検出結果に基づいてロボット１１の目標位置及び目標姿勢を計算する画像処理部２０と、計算した目標位置及び目標姿勢に基づいて作業プログラムにおける教示位置及び教示姿勢を補正しロボット１１の動作指令を生成する動作指令生成部２１と、を備えている。

画像処理部２０は、公知のＣＰＵ、ＡＳＩＣ、ＦＰＧＡ等を備えている。画像処理部２０は、撮像装置１３から取得したワーク画像を記憶する第１メモリ３０と、ワークの第１特徴及び第２特徴を予め記憶する第２メモリ３１と、第１位置関係及び第２位置関係を予め記憶する第３メモリ３２と、第１姿勢関係及び第２姿勢関係を予め記憶する第４メモリ３３と、計算した目標位置及び目標姿勢を記憶する第５メモリ３４と、を備えている。なお、第１実施形態におけるロボットシステム１においては、第２位置関係及び第２姿勢関係を予め記憶する必要がないことに留意されたい。

画像処理部２０はさらに、記憶した第１特徴及び第２特徴に基づいて、撮像したワーク画像から第１特徴及び第２特徴の少なくとも一方を検出する特徴検出部４０と、検出した第１特徴及び第２特徴の少なくとも一方の位置を計算する特徴位置計算部４１と、第１特徴をワーク画像から検出できた場合には、検出した第１特徴の位置と記憶した第１位置関係とに基づいてロボット１１の目標位置を計算すると共に、第１特徴をワーク画像から検出できず、第２特徴をワーク画像から検出できた場合には、計算した第２特徴の位置と記憶した第２位置関係とに基づいて第１特徴の位置を計算し、計算した第１特徴の位置と記憶した第１位置関係とに基づいてロボット１１の目標位置を計算する目標位置計算部４２と、を備えている。なお、第１実施形態におけるロボットシステム１においては、目標位置計算部４２が、第１特徴をワーク画像から検出できず、第２特徴をワーク画像から検出できた場合に、計算した第２特徴の位置と記憶した第１位置関係とに基づいてロボット１１の目標位置を計算することに留意されたい。

画像処理部２０はさらに、検出した第１特徴及び第２特徴の少なくとも一方の姿勢を計算する特徴姿勢計算部４３と、第１特徴をワーク画像から検出できた場合には、計算した第１特徴の姿勢と記憶した第１姿勢関係とに基づいてロボット１１の目標姿勢を計算すると共に、第１特徴をワーク画像から検出できず、第２特徴をワーク画像から検出できた場合には、計算した第２特徴の姿勢と記憶した第２姿勢関係とに基づいて第１特徴の姿勢を計算し、計算した第１特徴の姿勢と記憶した第１姿勢関係とに基づいてロボット１１の目標姿勢を計算する目標姿勢計算部４４と、を備えている。なお、第１実施形態におけるロボットシステム１においては、目標姿勢計算部４４が、第１特徴をワーク画像から検出できず、第２特徴をワーク画像から検出できた場合に、計算した第２特徴の姿勢と記憶した第１姿勢関係とに基づいてロボット１１の目標姿勢を計算することに留意されたい。

画像処理部２０はさらに、前述した第２位置関係を計算し、第３メモリ３２に予め記憶させる第２位置関係計算部４５と、前述した第２姿勢関係を計算し、第４メモリ３３に予め記憶させる第２姿勢関係計算部４６と、を備えている。なお、第１実施形態におけるロボットシステム１においては、第２位置関係計算部４５及び第２姿勢関係計算部４６を備えなくてよいことに留意されたい。

図９は、別の実施形態におけるロボットシステム１の構成を示すブロック図である。別の実施形態におけるロボットシステム１は、有線又は無線のネットワーク５１を介してロボット制御装置１２と通信可能に接続された画像処理装置５０を備えており、画像処理装置５０が画像処理を利用してロボットの教示を補正する。ロボット制御装置１２及び画像処理装置５０は夫々、通信を制御する通信制御部５２を備えている。画像処理装置５０は、ＰＣ等のコンピュータであってもよい。画像処理装置５０における他の構成は、図８に示す画像処理部２０と同一であるため、説明を省略する。

前述した実施形態によれば、ワークの特徴を複数用意しておき、撮像した画像から一方の特徴を検出できなかった場合には、他方の特徴を検出するため、ワークの特徴の検出率を向上させつつ、ロボットの教示を簡易化できる。

前述したフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ−ＲＯＭに記録して提供してもよい。

本明細書において種々の実施形態について説明したが、本発明は、前述した実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１ロボットシステム
１０ワーク
１１ロボット
１２ロボット制御装置
１３撮像装置
１４ハンド
１５目標位置
１６第１特徴
１７第２特徴
１８撮像画像
１９目標姿勢
２０画像処理部
２１動作指令生成部
３０第１メモリ
３１第２メモリ
３２第３メモリ
３３第４メモリ
３４第５メモリ
４０特徴検出部
４１特徴位置計算部
４２目標位置計算部
４３特徴姿勢計算部
４４目標姿勢計算部
４５第２位置関係計算部
４６第２姿勢関係計算部
５０画像処理装置
５１ネットワーク
５２通信制御部

Claims

ワークに対して作業を行うロボットと、前記ロボットを制御するロボット制御装置と、前記ワークを撮像する撮像装置と、を備える、ロボットシステムであって、前記撮像した画像から前記ワークの特徴を検出し、検出結果に基づいて前記ロボットの教示を補正するロボットシステムにおいて、
前記ワークの第１特徴及び第２特徴と、前記第１特徴の位置と前記ロボットの目標位置との間の第１位置関係と、前記第１特徴の位置と前記第２特徴の位置との間の第２位置関係と、を予め記憶する記憶部と、
前記記憶した前記第１特徴又は前記第２特徴に基づいて、前記撮像した画像から前記第１特徴及び前記第２特徴の少なくとも一方を検出する特徴検出部と、
前記検出した前記第１特徴及び前記第２特徴の少なくとも一方の位置を計算する特徴位置計算部と、
前記第１特徴を前記画像から検出できた場合には、前記計算した前記第１特徴の位置と前記記憶した前記第１位置関係とに基づいて前記ロボットの目標位置を計算すると共に、前記第１特徴を前記画像から検出できず、前記第２特徴を前記画像から検出できた場合には、前記計算した前記第２特徴の位置と前記記憶した前記第２位置関係とに基づいて前記第１特徴の位置を計算し、前記計算した前記第１特徴の位置と前記記憶した前記第１位置関係とに基づいて前記ロボットの目標位置を計算する目標位置計算部と、
を備える、ロボットシステム。
前記記憶部はさらに、前記第１特徴の姿勢及び前記第２特徴の姿勢の少なくとも一方と前記ロボットの目標姿勢との間の第１姿勢関係を記憶しており、
さらに、
前記検出した第１特徴及び第２特徴の少なくとも一方の姿勢を計算する特徴姿勢計算部と、
前記第１特徴を前記画像から検出できた場合には、前記計算した前記第１特徴の姿勢と前記記憶した前記第１姿勢関係とに基づいて前記ロボットの目標姿勢を計算し、前記第１特徴を前記画像から検出できず、前記第２特徴を前記画像から検出できた場合には、前記計算した前記第２特徴の姿勢と前記記憶した前記第１姿勢関係とに基づいて前記ロボットの目標姿勢を計算する目標姿勢計算部と、
を備える、請求項１に記載のロボットシステム。
前記記憶部はさらに、前記第１特徴の姿勢と前記第２特徴の姿勢との間の第２姿勢関係を記憶しており、
前記目標姿勢計算部は、前記第１特徴を前記画像から検出できず、前記第２特徴を前記画像から検出できた場合には、前記計算した前記第２特徴の姿勢と前記記憶した前記第２姿勢関係とに基づいて前記第１特徴の姿勢を計算し、計算した前記第１特徴の姿勢と前記記憶した前記第１姿勢関係とに基づいて前記ロボットの目標姿勢を計算する、請求項２に記載のロボットシステム。
さらに、前記第２位置関係を計算し、前記記憶部に予め記憶させる第２位置関係計算部を備える、請求項１に記載のロボットシステム。
さらに、前記第２姿勢関係を計算し、前記記憶部に予め記憶させる第２姿勢関係計算部を備える、請求項３に記載のロボットシステム。
前記ロボットが真空把持部又は磁力把持部を有するハンドを備える、請求項１から５のいずれか一項に記載のロボットシステム。
前記ロボットが指部材を有するハンドを備える、請求項１から６のいずれか一項に記載のロボットシステム。
前記ロボット制御装置が画像処理を利用して前記ロボットの教示を補正する、請求項１から７のいずれか一項に記載のロボットシステム。
さらに、有線又は無線を介して前記ロボット制御装置と通信可能に接続された画像処理装置を備えており、前記画像処理装置が画像処理を利用して前記ロボットの教示を補正する、請求項１から８のいずれか一項に記載のロボットシステム。