JP7328017B2

JP7328017B2 - ロボットシステム及び制御装置

Info

Publication number: JP7328017B2
Application number: JP2019109031A
Authority: JP
Inventors: 渉遠山
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2019-06-11
Filing date: 2019-06-11
Publication date: 2023-08-16
Anticipated expiration: 2039-06-11
Also published as: US20200391388A1; DE102020003349A1; JP2020199605A; US11697210B2; CN112060073A

Description

本発明は、ロボットシステムに関する。

ロボットシステムにおけるビジュアルトラッキングとは、搬送手段としてのコンベヤ上を流れてくる多数の対象物をカメラで見つけて、ロボットがコンベヤの流れに合わせて取出しを行うアプリケーションのことである。これにより、コンベヤを流れてくる対象物を複数のロボットが分担して取り出していくことが可能となる。

ビジュアルトラッキングを用いた装置として、第１のステレオカメラを用いた初期段階の検出操作でワークの位置及び姿勢を認識し、ワークの移動位置に追従させてロボットのハンドを移動させながら、第２のステレオカメラを繰り返し作動させて、ワークの位置及び姿勢のズレ量を求めた後、当該ズレ量を補正することにより、最終的なピッキング動作の目標位置とハンドの姿勢を制御するピッキング装置が知られている（例えば、特許文献１を参照）。

特開２００４－１１２２号公報

しかし、特許文献１で開示されるピッキング装置は、ワークが積み重なることに対応した装置ではなかった。

ビジュアルトラッキングを用いる際、コンベヤで流れてくるワークが積み重なっていると、上に位置するワークの下に隠れているワークは撮像しても計測できないため検出されず、見逃すことになる。その解決策として、円弧コンベヤでワークを周回させる、リターン機構を用意する、１台の固定カメラで複数回の撮像・計測を行う方法が考えられるが、システムの設置にコストがかかる。

搬送されている積み重なったワークを低コストで効率的に取出し可能なロボットシステムを提供することが望まれている。

本開示の一態様は、搬送手段により搬送されているワークを撮像する第１の撮像手段と、搬送手段により搬送されている前記ワークを撮像する第２の撮像手段を備えるロボットと、前記第１の撮像手段により撮像された前記ワークに基づいて、前記ワークの位置を取得する位置取得手段と、前記第２の撮像手段により撮像された前記ワークに基づいて、前記位置取得手段によって位置を取得された前記ワークの三次元情報を取得する三次元情報取得手段と、前記三次元情報取得手段により取得された前記ワークの三次元情報に基づいて、前記ワークにおいて、露出しているワークに他のワークが隠れているか否かを判定する判定手段と、前記露出しているワークを取り出す取出し手段と、前記露出しているワークに前記他のワークが隠れていると判定された場合、前記他のワークが露出した後に、前記第２の撮像手段に前記他のワークを撮像させて前記他のワークを検出する検出手段と、前記検出手段による検出結果を、前記ロボットによる取出し動作に利用するため、前記検出手段の外部に伝達する伝達手段と、を備えるロボットシステムである。

一態様によれば、搬送されている積み重なったワークを低コストで効率的に取出し可能なロボットシステムを提供することが可能となる。

一実施形態の全体構成図である。一実施形態における制御部の機能ブロック図である。一実施形態の動作を示すフローチャートである。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。一実施形態の動作中における各構成要素の位置関係を示す図である。

以下、本発明の実施形態について、図１～図８を参照することにより説明する。

〔１実施形態の構成〕
図１は、本発明の実施形態に係るロボットシステム１の全体構成を示す図である。
図１に示すように、一実施形態によるロボットシステム１は、ロボット１１と、コンベヤ（以降では、「搬送手段」とも呼称する）１２と、固定カメラ（以降では、「第１の撮像手段」とも呼称する）１３と、３Ｄビジョンセンサ（以降では、「第２の撮像手段」とも呼称する）１４と、制御部３０とを備える。

また、コンベヤ１２上では、例えばワーク２Ａとワーク２Ｂとを含む、ワーク２が、ワーク２Ａがワーク２Ｂ上に積み重なった状態で、流れてくるものとする。

ロボット１１は、複数の駆動軸を有し、先端部を位置決めする。ロボット１１としては、典型的には図示するような垂直多関節ロボットとされるが、例えば直交座標ロボット、スカラロボット、パラレルリンクロボット等であってもよい。

とりわけ本実施形態において、ロボット１１は、コンベヤ１２上を上流から流れてくるワーク２をピッキングするためのロボットである。ロボット１１は、アーム１１１とハンド（以降では、「取出し手段」とも呼称する）１１２とを備える。ハンド１１２はアーム１１１の先端部に設けられる。ロボット１１は、アーム１１１を駆動することにより、ハンド１１２を目標物であるワーク２に近づけ、ハンド１１２によってワーク２をピッキングする。

コンベヤ１２は、ロボット１１よりも上流からロボット１１よりも下流に向かって、ワーク２を搬送する装置である。コンベヤ１２は、例えばベルトコンベヤであってよい。

固定カメラ１３は、ロボット１１よりも上流側において、コンベヤ１２上を流れるワーク２を撮像する装置である。固定カメラ１３は、コンベヤ１２に対する相対位置が固定されていることを好適とするが、これには限定されない。また、固定カメラ１３は、とりわけワーク２の二次元画像を撮像するカメラであって、一般に、後述の３Ｄビジョンセンサ１４よりも安価であるが、これには限定されない。

とりわけ本実施形態において、固定カメラ１３は、コンベヤ１２上のワーク２の大まかな位置を取得するために用いられるが、その他、固定カメラ１３が通常有する機能を備えることが可能である。

３Ｄビジョンセンサ１４は、物体の三次元画像を撮像することが可能なセンサである。とりわけ本実施形態において、３Ｄビジョンセンサ１４は、ロボット１１のアーム１１１に固定されている。これにより、ロボット１１がハンド１１２によりワーク２をピッキングする前後において、３Ｄビジョンセンサ１４は、ワーク２に近接することにより、ワーク２の三次元情報を取得することが可能である。ただし、これには限定されず、３Ｄビジョンセンサ１４は、ワーク２の三次元画像を撮像可能な位置であれば、任意の位置に設置することが可能である。

制御部３０は、ＣＰＵ及びメモリを含むマイクロプロセッサ（図示せず）により構成される。制御部３０において、マイクロプロセッサのＣＰＵは、メモリから読み出した所定のプログラムに従って、ロボットシステム１に係る各種の制御を実行する。以下、制御部３０の機能の一部について説明する。

図２は、制御部３０の機能ブロックである。制御部３０は、位置取得部３０１と、三次元情報取得部３０２と、判定部３０３と、検出部３０４と、伝達部３０５とを備える。

位置取得部３０１は、固定カメラ１３により撮像されたワーク２の撮像画像に基づいて、コンベヤ１２上におけるワーク２の大まかな位置を取得する。

三次元情報取得部３０２は、３Ｄビジョンセンサ１４により撮像されたワーク２の撮像画像に基づいて、位置取得部３０１によって位置が取得されたワーク２の三次元情報を取得する。ここで、三次元情報とは、とりわけワーク２の位置情報、姿勢情報、及び高さ情報を含む。とりわけ本実施形態においては、位置取得部３０１によって位置が取得されたワーク２に向けて、アーム１１１が駆動されることによりハンド１１２が近づいた際、三次元情報取得部３０２は、アーム１１１に設置された３Ｄビジョンセンサ１４により、ワーク２の三次元情報を取得する。

判定部３０３は、三次元情報取得部３０２によって取得されたワーク２の三次元情報に基づいて、ワーク２において、例えば固定カメラ１３から見て露出しているワーク２Ａに、他のワーク２Ｂが隠れているか否かを判定する。

とりわけ本実施形態においては、三次元情報取得部３０２によって取得されたワーク２の三次元情報に含まれる高さ情報が、ワーク２Ａ及びワーク２Ｂの各々の厚さよりも大きい場合に、判定部３０３は、露出しているワーク２Ａに他のワーク２Ｂが隠れていると判定することが可能である。なお、他のワーク２Ｂが隠れる位置は、露出しているワーク２Ａの下に制限されず、他のワーク２Ｂは完全に隠れていなくてもよい。

あるいは、判定部３０３は、３Ｄビジョンセンサ１４により撮像された三次元画像において、ワーク２の画像中、他のワーク２Ｂが占める面積の割合を所定の閾値と比較し、当該比較結果に応じて、露出しているワーク２Ａに他のワーク２Ｂが隠れているか否かを判定してもよい。

また、出願人は、これまでに、例えば特願２００９－２８９６８号（特開２０１０－１８４３０８号公報）、特願２０１２－１８８４８５号（特開２０１４－０４６３７１号公報）、及び特願２０１７－２９８５３号（特開２０１８－１３４６９８号公報）において、複数のワークが積み重なっている場合に、これらのワークの相対的な位置や姿勢を認識し、検出する技術について出願してきた。これらの技術を本発明に転用することにより、露出しているワーク２Ａに他のワーク２Ｂが隠れているか否かを判定することが可能である。

例えば、複数のワークから任意の２個のワークを選択し、個々のワークの位置と姿勢、及びワークの寸法情報から２個のワークが重なる重なり領域を推定し、この重なり領域に２個のワークのうちいずれかのワークの特定の形状が含まれる場合に、重なり箇所の画像の個々の画素に対する勾配情報を算出し、当該勾配情報から、２個のワークのうちいずれのワークが上側に位置するかを判断する技術を、本発明に転用してもよい。

あるいは、三次元空間にバラ積みされた複数の物品の表面位置を測定し、複数の三次元点の位置情報を取得し、取得された複数の三次元点の中から、互いに近傍にある三次元点を連結してなる連結集合を求め、連結集合に属する三次元点の位置情報に基づき、物品の位置及び姿勢を特定する技術を、本発明に転用してもよい。

あるいは、コンテナ内のワークの三次元情報として、各点が高さ位置情報を有する三次元点を取得し、三次元点群の中で、隣接する点同士が所定の条件を満たす複数の三次元点集合を作成し、複数の三次元点集合のうち、所定の大きさの基準、所定の面積の基準、及び所定の長さの基準の少なくとも一つに該当するものを除外集合として特定し、三次元点群又は複数の三次元点集合から除外集合に含まれる点を除外して得られるワーク検出用の三次元点群を求め、ワーク検出用の三次元点から、ロボットによる取出しのためのワーク検出を行う技術を、本発明に転用してもよい。

検出部３０４は、判定部３０３によって、露出しているワーク２Ａに他のワーク２Ｂが隠れていると判定された場合、ハンド１１２によって露出しているワーク２Ａが取り出されることにより、他のワーク２Ｂが露出した後に、他のワーク２Ｂを３Ｄビジョンセンサ１４によって検出する。

とりわけ本実施形態においては、ハンド１１２によって露出しているワーク２Ａが取り出された後の「退避動作」、すなわち、ハンド１１２がワーク２Ａを把持した後、他の場所に運搬するまでの動作中に、３Ｄビジョンセンサ１４に他のワーク２Ｂを撮像させて他のワーク２Ｂを検出することが可能である。

伝達部３０５は、検出部３０４による検出結果を、ロボット１１による取出し動作に利用するため、検出部３０４の外部に伝達する。

とりわけ本実施形態において、伝達部３０５は、検出部３０４による検出結果を、次工程のロボット１１Ａによる取出し動作に利用するため、ロボット１１Ａの制御部に伝達することが可能である。

〔２実施形態の動作〕
図３は、本実施形態に係るロボットシステム１の動作を示すフローチャートである。また、図４～図８は、図３に示すフローチャートの各ステップにおける、ロボットシステム１内の各構成要素の位置関係及び状態を示す図である。以下、図３～図８を参照することにより、ロボットシステム１の動作について説明する。

ステップＳ１において、図４に示すように、位置取得部３０１は、固定カメラ１３によって撮像された、コンベヤ１２で流れてくるワーク２（２Ａ，２Ｂ）の撮像画像に基づいて、コンベヤ１２上におけるワーク２の大まかな位置を取得する。

ステップＳ２において、図５に示すように、三次元情報取得部３０２は、３Ｄビジョンセンサ１４により撮像されたワーク２の撮像画像に基づいて、位置取得部３０１によって位置が取得されたワーク２の三次元情報を取得する。

ステップＳ３において、図６に示すように、ハンド１１２によって、露出しているワーク２Ａを取り出す。

ステップＳ４において、取り出しているワーク２Ａに、隠れているワーク２Ｂが存在する場合（Ｓ４：ＹＥＳ）には、処理はステップＳ５に移行する。取り出しているワーク２Ａに、隠れているワーク２Ｂが存在しない場合（Ｓ４：ＮＯ）には、処理はステップＳ２に移行する。

ステップＳ５において、図７に示すように、ワーク２Ａの取出し後の退避動作中に、検出部３０４は隠れていたワーク２Ｂを検出する。

ステップＳ６において、図８に示すように、伝達部３０５は、次工程のロボット１１Ａの制御部に対して、検出部３０４による、隠れていたワーク２Ｂの検出結果を伝達する。これにより、次工程のロボット１１Ａは、隠れていたワーク２Ｂを取り出す。
その後、処理はステップＳ２に移行する。

〔３実施形態が奏する効果〕
本実施形態に係るロボットシステム１は、コンベヤ１２上により搬送されているワーク２を撮像する固定カメラ１３と、コンベヤ１２により搬送されているワーク２を撮像する３Ｄビジョンセンサ１４を備えるロボット１１と、固定カメラ１３により撮像されたワーク２に基づいて、ワーク２の位置を取得する位置取得部３０１と、３Ｄビジョンセンサ１４により撮像されたワーク２に基づいて、位置取得部３０１によって位置を取得されたワーク２の三次元情報を取得する三次元情報取得部３０２と、三次元情報取得部３０２により取得されたワーク２の三次元情報に基づいて、ワーク２において、露出しているワーク２Ａに他のワーク２Ｂが隠れているか否かを判定する判定部３０３と、露出しているワーク２Ａを取り出すハンド１１２と、露出しているワーク２Ａに他のワーク２Ｂが隠れていると判定された場合、他のワーク２Ｂが露出した後に、３Ｄビジョンセンサ１４に他のワーク２Ｂを撮像させて他のワーク２Ｂを検出する検出部３０４と、検出部３０４による検出結果を、ロボット１１による取出し動作に利用するため、検出部３０４の外部に伝達する伝達部３０５と、を備える。

これにより、コンベヤ１２上で積み重なったワーク２を効率的に取り出すことが可能となる。また、円弧コンベヤ等の別の機構を用意する必要がないため、コストを削減できる。

また、本実施形態に係るロボットシステム１において、伝達部３０５は、検出結果を、次工程のロボット１１Ａによる取出し動作に利用するため、ロボット１１Ａの制御部に伝達してもよい。

これにより、ロボットシステム１内におけるワーク２の取りこぼしを削減することが可能となる。

また、本実施形態に係るロボットシステム１において、固定カメラ１３は、ワーク２の二次元画像を取得すると共に、コンベヤ１２に対する相対位置が固定されていてもよい。

これにより、比較的安価な固定カメラ１３を用いることにより、コンベヤ１２におけるワーク２の大まかな位置を取得することが可能となる。

また、本実施形態に係るロボットシステム１において、３Ｄビジョンセンサ１４は、ロボット１１のアーム１１１に取り付けられていてもよい。

これにより、退避動作中に、３Ｄビジョンセンサ１４で隠れていたワーク２Ｂを検出することが可能となる。

また、本実施形態に係るロボットシステム１において、上記の三次元情報は、ワーク２の高さ情報、位置情報、及び姿勢情報を含んでもよい。

これにより、ワーク２の高さとワーク２との厚さとを比較することにより、ワーク２において積み重なりが生じてないか否かを判定することが可能となる。

１ロボットシステム
２、２Ａ、２Ｂワーク
１１ロボット
１２コンベヤ
１３固定カメラ（第１の撮像手段）
１４３Ｄビジョンセンサ（第２の撮像手段）
３０制御部
１１１アーム
１１２ハンド（取出し手段）
３０１位置取得部（位置取得手段）
３０２三次元情報取得部（三次元情報取得手段）
３０３判定部（判定手段）
３０４検出部（検出手段）
３０５伝達部（伝達手段）

Claims

搬送手段により搬送されているワークを撮像する第１の撮像手段と、
搬送手段により搬送されている前記ワークを撮像する第２の撮像手段を備えるロボットと、
前記第１の撮像手段により撮像された前記ワークに基づいて、前記ワークの位置を取得する位置取得手段と、
前記第２の撮像手段により撮像された前記ワークに基づいて、前記位置取得手段によって位置を取得された前記ワークの三次元情報を取得する三次元情報取得手段と、
前記三次元情報取得手段により取得された前記ワークの三次元情報に基づいて、前記ワークにおいて、露出しているワークに他のワークが隠れているか否かを判定する判定手段と、
前記露出しているワークを取り出す取出し手段と、
前記露出しているワークに前記他のワークが隠れていると判定された場合、前記他のワークが露出した後に、前記第２の撮像手段に前記他のワークを撮像させて前記他のワークを検出する検出手段と、
前記検出手段による検出結果を、前記ロボットによる取出し動作に利用するため、前記検出手段の外部に伝達する伝達手段と、を備えるロボットシステム。
前記第１の撮像手段は、前記ワークの二次元画像を取得すると共に、前記搬送手段に対する相対位置が固定されている、請求項１に記載のロボットシステム。
前記第２の撮像手段は前記ロボットのアームに取り付けられている、請求項１又は２に記載のロボットシステム。
前記三次元情報は、前記ワークの高さ情報、位置情報、及び姿勢情報を含む、請求項１から請求項３のいずれか１項に記載のロボットシステム。
第１の撮像手段により撮像されたワークに基づいて、前記ワークの位置に関する情報を取得する位置取得手段と、
第２の撮像手段により撮像された前記ワークに基づいて、前記ワークの三次元情報を取得する三次元情報取得手段と、
前記ワークのうち露出しているワークに他のワークが隠れていると判定された場合、前記他のワークが露出した後に、前記第２の撮像手段に前記他のワークを撮像させて前記他のワークを検出する検出手段と、
前記検出手段による検出結果を、ロボットによる取出し動作に利用するため、前記検出手段の外部に伝達する伝達手段と、を備える制御装置。
前記三次元情報は、前記ワークの高さ情報、位置情報、及び姿勢情報を含む、請求項５に記載の制御装置。
前記第１の撮像手段は、搬送手段により搬送されているワークを撮像し、
前記第２の撮像手段は、前記ロボットに備えられるものであり、搬送手段により搬送されている前記ワークを撮像する、請求項５又は６に記載の制御装置。