JP7313049B2

JP7313049B2 - ロボット制御システム、ロボット制御方法およびプログラム

Info

Publication number: JP7313049B2
Application number: JP2019179127A
Authority: JP
Inventors: 孝三森山; 晋亀山; ヤチュンヴ; ブルックスルーカス
Original assignee: Johnan Corp
Current assignee: Johnan Corp
Priority date: 2019-09-30
Filing date: 2019-09-30
Publication date: 2023-07-24
Anticipated expiration: 2039-09-30
Also published as: US20220371201A1; CN114450133A; JP2021053742A; WO2021065880A1

Description

本発明は、ロボット制御システム、ロボット制御方法およびプログラムに関する。

従来、ワークをピックするピッキング装置が知られている（たとえば、特許文献１参照）。

このピッキング装置は、ワークをピックするロボットと、ワークの三次元形状を測定する三次元形状測定装置と、三次元形状測定装置の測定結果に応じてロボットを制御する制御装置とを備えている。このため、ワークの三次元形状を制御装置が把握できることから、ワークの三次元形状に応じて制御装置がロボットを動作させることにより、ロボットにワークを適切に保持させることが可能である。

特開平１０－３１５１６７号公報

ここで、上記のようなピッキング装置では、制御装置がワークの三次元形状を把握することが可能であるが、三次元形状測定装置の測定間隔が大きいので、三次元形状測定装置による測定が行われてからロボットにピック作業を行わせるまでの間にワークが動くことが考えられる。そして、ロボットによるピック作業が行われる前にワークが動いた場合には、ロボットがピック作業に失敗するおそれがある。

本発明は、上記の課題を解決するためになされたものであり、本発明の目的は、三次元形状測定装置による測定が行われてからロボットによる作業が行われるまでワークを監視することが可能なロボット制御システム、ロボット制御方法およびプログラムを提供することである。

本発明によるロボット制御システムは、ワークに対して作業を行うロボットと、ワークの三次元形状を測定する三次元形状測定装置と、三次元形状測定装置の測定結果に応じてロボットを制御する制御装置とを備えるものであり、ワークを撮像する撮像装置を備える。撮像装置の撮像間隔は、三次元形状測定装置の測定間隔よりも小さい。制御装置は、三次元形状測定装置による測定が行われてからロボットによる作業が行われるまでの間に、撮像装置による撮像結果に基づいて、ワークの位置を算出するように構成されている。

このように構成することによって、撮像装置の撮像間隔が三次元形状測定装置の測定間隔よりも小さいことにより、三次元形状測定装置による測定が行われてからロボットによる作業が行われるまでの間に、撮像装置の撮像結果に基づいてワークの位置を算出することができるので、ワークが動いたとしてもその動きを検出することができる。

本発明によるロボット制御方法は、撮像装置によってワークが撮像されるステップと、三次元形状測定装置によってワークの三次元形状が測定されるステップと、三次元形状測定装置の測定結果に応じて制御装置がロボットを制御することにより、ワークに対する作業をロボットに行わせるステップと、三次元形状測定装置による測定が行われてからロボットによる作業が行われるまでの間に、三次元形状測定装置の測定間隔よりも小さい撮像装置の撮像間隔で撮像された撮像結果に基づいて、制御装置によりワークの位置が算出されるステップとを備える。

本発明によるプログラムは、コンピュータに、ワークを撮像した撮像結果が撮像装置から入力される手順と、ワークの三次元形状を測定した測定結果が三次元形状測定装置から入力される手順と、三次元形状測定装置の測定結果に応じてロボットを制御することにより、ワークに対する作業をロボットに行わせる手順と、三次元形状測定装置による測定が行われてからロボットによる作業が行われるまでの間に、三次元形状測定装置の測定間隔よりも小さい撮像装置の撮像間隔で撮像された撮像結果に基づいて、ワークの位置を算出する手順と、を実行させるためのものである。

本発明のロボット制御システム、ロボット制御方法およびプログラムによれば、三次元形状測定装置による測定が行われてからロボットによる作業が行われるまでワークを監視することができる。

本実施形態によるロボット制御システムの概略構成を示したブロック図である。本実施形態のロボット制御システムの動作を説明するためのフローチャートである。

以下、本発明の一実施形態を説明する。

まず、図１を参照して、本発明の一実施形態によるロボット制御システム１００の構成について説明する。

ロボット制御システム１００は、たとえば工場の生産現場に適用されるものであり、生産現場においてロボット２に作業を実行させるように構成されている。このロボット制御システム１００は、図１に示すように、制御装置１と、ロボット２と、三次元形状測定装置３と、撮像装置４とを備えている。たとえば、ロボット制御システム１００では、ワークを搬送するベルトコンベア５０が設けられており、ロボット２が行う作業は、ベルトコンベア５０上のワークを掴み上げるピック作業である。

ベルトコンベア５０は、ベルトおよびベルト駆動部などを有し、ベルトに載置されたワークを搬送するように構成されている。このベルトコンベア５０は、ワーク搬送方向の上流側に配置される供給領域と、ワーク搬送方向の下流側に配置される排出領域と、供給領域および排出領域の間に配置される搬送領域とを含んでいる。ベルトコンベア５０では、供給領域にはワークが順次載置され、そのワークが搬送領域を介して排出領域に送られるようになっている。

制御装置１は、ロボット２を含むロボット制御システム１００を制御するように構成されている。この制御装置１は、演算部１１と、記憶部１２と、入出力部１３とを含んでいる。演算部１１は、記憶部１２に記憶されたプログラムなどに基づいて演算処理を実行することにより、制御装置１を制御するように構成されている。記憶部１２には、ロボット２を制御するためのプログラムなどが記憶されている。入出力部１３には、ロボット２、三次元形状測定装置３、撮像装置４およびベルトコンベア５０などが接続されている。なお、制御装置１は、本発明の「コンピュータ」の一例である。

ロボット２は、制御装置１によって制御され、たとえばピック作業を行うように構成されている。ロボット２は、多軸アームと、多軸アームの先端に設けられたエンドエフェクタとしてのハンドとを有する。多軸アームは、ハンドを移動させるために設けられ、ハンドは、ワークを保持するために設けられている。ロボット２は、ベルトコンベア５０上のワークを排出領域で掴み上げ、そのワークをベルトコンベア５０の外側に移動させるように構成されている。すなわち、ロボット２は、ベルトコンベア５０上のワークをベルトコンベア５０から排出するために設けられている。

三次元形状測定装置３は、ベルトコンベア５０上のワークの三次元形状を測定するために設けられている。たとえば、三次元形状測定装置３は、測定範囲がベルトコンベア５０の排出領域に設定され、ベルトコンベア５０の排出領域に送られたワークの三次元形状を測定するように構成されている。三次元形状測定装置３は、レーザ光を投光する投光部、および、レーザ光の測定対象物での反射光を受光する受光部などを含み、測定対象物までの距離を算出して測定結果（３Ｄ点群データ）を生成するように構成されている。三次元形状測定装置３による三次元形状の測定間隔は、予め設定された第１時間間隔（たとえば、約１秒）に設定されている。三次元形状測定装置３の測定結果は、制御装置１に出力されるようになっている。

撮像装置４は、ベルトコンベア５０上のワークを撮像するために設けられている。たとえば、撮像装置４は、撮像範囲がベルトコンベア５０の全体に設定され、ベルトコンベア５０の供給領域から排出領域に送られるワークを撮像するように構成されている。撮像装置４による撮像間隔は、第１時間間隔よりも小さい予め設定された第２時間間隔（たとえば、約０．０１秒～約０．０３秒）に設定されている。撮像装置４の撮像結果（撮像画像）は、制御装置１に出力されるようになっている。

ここで、制御装置１には、三次元形状測定装置３から第１時間間隔毎に測定結果が入力されるとともに、撮像装置４から第２時間間隔毎に撮像結果が入力されている。そして、制御装置１は、三次元形状測定装置３および撮像装置４からの入力に応じてロボット２およびベルトコンベア５０を制御するように構成されている。

具体的には、制御装置１は、三次元形状測定装置３の測定結果からワークの正確な形状、位置および姿勢を把握するように構成されている。また、制御装置１は、三次元形状測定装置３の測定結果によるワークの形状、位置および姿勢と、ベルトコンベア５０によるワークの搬送速度とに基づいて、ロボット２がワークをピックするときのピック位置（ロボット２のハンドの位置）、ピック姿勢（ロボット２のハンドの向き）およびピックタイミング（ロボット２のハンドがワークを掴むタイミング）を算出するように構成されている。

なお、ピックタイミングは、ベルトコンベア５０によって搬送されるワークが排出領域の被ピック位置を通過するタイミングである。被ピック位置は、たとえば、ワークの位置、ベルトコンベア５０によるワークの搬送速度、および、ロボット２のピック作業の準備に要する時間などに基づいて決定される。ピック位置およびピック姿勢は、たとえば、ワークの形状、姿勢および被ピック位置などに基づいて決定される。

また、制御装置１は、三次元形状測定装置３による測定が行われてからロボット２によるピック作業が行われるまでの間に、撮像装置４の撮像結果に基づいてワークの位置および姿勢を算出するように構成されている。これにより、ベルトコンベア５０上でのワークの動きが監視されるようになっている。そして、制御装置１は、ベルトコンベア５０上でのワークの動きが検出された場合に、ベルトコンベア５０によるワークの搬送を中断して、ワークが動いた後における三次元形状測定装置３の測定結果が入力されるまで待機するように構成されている。その後、制御装置１は、ワークの移動後の測定結果が入力された場合に、その測定結果を用いてピック位置などを再計算するとともに、ベルトコンベア５０によるワークの搬送を再開するように構成されている。

－ロボット制御システムの動作－
次に、図２を参照して、本実施形態によるロボット制御システム１００の動作（ロボット制御方法）について説明する。なお、以下では、説明を簡略化するために、ベルトコンベア５０にワークが１つずつ供給され、ベルトコンベア５０上に複数のワークが載置されない場合について説明する。すなわち、ベルトコンベア５０の供給領域に１つのワークが供給された後に、そのワークが排出領域から排出されるまで、新たなワークが供給領域に供給されることなく、ベルトコンベア５０上の１つのワークが排出領域から排出された後に、新たなワークが供給領域に供給される場合について説明する。また、以下の各ステップは制御装置１によって実行される。

まず、三次元形状測定装置３では、第１時間間隔毎にベルトコンベア５０の排出領域が測定され、その測定結果が制御装置１に出力される。また、撮像装置４では、第１時間間隔よりも小さい第２時間間隔毎にベルトコンベア５０の全体が撮像され、その撮像結果が制御装置１に出力される。

そして、ベルトコンベア５０の供給領域にワークが供給されると、そのワークがベルトコンベア５０によって供給領域から排出領域に向けて搬送される。このとき、ワークがベルトコンベア５０の供給領域に載置されると、撮像装置４から出力される撮像結果にワークが含まれるようになる。また、ベルトコンベア５０によってワークが排出領域まで搬送されると、三次元形状測定装置３から出力される測定結果にワークが含まれるようになる。

なお、ベルトコンベア５０によるワークの搬送速度は、所定値になるように制御装置１によって調整される。この所定値は、予め設定された値であり、たとえば、ワークが排出領域に位置するときに三次元形状測定装置３による三次元形状の測定が少なくとも１回以上行われるとともに、三次元形状測定装置３による三次元形状の測定後にロボット２がピック作業を完了可能なように設定されている。

制御装置１では、図２のステップＳ１において、ワークを含む撮像結果が撮像装置４から入力されたか否かが判断される。そして、ワークを含む撮像結果が撮像装置４から入力されたと判断された場合には、ステップＳ２に移る。なお、この場合、ワークがベルトコンベア５０に載置されている。その一方、ワークを含む撮像結果が撮像装置４から入力されていないと判断された場合（撮像結果が入力されていない場合、および、ワークを含まない撮像結果が入力された場合）には、ステップＳ３に移る。

次に、ステップＳ２において、ステップＳ１で入力された撮像結果に基づいて、ワークの位置および姿勢が算出される。その後、ステップＳ３に移る。

次に、ステップＳ３において、ワークを含む測定結果が三次元形状測定装置３から入力されたか否かが判断される。そして、ワークを含む測定結果が三次元形状測定装置３から入力されたと判断された場合には、ステップＳ４に移る。なお、この場合、ワークがベルトコンベア５０によって排出領域まで搬送されている。その一方、ワークを含む測定結果が三次元形状測定装置３から入力されていないと判断された場合（測定結果が入力されていない場合、および、ワークを含まない測定結果が入力された場合）には、ステップＳ１に戻る。

次に、ステップＳ４において、ロボット２がワークをピックする際のピック位置などが計算される。具体的には、ステップＳ３で入力された測定結果に基づいて、ワークの正確な形状、位置および姿勢が把握される。そして、それらワークの形状、位置および姿勢と、ベルトコンベア５０によるワークの搬送速度とに基づいて、ロボット２がワークをピックするときのピック位置、ピック姿勢およびピックタイミングが算出される。

次に、ステップＳ５において、撮像装置４から撮像結果が入力されたか否かが判断される。このとき、ワークがベルトコンベア５０の排出領域に配置されており、撮像結果が入力された場合には、その撮像結果にワークが含まれている。そして、撮像装置４から撮像結果が入力されたと判断された場合には、ステップＳ６に移る。その一方、撮像装置４から撮像結果が入力されていないと判断された場合には、ステップＳ１１に移る。

次に、ステップＳ６において、ステップＳ５で入力された撮像結果に基づいて、ワークの位置および姿勢が算出される。

次に、ステップＳ７において、撮像装置４の撮像結果に基づくワークの位置および姿勢を用いて、ベルトコンベア５０上でワークが動いたか否かが判断される。すなわち、ベルトコンベア５０によるワークの搬送分の移動を除いた上で、ワークの動きが検出されたか否かが判断される。たとえば、今回の撮像結果に基づくワークの位置および姿勢が、前回の測定結果または撮像結果に基づくワークの位置および姿勢とベルトコンベア５０によるワークの搬送速度とから推定される現在のワークの位置および姿勢と一致する場合に、ワークが動いていないと判断される。そして、ベルトコンベア５０上でワークが動いたと判断された場合には、ステップＳ８に移る。その一方、ベルトコンベア５０上でワークが動いていないと判断された場合には、ステップＳ１１に移る。

次に、ステップＳ８において、ベルトコンベア５０によるワークの搬送が中断される。すなわち、ベルトコンベア５０が一時的に停止される。

次に、ステップＳ９において、三次元形状測定装置３から測定結果が入力されたか否かが判断される。このとき、ワークがベルトコンベア５０の排出領域に配置されており、測定結果が入力された場合には、その測定結果にワークが含まれている。そして、三次元形状測定装置３から測定結果が入力されたと判断された場合には、ステップＳ１０に移る。その一方、三次元形状測定装置３から測定結果が入力されていないと判断された場合には、ステップＳ９が繰り返し行われる。すなわち、制御装置１は、三次元形状測定装置３から測定結果が入力されるまで待機する。

次に、ステップＳ１０において、ピック位置などが再計算されるとともに、ワークの搬送が再開される。具体的には、ステップＳ９で入力された測定結果に基づいて、ベルトコンベア５０上で動いた後のワークの正確な形状、位置および姿勢が把握される。そして、移動後のワークの形状、位置および姿勢と、ベルトコンベア５０によるワークの搬送再開タイミングおよびその際の搬送速度とに基づいて、ロボット２が移動後のワークをピックするときのピック位置、ピック姿勢およびピックタイミングが算出される。

次に、ステップＳ１１において、ベルトコンベア５０の排出領域における被ピック位置にワークが到達するか否かが判断される。すなわち、三次元形状測定装置３の測定結果に基づくピックタイミングが到来するか否かが判断される。そして、ワークが被ピック位置に到達すると判断された場合には、ステップＳ１４に移る。その一方、ワークが被ピック位置に到達しないと判断された場合には、ステップＳ１２に移る。

そして、ステップＳ１４では、ロボット２によるワークのピック作業が行われる。すなわち、ベルトコンベア５０により搬送されるワークが被ピック位置を通過する際にロボット２によって掴み上げられる。その後、リターンに移る。

また、ステップＳ１２では、三次元形状測定装置３から測定結果が入力されたか否かが判断される。そして、三次元形状測定装置３から測定結果が入力されたと判断された場合には、ステップＳ１３において、その入力された測定結果に基づいてピック位置などが再計算され、ステップＳ５に戻る。すなわち、ワークを含む測定結果が複数回入力された場合には、最新の測定結果（後で入力された測定結果）を用いてピック位置などが算出（更新）される。その一方、三次元形状測定装置３から測定結果が入力されていないと判断された場合には、ステップＳ５に戻る。

－効果－
本実施形態では、上記のように、三次元形状測定装置３の測定間隔よりも撮像間隔が小さい撮像装置４を設けることによって、三次元形状測定装置３による測定が行われてからロボット２によるピック作業が行われるまでの間に、撮像装置４の撮像結果に基づいてワークの位置を算出することができるので、ベルトコンベア５０上でワークが動いたとしてもその動きを検出することができる。これにより、三次元形状測定装置３による測定が行われてからロボット２によるピック作業が行われるまでベルトコンベア５０上のワークを監視することができる。つまり、ワークの正確な形状などを把握することが可能な三次元形状測定装置３における測定間隔が大きいという短所を、撮像間隔の小さい撮像装置４を設けてワークを監視することで補うことができる。

また、本実施形態では、ベルトコンベア５０上でのワークの動きが検出された場合に、ベルトコンベア５０によるワークの搬送が中断され、三次元形状測定装置３の測定結果が入力されるまで待機することによって、動いた後のワークの正確な形状、位置および姿勢を把握することができるので、ロボット２のピック作業が失敗するのを抑制することができる。すなわち、三次元形状測定装置３による測定が行われてからロボット２によるピック作業が行われるまでの間に、ベルトコンベア５０上でワークが動いた場合に、その動きを検出して移動後のワークについての三次元形状測定装置３による測定結果を得ることができるので、ロボット２によるピック作業が失敗するのを抑制することができる。

また、本実施形態では、撮像装置４による撮像結果に基づいてワークの位置および姿勢を算出することによって、ベルトコンベア５０上でのワークの動きの検出精度の向上を図ることができる。

－他の実施形態－
なお、今回開示した実施形態は、すべての点で例示であって、限定的な解釈の根拠となるものではない。したがって、本発明の技術的範囲は、上記した実施形態のみによって解釈されるものではなく、特許請求の範囲の記載に基づいて画定される。また、本発明の技術的範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記実施形態では、ロボット２がワークに対してピック作業を行う例を示したが、これに限らず、ロボットがワークに対して加工などを行うようにしてもよい。すなわち、上記実施形態では、ロボット２が多軸アームおよびハンドを有する例を示したが、これに限らず、ロボットの構造はどのようなものであってもよい。

また、上記実施形態では、三次元形状測定装置３の測定結果に応じて調整されるロボット２の制御パラメータとして、ピック位置、ピック姿勢およびピックタイミングが設定される例を示したが、これに限らず、三次元形状測定装置の測定結果に応じて調整されるロボットの制御パラメータとして、ピック力（ロボットのハンドがワークを掴むときの把持力）などが設定されるようにしてもよい。

また、上記実施形態では、ベルトコンベア５０上でのワークの動きが検出された場合に、ベルトコンベア５０によるワークの搬送が中断される例を示したが、これに限らず、排出領域の広さやワークの搬送速度によっては、ベルトコンベア上でのワークの動きが検出された場合に、ワークの搬送速度が所定値のまま変化されないようにしてもよいし、ワークの搬送速度が低下されるようにしてもよい。

また、上記実施形態では、ベルトコンベア５０によって搬送されるワークに対してロボット２がピック作業を行う例を示したが、これに限らず、ベルトコンベアによって搬送されていない停止状態のワークに対してロボットがピック作業を行うようにしてもよい。たとえば、トレイに収容されたワークに対してロボットがピック作業を行うようにしてもよい。

また、上記実施形態では、ワークが被ピック位置を通過する際にピック作業が行われる例を示したが、これに限らず、ワークが被ピック位置に到達したときにベルトコンベアを停止させることにより、被ピック位置で停止状態のワークに対してピック作業が行われるようにしてもよい。

また、上記実施形態では、ベルトコンベア５０上に複数のワークが載置されない例を示したが、これに限らず、ベルトコンベア上に複数のワークが載置されるようにしてもよい。すなわち、ベルトコンベアによって搬送されるワークが排出領域から排出される前に、新たなワークが供給領域に供給されるようにしてもよい。

また、上記実施形態では、三次元形状測定装置３の測定範囲がベルトコンベア５０の排出領域に設定される例を示したが、これに限らず、三次元形状測定装置の測定範囲がベルトコンベアの全体に設定されるようにしてもよい。

また、上記実施形態では、撮像装置４の撮像範囲がベルトコンベア５０の全体に設定される例を示したが、これに限らず、撮像装置の撮像範囲がベルトコンベアの排出領域に設定されるようにしてもよい。

また、上記実施形態では、撮像装置４の撮像結果に基づいてワークの位置および姿勢が算出される例を示したが、これに限らず、撮像装置の撮像結果に基づいてワークの位置のみが算出されるようにしてもよい。

また、上記実施形態において、撮像装置４がロボット２の作業領域を撮像するように構成され、撮像装置４がロボット２の作業領域に対する人の入出を検出するために設けられていてもよい。

本発明は、三次元形状測定装置の測定結果に応じてロボットを制御するロボット制御システム、ロボット制御方法およびプログラムに利用可能である。

１制御装置（コンピュータ）
２ロボット
３三次元形状測定装置
４撮像装置
５０ベルトコンベア
１００ロボット制御システム

Claims

ワークに対して作業を行うロボットと、
ワークの三次元形状を測定する三次元形状測定装置と、
前記三次元形状測定装置の測定結果に応じて前記ロボットを制御する制御装置とを備えるロボット制御システムであって、
ワークを撮像する撮像装置を備え、
前記撮像装置の撮像間隔は、前記三次元形状測定装置の測定間隔よりも小さく、
前記制御装置は、前記三次元形状測定装置による測定が行われてから前記ロボットによる作業が行われるまでの間に、前記撮像装置による撮像結果に基づいて、ワークの位置を算出するように構成されていることを特徴とするロボット制御システム。
撮像装置によってワークが撮像されるステップと、
三次元形状測定装置によってワークの三次元形状が測定されるステップと、
前記三次元形状測定装置の測定結果に応じて制御装置がロボットを制御することにより、ワークに対する作業を前記ロボットに行わせるステップと、
前記三次元形状測定装置による測定が行われてから前記ロボットによる作業が行われるまでの間に、前記三次元形状測定装置の測定間隔よりも小さい前記撮像装置の撮像間隔で撮像された撮像結果に基づいて、前記制御装置によりワークの位置が算出されるステップとを備えることを特徴とするロボット制御方法。
コンピュータに、
ワークを撮像した撮像結果が撮像装置から入力される手順と、
ワークの三次元形状を測定した測定結果が三次元形状測定装置から入力される手順と、
前記三次元形状測定装置の測定結果に応じてロボットを制御することにより、ワークに対する作業を前記ロボットに行わせる手順と、
前記三次元形状測定装置による測定が行われてから前記ロボットによる作業が行われるまでの間に、前記三次元形状測定装置の測定間隔よりも小さい前記撮像装置の撮像間隔で撮像された撮像結果に基づいて、ワークの位置を算出する手順と、
を実行させるためのプログラム。