JP7343329B2 - ワーク選定及びロボット作業を同時に行うロボット制御システム - Google Patents

Description

本発明は、ロボット制御システムに関し、特にワーク選定及びロボット作業を同時に行うロボット制御システムに関する。

産業用ロボットを用いてワークに対して作業を行う場合、ワークが静止している場合には、予め教示した位置及び姿勢に基づきロボットを制御すればよいが、ワークを一時的に静止させた場合やワークが移動し続けている場合には、ワークとロボットの相対関係が変化するため、視覚センサを用いてロボットの位置及び姿勢を補正するロボット制御が広く行われている。

特許文献１には、移動するワークのピッキング動作において、ワークの載置位置の近傍に固定設置した第一のステレオカメラを用いてワークの位置及び姿勢を求めてワーク位置の近傍までハンドを移動させ、ハンドの近傍に設置した第二のステレオカメラを用いてワークの実位置及び実姿勢のズレ量を求めて最終的なワークの位置及び姿勢を求めるピッキング装置が記載されている。

特許文献２には、収容箱の上方に設置した広域用センサを用いてワークの粗位置を認識してワークの集合の中から取出すべきワークを選択し、ロボットの手先部に取付けた狭域用センサを用いてワークの三次元位置を精密に測定してワークを取出すワーク取出し装置において、ワークの三次元位置の測定及び取出しに失敗したワークを記憶しておき、失敗したワークを除外して測定すべきワークを選択するワーク取出し装置が記載されている。

特許文献３には、支持部に固定したカメラで撮像した画像に含まれる複数の対象物のうち、所望の対象物に第１領域を指定し、ロボットによる対象物の把持に関する第２領域を指定し、他の対象物の第１領域と重ならない第２領域が指定された対象物をロボットに把持させることが記載されている。

特開２００４－１１２２号公報 特開２００８－８７０７４号公報 特開２０１８－３４２４２号公報

複数のワークの中から作業対象を選定してロボット作業を行う場合に、ツール近傍に設置した視覚センサでワーク群全体を見てから作業対象を絞って作業を行うと、ワーク選定とロボット作業が直列処理になるため、サイクルタイムが増大してしまう。また、ワークが動き回っていると、ワークが裏返ったり、他のワークに遮られたりして、ワークの傷の有無やラベルの有無等を検出できず、ワーク選定に時間を要してしまい、ワークに対するロボット作業が遅延することになる。さらに、ワークが互いに接触していたり、互いに重なっていたりすると、パターンマッチングによるワーク検出に時間を要し、ロボット作業が遅延することもある。このようなシステム構成では、ワークを一定時間監視し続けないとワーク選定を行えないため、サイクルタイムが一層増大することになる。

そこで、複数のワークの中から作業対象を選定してロボット作業を行う場合のサイクルタイムを低減する技術が求められている。

本開示の一態様は、ロボットと、ロボットの端部に取付けられたツールと、ロボットとは別個の固定位置に設置した第１視覚センサと、第１視覚センサを用いて複数のワークの中から作業対象の選定を行う選定部と、ツールの近傍に設置した第２視覚センサと、第２視覚センサを用いて作業対象のズレ量を計算する補正量計算部と、ツールを用いて作業対象に対して作業を行うべくロボットを制御する動作制御部と、を備え、選定及び作業が同時並行で実行され、選定部は選定した作業対象の情報を作業の前に動作制御部へ伝達し、動作制御部は伝達された作業対象の情報に基づきロボットを制御し、補正量計算部は、ワークが移動し続けている場合には、過去データに基づいて作業対象の移動予測量をさらに計算する、ロボット制御システムを提供する。

本開示の一態様によれば、ワーク選定及びロボット作業が同時に実行され、選定した作業対象の情報がロボット作業前に伝達されるため、サイクルタイムを低減できる。

一実施形態におけるロボット制御システムの概略構成を示す斜視図である。 一実施形態におけるロボット制御システムのブロック図である。 ロボット制御システムの変形例を示すブロック図である。 一実施形態におけるロボット制御システムの動作を示す概略フローチャートである。

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

図１は本実施形態におけるロボット制御システム１の概略構成を示している。ロボット制御システム１は、ロボット１０と、ロボット１０の端部に取付けられたツール１１と、ロボット１０とは別個の固定位置に設置した第１視覚センサ１２と、ロボット１０を制御するロボット制御装置１３と、を備えている。ロボット１０は、パラレルリンク型ロボットであるが、多関節ロボット等の他の産業用ロボットでもよい。ツール１１は、ワーク１５を把持可能な吸着式ハンドであるが、ロボット１０の作業内容に応じて他のツールを用いてもよい。例えばツール１１は、複数の爪部を備えたハンドでもよいし、又はハンドではなく、ラベル貼付ツール、ねじ締結ツール、溶接ツール、半田付けツール、切断ツール等の他の加工ツールでもよい。第１視覚センサ１２は、ＣＣＤ（charge-coupled device）カメラ等の二次元センサ、又はＴＯＦ（time-of-flight）カメラ、レーザスキャナ、ステレオカメラ等の三次元センサでよい。

ワーク１５は、傷の有無で良品又は不良品を選定される、野菜、果物等であるが、未作業又は作業済、特定品又は非特定品といった選定を要する他の物品でもよい。例えばワーク１５は、ラベルの有無で未貼付又は貼付済を選定されるラベル貼付品、ねじ締結の有無で未締結又は締結済を選定されるねじ締結品、溶接の高品質又は低品質を選定される溶接品、切断加工の要否で切断要又は切断不要を選定される切断加工品等でもよい。

ロボット制御システム１は、第１視覚センサ１２を用いて複数のワーク１５の中から作業対象の選定（「ワーク選定」という。）を行うと共に、ロボット１０を制御して作業対象に対して作業（「ロボット作業」という。）を行う。ロボット作業は、ツール１１を用いた作業対象の取出しであるが、ラベル貼付、ねじ締結、溶接、半田付け、切断等の他の作業でもよい。

ワーク１５は搬送装置１４で搬送されて移動し続けているが、ロボット作業中には搬送装置１４を一時停止してワーク１５を静止させてもよい。或いは、ワーク１５は固定装置（図示せず）で固定されてずっと静止していてもよい。搬送装置１４は、ワーク１５を搬送するコンベヤであるが、無人搬送車（ＡＧＶ）等の他の搬送装置でもよい。また、第１視覚センサ１２では見えないワーク部分も監視できるように、搬送装置１４は、ワーク１５を振動させるローラコンベヤであるが、他の振動発生装置でもよい。これにより、ワーク１５は、互いに接触したり、又は互いに重なったり、又は動き回ったりするが、第１視覚センサ１２が見えないワーク部分も監視することが可能になる。

ワーク選定を行うため、第１視覚センサ１２はワーク群を俯瞰可能な位置に設置される。第１視覚センサ１２はワーク群を俯瞰すべく広範囲の領域を検知する広域センサであることが望ましい。ワーク１５がずっと静止している場合には、第１視覚センサ１２のみを用いてワーク選定及びロボット作業を行うことが可能であるが、ワーク１５を一時静止させる場合やワーク１５が移動し続けている場合には、ワークの位置及び姿勢が変化するため、第２視覚センサ１６をツール１１の近傍にさらに設置するとよい。第２視覚センサ１６を用いて作業対象を高精度に検出することにより、ロボット１０を作業対象に追従させることが可能になる。第２視覚センサ１６は広域センサより狭い範囲の領域を検知する狭域センサであることが望ましい。

ロボット制御システム１は、ロボット座標系の原点をロボット１０のベース部に設定し、ツール座標系の原点をツール１１の近傍に設定することができる。このとき、ロボット１０の位置はツール座標系の原点として表され、ロボット１０の姿勢はロボット座標系に対するツール座標系の向きとして表される。また、ロボット制御システム１は、視覚センサ座標系の原点を、第１視覚センサ１２及び第２視覚センサ１６で夫々取得したデータのうちの任意の点に設定することができる。ロボット制御システム１は、これら直交座標系における任意の点を相互に座標変換できるように構成される。

図２は本実施形態におけるロボット制御システム１の構成を示している。ロボット制御装置１３は、ＣＰＵ（central processing unit）等のプロセッサを備えた制御装置であり、予め教示した動作プログラム３６によってロボット１０を制御する。また、ロボット制御装置１３は、ツール１１の種類に応じてツール１１をさらに制御することもある。ロボット制御装置１３は、動作プログラム３６等を記憶する記憶部３０と、動作プログラム３６に基づいてロボット１０の動作を制御する動作制御部３１と、ロボット駆動モータ３４を駆動するロボット駆動部３２と、を備えている。ロボット制御装置１３は、ツール１１の種類に応じて、ツール駆動モータ３５を駆動するツール駆動部３３を備えていてもよい。動作プログラム３６は作業を行うロボット１０の基本的な動作指令を記述したプログラムであり、動作制御部３１は動作プログラム３６に基づいてロボット駆動部３２又はツール駆動部３３に動作指令を送出する。ロボット駆動部３２又はツール駆動部３３は動作指令に基づいてロボット駆動モータ３４又はツール駆動モータ３５に電気を供給する。

ロボット制御装置１３は、第１視覚センサ１２を用いて複数のワークの中から作業対象の選定を行う選定部４０を備えている。選定部４０は選定した作業対象の情報を作業前に動作制御部３１へ伝達し、動作制御部３１は伝達された作業対象の情報に基づいてロボット１０又はツール１１を制御する。これにより、ロボット作業が行われる。但し、選定部４０は、ロボット作業中にもワーク選定の処理を継続することに留意されたい。即ち、ワーク選定及びロボット作業が同時並行で実行され、選定した作業対象の情報がロボット作業前に伝達することにより、サイクルタイムを低減できる。

動作制御部３１は作業対象を作業前に選定部４０に要求し、選定部４０が要求に応じて作業対象の情報を動作制御部３１へ伝達するが、要求を発行しなくてもよい。例えば選定部４０と動作制御部３１との間に共有メモリを設け、選定部４０は共有メモリを介して作業対象の情報を動作制御部３１へ伝達し続けてもよい。この場合、例えばプロセス間通信、スレッド間通信のように、選定部４０と動作制御部３１が排他制御しながら共有メモリにアクセスすることになる。なお、作業対象の情報は、作業対象の位置、姿勢等のデータを含むが、単に共有メモリ内の記憶位置を指し示すポインタのみを含んでいてもよい。

ワークを一時静止させる場合やワークが移動し続けている場合には作業対象に追従できるように、ロボット制御装置１３は、第２視覚センサ１６を用いて作業対象のズレ量を計算する補正量計算部４１を備えているとよい。動作制御部３１がズレ量を用いたビジュアルフィードバック制御を行う場合、ズレ量は、例えば位置ベース法では作業対象の現在位置と目標位置との差分となり、特徴ベース法では作業対象の現在特徴量と目標特徴量の差分となる。なお、特徴ベース法において、作業ツールの特徴量と作業対象の特徴量の差分としても良い。この場合、動作制御部３１は、このズレ量をもとにして、動作指令を生成することになる。

また、ワークが移動し続けている場合、補正量計算部４１は、ズレ量に加えて、種々の過去データから作業対象の移動予測量を計算してもよい。過去データは、第１視覚センサ１２を用いて算出した過去データ（例えばワークの移動速度等）でよいが、搬送装置に位置検出センサを設ける場合には位置検出センサを用いて算出した過去データ（例えば搬送装置の移動速度等）でもよい。位置検出センサは例えばロータリーエンコーダ、レーザ変位センサ等を含む。また、補正量計算部４１は、これら過去データに基づいて機械学習、即ち教師あり学習を行って学習モデルを生成し、生成した学習モデルに基づいて作業対象の移動予測量を計算してもよい。動作制御部３１は、ズレ量を用いたビジュアルフィードバック制御に加えて、移動予測量を用いたフィードフォワード制御を行うとよい。これにより、ロボット１０が作業対象に追従できるようになる。

ロボット制御装置１３は、視覚センサ座標系とロボット座標系との間でデータを変換する変換部４２をさらに備えているとよい。変換部４２は、選定部４０と動作制御部３１との間に配置され、作業対象の位置、姿勢等を視覚センサ座標系からロボット座標系へ変換するか、又は補正量計算部４１と動作制御部３１との間に配置され、ズレ量、移動予測量等を視覚センサ座標系からロボット座標系へ変換する。或いは、変換部４２は、第１視覚センサ１２と選定部４０との間及び第２視覚センサ１６と補正量計算部４１との間に配置されてもよく、この場合、第１視覚センサ１２及び第２視覚センサ１６で取得したデータをロボット座標系へ変換した上で、作業対象の位置及び姿勢、ズレ量、移動予測量等をロボット座標系で計算することになる。

図３はロボット制御システム１の変形例を示している。前述のロボット制御システム１はスタンドアロン型のシステム構成を採用しており、ロボット制御装置１３が一台の装置の中でワーク選定及びロボット作業を同時並行に実行するが、図３に示す変形例では、ロボット制御システム１がサーバ型のシステム構成を採用していて複数台のロボット制御装置１３に多対一で接続する上位コンピュータ装置４３を備えている。上位コンピュータ装置４３は、第１視覚センサ１２を用いてワーク選定を行う選定部４０を備え、選定した作業対象の情報を作業前にロボット制御装置１３へ夫々伝達する。また、前述の第１視覚センサ１２はロボット１０の台数に応じて複数台設置されているが、図３に示すように第１視覚センサ１２を一台のみ設置し、ワーク群全体を俯瞰させてもよい。

さらに、上位コンピュータ装置４３は、複数台のロボット１０のツール１１の近傍に設置した複数台の第２視覚センサ１６を用いて、夫々の作業対象のズレ量を計算する補正量計算部４１を備えていてもよい。この場合、上位コンピュータ装置４３は計算したズレ量をロボット制御装置１３へ夫々伝達する。また、補正量計算部４１は、前述の過去データに基づいて夫々の作業対象の移動予測量を計算し、計算した移動予測量をロボット制御装置１３へ夫々伝達してもよい。

上位コンピュータ装置４３は、視覚センサ座標系とロボット座標系との間でデータを変換する変換部４２を備えていてもよい。これにより、上位コンピュータ装置４３は、第１視覚センサ１２又は第２視覚センサ１６で取得したデータ、これらデータから算出した算出データ等を高速にロボット座標系へ変換すると共に、所望のロボット制御装置１３へ高速に伝達することが可能になる。

図４は本実施形態におけるロボット制御システム１の動作を示している。ワーク選定及びロボット作業は同時並行で実行されることに留意されたい。ワーク選定では、先ずステップＳ１０において、第１視覚センサを用いて複数のワークの中から作業対象の候補となる作業候補群を検出する。作業候補群は種々の手法によって検出できるが、例えば後述のように行ってもよい。第１視覚センサで取得したデータの中からパターンマッチングでワークを検出し、検出したワークの中からブロブで所望のワーク（例えば傷のあるワーク等）をさらに検出し、検出に成功したワーク群を作業候補群とする。ステップＳ１１では、検出した作業候補群をマーキングする。ステップＳ１２では、動作制御部からの作業対象の要求の有無を判定する。作業対象の要求がない場合には（ステップＳ１２のＮＯ）、ステップＳ１０に戻り、作業候補群の検出及びマーキングを繰返す。一旦マーキングした作業候補は、ワークが裏返ったり、ワークが他のワークに遮られたりして、所望のワーク（例えば傷のあるワーク等）として検出できなくなったとしても、作業候補群から除外しない。

作業対象の要求がある場合には（ステップＳ１２のＹＥＳ）、ステップＳ１３に進み、作業候補群から作業対象を選定する。作業対象は種々の手法によって選定できるが、例えば後述のように行ってもよい。ワークを搬送する場合には、例えばワークの進行方向で先頭に位置している作業候補を作業対象として選定する。ワークがずっと静止している場合には、例えばツールに最も近い作業候補を作業対象として選定する。ステップＳ１４では、作業対象の情報（例えば作業対象の位置、姿勢等）をロボット座標系に変換するが、ステップＳ１０において第１視覚センサで取得したデータを先ずロボット座標系に変換しておいてもよい。ステップＳ１５では、作業対象の情報を選定部から動作制御部へ伝達する。

他方、ロボット作業では、先ずステップＳ２０で、作業対象を動作制御部から選定部へ要求する。ステップＳ２１では、作業対象の情報に基づいてロボットを作業対象にアプローチする。第２視覚センサを設けている場合には、作業対象の少なくとも一部が第２視覚センサの撮像範囲に収まるようにする。ステップＳ２２では、第２視覚センサを用いて作業対象のズレ量を計算する。作業対象が移動し続けている場合には、ステップＳ２３において作業対象の移動予測量を計算してもよい。ステップＳ２４では、ズレ量、移動予測量等をロボット座標系に変換するが、ステップＳ２２において第２視覚センサで取得したデータを先ずロボット座標系に変換しておいてもよい。ステップＳ２５では、補正した作業対象へロボットを移動させる。ステップＳ２６では、ロボットがツールを用いて作業対象に対して作業（例えば作業対象の取出し）を行う。作業が完了したら、ステップＳ２０に戻り、動作制御部は次の作業対象を作業前に選定部へ要求する。選定部は、ステップＳ２１からステップＳ２６までのロボットによる作業中にも、ステップＳ１０及びステップＳ１１に示すワークを選定する処理を継続するため、ワーク選定とロボット作業が同時並行で実行されることになる。

なお、前述した通り、動作制御部は作業対象の要求を選定部へ発行しなくてもよい。この場合、選定部は共有メモリを介して作業対象の情報を動作制御部へ伝達し続ける。従って、作業対象の要求に関するステップＳ２０、ステップＳ１２が不要となる。また、作業対象の情報は、選定した作業対象の情報ではなく、優先順位を付けた作業候補群の情報でもよい。

また、ワークがずっと静止している場合には、第２視覚センサが必須ではないため、ステップＳ２２からステップＳ２５までの作業対象を追従する処理が不要となることに留意されたい。

以上の実施形態によれば、ワーク選定及びロボット作業が同時に実行され、選定した作業対象の情報が作業前に伝達されるため、サイクルタイムを低減できる。

前述のフローチャートを実行するプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよい。

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

１ ロボット制御システム
１０ ロボット
１１ ツール
１２ 第１視覚センサ
１３ ロボット制御装置
１４ 搬送装置
１５ ワーク
１６ 第２視覚センサ
３０ 記憶部
３１ 動作制御部
３２ ロボット駆動部
３３ ツール駆動部
３４ ロボット駆動モータ
３５ ツール駆動モータ
３６ 動作プログラム
４０ 選定部
４１ 補正量計算部
４２ 変換部
４３ 上位コンピュータ装置

Claims (11)

1. ロボットと、
   前記ロボットの端部に取付けられたツールと、
   前記ロボットとは別個の固定位置に設置した第１視覚センサと、
   前記第１視覚センサを用いて複数のワークの中から作業対象の選定を行う選定部と、
   前記ツールの近傍に設置した第２視覚センサと、
   前記第２視覚センサを用いて前記作業対象のズレ量を計算する補正量計算部と、
   前記ツールを用いて前記作業対象に対して作業を行うべく前記ロボットを制御する動作制御部と、を備え、
   前記選定及び前記作業が同時並行で実行され、前記選定部は選定した前記作業対象の情報を前記作業の前に前記動作制御部へ伝達し、前記動作制御部は伝達された前記作業対象の情報に基づき前記ロボットを制御し、
   前記補正量計算部は、前記ワークが移動し続けている場合に、過去データに基づいて前記作業対象の移動予測量をさらに計算する、ロボット制御システム。
2. 前記動作制御部は前記作業対象を前記作業の前に前記選定部に要求し、前記選定部は前記要求に応じて前記作業対象の情報を前記動作制御部へ伝達する、請求項１に記載のロボット制御システム。
3. 前記選定部は、前記ロボットによる作業中にも前記選定の処理を継続する、請求項１又は２に記載のロボット制御システム。
4. 前記動作制御部は、前記ワークを一時静止させる場合には前記ズレ量を用いて補正を行い、前記ワークが移動し続けている場合には前記ズレ量を用いたビジュアルフィードバック制御に加えて前記移動予測量を用いたフィードフォワード制御を行う、請求項１に記載のロボット制御システム。
5. 前記第１視覚センサは前記複数のワークを俯瞰すべく広範囲の領域を検知する広域センサであり、前記第２視覚センサは前記広域センサより狭い範囲の領域を検知する狭域センサである、請求項１から４のいずれか一項に記載のロボット制御システム。
6. 前記第１視覚センサ又は前記第２視覚センサの座標系と前記ロボットの座標系との間でデータを変換する変換部をさらに備える、請求項１から５のいずれか一項に記載のロボット制御システム。
7. 前記選定部を備えたロボット制御装置を備え、前記ロボット制御装置が前記選定及び前記作業を同時並行で実行する、請求項１から６のいずれか一項に記載のロボット制御システム。
8. 前記選定部を備えた上位コンピュータ装置と、前記動作制御部を備えたロボット制御装置と、を備え、前記上位コンピュータ装置は、複数台の前記ロボット制御装置に対して多対一で接続し、前記第１視覚センサを用いて前記複数のワークの中から作業対象を選定し、選定した前記作業対象の情報を前記作業の前に前記ロボット制御装置へ夫々伝達する、請求項１から７のいずれか一項に記載のロボット制御システム。
9. 前記第１視覚センサは、前記ロボットの台数に応じて複数台設置されている、又は一台設置されている、請求項１から８のいずれか一項に記載のロボット制御システム。
10. 前記ワークは、互いに接触している、又は互いに重なっている、又は動き回っている、請求項１から９のいずれか一項に記載のロボット制御システム。
11. 前記ワークを搬送する搬送装置をさらに備え、前記搬送装置は、前記作業の期間中には前記ワークの搬送を一時停止する、又は前記作業の期間中でも前記ワークの搬送を継続する、請求項１０に記載のロボット制御システム。

Images