JP7440635B2

JP7440635B2 - ロボットシステム

Info

Publication number: JP7440635B2
Application number: JP2022536011A
Authority: JP
Inventors: 信夫大石
Original assignee: Individual
Current assignee: Individual
Priority date: 2020-07-14
Filing date: 2020-07-14
Publication date: 2024-02-28
Anticipated expiration: 2040-07-14
Also published as: JPWO2022013935A1; WO2022013935A1; CN115715245A

Description

本明細書は、ロボットシステムを開示する。

従来、バラ置き状態でワークを供給するコンベアと、垂直多関節型などのロボットと、コンベア上のワークを検出するセンサと、ロボットを制御する制御装置とを備え、コンベア上のワークを１個ずつロボットに把持させるロボットシステムが提案されている（例えば、特許文献１参照）。ロボットシステムでは、コンベア上のワーク同士の干渉の有無を判定し、把持領域に他のワークの干渉があるワークのステータスを取り出し不可とし、干渉がないワークのステータスを取り出し可として、ステータスＤＢに記憶する。また、ロボットシステムでは、ロボットがワークを把持すると、そのワークのために取り出し不可とされていたワークについて干渉の有無を再判定し、干渉がなければステータスＤＢを取り出し可に更新することにより、ロボットによる把持を可能としている。

特開２０１９－２０９４５９号公報

上述したロボットシステムでは、ロボットが１のワークを処理する度に、干渉の有無の再判定やステータスＤＢの更新を行うだけでなく、再判定の結果などから次に把持するワークを決定する必要がある。このため、ワークを処理してから次のワークの処理を直ちに開始することができない場合がある。このようなシステムでは、単位時間当たりにできるだけ多くのワークを処理することが求められるため、作業効率を上げるために、なお改善の余地がある。

本開示は、バラ置き状態で供給された複数のワークを効率良く保持して移動させることを主目的とする。

本開示は、上述の主目的を達成するために以下の手段を採った。

本開示のロボットシステムは、
供給エリアにバラ置き状態で供給された複数のワークを順次保持して移動させるロボットと、
前記供給エリアの複数のワークを撮像する撮像装置と、
前記撮像装置により撮像された画像を処理することにより、所定条件に基づいてワークの保持の仮順序を定め、前記仮順序が先であって保持可能としたワークを除いた状態を想定して前記ロボットがワークを保持する際の周辺ワークとの干渉有無を順に判定し、干渉がないと判定したワークを保持可能として保持順序を決定する画像処理装置と、
前記保持順序と該保持順序で定められた複数のワークを保持して移動させる際の前記ロボットの動作経路とに基づいて、複数のワークを順次保持して移動させるように前記ロボットを制御する制御装置と、
を備えることを要旨とする。

本開示のロボットシステムは、画像処理装置が、所定条件に基づいてワークの保持の仮順序を定め、仮順序が先であって保持可能としたワークを除いた状態を想定してロボットがワークを保持する際の周辺ワークとの干渉有無を順に判定し、干渉がないと判定したワークを保持可能として保持順序を決定する。これにより、既に保持可能としたワークを除いて実際にワークを保持する際の状態を想定して、各ワークの干渉有無を判定するから、ワークを保持可能とする確率を高めて保持効率を向上させることができる。また、制御装置は、保持順序と複数のワークを保持して移動させる際のロボットの動作経路とに基づいて、複数のワークを順次保持して移動させるようにロボットを制御する。これにより、ワークを保持する度に次の保持対象や動作経路を逐次決定する必要がなく、ワークを移動させてから次のワークの保持を速やかに開始することができるから、保持順序で定められた複数のワークを連続的に処理することができる。したがって、バラ置き状態で供給された複数のワークを効率良く保持して移動させることができる。

ロボットシステム１０の構成の概略を示す構成図。ワーク供給装置２０の断面図。作業ロボット３０の構成の概略を示す構成図。作業ロボット３０と制御装置８０と画像処理装置９０との電気的な接続関係を示すブロック図。制御処理の一例を示すフローチャート。撮像・画像処理の一例を示すフローチャート。撮像・画像処理の一例を示すフローチャート。各ワーク領域に対する優先順位を示す説明図。各ワーク領域と内在ワーク数との関係を示す説明図。把持順序を決定する様子の一例を示す説明図。把持順序を決定する様子の一例を示す説明図。把持順序を決定する様子の一例を示す説明図。把持順序の仮順序と決定順序との一例を示す説明図。

次に、本開示を実施するための形態について図面を参照しながら説明する。

図１は、ロボットシステム１０の構成の概略を示す構成図である。図２は、ワーク供給装置２０の構成の概略を示す構成図である。図３は、作業ロボット３０の構成の概略を示す構成図である。図４は、作業ロボット３０と制御装置８０と画像処理装置９０の電気的な接続関係を示すブロック図である。なお、図１中、左右方向はＸ軸方向であり、前後方向はＹ軸方向であり、上下方向はＺ軸方向である。

ロボットシステム１０は、図１，図４に示すように、トレイ搬送装置１５と、ワーク供給装置２０と、作業ロボット３０と、カメラ３５と、制御装置８０と、画像処理装置９０とを備える。ロボットシステム１０は、本実施形態では、ワーク供給装置２０により供給されたワークＷをピッキングし、ピッキングしたワークＷを、トレイ搬送装置１５により搬送されたトレイＴ上に所定の姿勢で整列させてプレースするピックアンドプレースシステムとして構成される。なお、ロボットシステム１０は、ピックアンドプレースシステムに限られず、例えば、ワークＷをピッキングして作業エリアへ移動させると共に作業エリア上の対象物に装着する装着システムなど、作業ロボット３０を用いて供給エリアにあるワークＷを順次保持して移動させるものであれば、如何なるシステムにも適用できる。

トレイ搬送装置１５は、前後方向（Ｙ軸方向）に間隔を空けて左右方向（Ｘ軸方向）に架け渡された一対のベルトコンベアを有する。トレイＴは、ベルトコンベアによって作業ロボット３０の作業エリアまで搬送される。

ワーク供給装置２０は、ホッパ装置などの補給装置によりコンベアベルト２１の上面にバラ置き状態で載置された複数のワークＷを作業ロボット３０がピッキング可能な位置（供給エリア）まで搬送する。コンベアベルト２１は、図２に示すように、前後方向（Ｙ軸方向）に間隔を隔てて配置された駆動ローラ２２および従動ローラ２３に架け渡されている。ワーク供給装置２０は、駆動ローラ２２を駆動させることで、コンベアベルト２１の上面に載置された複数のワークＷを搬送する。コンベアベルト２１の裏面側には、解し装置２５が設けられている。解し装置２５は、コンベアベルト２１の裏面を叩いてコンベアベルト２１の上面を上下に振動させるものである。これにより、コンベアベルト２１の上面に複数のワークＷが塊の状態で載置されていても、複数のワークＷの塊は、解し装置２５によって解きほぐされる。

作業ロボット３０は、図３に示すように、５軸の垂直多関節アーム（以下、アームという）３２を備える。アーム３２は、６つのリンク（第１～第６リンク４１～４６）と、各リンク間を回転または旋回可能に連結する５つの関節（第１～第５関節５１～５５）とを有する。各関節（第１～第５関節５１～５５）には、対応する関節を駆動するモータ（サーボモータ）６１～６５と、対応するモータの回転位置を検出するエンコーダ（ロータリエンコーダ）７１～７５とが設けられている。

アーム３２の先端リンク（第６リンク４６）には、エンドエフェクタとしての複数種のピッキングツールＴ１～Ｔ３が着脱可能に取り付けられる。本実施形態では、ピッキングツールＴ１は、磁性体からなるワークＷを電磁石により吸着する電磁チャックである。また、ピッキングツールＴ２は、ワークＷを把持する近接位置とワークＷの把持を解除する離間位置との間を移動可能な一対のクランプ爪を有するメカニカルチャック（以下、メカチャックという）である。さらに、ピッキングツールＴ３は、ワークＷを負圧によって吸着する吸着ノズルである。先端リンクに装着するピッキングツールは、吸着や把持によりワークＷを適切に保持できるように、ピッキング対象のワークＷの形状や素材に合わせて適宜選択される。

カメラ３５は、アーム３２の第５リンク４５に取り付けられている。カメラ３５は、ワーク供給装置２０により供給エリアに供給された各ワークＷの位置および姿勢を認識するために当該ワークＷを撮像したり、トレイ搬送装置１５により搬送されたトレイＴの位置を認識するために当該トレイＴを撮像したりする。

トレイ搬送装置１５とワーク供給装置２０と作業ロボット３０は、図１に示すように、支持台１２上に設置されている。本実施形態では、ワーク供給装置２０と作業ロボット３０とは、前後方向（Ｙ軸方向）に所定の間隔を隔てて設置されている。トレイ搬送装置１５は、ワーク供給装置２０と作業ロボット３０との間に設置されている。

制御装置８０は、図４に示すように、ＣＰＵ８１を中心としたマイクロプロセッサとして構成され、ＣＰＵ８１の他に、ＲＯＭ８２やＨＤＤ８３、ＲＡＭ８４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。制御装置８０には、エンコーダ７１～７５などからの検知信号が入力される。また、制御装置８０からは、トレイ搬送装置１５やワーク供給装置２０、モータ６１～６５、ツールアクチュエータ６６などへの制御信号が出力される。ツールアクチュエータ６６は、作業ロボット３０に装着されているピッキングツールを駆動するためのアクチュエータである。

画像処理装置９０は、図４に示すように、ＣＰＵ９１を中心としたマイクロプロセッサとして構成され、ＣＰＵ９１の他に、ＲＯＭ９２やＨＤＤ９３、ＲＡＭ９４、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。画像処理装置９０には、カメラ３５からの画像信号や入力装置９５からの入力信号などが入力される。また、画像処理装置９０からは、カメラ３５への駆動信号や出力装置９６への出力信号などが出力される。ここで、入力装置９５は、例えばキーボードやマウス等、オペレータが入力操作を行う入力デバイスである。出力装置９６は、例えば液晶ディスプレイ等、各種情報を表示するための表示デバイスである。画像処理装置９０は、制御装置８０と通信可能に接続されており、互いに制御信号やデータのやり取りを行っている。

次に、こうして構成されたロボットシステム１０の動作、特にメカチャックを用いてワークＷを把持して移動させる際の制御装置８０の処理と画像処理装置９０の処理について説明する。図５は、制御装置８０により実行される制御処理の一例を示すフローチャートである。図６および図７は、画像処理装置９０により実行される撮像・画像処理の一例を示すフローチャートである。

図５の制御処理では、制御装置８０のＣＰＵ８１は、まず、ワーク供給装置２０により供給されたワークＷの撮像位置へアーム３２（カメラ３５）が移動するよう各モータ６１～６５を制御し（Ｓ１００）、画像処理装置９０に対してワークＷの撮像と画像処理とを要求する（Ｓ１１０）。画像処理装置９０は、制御装置８０からの要求に応じて撮像・画像処理を実行し、撮像・画像処理によって認識したワークＷの把持順序と作業ロボット３０の動作経路（把持経路）とを決定して制御装置８０に送信する。なお、撮像・画像処理の詳細は後述する。

次に、ＣＰＵ８１は、画像処理装置９０によって決定されたワークＷの把持順序と作業ロボット３０の動作経路とを受信するのを待つ（Ｓ１２０）。ＣＰＵ８１は、把持順序と動作経路とを受信したと判定すると、把持順序に従って把持可能なワークＷがあるか否かを判定する（Ｓ１３０）。なお、把持順序で把持が指示された全てのワークＷの把持が完了するまで、通常はＣＰＵ８１は把持可能なワークＷがあると判定する。ＣＰＵ８１は、把持可能なワークＷがあると判定すると、把持順序に従って、把持順序が最も早いワークＷから１つずつ順に把持の対象ワークを設定する（Ｓ１４０）。続いて、ＣＰＵ８１は、動作経路に基づいて対象ワークへアーム３２が移動するよう各モータ６１～６５を制御し（Ｓ１５０）、対象ワークを把持し動作経路に基づいてトレイＴの目標位置へ対象ワークを移載するようツールアクチュエータ６６と各モータ６１～６５とを制御する（Ｓ１６０）。これらの処理は、受信した動作経路に基づいて、目標とされる把持位置や移載位置に対応するアーム３２の各関節の目標位置を設定し、各関節が設定した目標位置へ移動するようモータ６１～６５を制御したり、ツールアクチュエータ６６の開閉動作を制御することなどにより行われる。

そして、ＣＰＵ８１は、必要数の作業が終了したか否かを判定する（Ｓ１７０）。ＣＰＵ８１は、必要数の作業が終了していないと判定すると、Ｓ１３０に戻って処理を行い、必要数の作業が終了したと判定すると、制御処理を終了する。

また、ＣＰＵ８１は、把持順序で指示された全てのワークＷの把持が完了したなどにより、Ｓ１３０で把持可能なワークＷがないと判定すると、供給エリア上のワークＷの残数があるか否かを判定する（Ｓ１８０）。ＣＰＵ８１は、ワークＷの残数があると判定すると、複数のワークＷが互いに干渉し合っている塊があり、そのワーク塊を解きほぐしてワークＷの位置を変更するため、解し装置２５を駆動制御してコンベアベルト２１の上面を振動させるワーク解し動作を行う（Ｓ１９０）。一方、ＣＰＵ８１は、ワークＷの残数がないと判定すると、供給エリアへワークＷを供給するためワーク供給装置２０を駆動制御するワーク供給動作を行う（Ｓ２００）。

ＣＰＵ８１は、ワーク解し動作あるいはワーク供給動作を行うと、ワークＷの画像認識をやり直すため、Ｓ１００に戻りアーム３２（カメラ３５）を撮像位置へ移動させてからＳ１１０で画像処理装置９０に対して撮像・画像処理を要求する。このように、制御装置８０は、供給エリアに複数のワークＷが供給されると、最初に画像処理装置９０の画像認識により把持可能なワークＷを見つけ出して把持順序と動作経路とを決定させる。そして、制御装置８０は、把持可能なワークＷがなくなるまで、把持順序と動作経路とに従って作業ロボット３０によりワークＷを順次把持して移動させる。また、制御装置８０は、把持可能なワークＷがなくなると、供給エリア上にワークＷの残数があれば、解し装置２５によってワークＷの塊を解きほぐして画像認識をやり直す。一方、制御装置８０は、ワークＷの残数がなければ、ワーク供給装置２０を駆動して供給エリアにワークＷを供給する。画像認識や解し動作は、ある程度の時間を要するため、画像認識の実行回数や解し動作の実行回数を減らすことにより、作業時間を短縮して作業効率を上げることができる。

図６および図７の撮像・画像処理では、画像処理装置９０のＣＰＵ９１は、まず、供給エリア上にあるワークＷを撮像するようカメラ３５を駆動制御する（Ｓ３００）。続いて、ＣＰＵ９１は、得られた撮像画像においてワークＷの領域（ワーク領域）とそれ以外の背景の領域（背景領域）とを検出する（Ｓ３１０）。この処理は、撮像画像中の各画素ごとに、画像の色と、予め取得したワークＷおよび背景のそれぞれの色とを比較することにより行われる。そして、ＣＰＵ９１は、検出したワーク領域の輪郭を抽出し、抽出した輪郭の面積および粗位置を求める（Ｓ３２０）。面積は、例えばワーク領域の輪郭の中にある画素数を計数することにより求めることができる。粗位置は、例えばワーク領域の輪郭に対して外接矩形を設定し、設定した外接矩形の中心座標などとして求めることができる（粗位置決め）。

次に、ＣＰＵ９１は、認識した各ワーク領域において、１つのワーク領域（輪郭）内に内在するワークＷの数（内在ワーク数）をＳ３２０で求めた面積に基づいて計数する（Ｓ３３０）。内在ワーク数は、例えば、ワーク領域（輪郭）の面積が第１判定値以上で且つ第１判定値よりも大きい第２判定値未満である場合には、１個と計数され、第２判定値以上で且つ第２判定値よりも大きい第３判定値未満である場合には、２個と計数され、第３判定値以上で且つ第３判定値よりも大きい第４判定値未満である場合には、３個と計数され、第４判定値以上である場合には、４個以上と計数される。なお、内在ワーク数が１個であることは、認識した１つのワーク領域（輪郭）内にワークＷが１個だけしか存在しないことを意味し、内在ワーク数が複数個である場合には、認識した１つのワーク領域（輪郭）内に複数個のワークＷが隣接あるいは重なり合っていることを意味する。即ち、ＣＰＵ９１は、内在ワーク数からワークＷが他のワークＷと隣接していることを認識することができる。なお、粗位置決めや内在ワーク数の計数などの各処理は、本発明者らが出願したＰＣＴ／ＪＰ２０１９／０３６５２９に記載されているので詳細な説明は省略する。続いて、ＣＰＵ９１は、各ワーク領域の作業ロボット３０との距離（粗位置から作業ロボット３０までの距離）を求める（Ｓ３４０）。そして、ＣＰＵ９１は、内在ワーク数と作業ロボット３０との距離とにより各ワーク領域に対して優先順位を定めて把持順序の仮順序を設定する（Ｓ３５０）。

図８は、各ワーク領域に対する優先順位を示す説明図である。図９は、各ワーク領域と内在ワーク数との関係を示す説明図である。図８中、各ワーク領域に付された番号は優先順位を示す。優先順位は、図示するように、内在ワーク数が少ないほど高くなり、且つ、内在ワーク数が同じであれば作業ロボット３０との距離が近いほど高くなるように設定される。なお、作業ロボット３０との距離に代えて、ワークＷの移動先であるトレイＴとの距離を用いてもよい。内在ワーク数が少ないほど優先順位を高くするのは、内在ワーク数が少ないほど該当するワーク領域内に存在するワークＷを把持し易いと考えられるからである。また、作業ロボット３０は、対象ワークを把持した後、把持した対象ワークを作業ロボット３０側に引き寄せながら持ち上げる動作、即ち斜め上方向に対象ワークを移動させる動作を行う。このため、対象ワークに対して作業ロボット３０側に隣接する把持対象外の対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置がずれる場合がある。この場合、作業ロボット３０（画像処理装置９０）はこの対象外ワークを把持するために画像認識をやり直す必要があるため、作業効率が低下してしまう。作業ロボット３０との距離が近いほど優先順位を高くするのはこうした理由に基づく。なお、供給エリアに対して作業ロボット３０とトレイＴとが異なる方向にあり、作業ロボット３０が把持した対象ワークをトレイＴ側に引き寄せながら持ち上げる場合などでは、トレイＴとの距離を用いればよい。Ｓ３５０では、このような優先順位の高いものから順にワークＷを把持するように、把持順序の仮順序即ち暫定的な把持順序が設定される。

ＣＰＵ９１は、仮順序を設定すると、以下のようにして把持順序の確定処理を行う。まず、ＣＰＵ９１は、仮順序に従って処理対象のワーク領域を１つ選択する（Ｓ３６０）。次に、ＣＰＵ９１は、事前に用意したワークＷの輪郭形状モデルを用いてパターンマッチングを行うことでワーク領域内にあるワークＷに対して精密位置決めを行う（Ｓ３７０）。なお、ＣＰＵ９１は、１つのワーク領域内に複数個のワークＷが内在している場合には、複数個のワークＷのそれぞれに対して精密位置決めを行う。次に、ＣＰＵ９１は、メカチャックを用いてワークＷを把持する際に当該メカチャックが周辺ワークと干渉するか否かの干渉チェックを行う（Ｓ３８０）。ワークＷの干渉チェックは、干渉チェック領域ＡＩを設定し、干渉チェック領域ＡＩ内に周辺ワークが存在するか否かを判定することにより行われる。干渉チェック領域ＡＩは、メカチャックの先端形状と可動域（影響が及ぶ範囲）の形状とに基づいて、形状と大きさとがメカチャックの種類毎に定められた複数の領域のうち、メカチャックの種類に応じて選択されたものが設定される。

ここで、図１０～図１２は、把持順序を決定する様子の一例を示す説明図である。図１３は、把持順序の仮順序と決定順序との一例を示す説明図である。これらの例では、５つのワークＷａ～Ｗｅの把持順序を決定する様子を示す。図１０～図１２では、作業ロボット３０やトレイＴなどの図示は省略するが、作業ロボット３０との距離は、図８と同様に図中下側で近く図中上側で遠いものとする。また、仮順序（１）～（５）は、ワークＷａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅの順に定められている。また、ワークＷａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅのそれぞれの干渉チェック領域ＡＩ（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、各ワークＷを挟むように設定される点線の領域である。この領域は、例えばワークＷのピッキング位置を中心としてメカチャックの一対のクランプ爪が近接位置（把持位置）と離間位置（把持解除位置）との間を移動する領域を示す２つの矩形領域として設定される。図１０では、ワークＷａ，Ｗｂ，Ｗｃの干渉チェック領域ＡＩ（ａ），（ｂ），（ｃ）は他のワークＷと干渉していないが、ワークＷｄの干渉チェック領域ＡＩ（ｄ）はワークＷｅと干渉し、ワークＷｅの干渉チェック領域ＡＩ（ｅ）はワークＷｃと干渉している。

ＣＰＵ９１は、各ワークＷの干渉チェックを行うと、干渉なしと判定したか否かを判定し（Ｓ３９０）、干渉なしと判定すると、把持可能ワークとしてそのワーク領域を削除する（Ｓ４００）。このため、以降のワークＷの干渉チェックでは、既に干渉なしと判定された把持可能ワークを除いた状態を想定して、干渉チェックが行われる。また、ＣＰＵ９１は、Ｓ３９０で干渉ありと判定すると、そのワークＷを把持不可ワークとして一旦保留する（Ｓ４１０）。把持不可ワークとされたワークＷは、仮順序で定めた順序で把持されることはない。そして、ＣＰＵ９１は、全てのワークＷの干渉チェックが完了したか否かを判定し（Ｓ４２０）、完了していないと判定すると、Ｓ３６０に戻り処理を行う。ＣＰＵ９１は、これらの処理を繰り返し、仮順序を定めた全てのワークＷについて、干渉チェックを順次行って干渉有無を判定することで把持可否を決定する。

図１０の例では、ワークＷａの干渉チェック領域ＡＩ（ａ）は、干渉なしと判定されるため、ワークＷａは把持可能としてワーク領域が削除される。このため、実際にワークＷａが把持されてトレイＴ上に移載された後にワークＷｂ～Ｗｅを把持する際と同様に、ワークＷａは供給エリアに存在しないものとされる。即ち、以降のワークＷｂ～Ｗｅは、ワークＷａを除いた状態を想定して干渉チェックが行われる。なお、図１１，図１２では、削除済みのワークＷを点線で表示する。同様に、干渉チェック領域ＡＩ（ｂ），（ｃ）も干渉なしと判定されるため、ワークＷｂが把持可能としてワーク領域が削除され、ワークＷｃが把持可能としてワーク領域が削除される。一方、ワークＷｄの干渉チェック領域ＡＩ（ｄ）は、ワークＷｅと干渉するため、ワークＷｄは把持不可として保留される。ワークＷｅの干渉チェック領域ＡＩ（ｅ）は、図１０ではワークＷｃと干渉しているが、ワークＷｃが把持可能としてワーク領域が削除された後は（図１１の点線表示）、ワークＷｃと干渉しておらず干渉なしと判定される。このため、ワークＷｅは把持可能としてワーク領域が削除される。したがって、図１０の例では、ワークＷａ，Ｗｂ，Ｗｃ，Ｗｅは把持可能としてワーク領域が削除され、ワークＷｄは把持不可として保留される（図１１，図１３参照）。なお、図１３中、「○」が干渉なしを示し、「×」が干渉ありを示す。このように、ＣＰＵ９１は、仮順序が先のワークＷであって既に把持可能としたワークＷを除いて実際にワークＷを把持する際の状態を想定して、仮順序が後のワークＷの干渉チェックを行うから、ワークＷを把持可能とする確率を高めることができる。

ＣＰＵ９１は、仮順序を定めた全てのワークＷの干渉チェックを行うと、Ｓ４１０で把持不可とした把持不可ワークのうち、他のワークＷと隣接していない隣接なしの把持不可ワークがあるか否かを判定する（Ｓ４３０）。ＣＰＵ９１は、ワークＷが他のワークＷと隣接しているか否かを、Ｓ３３０で内在ワーク数を計数する際に認識した結果に基づいて判定することができる。ＣＰＵ９１は、隣接なしの把持不可ワークがあると判定すると、その把持不可ワークを処理対象として再度干渉チェックを行う（Ｓ４４０）。ＣＰＵ９１は、把持可能とした全てのワークＷを削除した状態で、Ｓ４４０の干渉チェックを行う。なお、隣接なしのワークＷに限定して再度干渉チェックを行うのは、隣接ありのワークＷの場合、隣接する他のワークＷが先に把持された際に、隣接ありのワークＷの位置がずれる可能性があり、元の位置で把持しようとしても把持できない可能性があるためである。

図１１では、ワークＷｄの干渉チェック領域ＡＩ（ｄ）がワークＷｅと干渉するため、ワークＷｄは把持不可とされたが、その後にワークＷｅは把持可能とされて削除されている。即ち、図１２に示すように、干渉チェック領域ＡＩ（ｄ）の干渉チェックを再度行う際には、削除されたワークＷｅ（点線で表示）は干渉チェック領域ＡＩ（ｄ）に干渉しない。このため、ワークＷｄは、再度の干渉チェックにより干渉なしとされる。

ＣＰＵ９１は、再度干渉チェックを行った結果が干渉なしか否かを判定し（Ｓ４５０）、干渉なしと判定すると把持可能ワークとしてワーク領域を削除する（Ｓ４６０）。一方、ＣＰＵ９１は、干渉ありと判定すると、Ｓ４６０をスキップする。続いて、ＣＰＵ９１は、他に処理対象のワークＷ即ち隣接なしの把持不可ワークがあるか否かを判定し（Ｓ４７０）、処理対象のワークＷがあると判定するとＳ４４０に戻り処理を行う。また、ＣＰＵ９１は、他に処理対象のワークＷがないと判定すると、作業ロボット３０との距離が近いワークＷが先の順序となるように、再判定により把持可能としたワークＷを仮順序の末尾に追加する（Ｓ４８０）。即ち、把持可能としたワークＷは、仮順序の元の順から仮順序の末尾に変更される。なお、Ｓ４８０の処理は、上述したように、作業ロボット３０との距離ではなくトレイＴとの距離を用いて行われてもよい。図１２の例では、再判定のワークＷはワークＷｄの１つだけであるから、ワークＷｄが仮順序の末尾に追加される。したがって、当初はワークＷａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅの仮順序だったものが、ワークＷａ，Ｗｂ，Ｗｃ，Ｗｅ，Ｗｄの順となる。

続いて、ＣＰＵ９１は、現在の仮順序の把持可能ワークを決定順序として把持順序を決定すると共に（Ｓ４９０）、決定した把持順序に基づいて作業ロボット３０が各ワークＷを順に把持して移動させる際の動作経路を決定する（Ｓ５００）。そして、ＣＰＵ９１は、決定した把持順序と動作経路とを制御装置８０に送信して（Ｓ５１０）、本処理を終了する。ＣＰＵ９１は、Ｓ４１０で把持不可ワークとして保留されたままのワークＷを仮順序から除いて、把持順序を決定する。また、ＣＰＵ９１は、動作経路として、把持順序で定めた複数のワークＷについて、供給エリアで把持してトレイＴ上に移載する処理を繰り返す際に、できるだけアーム３２（ピッキングツール）の移動距離が短く効率のよい経路を導出して設定する。なお、ＣＰＵ９１は、Ｓ４３０で隣接なしの把持不可ワークがないと判定すると、把持不可ワークの再判定や仮順序の末尾への追加などを行うＳ４４０～Ｓ４８０の処理をスキップして、Ｓ４９０～Ｓ５１０の処理を行う。

ここで、本実施形態の構成要素と本開示の構成要素との対応関係を明らかにする。本実施形態の作業ロボット３０がロボットに相当し、カメラ３５が撮像装置に相当し、画像処理装置９０が画像処理装置に相当し、制御装置８０が制御装置に相当する。

以上説明したように、本開示のロボットシステム１０では、画像処理装置９０が、把持可能としたワークＷを除いた状態を想定して、各ワークＷの干渉有無を判定するから、ワークＷを把持可能とする確率を高めることができる。このため、把持順序に定めるワーク数をできるだけ増やし、解し装置２５の解し動作の実行回数を少なくすることが可能となるから、把持効率を向上させることができる。また、制御装置８０は、把持順序と、把持順序に基づく動作経路とに基づいて、複数のワークＷを順次把持して移動させるように作業ロボット３０を制御する。このため、制御装置８０は、ワークＷを把持する度に次の把持対象や動作経路を逐次決定する必要がなく、把持順序で定められた複数のワークを効率よく連続的に処理することができる。

また、画像処理装置９０は、把持順序を決定する際に動作経路を決定して制御装置８０に出力するから、把持順序と動作経路とを別々の装置で決定するものに比して効率よく処理することができる。

また、画像処理装置９０は、把持不可ワークについて、全ての把持可能ワークを除いた状態を想定して再度干渉チェックを行い、干渉なしと判定したワークＷを把持可能として仮順序の末尾に追加する。このため、一旦把持不可としたワークＷを把持可能とする確率を高めて把持効率を向上させることができる。

また、画像処理装置９０は、隣接なしの把持不可ワークについて再度干渉チェックを行うから、位置ずれのおそれのないワークＷを対象として干渉有無を適切に再判定することができる。

また、画像処理装置９０は、再判定により把持可能とした複数のワークＷがある場合、作業ロボット３０までの距離が短いワークＷが先の順となるように仮順序の末尾に追加する。このため、再判定により把持可能としたワークＷを、作業ロボット３０が把持して作業ロボット３０側に寄せながら取り出す場合に、他のワークＷと接触するのを抑えることができる。

また、画像処理装置９０は、内在ワーク数が少ないほど高くなり、且つ、作業ロボット３０（またはトレイＴ）との距離が近いほど高くなるように設定される優先順位に基づいて仮順序を適切に定めることができる。このため、仮順序で定めたワークＷを把持可能とする確率を高めることで、把持効率をさらに向上させることができる。

なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、内在ワーク数が少ないほど高くなり、且つ、内在ワーク数が同じであれば作業ロボット３０（またはトレイＴ）との距離が近いほど高くなる優先順位に基づいて仮順序を定めたが、これに限られるものではない。例えば、作業ロボット３０との距離が近いほど高くなり、且つ、距離が同じまたは同程度であれば内在ワーク数が少ないほど高くなる優先順位に基づいて仮順序を定めてもよい。あるいは、内在ワーク数に拘わらず作業ロボット３０との距離に基づいて仮順序を定めてもよいし、作業ロボット３０との距離に拘わらず内在ワーク数に基づいて仮順序を定めてもよい。即ち、ワークＷの把持し易さやワークＷを把持する際の動作経路、周辺ワークとの接触の有無などを考慮した所定条件に基づいて仮順序を定めればよい。

上述した実施形態では、メカチャックを用いてワークＷを把持する場合を例示したが、これに限られず、電磁チャックを用いてワークＷを吸着する場合など、他の種類のピッキングツールを用いてワークＷを保持する場合に適用してもよい。例えば電磁チャックの場合、ワークＷのピッキング位置を中心として電磁チャックの磁力が及ぶ円形領域を干渉チェック領域として、干渉チェックを行うものなどとすればよい。

上述した実施形態では、再判定により把持可能と判定した複数のワークＷがある場合、作業ロボット３０（またはトレイＴ）までの距離が短いワークＷが先の順となるようにしたが、これに限られるものではない。例えば、元の仮順序が先のワークＷが先の順になるようにしてもよい。

上述した実施形態では、隣接あり把持不可ワークを対象から外して再度干渉チェックをしたが、これに限られず、隣接ありの把持不可ワークを対象に含めてもよい。ただし、隣接ありのワークＷは、位置ずれする可能性があるから、実際に把持する際に位置ずれしていないことを確認してから把持する必要がある。

上述した実施形態では、把持不可ワークについて、再度干渉チェックを行い、干渉がないと判定すると仮順序の末尾に追加したが、これに限られず、再度の干渉チェックや追加を行わなくてもよい。

上述した実施形態では、画像処理装置９０が把持順序を決定する際に作業ロボット３０の動作経路を決定したが、これに限られるものではない。把持順序に従って作業ロボット３０が一連の把持動作を開始するまでに、動作経路が定められればよく、例えば制御装置８０が把持順序に基づいて動作経路を決定してもよい。即ち、把持順序と動作経路とを別々の装置が決定してもよい。

ここで、本開示のロボットシステムは、以下のように構成してもよい。例えば、本開示のロボットシステムにおいて、前記画像処理装置は、前記保持順序を決定する際に前記動作経路を決定し、前記保持順序と前記動作経路とを前記制御装置に出力するものとしてもよい。こうすれば、保持順序と動作経路を画像処理装置でまとめて決定することができるから、別々の装置で決定するものに比して効率よく処理することができる。

本開示のロボットシステムにおいて、前記画像処理装置は、前記仮順序に従って各ワークの前記干渉有無を順に判定した後、保持不可としたワークについて、保持可能とした全てのワークを除いた状態を想定して前記干渉有無を再判定し、再判定により干渉がないと判定したワークを保持可能として末尾に追加して前記保持順序を決定するものとしてもよい。ここで、周辺ワークと干渉があると判定したために一旦保持不可としたワークであっても、そのワークよりも仮順序が後のワークが保持可能とされて除かれた状態になると、干渉がなくなることがある。このため、保持不可としたワークについて干渉有無を再判定することで、ワークを保持可能とする確率を高めることができる。また、再判定の結果、保持可能としたワークは、末尾に追加して保持順序を決定することで、実際にワークを保持する際の周辺ワークとの干渉を防止することができる。

本開示のロボットシステムにおいて、前記画像処理装置は、前記画像を処理することにより、ワーク同士の接触有無を判定可能であり、保持不可としたワークのうち接触があると判定したワークを対象から外して、前記干渉有無を再判定するものとしてもよい。ここで、接触があると判定したワークは、接触している相手のワークが保持される際に、位置がずれることがある。このため、そのようなワークを対象から外すことにより、位置ずれのおそれのないワークを対象として干渉有無を適切に再判定することができる。

本開示のロボットシステムにおいて、前記画像処理装置は、前記画像から複数のワークの領域を認識し、認識した領域とワークの移動先または前記ロボットまでの距離を計測可能であり、前記再判定により保持可能とした複数のワークがある場合、前記距離が短い領域のワークが先の順となるように前記複数のワークを末尾に追加するものとしてもよい。こうすれば、再判定により保持可能としたワークを、ロボットが保持してロボット側に移動させつつ取り出す場合に、他のワークと接触するのを抑えることができる。

本開示のロボットシステムにおいて、前記画像処理装置は、前記画像から複数のワークの領域を認識し、認識した領域の面積に基づいて該領域内に内在しているワーク数を判定し該ワーク数が少ない領域のワークほど優先される条件と、認識した領域とワークの移動先または前記ロボットまでの距離を計測し該距離が短い領域のワークほど優先される条件とを前記所定条件とするものとしてもよい。こうすれば、仮順序を適切に定めることができるから、仮順序で定めたワークを保持可能とする確率を高めることで、保持効率をさらに向上させることができる。

本開示のロボットシステムにおいて、前記画像処理装置は、前記干渉有無を判定するための判定用領域として、前記ロボットが前記ワークを保持するためのツールの種類に応じた領域を設定可能であり、前記判定用領域の形状と大きさは、前記ツールの先端形状と可動範囲とに基づいて定められているものとしてもよい。こうすれば、ツールの種類毎に、先端形状や可動範囲に適した形状と大きさの判定用領域を用いることができるから、干渉有無をさらに適切に判定することができる。

本開示は、ロボットシステムの製造産業などに利用可能である。

１０ロボットシステム、１２支持台、１５トレイ搬送装置、２０ワーク供給装置、２１コンベアベルト、２２駆動ローラ、２３従動ローラ、２５解し装置、３０作業ロボット、３２アーム、３５カメラ、４１第１リンク、４２第２リンク、４３第３リンク、４４第４リンク、４５第５リンク、４６第６リンク、５１第１関節、５２第２関節、５３第３関節、５４第４関節、５５第５関節、６１～６５モータ、６６ツールアクチュエータ、７１～７５エンコーダ、８０制御装置、８１ＣＰＵ、８２ＲＯＭ、８３ＨＤＤ、８４ＲＡＭ、９０画像処理装置、９１ＣＰＵ、９２ＲＯＭ、９３ＨＤＤ、９４ＲＡＭ、９５入力装置、９６出力装置、ＡＩ，ＡＩ（ａ）～（ｅ）干渉チェック領域、Ｔトレイ、Ｔ１～Ｔ３ピッキングツール、Ｗ，Ｗａ～Ｗｅワーク。

Claims

供給エリアにバラ置き状態で供給された複数のワークを順次保持して移動させるロボットと、
前記供給エリアの複数のワークを撮像する撮像装置と、
前記撮像装置により撮像された画像を処理することにより、所定条件に基づいてワークの保持の仮順序を定め、前記仮順序が先であって保持可能としたワークを除いた状態を想定して前記ロボットがワークを保持する際の周辺ワークとの干渉有無を順に判定し、干渉がないと判定したワークを保持可能として保持順序を決定する画像処理装置と、
前記保持順序と該保持順序で定められた複数のワークを保持して移動させる際の前記ロボットの動作経路とに基づいて、複数のワークを順次保持して移動させるように前記ロボットを制御する制御装置と、
を備え、
前記画像処理装置は、前記仮順序に従って各ワークの前記干渉有無を順に判定した後、保持不可としたワークについて、保持可能とした全てのワークを除いた状態を想定して前記干渉有無を再判定し、再判定により干渉がないと判定したワークを保持可能として末尾に追加して前記保持順序を決定する
ロボットシステム。
請求項１に記載のロボットシステムであって、
前記画像処理装置は、前記保持順序を決定する際に前記動作経路を決定し、前記保持順序と前記動作経路とを前記制御装置に出力する
ロボットシステム。
請求項１または２に記載のロボットシステムであって、
前記画像処理装置は、前記画像を処理することにより、ワーク同士の接触有無を判定可能であり、保持不可としたワークのうち接触があると判定したワークを対象から外して、前記干渉有無を再判定する
ロボットシステム。
請求項１ないし３のいずれか１項に記載のロボットシステムであって、
前記画像処理装置は、前記画像から複数のワークの領域を認識し、認識した領域とワークの移動先または前記ロボットまでの距離を計測可能であり、前記再判定により保持可能とした複数のワークがある場合、前記距離が短い領域のワークが先の順となるように前記複数のワークを末尾に追加する
ロボットシステム。
請求項１ないし４のいずれか１項に記載のロボットシステムであって、
前記画像処理装置は、前記画像から複数のワークの領域を認識し、認識した領域の面積に基づいて該領域内に内在しているワーク数を判定し該ワーク数が少ない領域のワークほど優先される条件と、認識した領域とワークの移動先または前記ロボットまでの距離を計測し該距離が短い領域のワークほど優先される条件とを前記所定条件とする
ロボットシステム。
供給エリアにバラ置き状態で供給された複数のワークを順次保持して移動させるロボットと、
前記供給エリアの複数のワークを撮像する撮像装置と、
前記撮像装置により撮像された画像を処理することにより、所定条件に基づいてワークの保持の仮順序を定め、前記仮順序が先であって保持可能としたワークを除いた状態を想定して前記ロボットがワークを保持する際の周辺ワークとの干渉有無を順に判定し、干渉がないと判定したワークを保持可能として保持順序を決定する画像処理装置と、
前記保持順序と該保持順序で定められた複数のワークを保持して移動させる際の前記ロボットの動作経路とに基づいて、複数のワークを順次保持して移動させるように前記ロボットを制御する制御装置と、
を備え、
前記画像処理装置は、前記画像から複数のワークの領域を認識し、認識した領域の面積に基づいて該領域内に内在しているワーク数を判定し該ワーク数が少ない領域のワークほど優先される条件と、認識した領域とワークの移動先または前記ロボットまでの距離を計測し該距離が短い領域のワークほど優先される条件とを前記所定条件とする
ロボットシステム。
請求項１ないし６のいずれか１項に記載のロボットシステムであって、
前記画像処理装置は、前記干渉有無を判定するための判定用領域として、前記ロボットが前記ワークを保持するためのツールの種類に応じた領域を設定可能であり、
前記判定用領域の形状と大きさは、前記ツールの先端形状と可動範囲とに基づいて定められている
ロボットシステム。