WO2021053750A1 - 作業ロボットおよび作業システム - Google Patents

作業ロボットおよび作業システム Download PDF

Info

Publication number
WO2021053750A1
WO2021053750A1 PCT/JP2019/036529 JP2019036529W WO2021053750A1 WO 2021053750 A1 WO2021053750 A1 WO 2021053750A1 JP 2019036529 W JP2019036529 W JP 2019036529W WO 2021053750 A1 WO2021053750 A1 WO 2021053750A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
area
robot
image processing
works
Prior art date
Application number
PCT/JP2019/036529
Other languages
English (en)
French (fr)
Inventor
信夫 大石
Original Assignee
株式会社Fuji
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Fuji filed Critical 株式会社Fuji
Priority to PCT/JP2019/036529 priority Critical patent/WO2021053750A1/ja
Publication of WO2021053750A1 publication Critical patent/WO2021053750A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Abstract

作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる。この作業ロボットは、バラ置き状態で供給エリアに供給された複数のワークを撮像する撮像装置と、撮像装置により撮像された画像から複数のワークの領域を認識し認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの作業エリアまたは作業ロボットとの距離を求める画像処理装置と、画像処理装置により求められた複数のワークの領域の面積と作業エリアまたは作業ロボットまでの距離とに基づいてワークの保持順序を決定する制御装置と、を備える。

Description

作業ロボットおよび作業システム
 本明細書は、作業ロボットについて開示する。
 従来、多関節ロボットにより構成され、容器の中にバラ積みされたワークを1個ずつ把持する作業ロボットが提案されている(例えば、特許文献1参照)。この作業ロボットでは、バラ積みされたワークの中から最も高い位置にあるワークを選択し、選択したワークが部分的に他の隣接するワークと重なっていない場合に当該ワークを把持する。
特表2009-523623号公報
 ケース(容器)やコンベア等の汎用的な供給装置上にワークをバラ置きする場合、多関節ロボットは、バラ置きされたワークを撮像し、得られた撮像画像に基づいて把持対象のワーク(対象ワーク)の位置,方向,姿勢および把持対象外のワーク(対象外ワーク)との干渉状態を認識し、対象ワークを把持できるか否かを確認する必要がある。こうした認識処理は、一般に処理負担が大きく、処理に長時間を要することから、最初に複数のワークに対してまとめて行なうことが望ましい。しかしながら、対象ワークに対象外ワークが隣接していると、対象ワークを把持して取り出す際に対象ワークが対象外ワークと接触し、対象外ワークの位置が変わるおそれがある。このため、最初に行なった認識処理の結果に基づいてその対象外ワークを次の対象ワークとして把持動作を行なう場合、多関節ロボットは、その対象ワークを適切に把持することができない。この場合、多関節ロボットは、認識処理をやり直す必要があるため、作業効率を悪化させてしまう。
 本開示は、バラ置き状態で供給エリアに供給された複数のワークを効率良く保持することができる作業ロボットを提供することを主目的とする。
 本開示は、上述の主目的を達成するために以下の手段を採った。
 本開示の作業ロボットは、
 供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる作業ロボットであって、
 バラ置き状態で前記供給エリアに供給された複数のワークを撮像する撮像装置と、
 前記撮像装置により撮像された画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの前記作業エリアまたは前記作業ロボットとの距離を求める画像処理装置と、
 前記画像処理装置により求められた複数のワークの領域の面積と前記作業エリアまたは前記作業ロボットとの距離とに基づいてワークの保持順序を決定する制御装置と、
 を備えることを要旨とする。
 この本開示の作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させるものである。この作業ロボットは、バラ置き状態で供給エリアに供給された複数のワークを撮像し、得られた画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの作業エリアまたは作業ロボットとの距離を求める画像認識を行なう。そして、作業ロボットは、求めた面積と距離とに基づいてワークの保持順序を決定する。作業ロボットは、構造上、アームを鉛直方向に上下させることが困難な場合、保持対象の対象ワークを保持する際に、供給エリア上で対象ワークを作業エリア側または作業ロボット側へ移動させる。このため、対象ワークに対して作業エリア側に保持対象外の対象外ワークが隣接していると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変化させるおそれがある。そこで、本開示の作業ロボットは、こうした事情を考慮してバラ置き状態で供給された複数のワークの保持順序を決定することで、最初に行なった画像認識の結果を用いて複数のワークを順次保持して作業エリアへ移動させることができる。この結果、バラ置き状態で供給エリアに供給された複数のワークを効率良く保持することができる作業ロボットとすることができる。
本実施形態の作業ロボットを含む作業システム10の構成の概略を示す構成図である。 ワーク供給装置20の断面図である。 作業ロボットのロボット本体30の構成の概略を示す構成図である。 ロボット本体30と制御装置80と画像処理装置90との電気的な接続関係を示すブロック図である。 制御装置80により実行される制御処理の一例を示すフローチャートである。 画像処理装置90により実行される撮像・画像処理の一例を示すフローチャートである。 ワークの撮像画像の一例を示す説明図である。 粗位置決めの様子を示す説明図である。 各ワーク領域に対する優先順位を示す説明図である。 各ワーク領域と内在ワーク数との関係を示す説明図である。 ワーク形状モデルDの一例を示す説明図である。 サーチ範囲の絞り込みがある場合にワーク形状モデルDを用いてワークWをサーチする様子を示す説明図である。 サーチ範囲の絞り込みがない場合にワーク形状モデルDを用いてワークWをサーチする様子を示す説明図である。 ボルト形のワークの把持に用いられるピッキングツールT1(電磁チャック)の干渉チェック領域AIを示す説明図である。 円筒形のワークの把持に用いられるピッキングツールT2(メカチャック)の干渉チェック領域AIを示す説明図である。 ボルト形のワークの把持に用いられるピッキングツールT3(吸着ノズル)の干渉チェック領域AIを示す説明図である。 干渉チェックの結果を示す説明図である。 干渉チェックの結果を示す説明図である。
 次に、本開示を実施するための形態について図面を参照しながら説明する。
 図1は、本実施形態の作業ロボットを含む作業システム10の構成の概略を示す構成図である。図2は、ワーク供給装置20の構成の概略を示す構成図である。図3は、作業ロボットのロボット本体30の構成の概略を示す構成図である。図4は、作業ロボットのロボット本体30と制御装置80と画像処理装置90の電気的な接続関係を示すブロック図である。なお、図1中、前後方向はX軸方向であり、左右方向はY軸方向であり、上下方向はZ軸方向である。
 作業システム10は、図1に示すように、ワーク供給装置20と作業ロボットと備える。作業システム10は、本実施形態では、ワーク供給装置20により供給されたワークWをピッキング(把持)し、ピッキングしたワークWを、トレイ搬送装置14により搬送されたトレイT上に所定の姿勢で整列させてプレースするピックアンドプレースシステムとして構成される。尚、作業システム10は、ピックアンドプレースシステムに限られず、例えば、ワークWを把持して作業エリアへ移動させると共に作業エリア上の対象物に装着する装着システムなど、作業ロボットを用いて供給エリアにあるワークWを順次保持して作業エリアへ移動させるものであれば、如何なる作業システムにも適用できる。
 トレイ搬送装置14は、前後方向(Y軸方向)に間隔を空けて左右方向(X軸方向)に架け渡された一対のベルトコンベアを有する。トレイTは、ベルトコンベアによって作業ロボットの作業エリアまで搬送される。
 ワーク供給装置20は、ホッパ装置などの補給装置によりコンベアベルト21の上面にバラ置き状態で載置された複数のワークWを作業ロボットがピッキング可能な位置(供給エリア)まで搬送するものである。コンベアベルト21は、図2に示すように、前後方向(Y軸方向)に間隔を隔てて配置された駆動ローラ22および従動ローラ23に架け渡されている。ワーク供給装置20は、駆動ローラ22を駆動させることで、コンベアベルト21の上面に載置された複数のワークWを搬送する。コンベアベルト21の裏面側には、解し装置25が設けられている。解し装置25は、コンベアベルト21の裏面を叩いてコンベアベルト21の上面を上下に振動させるものである。これにより、コンベアベルト21の上面に複数のワークWが塊の状態で載置されていても、複数のワークWの塊は、解し装置25によって解きほぐされる。
 作業ロボットは、ロボット本体30と制御装置80と画像処理装置90とを備える。
 ロボット本体30は、図3に示すように、5軸の垂直多関節アーム(以下、アームという)32を備える。アーム32は、6つのリンク(第1~第6リンク41~46)と、各リンク間を回転または旋回可能に連結する5つの関節(第1~第5関節51~55)とを有する。各関節(第1~第5関節51~55)には、対応する関節を駆動するモータ(サーボモータ)61~65と、対応するモータの回転位置を検出するエンコーダ(ロータリエンコーダ)71~75とが設けられている。
 アーム32の先端リンク(第6リンク46)には、エンドエフェクタとしての複数種のピッキングツールT1~T3が着脱可能に取り付けられる。本実施形態では、ピッキングツールT1は、磁性体からなるワークWを電磁石により吸着する電磁チャックである。また、ピッキングツールT2は、ワークWを保持する近接位置とワークWの保持を解除する離間位置との間を移動可能な一対のクランプ爪を有するメカニカルチャック(以下、メカチャックという)である。さらに、ピッキングツールT3は、ワークWを負圧によって吸着する吸着ノズルである。先端リンクに装着するピッキングツールは、ピッキングしようとするワークWの形状や素材に合わせて適宜選択される。
 また、アーム32(第5リンク45)には、カメラ34が取り付けられている。カメラ34は、ワーク供給装置20により供給エリアに供給された各ワークWの位置および姿勢を認識するために当該ワークWを撮像したり、トレイ搬送装置14により搬送されたトレイTの位置を認識するために当該トレイTを撮像したりする。
 トレイ搬送装置14とワーク供給装置20とロボット本体30は、図1に示すように、支持台12上に設置されている。本実施形態では、ワーク供給装置20とロボット本体30とは、前後方向(Y軸方向)に所定の間隔を隔てて配置されている。トレイ搬送装置14は、ワーク供給装置20とロボット本体30との間に設置されている。
 制御装置80は、図4に示すように、CPU81を中心としたマイクロプロセッサとして構成され、CPU81の他に、ROM82やHDD83、RAM84、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。制御装置80には、エンコーダ71~75などからの検知信号が入力される。また、制御装置80からは、トレイ搬送装置14やワーク供給装置20、モータ61~65、ツールアクチュエータ66などへの制御信号が出力される。ツールアクチュエータ66は、ロボット本体30に装着されているピッキングツールを駆動するためのアクチュエータである。
 画像処理装置90は、図4に示すように、CPU91を中心としたマイクロプロセッサとして構成され、CPU91の他に、ROM92やHDD93、RAM94、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。画像処理装置90には、カメラ34からの画像信号や入力装置95からの入力信号などが入力される。また、画像処理装置90からは、カメラ34への駆動信号や出力装置96への出力信号などが出力される。ここで、入力装置95は、例えばキーボードやマウス等、オペレータが入力操作を行なう入力デバイスである。出力装置96は、例えば液晶ディスプレイ等、各種情報を表示するための表示デバイスである。画像処理装置90は、制御装置80と通信可能に接続されており、互いに制御信号やデータのやり取りを行なっている。
 次に、こうして構成された作業システム10の動作、特に制御装置80の動作と画像処理装置90の動作とについて説明する。図5は、制御装置80により実行される制御処理の一例を示すフローチャートである。図6は、画像処理装置90により実行される撮像・画像処理の一例を示すフローチャートである。まず、制御装置80の動作について説明し、その後、画像処理装置90の動作について説明する。
 制御処理が実行されると、制御装置80のCPU81は、まず、ワーク供給装置20により供給されたワークWの撮像位置へアーム32(カメラ34)が移動するよう各モータ61~65を制御し(S100)、画像処理装置90に対してワークWの撮像と画像処理とを要求する(S110)。画像処理装置90は、制御装置80からの要求に応じて撮像・画像処理を実行し、撮像・画像処理によって認識したワークWの把持順序を決定する。なお、撮像・画像処理の詳細については後述する。
 次に、CPU81は、把持可能なワークWがあるか否かを判定する(S110)。CPU81は、把持可能なワークWがあると判定すると、把持可能なワークWのうち画像処理装置90により決定された把持順序が最も早いワークWを把持対象の対象ワークに設定する(S130)。続いて、CPU81は、設定した対象ワークの位置へアーム32が移動するよう各モータ61~65を制御し(S140)、対象ワークが把持されるようツールアクチュエータ66を制御する(S150)。ステップS140の処理は、具体的には、目標とされる把持位置および把持姿勢に対応するアーム32の各関節の目標位置を取得し、各関節が取得した目標位置へ移動するようモータ61~65を制御することにより行なう。
 CPU81は、ワークWを把持すると、把持したワークWがトレイ搬送装置14により作業エリアに搬送されたトレイTの目標位置へ移動するよう各モータ61~65を制御すると共にワークWが目標位置へ載置(ワークWの把持が解除)されるようツールアクチュエータ66を制御する(S160)。そして、CPU81は、必要数の作業が終了したか否かを判定する(S170)。CPU81は、必要数の作業が終了していないと判定すると、ステップS120に戻ってステップS120~S170の処理を繰り返し、必要数の作業が終了していると判定すると、これで制御処理を終了する。
 CPU81は、ステップS120~S170の処理の繰り返しの過程において、ステップS120で把持可能なワークWがないと判定すると、供給エリア上のワークWの残数があるか否かを判定する(S180)。CPU81は、ワークWの残数があると判定すると、複数のワークWが互いに干渉し合っている塊があり、そのワーク塊を解きほぐしてワークWの位置を変更するため、解し装置25を駆動制御してコンベアベルト21の上面を振動させるワーク位置変更動作を行なう(S190)。一方、CPU81は、ワークWの残数がないと判定すると、供給エリアへワークWを供給するためワーク供給装置20を駆動制御するワーク供給動作を行なう(S200)。CPU81は、こうしてワーク位置変更動作あるいはワーク供給動作を行なうと、ワークWの画像認識をやり直すため、ステップS110に戻って画像処理装置90に対して撮像・画像処理を要求する。このように、制御装置80は、供給エリアに複数のワークWが供給されると、最初に画像認識を行なうことで把持可能なワークWを見つけ出して把持順序を決定し、把持可能なワークWがなくなるまで、決定した把持順序に従ってワークWを順次把持して搬送する。そして、制御装置80は、把持可能なワークWがなくなると、供給エリア上にワークWの残数があれば、解し装置25によってワークWの塊を解きほぐして画像認識をやり直す。また、制御装置80は、供給エリア上にワークWの残数がなければ、ワーク供給装置20を駆動して供給エリアにワークWを供給する。ワークWの画像認識はある程度の時間を要するため、画像認識の実行回数を減らすことにより、作業時間を短縮することができる。
 次に、画像処理装置90の動作について説明する。図6は、画像処理装置90により実行される撮像・画像処理の一例を示すフローチャートである。撮像・画像処理が実行されると、画像処理装置90のCPU91は、まず、供給エリア上にあるワークWを撮像するようカメラ34を駆動制御する(S300)。続いて、CPU91は、得られた撮像画像において図7に示すようにワークWの領域(ワーク領域)とそれ以外の背景の領域(背景領域)とを検出する(S310)。この処理は、撮像画像中の各画素ごとに、画像の色と予め取得したワークWおよび背景のそれぞれの色とを比較することにより行なうことができる。そして、CPU91は、検出したワーク領域の輪郭を抽出し、抽出した輪郭の面積Sおよび粗位置Pを求める(S320)。面積Sは、例えば、ワーク領域の輪郭の中にある画素数を計数することにより求めることができる。粗位置Pは、例えば、図8に示すように、ワーク領域の輪郭に対して外接矩形(図中、矩形状の破線参照)を設定し、設定した外接矩形の中心座標を求めることにより求めることができる(粗位置決め)。
 次に、CPU91は、認識した各ワーク領域において、1つのワーク領域(輪郭)内に内在するワークWの数(内在ワーク数)をステップS320で求めた面積Sに基づいて判定する(S330)。内在ワーク数は、例えば、ワーク領域(輪郭)の面積Sが第1判定値以上で且つ第1判定値よりも大きい第2判定値未満である場合には、1個と判定され、第2判定値以上で且つ第2判定値よりも大きい第3判定値未満である場合には、2個と判定され、第3判定値以上で且つ第3判定値よりも大きい第4判定値未満である場合には、3個と判定され、第4判定値以上である場合には、4個以上と判定される。なお、内在ワーク数が1個であることは、認識した1つのワーク領域(輪郭)内にワークWが1個だけしか存在しないことを意味し、内在ワーク数が複数個である場合には、認識した1つのワーク領域(輪郭)内に複数個のワークWが隣接あるいは重なり合っていることを意味する。続いて、CPU91は、各ワーク領域のロボット本体30との距離(粗位置Pからロボット本体30までの距離)を求める(S340)。そして、CPU91は、内在ワーク数とロボット本体30との距離とに基づいて各ワーク領域に対して優先順位を設定する(S350)。図9Aは、各ワーク領域に対する優先順位を示す説明図である。図9Bは、各ワーク領域と内在ワーク数との関係を示す説明図である。図9A中、各ワーク領域の上に付された番号は優先順位を示す。優先順位は、図示するように、内在ワーク数が少ないほど高くなり、且つ、内在ワーク数が同じであればロボット本体30またはワーク把持後の搬送位置である作業エリアとの距離が近いほど高くなるように設定される。内在ワーク数が少ないほど優先順位を高くするのは、内在ワーク数が少ないほど該当するワーク領域内に存在するワークWを把持し易いと考えられるからである。また、ロボット本体30または作業エリアとの距離が近いほど優先順位を高くするのは、以下の理由による。すなわち、ロボット本体30のアーム32は、垂直多関節アームであり、ワークWを搬送するには他のワークWやワーク供給装置20との干渉を回避できる高さにアーム32の先端を上昇させた状態で移動する必要がある。その際、ロボット本体30は、ワークWを把持したアーム32の先端を垂直方向に上昇した後に水平方向に移動するよりも作業エリアに向かって必要な高さまで斜め上方向に移動した後に水平移動した方が搬送距離が短くすることができ、移動時間を短縮することができる。このため、ロボット本体30は、作業エリアへ搬送し易いように、アーム32をロボット本体30側または作業エリア側へ寄せつつ対象ワークを把持する。このとき、対象ワークに対してロボット本体30側または作業エリア側に隣接する把持対象外の対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変更させる場合がある。この場合、作業ロボット(画像処理装置90)はこの対象外ワークを次に把持するために画像認識をやり直す必要があるため、作業時間が間延びしてしまう。ロボット本体30または作業エリアとの距離が近いほど優先順位を高くするのはこうした理由に基づく。したがって、優先順位の高いものから順にワークWを順次把持することにより、1回の画像認識でより多くのワークWを把持することが可能となり、作業時間を短縮することができる。
 CPU91は、各ワーク領域の優先順位を設定すると、次に、図10Aに例示するワーク形状モデルDを用いて各ワーク領域内にある各ワークWに対して精密位置決めを行なう(S360)。CPU91は、ステップS320で認識した1つのワーク領域(輪郭)内に複数個のワークWが内在している場合には、内在している複数個のワークWのそれぞれに対して精密位置決めを行なう。ワーク形状モデルDは、撮像画像から1個のワークWの輪郭形状を精密に認識する際のパターンマッチングのテンプレートである。ワーク形状モデルDには、ロボット本体30が把持可能な姿勢で配置されたワークWの輪郭形状(破線参照)と、ワークWのピッキング位置PP(把持位置)とが含まれる。ワーク形状モデルDは、ワークWの品種ごとに異なるため、品種ごとに作成される。精密位置決めは、図10Bに示すように、ステップS320で求めた粗位置Pを中心にワーク形状モデルDの位置および姿勢を少しずつ変更しながら当該ワーク形状モデルDと輪郭形状が一致するワークWをサーチすることにより行なわれる。この精密位置決めは、図10Cに示すように、撮像画像の全範囲においてワーク形状モデルDの位置および姿勢を少しずつ変更しながらワークWをサーチする場合に比して、サーチ範囲を絞ることができるため、パターンマッチング処理に要する時間を短縮することができる。
 CPU91は、こうして精密位置決めを行なうと、精密位置決めによって認識したワークWの数(全ワーク数)を計数する(S370)。そして、CPU91は、ピッキングツールを用いてワークWを把持する際に当該ピッキングツールが周辺ワークと干渉するか否かの干渉チェックを行なう(S380)。ワークWの干渉チェックは、干渉チェック領域AIを設定し、干渉チェック領域AI内に周辺ワークが存在するか否かを判定することにより行なわれる。干渉チェック領域AIは、ピッキングツールの先端形状と、ピッキングツールの可動域(影響が及ぶ範囲)の形状とに基づいて作成される。干渉チェック領域AIは、ピッキングツールの品種ごとに異なるため、品種ごとに作成される。
 図11Aは、ボルト形のワークの把持に用いられるピッキングツールT1(電磁チャック)の干渉チェック領域AIを示す説明図である。ピッキングツールT1(電磁チャック)の干渉チェック領域AIは、ピッキング位置PPを中心として電磁チャックの磁力が及ぶ円形領域として作成される。図11Bは、円筒形のワークの把持に用いられるピッキングツールT2(メカチャック)の干渉チェック領域AIを示す説明図である。メカチャックの干渉チェック領域AIは、ピッキング位置PPを中心としてメカチャックの一対のクランプ爪が近接位置(把持位置)と離間位置(把持解除位置)との間を移動する移動領域を形成する2つの矩形領域として作成される。図11Cは、円筒形のワークの把持に用いられるピッキングツールT3(吸着ノズル)の干渉チェック領域AIを示す説明図である。吸着ノズルの干渉チェック領域AIは、ピッキング位置PPを中心として吸着ノズルの負圧が及ぶ円形領域として作成される。
 図12A,図12Bおよび図12Cは、ボルト形のワークWに対する干渉チェックの結果を示す説明図である。図12Aは、ボルトのねじ先が立った状態を示す。図12Bは、2つのボルトのうち一方のボルトのねじ先と他方のボルトの頭部とが近接した状態を示す。なお、図中、「○」が把持可能な状態であることを示し、「×」が把持不可能であることを示す。干渉チェックは、画像処理装置90(精密位置決め)によってワークWの輪郭形状が認識できない場合(図12A参照)や、ワークWの干渉チェック領域AIに他のワークWが存在している場合(図12B参照)に、把持不可能と判定される。
 CPU91は、こうして各ワークWの干渉チェックを行なうと、干渉チェックにより把持可能と判定されたワークWが、ステップS350で決定した優先順位の高いものから順に把持されるように各ワークWに対して把持順序を決定して(S390)、本処理を終了する。
 ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のカメラ34が撮像装置に相当し、画像処理装置90が画像処理装置に相当し、制御装置80が制御装置に相当し、ロボット本体30と画像処理装置90と制御装置80とを含む作業ロボットが作業ロボットに相当する。また、解し装置25が解し装置に相当する。
 なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
 以上説明したように、本開示の作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる作業ロボットであって、バラ置き状態で前記供給エリアに供給された複数のワークを撮像する撮像装置と、前記撮像装置により撮像された画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの前記作業エリアまたは前記作業ロボットとの距離を求める画像処理装置と、前記画像処理装置により求められた複数のワークの領域の面積と前記作業エリアまたは前記作業ロボットとの距離とに基づいてワークの保持順序を決定する制御装置と、を備えることを要旨とする。
 この本開示の作業ロボットは、供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させるものである。この作業ロボットは、バラ置き状態で供給エリアに供給された複数のワークを撮像し、得られた画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの作業エリアまたは作業ロボットとの距離を求める画像認識を行なう。そして、作業ロボットは、求めた面積と距離とに基づいてワークの保持順序を決定する。作業ロボットは、構造上、アームを鉛直方向に上下させることが困難な場合、保持対象の対象ワークを保持する際に、供給エリア上で対象ワークを作業エリア側または作業ロボット側へ移動させる。このため、対象ワークに対して作業エリア側に保持対象外の対象外ワークが隣接していると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変化させるおそれがある。そこで、本開示の作業ロボットは、こうした事情を考慮してバラ置き状態で供給された複数のワークの保持順序を決定することで、最初に行なった画像認識の結果を用いて複数のワークを順次保持して作業エリアへ移動させることができる。この結果、バラ置き状態で供給エリアに供給された複数のワークを効率良く保持することができる作業ロボットとすることができる。
 こうした本開示の作業ロボットにおいて、前記画像処理装置は、ワークの領域の面積に基づいて該領域内に内在しているワークの数を判定し、前記制御装置は、複数のワークの領域のうち内在しているワークの数が少ない領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定するものとしてもよい。これは、隣接しているワークの数が少ないほどワークを把持しやすいと考えられるためである。
 また、本開示の作業ロボットにおいて、前記制御装置は、前記作業エリアまたは前記作業ロボットとの距離が短い領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定するものとしてもよい。これは、作業ロボット(ロボット本体)がワークを把持して作業ロボット側に移動させつつ取り出す場合、把持対象の対象ワークに対して作業ロボット側に把持対象外の対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変更させるおそれがあるためである。また、作業ロボット(ロボット本体)が対象ワークを把持して作業エリア側に移動させつつ取り出す場合、対象ワークに対して作業エリア側に対象外ワークが存在すると、対象ワークが対象外ワークと接触し、対象外ワークの位置を変更させるおそれがあるためである。
 さらに、本開示の作業ロボットにおいて、前記画像処理装置は、前記作業ロボットの先端に装着されるツールでワークを保持する際に周辺ワークと干渉するか否かを判定し、前記制御装置は、前記供給エリアに供給された複数のワークのうち周辺ワークと干渉しないと判定されたワークが保持されるように前記保持順序を決定するものとしてもよい。この場合、前記作業ロボットは、複数種類のツールを装着可能であり、前記画像処理装置は、前記多関節アームに装着されているツールに応じて干渉エリアを設定し、該設定した干渉エリア内に周辺ワークが存在するか否かに基づいて該周辺ワークと干渉するか否かを判定する干渉判定を行なうものとしてもよい。さらにこれらの場合、前記画像処理装置は、前記撮像装置により撮像された画像に基づいてワークと背景とを認識してワークの領域の粗位置決めを行ない、前記干渉判定の実行に先立って前記粗位置決めの結果に基づいて前記画像に対してパターンマッチングを適用することにより領域内にある各ワークの精密位置決めを行なうものとしてもよい。こうすれば、パターンマッチング処理に必要な時間を短縮することができる。
 また、本開示は、作業システムの形態であってもよい。すなわち、上述した本開示の作業ロボットと、前記供給エリアに供給された複数のワークの塊を解きほぐすための解し装置と、を備え、前記制御装置は、前記供給エリアにワークが残存すると共に残存するいずれのワークも前記作業ロボットが保持できないと判定した場合に、前記解し装置を駆動制御するものとしてもよい。作業システムは、本開示の作業ロボットを備えることで、解し装置の駆動回数を低減することができ、ひいては画像認識の実行回数を低減することができる。この結果、作業効率をより向上させることができる。
 本開示は、作業ロボットの製造産業などに利用可能である。
 10 作業システム、12 支持台、14 トレイ搬送装置、20 ワーク供給装置、21 コンベアベルト、22 駆動ローラ、23 従動ローラ、25 解し装置、30 ロボット本体、32 アーム、34 カメラ、41 第1リンク、42 第2リンク、43 第3リンク、44 第4リンク、45 第5リンク、46 第6リンク、51 第1関節、52 第2関節、53 第3関節、54 第4関節、55 第5関節、61~65 モータ、66 ツールアクチュエータ、71~75 エンコーダ、80 制御装置、81 CPU、82 ROM、83 HDD、84 RAM、90 画像処理装置、91 CPU、92 ROM、93 HDD、94 RAM、95 入力装置、96 出力装置、W ワーク、T トレイ、T1~T3 ピッキングツール、PP ピッキング位置、AI 干渉チェック領域。

Claims (7)

  1.  供給エリアに供給された複数のワークを順次保持し、保持したワークを作業エリアへ移動させる作業ロボットであって、
     バラ置き状態で前記供給エリアに供給された複数のワークを撮像する撮像装置と、
     前記撮像装置により撮像された画像から複数のワークの領域を認識し、認識した複数のワークの領域のそれぞれの面積と位置とを求めると共にそれぞれの前記作業エリアまたは前記作業ロボットとの距離を求める画像処理装置と、
     前記画像処理装置により求められた複数のワークの領域の面積と前記作業エリアまたは前記作業ロボットとの距離とに基づいてワークの保持順序を決定する制御装置と、
     を備える作業ロボット。
  2.  請求項1に記載の作業ロボットであって、
     前記画像処理装置は、ワークの領域の面積に基づいて該領域内に内在しているワークの数を判定し、
     前記制御装置は、複数のワークの領域のうち内在しているワークの数が少ない領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定する、
     作業ロボット。
  3.  請求項1または2に記載の作業ロボットであって、
     前記制御装置は、前記作業エリアまたは前記作業ロボットとの距離が短い領域にあるワークほど高い優先順位をもって保持されるように前記保持順序を決定する、
     作業ロボット。
  4.  請求項1ないし3いずれか1項に記載の作業ロボットであって、
     前記画像処理装置は、前記作業ロボットの先端に装着されるツールでワークを保持する際に周辺ワークと干渉するか否かを判定し、
     前記制御装置は、前記供給エリアに供給された複数のワークのうち周辺ワークと干渉しないと判定されたワークが保持されるように前記保持順序を決定する、
     作業ロボット。
  5.  請求項4に記載の作業ロボットであって、
     前記作業ロボットは、複数種類のツールを装着可能であり、
     前記画像処理装置は、前記多関節アームに装着されているツールに応じて干渉エリアを設定し、該設定した干渉エリア内に周辺ワークが存在するか否かに基づいて該周辺ワークと干渉するか否かを判定する干渉判定を行なう、
     作業ロボット。
  6.  請求項4または5に記載の作業ロボットであって、
     前記画像処理装置は、前記撮像装置により撮像された画像に基づいてワークと背景とを認識してワークの領域の粗位置決めを行ない、前記干渉判定の実行に先立って前記粗位置決めの結果に基づいて前記画像に対してパターンマッチングを適用することにより領域内にある各ワークの精密位置決めを行なう、
     作業ロボット。
  7.  請求項1ないし6いずれか1項に記載の作業ロボットと、
     前記供給エリアに供給された複数のワークの塊を解きほぐすための解し装置と、
     を備え、
     前記制御装置は、前記供給エリアにワークが残存すると共に残存するいずれのワークも前記作業ロボットが保持できないと判定した場合に、前記解し装置を駆動制御する、
     作業システム。
PCT/JP2019/036529 2019-09-18 2019-09-18 作業ロボットおよび作業システム WO2021053750A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036529 WO2021053750A1 (ja) 2019-09-18 2019-09-18 作業ロボットおよび作業システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/036529 WO2021053750A1 (ja) 2019-09-18 2019-09-18 作業ロボットおよび作業システム

Publications (1)

Publication Number Publication Date
WO2021053750A1 true WO2021053750A1 (ja) 2021-03-25

Family

ID=74884398

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/036529 WO2021053750A1 (ja) 2019-09-18 2019-09-18 作業ロボットおよび作業システム

Country Status (1)

Country Link
WO (1) WO2021053750A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10235584A (ja) * 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2010089238A (ja) * 2008-10-10 2010-04-22 Honda Motor Co Ltd ワーク取り出し方法
WO2012066819A1 (ja) * 2010-11-17 2012-05-24 三菱電機株式会社 ワーク取り出し装置
JP2014108868A (ja) * 2012-12-03 2014-06-12 Ishida Co Ltd 移載装置および該移載装置を備えた箱詰めシステム
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP2017042859A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
WO2018072208A1 (en) * 2016-10-21 2018-04-26 Abb Schweiz Ag Method, electronic device and system of picking an object from a container

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10235584A (ja) * 1997-02-26 1998-09-08 Kao Corp 物品認識方法及び装置
JPH11300670A (ja) * 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2010089238A (ja) * 2008-10-10 2010-04-22 Honda Motor Co Ltd ワーク取り出し方法
WO2012066819A1 (ja) * 2010-11-17 2012-05-24 三菱電機株式会社 ワーク取り出し装置
JP2014108868A (ja) * 2012-12-03 2014-06-12 Ishida Co Ltd 移載装置および該移載装置を備えた箱詰めシステム
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP2017042859A (ja) * 2015-08-25 2017-03-02 キヤノン株式会社 ピッキングシステム、並びに、そのための処理装置、方法及びプログラム
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
WO2018072208A1 (en) * 2016-10-21 2018-04-26 Abb Schweiz Ag Method, electronic device and system of picking an object from a container

Similar Documents

Publication Publication Date Title
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
TWI595987B (zh) 機械臂系統
JP2006035397A (ja) 搬送ロボットシステム
US20130085604A1 (en) Robot apparatus, robot system, and method for producing a to-be-processed material
WO2013002099A1 (ja) 部品供給装置
JP5288908B2 (ja) 物品整列システム及びロボットハンド
JP5196156B2 (ja) バラ積みピッキング装置におけるワークピッキング方法
JP2005262369A (ja) ロボットシステム
JP6734402B2 (ja) 作業機
JP2016147330A (ja) 物体認識に基づく制御装置
CN108372503B (zh) 使用至少一个传感器的物品运送装置
JP5606424B2 (ja) 部品取り出し方法、及び部品取り出しシステム
JP2019198949A (ja) バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JPWO2018092236A1 (ja) 作業ロボットおよび作業位置補正方法
WO2021053750A1 (ja) 作業ロボットおよび作業システム
CN204868885U (zh) 用于操控工件的机器人系统
JPH0623684A (ja) 視覚処理機能付きワーク移載ロボット
JP2019198950A (ja) バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP2010105081A (ja) ビンピッキング装置
JPWO2018163242A1 (ja) 画像処理データ作成用のデータ構造および画像処理データ作成方法
JP2015182212A (ja) ロボットシステム、ロボット、制御装置、及び制御方法
JP6842753B2 (ja) ワークの把持位置指示システムおよびピッキング装置
JP2020055059A (ja) 作業システム
EP3205457B1 (en) Transfer method and transfer apparatus
JPH0797059A (ja) 物体取出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19946065

Country of ref document: EP

Kind code of ref document: A1