JP6763914B2 - ロボットシステムおよびロボットシステムの制御方法 - Google Patents

ロボットシステムおよびロボットシステムの制御方法 Download PDF

Info

Publication number
JP6763914B2
JP6763914B2 JP2018110456A JP2018110456A JP6763914B2 JP 6763914 B2 JP6763914 B2 JP 6763914B2 JP 2018110456 A JP2018110456 A JP 2018110456A JP 2018110456 A JP2018110456 A JP 2018110456A JP 6763914 B2 JP6763914 B2 JP 6763914B2
Authority
JP
Japan
Prior art keywords
article
gripping
articles
robot
interference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018110456A
Other languages
English (en)
Other versions
JP2019209459A (ja
Inventor
太樹 片桐
太樹 片桐
健太郎 古賀
健太郎 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2018110456A priority Critical patent/JP6763914B2/ja
Priority to US16/413,060 priority patent/US11084173B2/en
Priority to CN201910440957.0A priority patent/CN110576449B/zh
Priority to DE102019208187.8A priority patent/DE102019208187B4/de
Publication of JP2019209459A publication Critical patent/JP2019209459A/ja
Application granted granted Critical
Publication of JP6763914B2 publication Critical patent/JP6763914B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/02Devices for feeding articles or materials to conveyors
    • B65G47/04Devices for feeding articles or materials to conveyors for feeding articles
    • B65G47/12Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles
    • B65G47/14Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding
    • B65G47/1492Devices for feeding articles or materials to conveyors for feeding articles from disorderly-arranged article piles or from loose assemblages of articles arranging or orientating the articles by mechanical or pneumatic means during feeding the articles being fed from a feeding conveyor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/905Control arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0225Orientation of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0233Position of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37555Camera detects orientation, position workpiece, points of workpiece
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39106Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40554Object recognition to track object on conveyor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45083Manipulators, robot

Description

本発明は、ロボットシステムおよびロボットシステムの制御方法に関する。
コンベヤ上にバラバラに置かれた状態で流れてくる複数の物品を視覚センサによって検出し、検出された物品の形状および姿勢に基づいて、ロボットが把持装置によって対象物を取り出すロボットシステムが知られている(例えば、特許文献1参照。)。特許文献1に記載されたロボットシステムでは、取り出す目標物品と他の物品との距離が近い場合に、把持装置と他の物品との干渉を防ぐために、目標物品を取り出す際のロボットの経路が補正されている。
特開2016−185573号公報
しかしながら、特許文献1に記載のロボットシステムを用いると、目標物品の周りに複数の他の物品が近接していて、他の物品との干渉を回避して目標物品を取り出すための経路を作成できない場合に、把持装置が目標物品を取り出すことができない。
本発明は、複数の物品が近接している状態でも、目標物品を取り出すことができるロボットシステムおよびロボットシステムの制御方法を提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、搬送される物品の形状を検出するセンサと、検出された物品を把持可能な把持装置が装着されたロボットと、該ロボットを制御する制御装置とを備え、該制御装置が、検出された物品毎に該物品を把持する際に前記把持装置が配置される把持領域を設定する把持領域設定部と、設定された前記把持領域と他の物品との干渉を判定する判定部と、検出された各物品に対応づけて、前記判定部によって判定された前記干渉の有無に関する判定結果を記憶する記憶部と、前記ロボットを制御して、前記把持領域に他の物品が干渉していない物品を前記把持装置により取り出させるロボット制御部と、前記把持装置により物品が取り出される都度に、前記記憶部に記憶された前記判定結果を更新する更新部とを備えるロボットシステムを提供する。
本態様によれば、搬送されている物品がセンサにより検出されると、把持領域設定部により、検出された物品毎に把持領域が設定される。設定された把持領域と他の物品との干渉の有無が判定され、判定結果が記憶部に記憶される。一の物品の把持領域に他の物品が存在せずに干渉がない場合には、ロボット制御部によりロボットが制御されて、把持装置が一の物品の把持領域に配置され、把持装置により一の物品が把持されるので、他の物品との干渉を生じさせずに、物品を取り出すことができる。
ロボットによって一の物品が取り出されると、取り出された状態における物品間の干渉の有無が判定部によって判定され、更新部は、新たな判定結果に基づいて記憶部に記憶された判定結果を更新する。これにより、一の物品が取り出された結果、取り出された物品が他の物品の把持領域に干渉していた場合には、他の物品の把持領域における一の物品による干渉がなくなる。ここで、他の物品の把持領域に別の異なる物品が干渉していない場合には、一の物品が取り出される前に取り出し不可能であった他の物品は、一の物品が取り出された後に、把持装置によって取り出し可能な物品となる。このように、物品の検出時に、把持領域に複数の物品が干渉していた物品であっても、干渉している物品が取り出された後には、把持装置によって取り出し可能な物品となる。
上記態様において、前記記憶部が、各一の物品の識別情報と当該一の物品に設定された前記把持領域に干渉している他の物品の識別情報とを対応づけた第1干渉物品情報を記憶してもよい。
この構成により、第1干渉物品情報において、他のいずれの物品の識別情報も対応づけられていない物品は、把持装置によって取り出し可能である。これにより、ロボット制御部は、第1干渉物品情報のみを参照することによって、把持装置によって次に取り出し可能な物品を判断して、物品の取り出しを実行できる。
上記態様において、前記記憶部が、前記一の物品が干渉している前記把持領域を有する前記他の物品の識別情報を、前記一の物品の識別情報に対応づけた第2干渉物品情報を記憶していてもよい。
この構成により、一の物品が把持装置によって取り出された場合に、第2干渉物品情報において、一の物品の識別情報に対応づけられている他の物品の識別情報に対応する第1干渉物品情報を更新することにより、把持装置によって次に取り出し可能な物品の判断を容易にすることができる。
上記態様において、前記第1干渉物品情報において、2つの物品の識別情報が互いに対応づけられている場合に、2つの物品を前記更新部による更新の対象から除外してもよい。
この構成により、互いに把持領域に干渉し合っている複数の物品は、把持装置によって異なる別の物品の取り出しによる判定結果の更新にかかわらず取り出し不可能な物品として第1干渉物品情報に示されている。これにより、異なる別の物品が取り出されても、互いに把持領域を干渉し合っている一の物品および他の物品の判定結果が更新されなくても済む。
上記態様において、前記把持領域設定部が、前記センサによって検出された物品の種類に応じて異なる前記把持領域を設定してもよい。
この構成により、物品の形状等に応じて把持領域が設定されているため、把持装置は、物品を安定した姿勢で把持できる。
本発明の他の態様は、搬送される物品の形状を検出する検出ステップと、検出された物品毎に該物品を把持装置に把持させる際に該把持装置が配置される把持領域を設定する把持領域設定ステップと、設定された前記把持領域と他の物品との干渉を判定する判定ステップと、判定された前記干渉の有無に関する判定結果を、検出された各物品に対応づけて記憶部に記憶させる記憶ステップと、ロボットを制御して、前記把持領域に他の物品が干渉していない物品を前記把持装置により取り出させる制御ステップと、前記把持装置により物品が取り出される都度に、前記記憶部に記憶された前記判定結果を更新する更新ステップとを含むロボットシステムの制御方法を提供する。
本態様によれば、検出された物品毎に把持領域が設定され、設定された把持領域と他の物品との判定結果が記憶部に記憶される。一の物品の把持領域に他の物品が干渉していない場合には、制御された把持装置が、一の物品の把持領域を把持して、他の物品との干渉を生じさせずに一の物品を取り出すことができる。一の物品が取り出されると、記憶部に記憶された判定結果が更新される。これにより、検出時に物品の把持領域に他の物品が干渉していても、判定結果の更新および物品の取出が繰り返されることによって、他の物品が取出可能になる場合がある。
本発明に係るロボットシステムおよびロボットシステムの制御方法によれば、複数の物品が近接している状態でも、目標物品を取り出すことができるという効果を奏する。
本発明のロボットシステムの概略上面図である。 ロボットシステムのブロック図である。 物品に設定された把持領域および干渉情報の説明図であって、(a)センサの撮影範囲の上面図、(b)物品ステータスDBに記憶された各物品の干渉情報を示す図である。 図3に示される状態から新たな物品が検出された場合の把持領域および干渉情報の説明図であって、(a)センサの撮影範囲の上面図、(b)物品ステータスDBに記憶された各物品の干渉情報を示す図である。 物品に設定された把持領域および干渉情報の説明図であって、(a)ハンドの作業範囲の上面図、(b)物品ステータスDBに記憶された各物品の干渉情報を示す図である。 図5に示される状態から物品が取り出された場合の把持領域および干渉情報の説明図であって、(a)ハンドの作業範囲の上面図、(b)物品ステータスDBに記憶された各物品の干渉情報を示す図である。 物品検出時にロボットシステムによって行われる処理のフローチャートである。 物品取り出し時にロボットシステムによって行われる処理のフローチャートである。
本発明の実施形態にロボットシステム100について、図面を参照しながら以下に説明する。
本実施形態に係るロボットシステム100は、図1に示されるように、複数の物品WN(N=1,2,・・・)を搬送するコンベヤ80と、コンベヤ80上を搬送される物品WNを検出するセンサ50と、物品WNを把持するハンド(把持装置)15を備えるロボット10と、ロボット10を制御する制御装置20とを備えている。
センサ50は、物品WNの3次元形状を取得可能な3次元カメラであり、コンベヤ80上の撮影範囲RIを撮影する。ロボット10は、例えば、6個の関節を有する垂直多関節型ロボットであり、制御装置20によって各関節の回転角度が制御されることによって動作する。ロボット10の先端に取り付けられたハンド15は、コンベヤ80上を搬送される物品WNに対して把持作業を行う。ハンド15がコンベヤ80上で作業可能な範囲は、図1に示されるように、センサ50の撮影範囲RIよりも下流側に位置する作業範囲RWである。
コンベヤ80は、図1の矢印で示される搬送方向に一定の速さで物品WNを搬送する。コンベヤ80には、コンベヤ80の搬送速度を検出するためのエンコーダ(不図示)が設けられている。エンコーダの検出値が制御装置20に送信されることによって、制御装置20は、コンベヤ80の搬送速度を算出する。
制御装置20は、所定のプログラムに従ってロボット10の動作を制御することにより、コンベヤ80上を搬送される物品WNに対して取り出し等の各種作業を行う。なお、本実施形態の制御装置20は、ロボット10に内蔵されているが、他の実施形態の制御装置は、ロボット10と別体で構成されていてもよい。
図2は、ロボットシステム100のブロック図である。図2に示されるように、制御装置20は、センサ50によって検出された物品WNの姿勢および位置に応じてロボット10の動作を制御する制御部21と、物品WNの3次元形状などを記憶している記憶部26とを備えている。
記憶部26は、RAM(Random Access Memory)、あるいはHDD(Hard Disk Drive)などの記憶媒体で構成されている。記憶部26は、ロボット10の作業対象である複数の物品WNの3次元形状を記憶している物品形状DBと、センサ50によって検出された物品とその他の物品とにおける干渉の有無に関する干渉情報について記憶する物品ステータスDBとを備えている。
物品形状DBは、複数の物品WNの3次元形状のそれぞれについて、図1に示されるような3次元形状に対応づけられた把持領域GNを記憶している。把持領域GNは、検出された物品WNがハンド15によって把持される際に、ハンド15が配置される領域として記憶されている。
物品ステータスDBが記憶する各物品に対応づけられた干渉情報について、図3を用いて説明する。図3(a)には、コンベヤ80上を搬送される2つの物品W1,W2が検出されている状態の撮影範囲RIの上面図が示されている。センサ50によって物品W1,W2が検出されると、後述する把持領域設定部23は、物品形状DBに記憶された複数の物品の3次元形状を用いたパターンマッチングによって、検出された物品W1,W2が記憶されたいずれの物品であるかを特定する。その後、把持領域設定部23は、物品W1,W2のそれぞれについて、把持領域G1,G2を設定する。
物品ステータスDBは、物品W1,W2のそれぞれの干渉情報として、把持領域G1,G2における他の物品の干渉について、図3(b)に示される物品W1,W2のそれぞれの物品名(識別情報)毎の干渉の有無を記憶する。この干渉情報は、検出された物品W1,W2の重心を表す検出位置と、物品W1,W2の姿勢を表すための基準姿勢からの傾きを示す角度と、ハンド15によって取り出し可能の可否を表すステータスと、自分の把持領域に入っている他の物品についての情報(第1物品干渉情報)と、把持領域に自分が入っている他の物品についての情報(第2物品干渉情報)とを含んでいる。
物品W1,W2の検出位置および角度は、物品形状DBに記憶された各物品の3次元形状に対応づけられた基準姿勢と、センサ50によって検出された撮影画像とが用いられることによって特定される。
例えば、物品W1の干渉情報について説明すると、図3(a)に示されるように、物品W1の把持領域G1には他の物品が干渉していない。そのため、図3(b)に示されるように、後述の判定部24は、初めに、物品W1の「ステータス」を「取り出し可」と判定して設定する。また、判定部24は、物品W1の「自分の把持領域に入っている他の物品」を「なし」と設定する。物品W1は、他の物品の把持領域に干渉していないため、判定部24は、物品W1の「把持領域に自分が入っている他の物品」を「なし」と設定する。
図2に示される制御部21は、図示されていないCPUと、ROMと、RAMとで構成されている。制御部21は、ROMまたは記憶部26に格納されたプログラムを読み込んで、RAMに一時的に読出および格納を行い、CPUにより各種プログラムに対応する機能を実行する。
制御部21は、ロボット10の動作を制御する駆動制御部(ロボット制御部)22と、センサ50によって検出された物品W1,W2(図3(a))に対して把持領域G1,G2を設定する把持領域設定部23と、設定された把持領域G1,G2における他の物品W1,W2の干渉の有無を判定する判定部24と、ハンド15によってコンベヤ80によって搬送される物品が取り出される度に物品ステータスDBに記憶された干渉情報を更新する更新部25とを備えている。
図4は、図3に示される状態から、さらに新たな物品W3がセンサ50によって検出された状態を示している。物品W3がセンサ50によって検出されると、図4(b)に示さるように、判定部24は、物品W3の干渉情報を物品ステータスDBに追加する。物品W3が新たに検出されることによって、図4(a)に示されるように、物品W1の把持領域G1に物品W3が干渉している。そのため、判定部24は、図4(b)に示されるように、物品W1の「自分の把持領域に入っている他の物品」に「W3」を追加する。これは、ハンド15が物品W1を取り出す際に物品W3と干渉することを表している。これにより、判定部24は、図4(b)に示される物品W1の「ステータス」を「取り出し不可」に変更する。
図5および図6は、物品がハンド15によって取り出される前後の物品間の位置関係および物品ステータスDBに含まれる各物品の干渉情報について説明する図である。図5(a)には、物品W5がハンド15によって取り出される前のハンド15の作業範囲RWの上面図が示されている。作業範囲RWと撮影範囲RIとの位置関係は予め設定されているため、駆動制御部22は、作業範囲RWにおける物品の位置および姿勢を、物品ステータスDBに記憶された各物品の干渉情報における検出位置および角度から算出できる。そのため、駆動制御部22は、センサ50の検出結果を用いて、作業範囲RWに含まれる物品を特定できる。
図5(a)に示されるように、把持領域設定部23によって、センサ50によって検出された物品W4〜W7のそれぞれには、把持領域G4〜G7が設定されている。図5(b)に示されるように、物品ステータスDBには、物品W4〜W7のそれぞれについての干渉情報が記憶されている。
図5(a)に示されるように、物品W4,W6,W7のそれぞれの把持領域G4,G6,G7には他の物品が干渉し、物品W5の把持領域G5にはいずれの物品も干渉していない。そのため、図5(b)の物品ステータスDBに示されるように、物品W5の「ステータス」だけが、「取り出し可」として設定されている。この場合、駆動制御部22は、物品ステータスDBに記憶されたそれぞれの物品W4〜W7の内、「ステータス」が「取り出し可」である物品W5に対して取り出し作業を実行する。なお、「ステータス」が「取り出し可」である物品が複数ある場合には、下流側の物品から取り出し作業が実行される。
図5(a)に示されるように、物品W6と物品W7とは、互いにそれぞれの把持領域G6,G7を干渉し合っている。本実施形態では、別の物品の取り出し作業にかかわらず、更新部25は、このような物品W6,W7の「ステータス」を「取り出し不可」に設定し、物品W6,W7の干渉情報を更新しない。
図6(a)には、図5(a)に示された状態から、物品W5が取り出された後の作業範囲RWの上面図が示されている。物品W5が取り出されると、図6(b)に示されるように、更新部25は、物品ステータスDBにおける物品W5の「ステータス」を「取り出し済」に更新する。物品W5の「ステータス」が更新されると、判定部24は、更新後の物品ステータスDBに基づいて、各物品に設定された把持領域における他の物品の干渉の有無を再度判定する。
判定部24は、取り出された物品W5の「把持領域に自分が入っている他の物品」に設定されている物品W4,物品W6の干渉の有無を再度判定する。例えば、物品W4の干渉情報において、物品W5が取り出される前では図5(b)に示されるように、「自分の把持領域に入っている他の物品」として物品W5が設定されていた。更新後に物品W5が取り出されると、図6(b)に示されるように、判定部24は、物品W4の「自分の把持領域に入っている他の物品」を「なし」に変更する。これに伴い、物品W4の「ステータス」は、「取り出し可」に変化している。
また、判定部24は、物品W6における「自分の把持領域に入っている他の物品」を、「W5,W7(図5(b)」から「W7(図6(b))に変更する。一方で、「把持領域に自分が入っている他の物品」に物品W5が設定されていない物品W7の干渉情報は変化していない。図6に示される状態では、物品W4,W6,W7における「ステータス」の内、「取り出し可」である物品W4が、ハンド15によって次に取り出される。
本実施形態に係るロボットシステム100が物品検出時に行う処理について、図4に示される物品W3が検出された例を挙げて、図7に示されるフローチャートに沿って説明する。初めに、センサ50が、コンベヤ80上を搬送される物品W3を検出する検出ステップを行う(ステップS1)。検出された物品W3の検出位置X3,Y3および角度R3は、把持領域設定部23によって特定され、物品ステータスDBに登録される(ステップS2)。
把持領域設定部23は、検出された物品W3に対して、把持領域G3を設定する把持領域設定ステップを行う(ステップS3)。判定部24は、設定された把持領域G3に他の物品が干渉しているか否かを判定する判定ステップを行う(ステップS4)。把持領域G3に他の物品が干渉していないと判定された場合には(ステップS4:NO)、後述するステップS8の処理が実行される。
ステップS4の処理において、判定部24は、把持領域G3に他の物品W2が干渉していると判定すると(ステップS4:YES)、物品ステータスDBにおける物品W3の「ステータス」を「取り出し不可」に設定する(ステップS5)。
判定部24は、物品W3の「自分の把持可能領域に入っている他の物品」に、把持領域G3に干渉している物品W2を追加する(ステップS6)。次に、判定部24は、物品W3が他の物品W1の把持領域G1に入っているため、物品W3の「把持可能領域に自分が入っている他の物品」に、物品W1を追加する(ステップS7)。
判定部24は、他の物品の把持領域に検出された物品W3(以降では、「検出物品W3」ともいう)が干渉しているか否かを判定する(ステップS8)。他の物品の把持領域に検出物品W3が干渉していないと判定された場合には(ステップS8:NO)、ロボットシステム100の物品検出時に行われる処理が終了する。
ステップS8の処理において、物品W1の把持領域G1に検出物品W3が干渉しているため(ステップS8:YES)、判定部24は、他の物品である物品W1の「ステータス」を「取り出し不可」に設定する(ステップS9)。判定部24は、物品W1の「自分の把持可能領域に入っている他の物品」に、検出物品W3を追加する(ステップS10)。
次に、判定部24は、他の物品である物品W2の「把持領域に自分が入っている他の物品」に、検出物品W3を追加する(ステップS11)。なお、ステップS5〜S7およびステップS9〜ステップS11は、記憶ステップに相当する。
ステップS11の処理が実行されると、図7に示されるロボットシステム100が物品検出時に行う処理が終了する。
次に、本実施形態に係るロボットシステム100が物品取り出し時に行う処理について、図5に示される状態から物品W5が取り出されて図6に示される状態に変化した例を挙げて、図8に示されるフローチャートに沿って説明する。
初めに、駆動制御部22は、ハンド15の作業範囲RWに物品があるか否かを判定する(ステップS21)。作業範囲RWに物品がないと判定された場合には(ステップS21:NO)、物品取り出し時に行われる処理が終了する。
ステップS21の処理において、駆動制御部22は、作業範囲RWに物品があると判定すると(ステップS21:YES)、作業範囲RWにある物品W4〜W7の「ステータス」が「取り出し可」であるか否かを判定する(ステップS22)。作業範囲RWにある全ての物品の「ステータス」が「取り出し不可」である場合には(ステップS22:NO)、物品取り出し時に行われる処理が終了する。
ステップS22の処理において、駆動制御部22は、図5(b)に示されるように、作業範囲RWに「ステータス」が「取り出し可」である物品W5がある場合には(図8のステップS22:YES)、ハンド15を制御して物品W5を取り出す制御ステップを行う(ステップS23)。
物品W5が取り出されると、更新部25は、図6(b)に示されるように、物品ステータスDBに記憶されている取り出した物品W5の「ステータス」を「取り出し済」に更新する(図8のステップS24)。なお、他の実施形態では、取り出された物品の干渉情報が物品ステータスDBから削除されてもよい。
次に、判定部24は、物品W5が取り出された後の物品ステータスDBに基づいて、再度、物品間の干渉の有無について判定する。判定部24は、取り出された物品W5(以降では、「取り出し物品W5」ともいう)の「把持領域に自分が入っている他の物品」に、設定されている物品があるか否かを判定する(ステップS25)。設定された物品がない場合には(ステップS25:NO)、物品取り出し時に行われる処理が終了する。
ステップS25の処理において、取り出し物品W5の「把持領域に自分が入っている他の物品」に設定されている物品W4,W6があるため(ステップS25:YES)、更新部25は、図5(b)に示される物品W4,W6のそれぞれの「自分の把持領域に入っている他の物品」から、取り出し物品W5を削除する(ステップS26)。
その後、判定部24は、物品W4,W6の干渉の有無を再度判定した後に、作業範囲RWにいる物品の物品ステータスDBにおいて、「自分の把持領域に入っている物品」に他の物品が入っていない物品があるか否かを判定する(ステップS27)。「自分の把持領域に入っている物品」に他の物品が入っていない物品が1つも無いと判定された場合には(ステップS27:NO)、物品取り出し時に行われる処理が終了する。
ステップS27において、図6(b)に示されるように、物品W4の物品ステータスDBにおける「自分の把持領域に入っている物品」には他の物品が入っていないため(ステップS27:YES)、判定部24は、物品W4の「ステータス」を「取り出し可」に更新する更新ステップを行う(ステップS28)。その後、物品W5についての物品取り出し時に行われる処理が終了し、作業範囲RWに含まれる取り出し可能な物品について同様の物品取り出し処理が実行される。
このように構成された本実施形態に係るロボットシステム100の作用について以下に説明する。
搬送されている物品W5(図5)がセンサ50によって検出されると、物品W5に設定された把持領域G5における他の物品の干渉の有無が判定部24によって判定され、判定結果が物品ステータスDBに記憶される。物品W5の把持領域G5に他の物品が干渉していない場合には、ハンド15および物品W5と、他の物品との干渉が生じずに、ハンド15によって把持領域G5が把持され物品W5が取り出される。物品W5が取り出されると、更新部25および判定部24によって、物品ステータスDBに記憶された物品W4,W6,W7の判定結果が更新される。更新された結果、物品検出時に取り出し不可能と判定されていた物品W4であっても、物品W5が取り出されることによって、ハンド15による取り出しが可能な物品となる。
上記実施形態におけるロボットシステム100において、各物品W4〜W7の把持領域G4〜G7に干渉している他の物品は、物品ステータスDBの各物品W4〜W7における「自分の把持領域に入っている他の物品」に対応づけられて記憶されている。そのため、駆動制御部22は、物品ステータスDBの「自分の把持領域に入っている他の物品」のみを参照することによって、把持領域に他の物品が干渉していない物品を、次に取り出す物品として選択できる。
上記実施形態におけるロボットシステム100において、各物品W4〜W7が他の物品の把持領域を干渉している場合に、各物品W4〜W7の干渉情報として、物品ステータスDBに「把持領域に自分が入っている他の物品」が記憶されている。そのため、ハンド15によって物品W5が取り出された場合に、物品W5の「把持領域に自分が入っている他の物品」に設定されている物品W4,W6のみの干渉情報が更新されれば、次に取り出される物品が選択可能になる。
上記実施形態におけるロボットシステム100において、互いにそれぞれの把持領域G6,G7を干渉し合っている物品W6,W7における「ステータス」は、他の物品の取り出しにかかわらず、「取り出し不可」に設定され、物品W6,W7の干渉情報は更新されない。これにより、物品W6,W7の干渉情報を更新するための処理が軽減される。
上記実施形態のロボットシステム100は、一例であり、種々変形可能である。例えば、物品ステータスDBは、各物品に設定された把持領域と、把持領域に干渉する他の物品との干渉の有無について記憶していればよい。そのため、物品ステータスDBは、必ずしも、図3(b)に示される物品W1,W2における「ステータス」や「把持領域に自分が入っている他の物品」などの情報を含んでいなくてもよい。また、本実施形態では、図5(b)に示される互いの把持領域G6,G7を干渉し合っている物品W6,W7の干渉情報が更新されなかったが、他の実施形態では、干渉の有無に関係なく、別の物品が取り出される度に全ての物品の干渉情報が更新されてもよい。
上記実施形態のロボット10は、垂直多関節型ロボットであったが、コンベヤ80上を搬送される物品WNを取り出せるロボットの範囲で種々変形可能である。また、物品WNを搬送する搬送装置としてコンベヤ80を例に挙げたが、コンベヤ80以外の搬送装置であってもよい。また、ロボットシステム100にコンベヤ80が含まれていなくてもよい。コンベヤ80上に搬送される物品は、上記実施形態の物品W1〜W7のように同じ種類の物品でなくてもよく、複数の種類の物品が搬送されてハンド15によって取り出されてもよい。
搬送される物品WNを検出するセンサ50は、3次元カメラ以外のセンサ、例えば、2次元カメラであってもよいし、光電センサであってもよいし、マルチアレイセンサであってもよい。マルチアレイセンサが用いられると、二次元平面にマトリックス状に配置した複数のセンサにより垂直方向の距離を同時計測されて、物体の立体像を得ることができる。
10 ロボット
15 ハンド(把持装置)
20 制御装置
22 駆動制御部(ロボット制御部)
23 把持領域設定部
24 判定部
25 更新部
26 記憶部
50 センサ
100 ロボットシステム
G1〜G7,GW 把持領域
W1〜W7,WN 物品
S1 検出ステップ
S3 把持領域設定ステップ
S4 判定ステップ
S5〜S7,S9〜S11 記憶ステップ
S23 制御ステップ
S28 更新ステップ

Claims (6)

  1. 搬送される物品の形状を検出するセンサと、検出された物品を把持可能な把持装置が装着されたロボットと、該ロボットを制御する制御装置とを備え、
    該制御装置が、検出された物品毎に該物品を把持する際に前記把持装置が配置される把持領域を設定する把持領域設定部と、
    設定された前記把持領域と他の物品との干渉を判定する判定部と、検出された各物品に対応づけて、前記判定部によって判定された前記干渉の有無に関する判定結果を記憶する記憶部と、
    前記ロボットを制御して、前記把持領域に他の物品が干渉していない物品を前記把持装置により取り出させるロボット制御部と、
    前記把持装置により物品が取り出される都度に、前記記憶部に記憶された前記判定結果を更新する更新部とを備えるロボットシステム。
  2. 前記記憶部が、各一の物品の識別情報と当該一の物品に設定された前記把持領域に干渉している他の物品の識別情報とを対応づけた第1干渉物品情報を記憶する請求項1に記載のロボットシステム。
  3. 前記記憶部が、前記一の物品が干渉している前記把持領域を有する前記他の物品の識別情報を、前記一の物品の識別情報に対応づけた第2干渉物品情報を記憶する請求項2に記載のロボットシステム。
  4. 前記第1干渉物品情報において、2つの物品の識別情報が互いに対応づけられている場合に、2つの物品を前記更新部による更新の対象から除外する請求項2または請求項3に記載のロボットシステム。
  5. 前記把持領域設定部が、前記センサによって検出された物品の種類に応じて異なる前記把持領域を設定する請求項1から請求項4のいずれかに記載のロボットシステム。
  6. 搬送される物品の形状を検出する検出ステップと、
    検出された物品毎に該物品を把持装置に把持させる際に該把持装置が配置される把持領域を設定する把持領域設定ステップと、
    設定された前記把持領域と他の物品との干渉を判定する判定ステップと、
    判定された前記干渉の有無に関する判定結果を、検出された各物品に対応づけて記憶部に記憶させる記憶ステップと、
    ロボットを制御して、前記把持領域に他の物品が干渉していない物品を前記把持装置により取り出させる制御ステップと、
    前記把持装置により物品が取り出される都度に、前記記憶部に記憶された前記判定結果を更新する更新ステップとを含むロボットシステムの制御方法。
JP2018110456A 2018-06-08 2018-06-08 ロボットシステムおよびロボットシステムの制御方法 Active JP6763914B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018110456A JP6763914B2 (ja) 2018-06-08 2018-06-08 ロボットシステムおよびロボットシステムの制御方法
US16/413,060 US11084173B2 (en) 2018-06-08 2019-05-15 Robot system and control method for robot system
CN201910440957.0A CN110576449B (zh) 2018-06-08 2019-05-24 机器人系统以及机器人系统的控制方法
DE102019208187.8A DE102019208187B4 (de) 2018-06-08 2019-06-05 Robotersystem und Steuerungsverfahren für ein Robotersystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018110456A JP6763914B2 (ja) 2018-06-08 2018-06-08 ロボットシステムおよびロボットシステムの制御方法

Publications (2)

Publication Number Publication Date
JP2019209459A JP2019209459A (ja) 2019-12-12
JP6763914B2 true JP6763914B2 (ja) 2020-09-30

Family

ID=68652005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018110456A Active JP6763914B2 (ja) 2018-06-08 2018-06-08 ロボットシステムおよびロボットシステムの制御方法

Country Status (4)

Country Link
US (1) US11084173B2 (ja)
JP (1) JP6763914B2 (ja)
CN (1) CN110576449B (ja)
DE (1) DE102019208187B4 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11312014B2 (en) * 2018-09-10 2022-04-26 Kindred Systems Inc. System and method for robotic gripping utilizing dynamic collision modeling for vacuum suction and finger control
US11485015B2 (en) * 2019-02-21 2022-11-01 Hiwin Technologies Corp. System for eliminating interference of randomly stacked workpieces
JP7328017B2 (ja) * 2019-06-11 2023-08-16 ファナック株式会社 ロボットシステム及び制御装置
JP7306908B2 (ja) * 2019-07-23 2023-07-11 ファナック株式会社 ロボットハンド制御装置、ロボットシステムおよびロボットハンド制御方法
JP7358994B2 (ja) * 2020-01-08 2023-10-11 オムロン株式会社 ロボット制御装置、ロボット制御システム、ロボット制御方法及びロボット制御プログラム
US11548739B1 (en) * 2020-03-30 2023-01-10 Amazon Technologies, Inc. Systems and methods for automated robotic sortation
JP2022110868A (ja) * 2021-01-19 2022-07-29 株式会社イシダ 物品集積装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6134675A (ja) * 1984-07-27 1986-02-18 Hitachi Ltd 画像認識方法および装置
US5040056A (en) * 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JP3782679B2 (ja) * 2001-05-09 2006-06-07 ファナック株式会社 干渉回避装置
JP4864363B2 (ja) * 2005-07-07 2012-02-01 東芝機械株式会社 ハンドリング装置、作業装置及びプログラム
JP5198161B2 (ja) 2008-06-17 2013-05-15 東芝機械株式会社 ハンドリング装置およびワークハンドリング方法
DE112009001414T5 (de) 2008-06-05 2011-04-21 Toshiba Kikai K.K. Bearbeitungssystem, Steuerungseinrichtung, Steuerungsverfahren und Programm
JP5500926B2 (ja) * 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
JP2012187651A (ja) * 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
JP5930037B2 (ja) * 2012-07-20 2016-06-08 株式会社安川電機 ロボットシステムおよび物品移送方法
JP5561384B2 (ja) * 2013-01-15 2014-07-30 株式会社安川電機 認識プログラム評価装置および認識プログラム評価方法
JP2014176923A (ja) 2013-03-14 2014-09-25 Yaskawa Electric Corp ロボットシステムおよび被加工物の製造方法
JP5862611B2 (ja) * 2013-04-02 2016-02-16 トヨタ自動車株式会社 作業変更装置、作業変更方法、及び作業変更プログラム
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP6337530B2 (ja) * 2014-03-14 2018-06-06 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10055670B2 (en) * 2014-03-14 2018-08-21 Omron Corporation Image recognition device, image sensor, and image recognition method using feature
CN104057459B (zh) * 2014-06-25 2017-02-22 上海发那科机器人有限公司 一种机器人智能分拣工件的装置及方法
JP6559413B2 (ja) * 2014-11-13 2019-08-14 株式会社東芝 移載装置及び荷物取出方法
JP6489894B2 (ja) * 2015-03-27 2019-03-27 ファナック株式会社 対象物の取出経路を補正する機能を有するロボットシステム
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6203775B2 (ja) * 2015-03-31 2017-09-27 ファナック株式会社 固定されたワークの異常を判定するロボットシステム、および、異常判定方法
EP3112965A1 (en) * 2015-07-02 2017-01-04 Accenture Global Services Limited Robotic process automation
JP7267741B2 (ja) * 2016-04-06 2023-05-02 日本電気株式会社 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置
JP2018034242A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6553568B2 (ja) * 2016-09-28 2019-07-31 ファナック株式会社 複数個の物品をひとつずつ最適な経路で取り出す搬送装置
JP6450727B2 (ja) * 2016-10-28 2019-01-09 ファナック株式会社 ロボットが行う物品整列作業のシミュレーションのための装置、方法、プログラム及び記録媒体
JP7047249B2 (ja) 2017-01-10 2022-04-05 オムロン株式会社 画像処理システム、画像処理装置、ワークのピックアップ方法、および、ワークのピックアッププログラム

Also Published As

Publication number Publication date
DE102019208187A1 (de) 2019-12-12
CN110576449B (zh) 2023-01-10
CN110576449A (zh) 2019-12-17
US20190375602A1 (en) 2019-12-12
JP2019209459A (ja) 2019-12-12
US11084173B2 (en) 2021-08-10
DE102019208187B4 (de) 2022-05-19

Similar Documents

Publication Publication Date Title
JP6763914B2 (ja) ロボットシステムおよびロボットシステムの制御方法
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
CN105645010B (zh) 物品转运装置和物品转运方法
CN109421071B (zh) 物品堆放装置以及机器学习装置
US7966094B2 (en) Workpiece picking apparatus
JP6496333B2 (ja) 少なくとも1つのセンサを用いた物品搬送装置
JP6407826B2 (ja) 座標系設定方法、座標系設定装置、及び座標系設定装置を備えたロボットシステム
US20180029233A1 (en) Method For Avoiding Collisions Between Two Robots
JP4655309B2 (ja) ピッキング順序決定方法、装置及びそのプログラム、並びにピッキングシステム
JP6549655B2 (ja) 物品搬送装置
JP6912415B2 (ja) ハンド制御装置およびハンド制御システム
CN104169964B (zh) 图像处理装置及图像处理程序记录介质
JP7191569B2 (ja) 把持装置
JP2005305613A (ja) 物品取出し装置
JP2004090183A (ja) 物品の位置姿勢検出装置及び物品取出し装置
JP5618067B2 (ja) バラ積みピッキング装置および方法
US11752621B2 (en) Article transport system having plurality of movable parts
JP2009291895A (ja) ハンドリング装置、制御装置及び制御方法
JP4303411B2 (ja) トラッキング方法、及びトラッキングシステム
JP5198161B2 (ja) ハンドリング装置およびワークハンドリング方法
JP7353948B2 (ja) ロボットシステム及びロボットシステムの制御方法
JP6365478B2 (ja) 移送システムおよび移送方法
JP6947083B2 (ja) ロボット制御装置およびロボット制御方法
JP6413899B2 (ja) 物品搬送ロボット
JPWO2020100522A1 (ja) マーク検出システム、信号処理回路、コンピュータプログラムおよび方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200218

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200910

R150 Certificate of patent or registration of utility model

Ref document number: 6763914

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150