JP6549655B2 - 物品搬送装置 - Google Patents

物品搬送装置 Download PDF

Info

Publication number
JP6549655B2
JP6549655B2 JP2017150629A JP2017150629A JP6549655B2 JP 6549655 B2 JP6549655 B2 JP 6549655B2 JP 2017150629 A JP2017150629 A JP 2017150629A JP 2017150629 A JP2017150629 A JP 2017150629A JP 6549655 B2 JP6549655 B2 JP 6549655B2
Authority
JP
Japan
Prior art keywords
work
workpiece
interference area
detected
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017150629A
Other languages
English (en)
Other versions
JP2019025634A (ja
Inventor
太樹 片桐
太樹 片桐
雅文 大場
雅文 大場
健太郎 古賀
健太郎 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017150629A priority Critical patent/JP6549655B2/ja
Priority to US16/015,444 priority patent/US10596707B2/en
Priority to DE102018212531.7A priority patent/DE102018212531B4/de
Priority to CN201810862464.1A priority patent/CN109384039B/zh
Publication of JP2019025634A publication Critical patent/JP2019025634A/ja
Application granted granted Critical
Publication of JP6549655B2 publication Critical patent/JP6549655B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/904Devices for picking-up and depositing articles or materials provided with rotary movements only
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08Control devices operated by article or material being fed, conveyed or discharged
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/402Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for positioning, e.g. centring a tool relative to a hole in the workpiece, additional detection means to correct position
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39102Manipulator cooperating with conveyor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39106Conveyor, pick up article, object from conveyor, bring to test unit, place it
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40038Black list, exclude operation on workpiece when not possible, collision, error
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40554Object recognition to track object on conveyor
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明は、物品搬送装置に関する。
従来、コンベヤ上にランダムに載置されコンベヤの作動により移動する複数のワークを撮像装置により撮像し、撮像装置により撮像された画像を用いてロボットによるワーク取出作業を行うように構成された物品搬送装置が知られている(例えば、特許文献1参照。)。この物品搬送装置は、撮像された画像上でワーク検出を行うと共に、各被検出ワークの周りに近接状態判定領域を設定し、近接状態判定領域に他の被検出ワークが存在するか否かを判定するように構成されている。
特開2016−185573号公報
前記物品搬送装置では、撮像装置によってコンベヤ上にランダムに載置されたワークを撮像し、撮像画像を用いて検出されたワークをロボットにより取出すので、各々のワークは撮像された画像の何れかに全体が写っている必要がある。このため、連続して撮像された2つの画像には重複する範囲が存在することになる。また、物品の検出精度を向上するためには、収差の影響も少なく、ワークの平面形状が正確に映る画像の中心近くにワークが存在することが望ましいため、検出精度を向上するために、連続する2つの画像だけではなく、連続する3つ以上の画像に重複する範囲が存在することもある。
この重複した範囲があることにより、複数の画像に同一の被検出ワークが存在することになる。一方、被検出ワークの検出精度、つまり、画像上の被検出ワークの位置認識や角度認識が正確であればあるほど、ロボットによる取出作業に有利である。特許文献1記載の物品搬送装置では、ワークの近接状態判定は行っているが、複数の画像に同一の被検出ワークが存在していても、最新の画像で当該被検出ワークの位置および角度を認識し、ロボットによる取出作業を行っている。
本発明は、このような事情に鑑みてなされたものであって、ワークの近接状態判定を行いつつ、ワークの位置認識および角度認識をより正確に行うことができる物品搬送装置の提供を目的とする。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の一態様の物品搬送装置は、複数のワークが搬送されるコンベヤに対しワーク取出作業を行う少なくとも1台のロボットと、前記コンベヤ上の前記ワークを連続的に撮像する撮像装置と、該撮像装置により撮像された画像中でワーク検出を行うワーク識別手段と、該ワーク識別手段が前記ワーク検出を行った時に、被検出ワークごとにその位置および角度に関するワーク情報を記憶するワーク情報記憶装置と、前記ワーク検出が行われた新たな画像における前記各被検出ワークの前記ワーク情報と、前記ワーク検出が行われた少なくとも1つの前の画像における前記各被検出ワークの前記ワーク情報とを比較することにより、前記新たな画像に前記前の画像と同一の前記被検出ワークが存在するか否かを判定する同一ワーク判定手段と、該同一ワーク判定手段で同一であると判定された少なくとも1つの前記被検出ワークについて、前記新たな画像における前記ワーク情報と前記前の画像における前記ワーク情報のうち、所定の基準情報に近い1つだけ前記ワーク情報記憶装置に保存されるようにするワーク情報選定手段と、前記各画像において前記各被検出ワークに干渉領域を設定する干渉領域設定手段と、前記各被検出ワークの前記干渉領域に他の前記被検出ワークの輪郭が干渉しているか否かを判定する干渉判定手段とを備え、該干渉判定手段により干渉していると判定された前記被検出ワークに対し前記ロボットが前記ワーク取出作業を行わないように構成されている。
当該態様では、新たな画像および少なくとも1つの前の画像に存在している被検出ワークについて、新たな画像におけるワーク情報と前の画像におけるワーク情報とが比較され、例えば所定の基準情報として当該ワークのモデル画像を用いる場合は、モデル画像との類似度が高い方のワーク情報がワーク情報記憶装置に保存される。ワーク自体の形状にばらつきが少ない場合、モデル画像との類似度が高い方が被検出ワークの形状が実際の形状に近いことを意味する。このため、実物のワークの形状により近い被検出ワークのワーク情報がワーク情報記憶装置に保存されることになる。
ロボットはワーク情報から得られる被検出ワークの位置、角度等を用いて取出作業を行うため、実物のワークの形状により近い被検出ワークのワーク情報がワーク情報記憶装置に残ることにより、ワークの位置認識および角度認識をより正確に行うことが可能となる。
また、このように正確な被検出ワークに干渉領域を設定するので、干渉領域の設定もより適切なものとなり、ワークの取出作業の正確性の向上や効率化を図る上で有利である。
前記態様において、前記干渉領域設定手段が、前記ワークの種類に応じて前記干渉領域を設定するように構成されていることが好ましい。このように構成することにより、ワークの種類に応じてより適切な範囲が干渉領域として設定されることになるので、ワークの取出作業の正確性の向上や効率化を図る上でより有利である。
前記態様において、前記撮像装置が、前記コンベヤが所定距離移動する度に前記ワークを撮像するように構成されていることが好ましい。このように構成することにより、新たな画像と前の画像との重複範囲の設定を容易かつ確実に行うことが可能となる。例えば、撮像装置においてワークの形状が比較的正確に映る範囲がわかっている場合、前記所定距離を設定することにより、ワークの形状が比較的正確に映る範囲に必ず全てのワークの全体が撮像される状態を実現することができる。
前記態様において、前記ワーク取出作業を行うために当該物品搬送装置を操作する操作者の入力を受付ける入力装置と、該入力装置の入力に基づき前記干渉領域設定手段が設定する前記干渉領域の形状および大きさのうち少なくとも一方を調整する干渉領域調整手段とを備えることが好ましい。
当該構成では、ワーク取出作業を行うために物品搬送装置を操作する操作者が経験等に基づいて干渉領域の調整を行うことができる。操作者は物品搬送装置を実際に操作する者であり、ロボットの癖や、ロボットにより取出すワークの癖も知っている場合が多い。このため、操作者が経験に基づいて干渉領域を設定できるよう構成することにより、より効率的なワークの取出作業を実現することが可能となる。
前記態様において、前記干渉領域調整手段が、表示装置に前記ワークの画像とモデル決定用枠とを表示させると共に、前記ワークの画像のうち、前記入力装置の入力に基づき位置および大きさが調整される前記モデル決定用枠内に配置された部分を当該ワークの干渉領域設定範囲として決定し、前記干渉領域設定手段が、前記各画像において前記各被検出ワークの前記干渉領域設定範囲に対し前記干渉領域を設定するように構成されていることが好ましい。
当該構成では、操作者が経験等に基づいて、ワークの全体ではなく一部を干渉領域設定範囲とすることもできる。ワークの種類によってはワークの全体ではなく一部を干渉領域設定範囲にした方が、ロボットによるワーク取出作業で不具合が発生し難くなる場合もあり、それを操作者が経験に基づいて任意に設定することができるので、作業効率を向上する上で有利である。
本発明によれば、ワークの近接状態判定を行いつつ、ワークの位置認識および角度認識をより正確に行うことができる。
本発明の第1の実施形態に係る物品搬送装置の概略平面図である。 第1の実施形態の物品搬送装置のブロック図である。 第1の実施形態の物品搬送装置の撮像装置により撮像された画像の例を示す図である。 第1の実施形態の物品搬送装置の撮像装置により撮像された画像の例を示す図である。 本発明の第2の実施形態の物品搬送装置のブロック図である。 第2の実施形態の物品搬送装置の調整画面の例を示す図である。 第2の実施形態の物品搬送装置のモデル画像設定画面の例を示す図である。 第2の実施形態の物品搬送装置のモデル画像設定画面の例を示す図である。 第2の実施形態の物品搬送装置の干渉領域調整画面の例を示す図である。
本発明の第1の実施形態に係る物品搬送装置を図面を参照しながら以下に説明する。
この物品搬送装置は、図1に示すように、コンベヤ100に対しワークWの取出作業を行うロボット10と、制御装置20と、コンベヤ100の上方に配置され、コンベヤ100上のワークWを連続的に撮像する撮像装置30とを備えている。コンベヤ100は、ベルトコンベヤ、エプロンコンベヤ、パンコンベヤ、振動コンベヤ、ローラコンベヤ等の公知の各種コンベヤを用いることができる。なお、撮像装置30はコンベヤ100が所定距離移動する度に撮像を行うように構成されている。
ロボット10は、複数のアーム部材および関節を備えると共に、複数の関節をそれぞれ駆動する複数のサーボモータ11を備えている。各サーボモータ11として、回転モータ、直動モータ等の各種のサーボモータを用いることが可能である。各サーボモータ11はその作動位置を検出するエンコーダ等の作動位置検出装置を内蔵しており、作動位置検出装置の検出値が制御装置20に送信される。
ロボット10の先端にはワークWを保持可能なワーク保持装置12が取付けられている。ワーク保持装置12は、ワークWを把持する爪を有するものでもよく、ワークWを吸着する電磁石や吸引装置を有するものでもよい。ワーク保持装置12は制御装置20により制御される。
制御装置20は、図2に示すように、例えば、CPU、RAM等を有する制御部21と、表示装置22と、入力装置23と、不揮発性ストレージ、ROM等を有する記憶装置24と、ロボット10のサーボモータ11にそれぞれ対応するように設けられた複数のサーボ制御器25と、制御装置20に接続されると共に操作者が持ち運び可能な教示操作盤26とを備えている。教示操作盤26は主にロボット10の教示に用いられるものであり、制御装置20と無線通信するように構成されていてもよい。
記憶装置24にはシステムプログラム24aが格納されており、システムプログラム24aが制御装置20の基本機能を担っている。また、記憶装置24には、教示操作盤26を用いて作成された動作プログラム24bが少なくとも1つずつ格納されている。
また、記憶装置24には、撮像された画像中でワーク検出を行うワーク検出プログラム(ワーク識別手段)24cと、被検出ワークWごとにその位置および角度に関するワーク情報を記憶装置(ワーク情報記憶装置)24に保存する保存プログラム24dと、新たな画像に前の画像と同一の被検出ワークWが存在するか否かを判定する同一ワーク判定プログラム(同一ワーク判定手段)24eと、同一であると判定された被検出ワークWについて、前記新たな画像における前記ワーク情報と前記前の画像における前記ワーク情報のうち1つだけが保存された状態にするワーク情報選定プログラム(ワーク情報選定手段)24fとが格納されている。
さらに、記憶装置24には、各画像において各被検出ワークWに干渉領域IAを設定する干渉領域設定プログラム(干渉領域設定手段)24gと、各被検出ワークWの干渉領域IAに他の被検出ワークWの輪郭が干渉しているか否かを判定する干渉判定プログラム(干渉判定手段)24hとが格納されている。
制御部21はシステムプログラム24aにより動作し、記憶装置24に格納されている動作プログラム24bを読み出してRAMに一時的に格納し、読み出した動作プログラム24bに沿って各サーボ制御器25に制御信号を送り、これによりロボット10の各サーボモータ11のサーボアンプを制御すると共に、ワーク保持装置12によるワークWの把持および非把持を制御する。
ワーク保持装置12によるワークWの把持を行うため、制御部21は以下の処理を行う。
先ず、制御部21はワーク検出プログラム24cにより動作し、撮像装置30から受信した画像データ(以下、単に画像とも称する。)に周知の画像処理、例えば二値化処理を行い、これにより画像中で各ワークWの輪郭等を際立たせる。そして、当該輪郭の形状と記憶装置24に予め格納されているモデル画像とを比較し、所定の基準を超えて一致している輪郭に対応をするものをワークWとして検出する。
続いて、制御部21は保存プログラム24dにより動作し、各被検出ワークWについて、その位置および角度の情報を含むワーク情報を記憶装置24に保存する。当該位置は、例えば、被検出ワークWの輪郭の図心や特徴点の、ロボット10の基準位置やコンベヤ100の基準位置に対する位置とすることができる。当該角度は、例えば、被検出ワークWの輪郭の中心線がコンベヤ100の進行方向となす角度とすることができる。
前記のワーク検出およびワーク情報の格納は、制御部21が撮像装置30から画像を受信する度に行われる。
続いて、制御部21は同一ワーク判定プログラム24eにより動作し、新たな画像に前の画像と同一の被検出ワークWが存在するか否かを判定する。例えば、撮像装置30は図1における範囲A1を撮像した後に、図1における範囲A2を撮像することになる。範囲A1の画像は図3のようになり、範囲A2の画像は図4のようになる。なお、図1において範囲A1と範囲A2をコンベヤ100の幅方向にずらして記載しているが、実際は範囲A1と範囲A2はコンベヤ100の幅方向にずれていない。
つまり、制御部21が範囲A2の画像を受信した時、図4の画像が新たな画像となり、図3の画像が前の画像となる。前の画像は1つだけではなく複数あってもよい。
制御部21はワーク検出プログラム24cや保存プログラム24dにより各被検出ワークWについて、位置および角度の情報を含むワーク情報を得ているので、ワーク情報同士を比較することにより新たな画像に前の画像と同一の被検出ワークWが存在するか否かを判定する。例えば、新たな画像内の被検出ワークWのワーク情報との差が所定の基準値内であるワーク情報が前の画像に存在する場合、当該被検出ワークWは前の画像にも存在すると判定する。
同一の被検出ワークWが新たな画像および前の画像に存在すると判定されると、制御部21はワーク情報選定プログラム24fにより動作し、予め記憶装置24に記憶されているモデル画像又は当該モデル画像から得られる情報と、新たな画像のワーク情報および前の画像のワーク情報とを比較し、モデル画像に対する類似度が最も高いワーク情報をその被検出ワークWのワーク情報として記憶装置24に保存する。
例えば、ワーク情報にワーク検出プログラム24cにより検出された被検出ワークWの輪郭の形状が含まれている場合、輪郭の形状をモデル画像と比較し、最も一致度が高い(近い)ワーク情報がその被検出ワークWのワーク情報として記憶装置24に保存される。また、被検出ワークWの輪郭の中心線の長さや輪郭の各辺の長さがワーク情報に含まれている場合、それらをモデルとなる中心線の長さや各辺の長さと比較し、最も一致度が高い(近い)ワーク情報がその被検出ワークWのワーク情報として記憶装置24に保存される。何れの場合も、新たな画像におけるワーク情報と前の画像におけるワーク情報のうち、所定の基準情報に近い1つだけが記憶装置24に記憶される。
続いて、制御部21は干渉領域設定プログラム24gにより動作し、例えば図3や図4に示すように、各画像において各被検出ワークWに干渉領域IAを設定する。干渉領域IAの形状はワークWの種類に対応して予め記憶装置24に格納されており、適用される干渉領域IAの形状は、例えば各被検出ワークWの輪郭の形状に基づき自動的に選択される。格納されている干渉領域IAの形状を、各被検出ワークWのワーク情報に含まれている角度の情報に基づき回転させ、各被検出ワークWのワーク情報に含まれている位置の情報に基づき配置することにより、各画像において各被検出ワークWに干渉領域IAが設定される。
続いて、制御部21は干渉判定プログラム24hにより動作し、各被検出ワークWの干渉領域IAに他の被検出ワークWの輪郭が干渉しているか否かを判定する。図3の場合、右上の2つの五角形の被検出ワークWは干渉していると判定され、左上の五角形の被検出ワークWと長円形の被検出ワークWは干渉していると判定される。
続いて、制御部21は、各被検出ワークWのワーク情報、コンベヤ100の搬送速度等を用いながら、ロボット10の各サーボモータ11のサーボアンプを制御すると共に、ワーク保持装置12によるワークWの把持および非把持を制御し、コンベヤ100上のワークWを一つずつ取出す。この時、干渉していると判定された被検出ワークWに対しワーク取出作業を行わないように、制御部21は各サーボモータ11およびワーク保持装置12を制御する。
このように、本実施形態によれば、新たな画像および少なくとも1つの前の画像に存在している被検出ワークWについて、新たな画像におけるワーク情報と前の画像におけるワーク情報とが比較され、当該ワークWのモデル画像とより類似しているワーク情報が記憶装置24に保存される。ワークW自体の形状にばらつきが少ない場合、モデル画像とより類似している方が被検出ワークWの形状が実物の形状に近いと言える。このため、実物の形状により近い被検出ワークWのワーク情報が記憶装置24に保存されることになる。
ロボット10はワーク情報から得られる被検出ワークWの位置、角度等を用いて取出作業を行うため、実物の形状により近い被検出ワークWのワーク情報が記憶装置24に残ることにより、ワークWの位置認識および角度認識をより正確に行うことが可能となる。
また、このようにより正確な被検出ワークWに干渉領域IAを設定するので、干渉領域IAの設定もより適切なものとなり、ワークWの取出作業の正確性の向上や効率化を図る上で有利である。
また、本実施形態では、ワークWの種類に応じて干渉領域IAが設定されるので、ワークWの種類に応じてより適切な範囲が干渉領域IAとして設定されることになり、これはワークWの取出作業の正確性の向上や効率化を図る上でより有利である。
また、本実施形態では、撮像装置30はコンベヤ100が所定距離移動する度にワークWを撮像する。このように構成することにより、新たな画像と前の画像との重複範囲の設定を容易かつ確実に行うことが可能となる。例えば、撮像装置30においてワークWの平面形状が正確に映る範囲がわかっている場合、前記所定距離を設定することにより、ワークの平面形状が正確に映る範囲に必ず全てのワークWの全体が撮像される状態を実現することができる。
なお、撮像装置30は所定時間おきに撮像を行ってもよく、その他の決められたタイミングで撮像を行ってもよく、何れの場合も連続的な撮像である。
また、被検出ワークWの位置および角度ではなく、被検出ワークWの輪郭の形状データや画像データをワーク情報として記憶装置24に保存してもよい。この場合、輪郭の形状データや画像データは、被検出ワークWの位置や角度を特定又は導出できるものであるから、当該ワーク情報も被検出ワークWの角度および位置に関する情報である。
本発明の第2の実施形態に係る物品搬送装置を図面を参照しながら以下に説明する。
第2の実施形態は第1の実施形態の構成に加え、干渉領域IAを任意に設定する構成を有するものである。第1の実施形態と同様の構成には同一の符号を付し、その説明を割愛する。
第2の実施形態では、図5に示すように、記憶装置24に干渉領域調整プログラム(干渉領域調整手段)24iが格納されている。
制御部21は干渉領域調整プログラム24iにより作動し、図6に示されるような調整画面40を表示装置22に表示させる。調整画面40には、モデル画像設定ボタン40aと、干渉領域調整ボタン40bとが表示されている。
モデル画像設定ボタン40aを押すと図7に示すモデル画像設定画面41に遷移し、画面上にワークWの画像が表示される。なお、当該画像にCADデータ等の設計データを用いることも可能であるが、撮像装置30で撮像した画像を画像処理することによって抽出されたワークWの輪郭画像であってもよい。
また、モデル画像設定画面41上にはモデル決定用枠41aが表示され、メニューバーの中には、モデル決定用枠41aの形状、大きさ、位置等を変更するためのボタン41b、確定ボタン41c等が表示される。操作者は入力装置23を用いてボタン41b,41cを操作しモデル決定用枠41aの形状、大きさ、位置等を確定する。
例えば、図8に示される形状、大きさ、および位置でモデル決定用枠41aが確定されると、図8のモデル決定用枠41a内に実線で示される形状がモデル画像となる。決定されたモデル画像は第1の実施形態で説明したモデル画像として記憶装置24に格納され、また、第1の実施形態で説明した干渉領域IAの設定範囲として記憶装置24に格納される。
続いて、設定画面40に戻り、干渉領域調整ボタン40bを押すと、図9に示す干渉領域調整画面42に遷移し、画面上に設定したモデル画像Mと、干渉領域枠42aが表示される。また、メニューバーの中には、干渉領域枠42aの形状を変更するためのボタン42b、干渉領域枠42aの大きさや位置を変更するためのボタン42c、モデル画像Mおよび干渉領域枠42aを回転させるためのボタン42d、確定ボタン42e等が表示される。操作者は入力装置23を用いてボタン42b〜42eを操作し、干渉領域枠42aの形状、位置、大きさ等を確定する。
操作者は経験等に基づき、ワークWの種類に応じて干渉領域枠42aの形状、位置、および大きさを設定することができる。例えば、略四角形のワークWは通常は略四角形の干渉領域枠42aが適しているように見えるが、ワークWの種類、搬送速度等によっては長円形状の干渉領域枠42aが適している場合もあり、操作者はワークWの種類、ワークWの量等に応じて干渉領域枠42aの形状を選択することができる。
また、ワークWの種類、搬送速度等によって、モデルMの長手方向の端部と干渉領域枠42aとの間隔を小さくした方が取出し効率が上がる場合等は、操作者はそのように干渉領域枠42aを設定することができる。さらに、モデルMの配置角度に応じてそれぞれ干渉領域枠42aを設定したい場合は、ボタン42dによりモデルMを回転させながら、それぞれの配置角度で干渉領域枠42a確定する。
このように確定された干渉領域枠42aは、第1の実施形態で説明した干渉領域IAとして記憶装置24に格納され、第1の実施形態で説明したように、各被検出ワークWのワーク情報の位置および角度に基づき、各被検出ワークWに干渉領域IAが設定される。
なお、被検出ワークWのコンベヤ100の搬送方向に干渉領域IAを自動的に広くし、又は、搬送方向と直行する方向に干渉領域IAを自動的に狭くする設定ボタンを、干渉領域設定画面42に設けてもよい。
第2の実施形態によれば、第1の実施形態の作用効果に加え、ワーク取出作業を行うために物品搬送装置を操作する操作者が経験等に基づいて干渉領域IAの調整を行うことができる。操作者は物品搬送装置を実際に操作する者であり、ロボット10の癖や、ロボット10により取出すワークWの癖も知っている場合が多い。このため、操作者が経験に基づいて干渉領域IAを設定できるよう構成することにより、より効率的なワークWの取出作業を実現することが可能となる。
10 ロボット
11 サーボモータ
12 ワーク保持装置
20 制御装置
21 制御部
22 表示装置
23 入力装置
24 記憶装置(ワーク情報記憶装置)
24a システムプログラム
24b 動作プログラム
24c ワーク検出プログラム(ワーク識別手段)
24d 保存プログラム
24e 同一ワーク判定プログラム(同一ワーク判定手段)
24f ワーク情報選定プログラム(ワーク情報選定手段)
24g 干渉領域設定プログラム(干渉領域設定手段)
24h 干渉判定プログラム(干渉判定手段)
24i 干渉領域調整プログラム(干渉領域調整手段)
25 サーボ制御器
26 教示制御盤
30 撮像装置
40 調整画面
41 モデル画像設定画面
41a モデル決定用枠
42 干渉領域調整画面
42a 干渉領域枠
100 コンベヤ
W ワーク
IA 干渉領域
M モデル画像

Claims (5)

  1. 複数のワークが搬送されるコンベヤに対しワーク取出作業を行う少なくとも1台のロボットと、
    前記コンベヤ上の前記ワークを連続的に撮像する撮像装置と、
    該撮像装置により撮像された画像中でワーク検出を行うワーク識別手段と、
    該ワーク識別手段が前記ワーク検出を行った時に、被検出ワークごとにその位置および角度に関するワーク情報を記憶するワーク情報記憶装置と、
    前記ワーク検出が行われた新たな画像における前記各被検出ワークの前記ワーク情報と、前記ワーク検出が行われた少なくとも1つの前の画像における前記各被検出ワークの前記ワーク情報とを比較することにより、前記新たな画像に前記前の画像と同一の前記被検出ワークが存在するか否かを判定する同一ワーク判定手段と、
    該同一ワーク判定手段で同一であると判定された少なくとも1つの前記被検出ワークについて、前記新たな画像における前記ワーク情報と前記前の画像における前記ワーク情報のうち、所定の基準情報に近い1つだけ前記ワーク情報記憶装置に保存されるようにするワーク情報選定手段と、
    前記各画像において前記各被検出ワークに干渉領域を設定する干渉領域設定手段と、
    前記各被検出ワークの前記干渉領域に他の前記被検出ワークの輪郭が干渉しているか否かを判定する干渉判定手段とを備え、
    該干渉判定手段により干渉していると判定された前記被検出ワークに対し前記ロボットが前記ワーク取出作業を行わないように構成されている物品搬送装置。
  2. 前記干渉領域設定手段が、前記ワークの種類に応じて前記干渉領域を設定するように構成されている請求項1に記載の物品搬送装置。
  3. 前記撮像装置が、前記コンベヤが所定距離移動する度に前記ワークを撮像するように構成されている請求項1又は2に記載の物品搬送装置。
  4. 前記ワーク取出作業を行うために当該物品搬送装置を操作する操作者の入力を受付ける入力装置と、
    該入力装置の入力に基づき前記干渉領域設定手段が設定する前記干渉領域の形状および大きさのうち少なくとも一方を調整する干渉領域調整手段とを備える請求項1〜3の何れかに記載の物品搬送装置。
  5. 前記干渉領域調整手段が、表示装置に前記ワークの画像とモデル決定用枠とを表示させると共に、前記ワークの画像のうち、前記入力装置の入力に基づき位置および大きさが調整される前記モデル決定用枠内に配置された部分を当該ワークの干渉領域設定範囲として決定し、
    前記干渉領域設定手段が、前記各画像において前記各被検出ワークの前記干渉領域設定範囲に対し前記干渉領域を設定するように構成されている請求項4に記載の物品搬送装置。
JP2017150629A 2017-08-03 2017-08-03 物品搬送装置 Active JP6549655B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017150629A JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置
US16/015,444 US10596707B2 (en) 2017-08-03 2018-06-22 Article transfer device
DE102018212531.7A DE102018212531B4 (de) 2017-08-03 2018-07-27 Artikeltransfervorrichtung
CN201810862464.1A CN109384039B (zh) 2017-08-03 2018-08-01 物品搬运装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017150629A JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置

Publications (2)

Publication Number Publication Date
JP2019025634A JP2019025634A (ja) 2019-02-21
JP6549655B2 true JP6549655B2 (ja) 2019-07-24

Family

ID=65231310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017150629A Active JP6549655B2 (ja) 2017-08-03 2017-08-03 物品搬送装置

Country Status (4)

Country Link
US (1) US10596707B2 (ja)
JP (1) JP6549655B2 (ja)
CN (1) CN109384039B (ja)
DE (1) DE102018212531B4 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6564426B2 (ja) * 2017-07-07 2019-08-21 ファナック株式会社 部品供給装置及び機械学習装置
JP7056613B2 (ja) * 2019-03-08 2022-04-19 オムロン株式会社 カウンタユニット、カウンタユニットの制御方法、制御装置、および制御システム
JP2020199625A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 シミュレーション装置
JP7261306B2 (ja) * 2019-08-26 2023-04-19 川崎重工業株式会社 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法
JP2022110868A (ja) * 2021-01-19 2022-07-29 株式会社イシダ 物品集積装置
US11900652B2 (en) 2021-03-05 2024-02-13 Mujin, Inc. Method and computing system for generating a safety volume list for object detection
CN114535114B (zh) * 2022-01-19 2023-11-21 湖南视比特机器人有限公司 输送线上工件随动分拣系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040056A (en) 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JP3368244B2 (ja) 1999-12-28 2003-01-20 川崎重工業株式会社 ワークの配置位置決定方法
JP2002274641A (ja) 2001-03-16 2002-09-25 Mitsubishi Electric Engineering Co Ltd 小物ワークの受渡し制御装置
JP2007033328A (ja) * 2005-07-28 2007-02-08 Nachi Fujikoshi Corp 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
JP5198155B2 (ja) 2008-06-05 2013-05-15 東芝機械株式会社 ハンドリング装置、ワークハンドリング方法および信号処理装置
WO2009148089A1 (ja) 2008-06-05 2009-12-10 東芝機械株式会社 ハンドリング装置、制御装置、制御方法およびプログラム
JP5025598B2 (ja) 2008-08-29 2012-09-12 三菱電機株式会社 干渉チェック制御装置および干渉チェック制御方法
JP2010122777A (ja) 2008-11-18 2010-06-03 Seiko Epson Corp ワーク識別方法およびワーク識別装置
JP5245938B2 (ja) * 2009-03-12 2013-07-24 オムロン株式会社 3次元認識結果の表示方法および3次元視覚センサ
JP2010264559A (ja) * 2009-05-15 2010-11-25 Seiko Epson Corp ロボットの制御方法
JP5500926B2 (ja) 2009-09-29 2014-05-21 キヤノン株式会社 物体把持制御方法及び装置
JP5659640B2 (ja) 2010-09-07 2015-01-28 富士電機株式会社 ロボット制御装置、物品取り出しシステム、プログラムおよびロボットの制御方法
JP2012187651A (ja) 2011-03-09 2012-10-04 Omron Corp 画像処理装置および画像処理システム、ならびにそれらに向けられたガイダンス装置
CN103492862A (zh) * 2011-07-13 2014-01-01 松下电器产业株式会社 药片检查装置以及药片检查方法
JP2014161965A (ja) 2013-02-26 2014-09-08 Toyota Industries Corp 物品取り出し装置
JP5673717B2 (ja) 2013-03-19 2015-02-18 株式会社安川電機 ロボットシステム及び被加工物の製造方法
JP5911933B2 (ja) 2014-09-16 2016-04-27 ファナック株式会社 ロボットの動作監視領域を設定するロボットシステム
JP6387760B2 (ja) 2014-09-18 2018-09-12 株式会社安川電機 ロボットシステム、ロボット装置およびワークピッキング方法
JP6154406B2 (ja) 2015-01-14 2017-06-28 株式会社ダイシン 搬送物検査システム及び搬送装置
JP6494313B2 (ja) 2015-02-09 2019-04-03 キヤノン株式会社 画像処理方法、装置システム、プログラム、記憶媒体
JP6489894B2 (ja) * 2015-03-27 2019-03-27 ファナック株式会社 対象物の取出経路を補正する機能を有するロボットシステム
JP2018034242A (ja) 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム

Also Published As

Publication number Publication date
DE102018212531A1 (de) 2019-02-21
US10596707B2 (en) 2020-03-24
CN109384039B (zh) 2020-03-17
US20190039247A1 (en) 2019-02-07
DE102018212531B4 (de) 2020-09-10
JP2019025634A (ja) 2019-02-21
CN109384039A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
JP6549655B2 (ja) 物品搬送装置
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
JP5887383B2 (ja) 物品をコンベヤに整列させる物品整列装置
US10232512B2 (en) Coordinate system setting method, coordinate system setting apparatus, and robot system provided with coordinate system setting apparatus
Nerakae et al. Using machine vision for flexible automatic assembly system
CN108372503B (zh) 使用至少一个传感器的物品运送装置
US10521871B2 (en) Robot system
CN110576449B (zh) 机器人系统以及机器人系统的控制方法
JP2016107349A (ja) ロボットを用いて物品を移送する物品移送装置及び物品移送方法
US10780600B2 (en) Method for cutting gate formed on molded article
JP2016147330A (ja) 物体認識に基づく制御装置
US20190031452A1 (en) Article transport system and transport system controller
JP2009291895A (ja) ハンドリング装置、制御装置及び制御方法
JP6450788B2 (ja) ワーク取出システム
JP6697510B2 (ja) ロボットシステム
JP5198161B2 (ja) ハンドリング装置およびワークハンドリング方法
US11679944B2 (en) Article picking system
JP7436170B2 (ja) ロボットシステム
JP7232652B2 (ja) ワーク移載システム
JP7261597B2 (ja) 移載対象ワーク記憶システム
JP7328017B2 (ja) ロボットシステム及び制御装置
US11141864B2 (en) Detection system
JP6725355B2 (ja) ワーク処理システム

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190121

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190627

R150 Certificate of patent or registration of utility model

Ref document number: 6549655

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150