JP6506356B2 - 物品搬送システム及び搬送システム制御装置 - Google Patents

物品搬送システム及び搬送システム制御装置 Download PDF

Info

Publication number
JP6506356B2
JP6506356B2 JP2017144592A JP2017144592A JP6506356B2 JP 6506356 B2 JP6506356 B2 JP 6506356B2 JP 2017144592 A JP2017144592 A JP 2017144592A JP 2017144592 A JP2017144592 A JP 2017144592A JP 6506356 B2 JP6506356 B2 JP 6506356B2
Authority
JP
Japan
Prior art keywords
conveyor
article
imaging
imaging device
arrival
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017144592A
Other languages
English (en)
Other versions
JP2019025557A (ja
Inventor
健太郎 古賀
健太郎 古賀
雅文 大場
雅文 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2017144592A priority Critical patent/JP6506356B2/ja
Priority to DE102018117441.1A priority patent/DE102018117441B4/de
Priority to US16/039,330 priority patent/US10507990B2/en
Priority to CN201810811877.7A priority patent/CN109305532B/zh
Publication of JP2019025557A publication Critical patent/JP2019025557A/ja
Application granted granted Critical
Publication of JP6506356B2 publication Critical patent/JP6506356B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G43/00Control devices, e.g. for safety, warning or fault-correcting
    • B65G43/08Control devices operated by article or material being fed, conveyed or discharged
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G47/00Article or material-handling devices associated with conveyors; Methods employing such devices
    • B65G47/74Feeding, transfer, or discharging devices of particular kinds or types
    • B65G47/90Devices for picking-up and depositing articles or materials
    • B65G47/905Control arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0225Orientation of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/0233Position of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/02Control or detection
    • B65G2203/0208Control or detection relating to the transported articles
    • B65G2203/025Speed of the article
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B65CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65GTRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2203/00Indexing code relating to control or detection of the articles or the load carriers during conveying
    • B65G2203/04Detection means
    • B65G2203/041Camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41815Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell
    • G05B19/4182Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by the cooperation between machine tools, manipulators and conveyor or other workpiece supply system, workcell manipulators and conveyor only
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明は、物品搬送システム及び搬送システム制御装置に関する。
コンベヤによって搬送されるワークをカメラで撮像し、得られた画像の画像処理によってワークの位置を検出して、検出されたワークの位置に基づいてロボットによるピッキング動作を行う物品搬送システムが周知である(例えば特許文献1、2参照)。
特開2007−033328号公報 特開平08−063214号公報
カメラの検出精度を向上させるために、カメラの視野を狭くすることがあるが、ワークが密集して搬送されてきた場合は、全てのワークを正しく認識できないことがある。またカメラより上流側に到来センサを設けて、ワークがカメラの視野内に入るタイミングを求めることもできるが、ワークの形状によってはワークの先端が検知されたり後端が検知されたりすることがあり、正確なタイミングを知ることが難しい。
本開示の一態様は、複数の物品を運搬するコンベヤと、前記コンベヤの運搬動作情報を取得するコンベヤセンサと、各物品の到来を検知する到来センサと、前記コンベヤ上を運搬される前記物品を撮像する撮像装置と、前記撮像装置が撮像した画像から前記物品を検出して、該物品の位置を特定する検出処理を行う位置検出処理部と、前記コンベヤの速度及び前記検出処理に要する時間に基づいて定められる第一移動距離、並びに、前記コンベヤの速度、前記撮像装置の撮像処理、及び前記検出処理に要する時間に基づいて定められる第二移動距離を指定する移動距離指定部と、前記物品の到来を検知後、前記コンベヤが前記第一移動距離進んだときに前記撮像装置が前記物品を撮像し、以後、前記コンベヤが前記第二移動距離進むごとに前記撮像装置が前記物品を撮像するように前記撮像装置を制御する撮像制御部と、前記撮像装置が行う撮像処理の上限回数を指定する回数指定部と、を有し、前記位置検出処理部は、前記撮像装置が前記上限回数を上限とした回数だけ撮像処理を終えた後で、前記撮像装置により得られた画像についての検出処理を逐次的に行い、前記検出処理が成功した時点で検出処理を打ち切る、物品搬送システムである。
本開示の他の態様は、複数の物品を運搬するコンベヤと、前記コンベヤの運搬動作情報を取得するコンベヤセンサと、各物品の到来を検知する到来センサと、前記コンベヤ上を運搬される前記物品を撮像する撮像装置と、を備える物品搬送システムに使用される搬送システム制御装置であって、前記撮像装置が撮像した画像から前記物品を検出して、該物品の位置を特定する検出処理を行う位置検出処理部と、前記コンベヤの速度及び前記検出処理に要する時間に基づいて定められる第一移動距離、並びに、前記コンベヤの速度、前記撮像装置の撮像処理、及び前記検出処理に要する時間に基づいて定められる第二移動距離を指定する移動距離指定部と、前記物品の到来を検知後、前記コンベヤが前記第一移動距離進んだときに前記撮像装置が前記物品を撮像し、以後、前記コンベヤが前記第二移動距離進むごとに前記撮像装置が前記物品を撮像するように前記撮像装置を制御する撮像制御部と、前記撮像装置が行う撮像処理の上限回数を指定する回数指定部と、を有し、前記位置検出処理部は、前記撮像装置が前記上限回数を上限とした回数だけ撮像処理を終えた後で、前記撮像装置により得られた画像についての検出処理を逐次的に行い、前記検出処理が成功した時点で検出処理を打ち切る、搬送システム制御装置である。
本開示によれば、到来センサが各ワークの到来を検知するタイミングが安定しなくとも、ワークの認識もれを防ぎつつ各ワークのコンベヤ上での位置を精度よく検出することができる。
物品搬送システムの基本構成例を示す図である。 物品搬送システムの第一の実施例を示す図である。 第一の実施例における処理の流れを例示するフローチャートである。 第一の実施例において、カメラとロボットの位置関係を示す図である。 第三の実施例における処理の流れを例示するフローチャートである。 第三の実施例におけるワークの位置関係の一例を示す図である。
図1は、本開示に係る物品搬送システム10の基本構成例を示す図である。物品搬送システム10は、複数の物品(ワーク)12を逐次的に運搬するコンベヤ14と、コンベヤ14の移動量や搬送速度等の運搬動作情報を取得するコンベヤセンサ16と、ワーク12がコンベヤ14上の所定位置に到達(到来)したことを検知する到来センサ18と、到来センサ18よりコンベヤ14の搬送方向について下流側に配置され、コンベヤ14上を運搬されるワーク12を撮像するカメラ等の撮像装置20と、カメラ20が撮像した画像からワーク12を検出して、ワーク12のコンベヤ14上における位置を特定する検出処理を行う位置検出処理部(画像処理部)22と、コンベヤ14の速度及び該検出処理に要する時間に基づいて定められる第一移動距離D、並びに、コンベヤ14の速度、カメラ20の撮像処理、及び該検出処理に要する時間に基づいて定められる第二移動距離dを計算して指定する移動距離指定部24と、ワーク12の到来を検知後、コンベヤ14が第一移動距離D進んだときにカメラ20がワーク12を先ず撮像し、以後、第二移動距離d進むごとにカメラ20がワーク12の撮像を行うようにカメラ20を制御する撮像制御部26と、位置検出処理部22が行う検出処理の上限回数Nを計算して指定する回数指定部28とを有する。
物品搬送システム10では、到来センサ18によってワーク12の到来が検知され、さらにコンベヤ14が第一移動距離D進んだときに先ずカメラ20がワーク12の撮像を行い、この最初の撮像後、コンベヤ14が第二移動距離d進むごとにカメラ20がワーク12の撮像を行うという操作を、Nを上限とする回数だけ繰り返し、その後に位置検出処理部22が、カメラ20により得られたワークの(最大N枚の)画像について逐次的に検出処理を行う。ここで、ある画像において検出処理が成功したら、得られた全ての画像について検出処理(画像処理)を行わずに、その時点で検出処理を打ち切る。以下、その具体例を実施例を用いて説明する。
(実施例1)
図2は、第一の実施例(実施例1)に係る本開示に係る物品搬送システム10aを示す図である。物品搬送システム10aは、上述のコンベヤ14と、コンベヤセンサ16と、到来センサ18と、カメラ20と、カメラ20の制御や画像処理等を行う搬送システム制御装置30と、を有し、搬送システム制御装置30は、上述の位置検出処理部22、移動距離指定部24、撮像制御部26及び回数指定部28(の機能)を有する。なお搬送システム制御装置30の各部の機能はCPU等の演算処理装置やメモリによって実現可能であるが、それらの機能の一部を、システム10aに接続されたパーソナルコンピュータ又は後述するロボット制御装置34等の、搬送システム制御装置30以外の装置に設けてもよい。
物品搬送システム10aは、(通常は一定速度で連続的に移動する)コンベヤ14上を運搬されるワーク12に対して、取り出し等の所定の作業を行うように構成された作業機械32を具備する。作業機械32は例えば、ハンドを備えた垂直多関節ロボット等のロボットであり、ロボット32の動作はロボット32に接続されたロボット制御装置34によって制御可能である。これによりロボット32は、画像処理結果(より具体的には、位置検出処理部22が特定した、コンベヤ14上におけるワーク12の位置)に基づいて、ワーク12の把持・吸着等の取出し動作を行うことができ、取出したワークを所定の搬送先に搬送することもできる。
到来センサ18としては、コンベヤ14の側方に配置された非接触式センサが好ましく、その好適な具体例としては、光電管センサ、ファイバセンサ若しくはレーザセンサ等の光で検出する方式のセンサ、近接センサ若しくは渦電流式変位センサ等の渦電流で検出する方式のセンサ、又は超音波センサ等の超音波で検出する方式のセンサが挙げられる。なお到来センサ18には高精度の検出機能は必要なく、例えば、コンベヤ14の特定位置に、コンベヤ14の搬送方向についてのワークの先端が到達した瞬間に到来センサ18が反応しなくともよい。従って後述するが、本実施例では、コンベヤ14上のある位置にワークの先端が到達したときに到来センサ18が反応(ワークの到来を検知)することもあれば、該位置にワークの後端が到達したときに到来センサ18が反応することもある。
コンベヤセンサ16は、コンベヤ14の搬送速度等の運搬動作情報を取得するように構成されており、例えば、コンベヤ14を駆動するモータに取り付けられたエンコーダが使用可能である。コンベヤセンサ16の他の好適な具体例としては、特開2016−107349号公報に開示されるカメラ(例えば同公報の図2の第2カメラ16B)が挙げられる。
次に、図3のフローチャートを参照しつつ、物品搬送システム10aにおける各処理の具体例を説明する。ここでは、複数(K個)のワーク12がコンベヤ14上を連続的に上流側(図2では左側)から下流側(図2では右側)に流れる場合を考えるが、カメラ20によるワーク12の撮像処理(撮像制御部26によるカメラ20の制御)と、位置検出処理部22による画像処理(位置検出処理)とは、同時には行えないものとする。なおワーク12の種類や形状に特段の制約はない。例えば複数のワークは互いに同じ種類・寸法であってもよく、各ワークは、図2に示すレトルトパウチや輸液バッグのような柔軟性のあるもの(表面が波打つようなもの)でもよいし、或いは機械加工部品のように形状が一定のものでもよいし、また或いは農作物のように形状に個体差(ばらつき)があるものでもよい。
本実施例では、以下のパラメータを設定して使用する。
T1: カメラによるワークの1回の撮像処理に要する時間(取得した画像を適当なメモリに格納するまでの時間も含む)の最大値
T2: 1つの画像における画像処理(ワークの位置検出処理)に要する時間の最大値
V: コンベヤ速度
先ず、到来センサ18がある(第一の)ワーク12の到来を検知してから、コンベヤ14(ワーク12)が第一移動距離D進んだ時点で、カメラ20がワーク12を撮像する(ステップS1、S2)。これ以後、ワーク12の撮像処理は、コンベヤ14が第二移動距離d進むごとに、所定の上限回数であるN回繰り返される(ステップS3、S4)。
ここで第一移動距離Dは、コンベヤ搬送方向についての到来センサ18とカメラ20(の視野36)との間の距離に概ね相当し、コンベヤ速度V及び検出処理に要する時間T2に基づいて定められるが、より具体的には、到来センサ18がワーク12を検知してからカメラ20の視野36内にワーク12が到達するまでの間に、該ワークより前に既に撮像されたワークの1つの撮像画像についての検出処理が完了するのに十分な時間を確保しつつ、かつできるだけ短い距離とする。従ってDの最小値は(V×T2)となる。換言すれば、このような第一移動距離Dを到来センサ18とカメラ20との間に確保すれば、到来センサ18によってワークが最も遅いタイミング(図2の位置P2に相当)で検知されてから、カメラ20の視野36内にワーク12全体が収まるまでにコンベヤ14が移動する距離が、Dに相当する。
第二移動距離dについては、コンベヤ速度V、撮像処理時間T1及び検出処理時間T2に基づいて定められるが、例えば以下の式(1)及び(2)を満たすように設定される。その理由は、式(1)を満たさなければコンベヤ14がdだけ移動するごとにワークの撮像を行えないことになり、また式(2)を満たさない場合は、取得した画像の画像処理を次回の撮像までに終えることが可能となってしまうので、先ず撮像だけをN回行い、その後に画像処理を行うという本実施例の作用効果が希薄になるからである。
d ≧ V×T1 (1)
d < V×(T1+T2) (2)
次に、撮像の上限回数Nの求め方の一例について説明する。本実施例では簡単のため、ワーク12を上から(カメラ20の撮像方向に)みたときのワーク12の最小外接円の直径をAとし、カメラ20の検出精度をできるだけ高くするために、カメラ20の視野36の、コンベヤ14の搬送方向についての長さRをAとほぼ同じかいくらか大きい値(例えばA≦R≦(A×1.2〜1.5))に設定する。
図2に示すように、ワーク12の形状や到来センサ18の仕様(精度等)によっては、到来センサ18の検知のタイミングにずれが生じ、例えば図2のP1部に示すようにワーク12の(コンベヤ搬送方向についての)先端が所定位置(到来センサ18の設置位置)に到達したときに到来センサ18が反応する場合もあれば、P2部に示すようにワーク12の後端が該所定位置に到達したときに到来センサ18が反応する場合もある。
そこでP1及びP2のいずれの場合にも対応できるように、上限回数Nは以下の式(3)から求めることができる。
N = A/(V×T1)+1 (3)
例えば、ワークが幅130mm及び長さ180mmの矩形形状(故に外接円直径は222mm)を有するレトルトパウチであり、コンベヤ速度Vを400mm/秒、撮像処理時間T1を40ミリ秒とすると、上記式(3)からNは14回となる。このように、ワークの寸法(A)、コンベヤ速度(V)及び撮像処理に要する時間(T1)に基づいてNを定めることにより、図2からもわかるように、ワーク12が位置P2で検知されたときは1回目の撮像処理(検知から距離D移動後)によってワーク12(の全体)がカメラ20の視野36内に収まった画像が得られ、ワーク12が位置P1で検知されたときはN回目の撮像処理(検知から距離(D+(N−1)×d)移動後)によってワーク12(の全体)がカメラ20の視野36内に収まった画像が得られる。
再び図3を参照し、あるワーク(第一のワーク)の撮像処理が完了したら、第一のワークに続く第二のワークが既に到来センサ18によって検知され、かつ該検知からコンベヤ14(ワーク12)が、第一移動距離Dから、1つの画像処理に要する時間にコンベヤ速度を乗じた距離を引いた距離(D−V×T2)以上進んでいるかを判定する(ステップS5)。満たしている場合は、検出処理を行っていると第二のワークの撮像ができなくなる虞があるので、第一のワークについての画像処理を行わずに第二のワークの撮像処理を行う(ステップS2〜S4)。満たしていない場合は、第一のワークの画像処理(位置検出処理)を行う(ステップS6、S7)。
ステップS7では、カメラ20が撮像した複数の画像が逐次的に(例えば古い順に)画像処理される。ここで、n番目(n<N)の画像の検出が成功したら、N個の画像全てについて検出処理(画像処理)を行わずに検出処理を打ち切り、残りの(未処理の)画像は破棄する(ステップS8、S9)。ここで「検出(処理)の成功」とは、ある画像についての画像処理によって、撮像されたワークのコンベヤ14上の位置(及び姿勢)が正しく特定されたことを意味する。より詳細には、例えば位置検出処理部22において、検出処理方法としてテンプレートマッチングを利用した場合、該テンプレートマッチングの検出精度を表すパラメータ(例えばパターンの類似度)の閾値(例えば70%)を予め定めておくことができる。そしてある画像でのパラメータが該閾値以上となったら、検出成功と判断して検出処理を打ち切ることができる。なお同様の処理が行える検出処理の他の例としては、ブロブ解析が挙げられる。
ワーク(の位置)の検出に成功したら、ロボット制御装置34がワークの位置に関する情報等を搬送システム制御装置30から受信し、該情報に基づいて、該ワークに対する作業(ピックアップ、搬送等)を行うようにロボット32を制御する。一方、図3に示す処理は、撮像・検出すべきワークがコンベヤ14上に存在している間は続行されるが、外部から終了する旨の指令等を受信したら終了する。
ここで、コンベヤ搬送方向についてのカメラ20とロボット32との間の距離Lについて、図4を参照しつつ説明する。本実施例において考えられ得る最も不利な場合とは、ステップS5において処理が常にステップS2に進む場合、すなわちK個のワークの撮像処理が全て終わるまで検出処理が1回も行えない場合であり、より具体的には、各ワークについてN回の撮像処理がちょうど終わるタイミングで次のワークが到来センサ18によって検知される場合である。
ここで、K個のワークのうちの最初のワークがn回目の撮像においてカメラ20の視野36内に収まるとすると、最初のワークがロボット32の作業領域中央(P3)に移動するまでに該ワークに対する検出処理を終えるためには、カメラ20とロボット32の間のコンベヤ搬送方向についての距離Lは、以下の式(4)で求められる値M以上とすべきである。
M=(最初のワークについて、n回目の撮像処理からN回目の撮像処理を行うまでのコンベヤの移動距離)+(残りのワークについて、1回目の撮像処理からN回目の撮像処理を行うまでのコンベヤの移動距離)+(最初のワークのn枚の画像処理の間のコンベヤの移動距離) (4)
上記式を具体的に表すと、以下の式(5)のようになる。
M = {(N−n)×d+V×T1}+(K−1)×{D+(N−1)×d+V×T1}+n×V×T2 (5)
式(5)に式(1)を適用すると、以下の式(6)が得られ、式(6)を変形すると、以下の式(7)が得られる。
M ≦ (N−n+1)×d+(K−1)×(D+N×d)+n×V×T2 (6)
M ≦ K×(D+N×d)+(n−1)×(V×T2−d)+V×T2−D (7)
式(7)において(d>0)を適用すると式(8)が得られ、さらに式(8)において(n≦N)を適用すると式(9)が得られる。
M < K×(D+N×d)+(n−1)×V×T2+V×T2−D (8)
M < K×(D+N×d)+N×V×T2−D (9)
式(9)において、第一項は、全てのワークに対する撮像待ちと撮像処理の間のコンベヤの移動距離の上限に相当し、第二項は、最初の対象物の全ての画像に対する検出処理の間のコンベヤの移動距離に相当し、第三項は、対象物が光電管センサによって検知されてから最初に撮像されるまでの間のコンベヤの移動距離に相当する。従ってカメラ20とロボット32の間のコンベヤ搬送方向についての距離Lを式(9)の右辺以上の値に設定することにより、実際のシステムのワークの供給状況に応じた好適なワークの搬送・取出し動作を行うことができる。
実施例1では、到来センサ18によりワーク12の到来を検知した後、ワーク12が所定の撮像間隔d移動するごとにカメラ20がワーク12の撮像を行う。そしてある画像での検出処理によりワーク12の検出に成功したら、それ以降の検出処理は不要とする(打ち切る)ことができる。従来、コンベヤによるワーク搬送では、一時的にワークが過供給になり、あるワークに対する撮像処理・検出処理が完了する前に次のワークがカメラの視野より下流に移動してしまい、ワークの認識もれが生じる場合があったが、実施例1では、カメラ20の視野内にワークが存在するときには撮像を優先し、ワークが視野内にないときに撮像した画像の検出処理を行うようにスケジューリングすることで、ワークの認識もれを防止することができる。
(実施例2)
次に、本開示の第二の実施例(実施例2)について説明する。なお実施例2では実施例1と異なる部分のみ説明し、実施例1と共通する部分については説明を省略する。
実施例1では、1回の撮像処理、1回の検出処理は中断されることなく行われる。これに対し、実施例2では、1回の撮像処理は中断されることなく行われるが、1回の検出処理は中断可能で行うことができ、これにより実施例1よりもカメラとロボットの間の距離(図4におけるL)を短くすることができる。
詳細には、既にN回の撮像が完了した第一のワークについての検出処理を行っている間に、第一のワークに続く第二のワークが到来センサ18によって検知されてからさらにDだけコンベヤ14が移動したときに、第一のワークについての検出処理を中断し、中断された検出処理は、第二のワークについて撮像処理を行っていないときに再開する。このようにすれば、カメラ20とロボット32との間の距離Lは、実施例1と比較して、撮像処理待ちの間のコンベヤの移動距離だけ短くすることができ、具体的には、最大で以下の式(10)で計算される値L′だけ短くすることができる。
L′ = (K−1)×V×T2+K×N×(d−V×T1) (10)
(実施例3)
次に、本開示の第三の実施例(実施例3)について説明する。なお実施例3では実施例1と異なる部分のみ説明し、実施例1と共通する部分については説明を省略する。
実施例3は、ワークが実施例1よりもさらに密集して流れてくることがある場合に、より効率的に撮像を行うことを企図している。具体的には、実施例1では「コンベヤ14上のワーク12を到来センサ18が検知してから、コンベヤ14が第一移動距離Dだけ進んだときに先ずカメラ20でワーク12を撮像し、以後、コンベヤ14が第二移動距離d進むたびにカメラ20によるワーク12の撮像を上限回数N回だけ行う」操作をするが、実施例3では、次のワークが到来センサ18によって検知されてからコンベヤ14がDだけ進んだときに、前のワークの撮像処理を打ち切って、次のワークに対する撮像処理を開始するようにする。
図5は、実施例3における処理の流れを例示するフローチャートである。先ず、到来センサ18がある(第一の)ワーク12の到来を検知してから、コンベヤ14(ワーク12)が第一移動距離D進んだ時点で、カメラ20がワーク12を撮像する(ステップS11、S12)。これ以後、ワーク12の撮像処理は、コンベヤ14が第二移動距離d進むごとに、所定の上限回数であるN回繰り返される(ステップS13、S14)が、N回繰り返される前に次のワークが到来センサ18によって検知されてから(D−V×T1)だけ移動している場合は、前のワークではなく次のワークの撮像を行うが、その撮像は到来センサ18による次のワークの検知からコンベヤ14がDだけ移動したタイミングで行う(ステップS15、S23)。
次のワークの撮像を優先する理由は、上述のようにカメラ20の視野は高精度の検出のためになるべく狭くしていることが多く、このような場合、次のワークが到来センサ18によって検知されてからコンベヤがDだけ進んだときは、カメラ20の視野36内に次のワークが既に入っており、前のワークは視野36内に完全に含まれていないと考えられるからである。
撮像した画像を用いた検出処理(ステップS16〜S20)については、実施例1(図3)と同様でよいので詳細な説明は省略する。なお、検出処理を打ち切って同一ワークに関する残りの画像を破棄する際(ステップS20)に、画像をいくつ破棄すればよいかを判断するために、撮像処理を打ち切る際に撮像回数を記録するようにしておくことが好ましい(ステップS21、S22)。
図6は実施例3において、あるワークの撮像が1回も行われない可能性を排除するための処理について説明する図である。ステップS15において、到来センサ18によって次のワーク12aが検知されてからコンベヤ14が(D−V×T1)だけ進んだとき(図6の上段40)は、前のワーク(図示せず)の撮像処理を打ち切り、さらにコンベヤ14がDだけ進んだ時点(図6の下段42)でワーク12aの最初の撮像を行う。ここで、ワーク12aのさらに次のワーク12bが既に到来センサ18によって検知されていたとしても、ワーク12aの1回目の撮像だけは打ち切ることなく行う、という処理を行う。
その場合、ワーク12bについての1回目の撮像が遅れてしまうことになるが、そもそも図6のような場合は、到来センサ18がワーク12aの後端を検知し、かつワーク12bの先端を検知したときに生じ得る。従ってワーク12bについての最初の撮像処理がいくらか遅れても、ワーク12bの検出処理が成功しなくなるという問題はまず生じない。
(実施例4)
次に、本開示の第四の実施例(実施例4)について説明する。実施例4は、以下の点でのみ実施例3と異なる。すなわち、実施例3では1回の撮像処理、1回の検出処理は中断されることなく行われるのに対し、実施例4では、1回の撮像処理は中断されることなく行われるが、1回の検出処理は中断可能で行うことができる。これにより、実施例1及び2の関係と同様、実施例4では実施例3よりもカメラとロボットの間の距離(図4におけるL)を短くすることができる。
詳細には、既にN回を上限とする回数の撮像が完了した第一のワークについての検出処理を行っている間に、第一のワークに続く第二のワークが到来センサ18によって検知されてからさらにDだけコンベヤ14が移動したときに、第一のワークについての検出処理を中断し、中断された検出処理は、第二のワークについてN回を上限とする回数の撮像処理が終了したら再開する。このようにすれば、カメラ20とロボット32との間の距離Lは、実施例3と比較して、撮像処理待ちの間のコンベヤの移動距離だけ短くすることができ、具体的には、K個のワークに対する撮像の回数をP回とすると、最大で以下の式(11)で計算される値L″だけ短くすることができる。
L″ = (P−K)×(d−V×T1) (11)
ここで、ワークの(上から見た)形状を長方形と仮定し、その短辺の長さをa1とすると、K個のワークが、それらの長辺同士が互いに接した状態で連続して流れてくる場合が、撮像回数が最も少なくなり、そのときのPの下限値は以下の式(12)で表される。この場合、カメラ20とロボット32との間の距離Lは、実施例3と比較して、最大で以下の式(13)で計算される値L″′だけ短くすることができる。なお式(12)及び(13)における[K×(a1−V×T1)/d]は、(K×(a1−V×T1)/d)の整数部分を表す関数(床関数)である。
P ≧ 1+[K×(a1−V×T1)/d] (12)
L″′={1+[K×(a1−V×T1)/d]−K}×(d−V×T1) (13)
(実施例5)
なお実施例1−4では、ステップS8又はS19で説明したような検出処理の成功の判定では、検出処理の検出精度を表すパラメータの閾値を予め指定しておき、ある画像の検出処理におけるパラメータが該閾値以上となったら検出成功と判断して以降の検出処理を打ち切ったが、閾値以上となってもさらに次の画像の検出処理を少なくとも1回行い、閾値以上となったパラメータのうち最大値となった検出結果をそのワークの位置検出結果として採用するようにしてもよい。実施例1−4では、パラメータが閾値以上となった後に極大値を示す(例えば70%→80%→70%)場合が多いので、このようなやり方でより精度の高い検出結果を採用することができるようになる。従ってこの場合、検出精度を表すパラメータが下降に転じた時点で検出処理を打ち切ることが好ましい。
10、10a 物品搬送システム
12、12a、12b ワーク
14 コンベヤ
16 コンベヤセンサ
18 到来センサ
20 カメラ
22 位置検出処理部
24 移動距離指定部
26 撮像制御部
28 回数指定部
30 搬送システム制御装置
32 ロボット
34 ロボット制御装置
36 視野

Claims (6)

  1. 複数の物品を運搬するコンベヤと、
    前記コンベヤの運搬動作情報を取得するコンベヤセンサと、
    各物品の到来を検知する到来センサと、
    前記コンベヤ上を運搬される前記物品を撮像する撮像装置と、
    前記撮像装置が撮像した画像から前記物品を検出して、該物品の位置を特定する検出処理を行う位置検出処理部と、
    前記コンベヤの速度及び前記検出処理に要する時間に基づいて定められる第一移動距離、並びに、前記コンベヤの速度、前記撮像装置の撮像処理、及び前記検出処理に要する時間に基づいて定められる第二移動距離を指定する移動距離指定部と、
    前記物品の到来を検知後、前記コンベヤが前記第一移動距離進んだときに前記撮像装置が前記物品を撮像し、以後、前記コンベヤが前記第二移動距離進むごとに前記撮像装置が前記物品を撮像するように前記撮像装置を制御する撮像制御部と、
    前記撮像装置が行う撮像処理の上限回数を指定する回数指定部と、を有し、
    前記位置検出処理部は、前記撮像装置が前記上限回数を上限とした回数だけ撮像処理を終えた後で、前記撮像装置により得られた画像についての検出処理を逐次的に行い、前記検出処理が成功した時点で検出処理を打ち切る、物品搬送システム。
  2. 前記複数の物品のうちの第一の物品の到来を前記到来センサが検知後、前記上限回数だけ前記撮像装置による撮像を終える前に、前記到来センサが前記第一の物品に続く第二の物品を検知してから前記コンベヤが、前記第一移動距離から前記コンベヤの速度に前記撮像処理に要する時間を乗じて得られる距離を差し引いた距離以上進んでいる場合、前記第一の物品の撮像回数が前記上限回数に達する前に前記第一の物品の撮像を終了し、前記第二の物品に対する撮像を開始する、請求項1に記載の物品搬送システム。
  3. 前記位置検出処理部は、前記複数の物品のうちの第一の物品の検出処理を行っている間に、前記第一の物品に続く第二の物品が前記到来センサによって検知されてからさらに前記第一移動距離だけ移動したときに、前記第一の物品についての検出処理を中断し、前記上限回数を上限とする前記第二の物品の撮像処理が終了したら前記第一の物品についての検出処理を再開する、請求項1又は2に記載の物品搬送システム。
  4. 前記位置検出処理部は、前記検出処理の検出精度を表すパラメータの閾値を予め指定し、前記パラメータが前記閾値以上となった後も少なくとも1回検出処理を行い、前記閾値以上となったパラメータのうち最大値となった検出結果を位置検出結果として採用する、請求項1又は2に記載の物品搬送システム。
  5. 前記コンベヤ上を搬送される前記物品に対して所定の作業を行うように構成された作業機械をさらに具備し、前記作業機械は、前記位置検出処理部が特定した前記物品の前記コンベヤ上における位置に基づいて前記作業を行う、請求項1〜3のいずれか一項に記載の物品搬送システム。
  6. 複数の物品を運搬するコンベヤと、
    前記コンベヤの運搬動作情報を取得するコンベヤセンサと、
    各物品の到来を検知する到来センサと、
    前記コンベヤ上を運搬される前記物品を撮像する撮像装置と、を備える物品搬送システムに使用される搬送システム制御装置であって、
    前記撮像装置が撮像した画像から前記物品を検出して、該物品の位置を特定する検出処理を行う位置検出処理部と、
    前記コンベヤの速度及び前記検出処理に要する時間に基づいて定められる第一移動距離、並びに、前記コンベヤの速度、前記撮像装置の撮像処理、及び前記検出処理に要する時間に基づいて定められる第二移動距離を指定する移動距離指定部と、
    前記物品の到来を検知後、前記コンベヤが前記第一移動距離進んだときに前記撮像装置が前記物品を撮像し、以後、前記コンベヤが前記第二移動距離進むごとに前記撮像装置が前記物品を撮像するように前記撮像装置を制御する撮像制御部と、
    前記撮像装置が行う撮像処理の上限回数を指定する回数指定部と、を有し、
    前記位置検出処理部は、前記撮像装置が前記上限回数を上限とした回数だけ撮像処理を終えた後で、前記撮像装置により得られた画像についての検出処理を逐次的に行い、前記検出処理が成功した時点で検出処理を打ち切る、搬送システム制御装置。
JP2017144592A 2017-07-26 2017-07-26 物品搬送システム及び搬送システム制御装置 Active JP6506356B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017144592A JP6506356B2 (ja) 2017-07-26 2017-07-26 物品搬送システム及び搬送システム制御装置
DE102018117441.1A DE102018117441B4 (de) 2017-07-26 2018-07-19 Artikeltransportsystem und transportsystem-steuervorrichtung
US16/039,330 US10507990B2 (en) 2017-07-26 2018-07-19 Article transport system and transport system controller
CN201810811877.7A CN109305532B (zh) 2017-07-26 2018-07-23 物品输送系统以及输送系统控制装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017144592A JP6506356B2 (ja) 2017-07-26 2017-07-26 物品搬送システム及び搬送システム制御装置

Publications (2)

Publication Number Publication Date
JP2019025557A JP2019025557A (ja) 2019-02-21
JP6506356B2 true JP6506356B2 (ja) 2019-04-24

Family

ID=65004347

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017144592A Active JP6506356B2 (ja) 2017-07-26 2017-07-26 物品搬送システム及び搬送システム制御装置

Country Status (4)

Country Link
US (1) US10507990B2 (ja)
JP (1) JP6506356B2 (ja)
CN (1) CN109305532B (ja)
DE (1) DE102018117441B4 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605177B2 (en) * 2019-06-11 2023-03-14 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
US11335021B1 (en) 2019-06-11 2022-05-17 Cognex Corporation System and method for refining dimensions of a generally cuboidal 3D object imaged by 3D vision system and controls for the same
US11427407B2 (en) * 2020-01-24 2022-08-30 Becton Dickinson Rowa Germany Gmbh Apparatus and method for identifying, measuring and positioning piece goods
JP7336678B2 (ja) * 2020-12-15 2023-09-01 パナソニックIpマネジメント株式会社 ピッキング装置
CN113695242B (zh) * 2021-07-15 2024-03-19 德铧恩特工业自动化技术(上海)有限公司 切断机缺陷工件分选方法及系统
US20230092690A1 (en) * 2021-09-21 2023-03-23 Rios Intelligent Machines, Inc. Automated production work cell

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60217085A (ja) * 1984-04-12 1985-10-30 富士電機株式会社 移動物体のハンドリング方式
JPS6443410A (en) * 1987-08-05 1989-02-15 Nec Corp Conveying apparatus
JPH06253309A (ja) * 1993-02-24 1994-09-09 Security- Japan:Kk ビデオセンシング装置
JP3002097B2 (ja) * 1994-08-25 2000-01-24 ファナック株式会社 ビジュアルトラッキング方法
JP3834088B2 (ja) * 1995-11-10 2006-10-18 ファナック株式会社 複数のロボットにトラッキング動作を行なわせるための視覚センサ・ロボットシステム
JPH10105217A (ja) * 1996-09-27 1998-04-24 Mitsubishi Electric Corp ロボットのトラッキング制御方法およびロボット制御システム
WO2001077653A1 (en) * 2000-04-06 2001-10-18 Hamamatsu Photonics K.K. X-ray inspection system
JP4265088B2 (ja) * 2000-07-10 2009-05-20 株式会社豊田中央研究所 ロボット装置及びその制御方法
JP2002116810A (ja) * 2000-10-06 2002-04-19 Seiko Instruments Inc トラッキングシステム
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
JP2007030087A (ja) * 2005-07-26 2007-02-08 Fanuc Ltd 物流トラッキング装置
JP2007033328A (ja) 2005-07-28 2007-02-08 Nachi Fujikoshi Corp 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
JP4480773B2 (ja) * 2008-04-01 2010-06-16 トヨタ自動車株式会社 タイヤ種別判別方法、並びにこれを用いた車両検査方法及び装置
AT507339B1 (de) * 2008-09-26 2011-06-15 Stiwa Holding Gmbh Verfahren und anlage zum aufnehmen und/oder bearbeiten von objekten
JP5464177B2 (ja) * 2011-06-20 2014-04-09 株式会社安川電機 ピッキングシステム
JP6117580B2 (ja) * 2013-03-19 2017-04-19 株式会社イシダ 物品検査装置
JP6334215B2 (ja) * 2014-03-12 2018-05-30 地方独立行政法人青森県産業技術センター 画像処理システム、画像処理方法及び画像処理プログラム
JP5887383B2 (ja) * 2014-07-04 2016-03-16 ファナック株式会社 物品をコンベヤに整列させる物品整列装置
JP6042860B2 (ja) * 2014-12-02 2016-12-14 ファナック株式会社 ロボットを用いて物品を移送する物品移送装置及び物品移送方法
JP6407826B2 (ja) * 2015-09-03 2018-10-17 ファナック株式会社 座標系設定方法、座標系設定装置、及び座標系設定装置を備えたロボットシステム
JP2017083234A (ja) * 2015-10-26 2017-05-18 オムロン株式会社 三次元形状計測装置、三次元形状計測システム、プログラム、コンピュータ読み取り可能な記録媒体、および三次元形状計測方法

Also Published As

Publication number Publication date
DE102018117441B4 (de) 2020-08-13
CN109305532B (zh) 2020-04-10
JP2019025557A (ja) 2019-02-21
CN109305532A (zh) 2019-02-05
DE102018117441A1 (de) 2019-01-31
US10507990B2 (en) 2019-12-17
US20190031452A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
JP6506356B2 (ja) 物品搬送システム及び搬送システム制御装置
JP6687591B2 (ja) 物品搬送装置、ロボットシステムおよび物品搬送方法
JP4864363B2 (ja) ハンドリング装置、作業装置及びプログラム
CN108372503B (zh) 使用至少一个传感器的物品运送装置
JP6478234B2 (ja) ロボットシステム
JP5887383B2 (ja) 物品をコンベヤに整列させる物品整列装置
US20070179671A1 (en) Tracking and handling device
US10521871B2 (en) Robot system
JP2005111607A (ja) ロボット物流トラッキング装置
CN109384039B (zh) 物品搬运装置
WO2009148089A1 (ja) ハンドリング装置、制御装置、制御方法およびプログラム
JP5198155B2 (ja) ハンドリング装置、ワークハンドリング方法および信号処理装置
JP2016147330A (ja) 物体認識に基づく制御装置
JP2009028818A (ja) ロボットシステム
JPH0972717A (ja) 画像の取得・処理方法
JP4303411B2 (ja) トラッキング方法、及びトラッキングシステム
CN114632722B (zh) 拾取装置
JP6697510B2 (ja) ロボットシステム
JP5198161B2 (ja) ハンドリング装置およびワークハンドリング方法
JP6958517B2 (ja) マニピュレータおよび移動ロボット
JP2007033328A (ja) 画像処理方法および該画像処理方法を用いたピッキング動作補正方法
EP3848898A1 (en) Target object recognition device, manipulator, and mobile robot
JP7328017B2 (ja) ロボットシステム及び制御装置
CN117412842A (zh) 生产系统
JP2007112603A (ja) 画像処理を用いた制御システム

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181211

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190328

R150 Certificate of patent or registration of utility model

Ref document number: 6506356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150