JP6748126B2 - 作業ロボットシステム - Google Patents

作業ロボットシステム Download PDF

Info

Publication number
JP6748126B2
JP6748126B2 JP2018021181A JP2018021181A JP6748126B2 JP 6748126 B2 JP6748126 B2 JP 6748126B2 JP 2018021181 A JP2018021181 A JP 2018021181A JP 2018021181 A JP2018021181 A JP 2018021181A JP 6748126 B2 JP6748126 B2 JP 6748126B2
Authority
JP
Japan
Prior art keywords
robot
control
force
article
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018021181A
Other languages
English (en)
Other versions
JP2019136808A (ja
Inventor
雅文 大場
雅文 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2018021181A priority Critical patent/JP6748126B2/ja
Priority to US16/245,593 priority patent/US11407115B2/en
Priority to CN202310844799.1A priority patent/CN116619341A/zh
Priority to CN201910106489.3A priority patent/CN110125906B/zh
Priority to DE102019102859.0A priority patent/DE102019102859B4/de
Publication of JP2019136808A publication Critical patent/JP2019136808A/ja
Application granted granted Critical
Publication of JP6748126B2 publication Critical patent/JP6748126B2/ja
Priority to US17/847,651 priority patent/US11904483B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085Force or torque sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0093Programme-controlled manipulators co-operating with conveyor means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/18Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39045Camera on end effector detects reference pattern
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39102Manipulator cooperating with conveyor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39529Force, torque sensor in wrist, end effector
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Description

本発明は作業ロボットシステムに関する。
従来、搬送装置によって搬送される物品に部品を組み付ける時には、搬送装置を停止させる場合が多かった。特に、車のボディ等の大きな物品に部品を精密に組み付ける時には、搬送装置による物品の搬送を停止する必要があった。これが作業効率の低下に帰結する場合もあった。
一方、ロボットと、物品を搬送する搬送装置と、搬送装置に沿って設けられたレールと、レールに沿ってロボットを移動させる移動装置とを備えた生産ラインが知られている(例えば、特許文献1参照。)。この生産ラインでは、搬送装置によって物品が搬送されている時に、ロボットは物品の欠陥検査および研磨を行う。また、欠陥検査および研磨が行われる時に、搬送装置による物品の搬送速度と同じ速度で、移動装置がロボットをレールに沿って移動させる。
特開平08−72764号公報
前記生産ラインでは、欠陥検査および研磨を行っているだけである。一方、ロボットと物品とが干渉し得る作業が行われる場合は、ロボット、搬送装置、物品等の破損防止の目的で、ロボットの力制御を行う必要が生ずる。しかし、搬送装置によって移動している物品は予測できない挙動を行う可能性があるので、力制御の制御周期を極めて短くし、または、感度を高めないと、前記の破損防止を実現することは難しい。
しかし、ロボットはロボットの制御周期でしか動作できないため結果的に力制御の制御周期はロボットの制御周期よりも短くできない。つまり、ロボット自体の性能を変更しない限り、前記の破損防止を実現することが難しいケースがあった。また、力制御の感度を高くすると、ロボットの発振が発生する可能性が高まる。また、物品が予測できない挙動を行う場合、連続するいくつかの制御周期の期間に力制御が行われても、ロボットと物品との接触が改善されない状態も生じ得る。この時もロボットの発振が発生する可能性が高まる。
本発明は、前述の事情に鑑みてなされている。本発明の目的の一つは、ロボット、搬送装置、物品等の破損防止を効率的に実現することのできる作業ロボットシステムの提供を目的とする。
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の一態様の作業ロボットシステムは、物品を搬送する搬送装置と、前記搬送装置によって搬送される前記物品の対象部に対して所定の作業を行うロボットと、前記ロボットを制御する制御部と、前記ロボットの先端部に取付けられた視覚センサと、前記ロボットに支持された部品又はツールと前記物品との接触によって生ずる力を検出する力検出部と、を備え、前記制御部が、前記ロボットによる前記所定の作業が行われる時に、前記視覚センサの画角内の所定の位置に前記物品の特徴形状又は特徴点を常に配置することにより前記ロボットの前記先端部を前記対象部に追随させる追随制御を行いながら、前記力検出部の検出値に基づいた力制御を行い、前記制御部は、前記特徴形状若しくは前記特徴点が前記視覚センサから見えなくなった時に、別の特徴形状若しくは特徴点を前記追随制御に用いる、又は、前記特徴形状若しくは前記特徴点が見えなくなる前に計算された前記特徴形状若しくは前記特徴点の移動量を前記追随制御に用いる
また、本発明の他の態様の作業ロボットシステムは、物品を搬送する搬送装置と、前記搬送装置によって搬送される前記物品の対象部に対して所定の作業を行うロボットと、前記ロボットを制御する制御部と、前記ロボットの先端部に取付けられた視覚センサと、前記ロボットに支持された部品又はツールと前記物品との接触によって生ずる力を検出する力検出部と、を備え、前記制御部が、前記ロボットによる前記所定の作業が行われる時に、前記視覚センサの画角内の所定の位置に前記物品の特徴形状又は特徴点を常に配置することにより前記ロボットの前記先端部を前記対象部に追随させる追随制御を行いながら、前記力検出部の検出値に基づいた力制御を行い、前記視覚センサによって検出される前記ロボットに対する前記対象部の位置が所定の基準を超えて変動する時に、前記制御部が前記力制御の制御周期を短くする、または、前記力制御の感度を高める。
上記態様では、ロボットに取付けられたセンサによって、搬送装置によって搬送される物品の対象部のロボットに対する位置が検出され、センサの検出結果を用いてロボットが制御される。このため、力制御が無い状態であっても、制御部は、ロボットに支持された部品又はツールと物品との位置関係を認識でき、両者の接触有無を認識できる場合もある。例えば、搬送装置による物品の移動量が大きく変動する搬送装置の異常も、制御部は力制御が無い状態において認識できる。このため、力制御の制御周期を無理に短くせずに、ロボット、搬送装置、物品等の破損防止を実現できるようになり、ロボットの発振の発生も抑制される。
上記態様において、好ましくは、前記制御部が、前記ロボットによって支持されている前記部品又は前記ツールを前記センサの前記検出結果を用いて前記対象部に追随させながら、前記力検出部の検出値を用いて前記力制御を行う。
このように、センサの検出結果を用いることによって、制御部がロボットの部品又はツールを対象部に追随させる。このため、制御部は、ロボットが所定の作業を行う時に、搬送装置によって搬送される物品の対象部に対して、ロボットに支持された部品又はツールの位置および姿勢を正確に制御できる。これは、力制御の制御周期を短くせずに、または、感度を高めずに、ロボット、搬送装置、物品等の破損防止を実現するために有利であり、ロボットの発振の発生を抑制するためにも有利である。
上記態様において、好ましくは、前記搬送装置上の前記物品における前記対象部の少なくとも位置を検出する検出部を備え、前記制御部が、前記検出部の検出結果に基づいて、前記ロボットの前記部品又は前記ツールを前記対象部に近付ける。
ロボットに支持された部品又はツールを対象部に近付ける制御を正確に行うために、当該態様は有利である。
上記態様において、好ましくは、前記センサによって検出される前記ロボットに対する前記対象部の位置が所定の基準を超えて変動する時に、前記制御部および前記搬送装置の少なくとも一方が異常対応作動を行う。
当該態様では、前述のようにロボットに支持された部品又はツールと物品との位置関係が認識されている状態において、制御部がさらに、センサの検出結果に基づいて異常対応作動を行う。当該構成は、ロボット、搬送装置、物品等の破損防止の確実な実現を図る時に有利であり、ロボットの発振の発生を抑制するためにも有利である。
本発明によれば、ロボット、搬送装置、物品等の破損防止を効率的に実現することができる。
本発明の一実施形態の作業ロボットシステムの概略構成図である。 本実施形態の作業ロボットシステムの制御装置のブロック図である。 本実施形態の作業ロボットシステムの検出装置によって撮像される画像データの例である。 本実施形態の作業ロボットシステムの制御部の作動を示すフローチャートである。 本実施形態の作業ロボットシステムにおける移動量の計算を説明する図である。
本発明の一実施形態に係る作業ロボットシステム1について、図面を用いながら以下説明する。
本実施形態の作業ロボットシステム1は、図1に示されるように、作業対象である物品100を搬送する搬送装置2と、搬送装置2によって搬送される物品100の対象部101に対して所定の作業を行うロボット10と、ロボット10を制御する制御装置20と、検出部としての検出装置40と、ロボット10に取付けられたセンサ50とを備えている。
検出装置40は、物品100が所定位置まで搬送されてきたことを検出する。検出装置40は、搬送装置2によって搬送される物品100の対象部101の位置および姿勢を特定できるデータを取得してもよい。検出装置40として、このような機能を有する装置は全て利用することができる。本実施形態では検出装置40は光電センサである。この場合、検出装置40は、検出装置40が設置された位置まで物品100が搬送されてきたことを検出する。
物品100は特定の種類の物に限定されないが、本実施形態では、一例として、物品100は車のボディである。搬送装置2はモータ2aによって複数のローラ3のうち数本を駆動することによって物品100を搬送するものであり、本実施形態では搬送装置2は図1における右側に向かって物品100を搬送する。モータ2aは作動位置検出装置2bを備えていても良い。作動位置検出装置2bはモータ2aの出力軸の回転位置および回転量を逐次検出する。作動位置検出装置2bは例えばエンコーダである。作動位置検出装置2bの検出値は制御装置20に送信される。
対象部101は、物品100において、ロボット10が所定の作業を行う部分である。本実施形態では、所定の作業として、ロボット10のハンド30が部品110を持上げ、ロボット10は部品110の取付部111を対象部101に取付ける。これにより、例えば、部品110の取付部111から下方に延びるシャフト111aが、物品100の対象部101に設けられた孔101aに嵌合する。
なお、物品100が搬送装置2によって移動している状態において、ロボット10は部品110の取付部111を対象部101に取付ける。
ロボット10は特定の種類に限定されないが、本実施形態のロボット10は、複数の可動部をそれぞれ駆動する複数のサーボモータ11を備えている(図2参照)。各サーボモータ11はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御装置20に送信される。
ロボット10の先端部にはハンド30が取付けられている。本実施形態のハンド30は複数の爪による把持によって部品110を支持するが、磁力、空気の吸引等を用いて部品110を支持するハンドを用いることも可能である。
ハンド30は爪を駆動するサーボモータ31を備えている(図2参照)。サーボモータ31はその作動位置を検出するための作動位置検出装置を有し、作動位置検出装置は一例としてエンコーダである。作動位置検出装置の検出値は制御装置20に送信される。
なお、各サーボモータ11,31として、回転モータ、直動モータ等の各種のサーボモータが用いられ得る。
ロボット10の先端部には力センサ32が取付けられている。力センサ32は、例えば、図3に示すX軸方向、Y軸方向、およびZ軸方向と、X軸周り、Y軸周り、およびZ軸周りの力を検出する。力センサ32は、ハンド30又はハンド30によって把持された部品110に加わる力の方向および力の程度を検出できるものであればよい。このため、本実施形態では力センサ32がロボット10とハンド30との間に設けられているが、力センサ32はハンド30内に設けられていてもよい。
センサ50は、ロボット10の先端部に取付けられている。一例では、センサ50は、ハンド30と同様に、ロボット10の手首フランジに取付けられている。センサ50は、二次元カメラ、三次元カメラ、三次元距離センサ等である。本実施形態のセンサ50は二次元カメラであり、センサ50は、対象部101が画角の所定の範囲に入っている状態で、図3に示されるような対象部101の画像データを逐次取得するためのセンサである。センサ50は画像データを制御装置20に逐次送信する。画像データは2つの対象部101の少なくともどちらか一方の位置を特定できるデータである。また、例えば画像データ中の2つの対象部101の位置関係に基づいて、対象部101の姿勢を特定することも可能である。
センサ50の座標系の位置および方向と、ロボット10の座標系の位置および方向とは、制御装置20内において予め関係付けられている。例えば、センサ50の座標系が、動作プログラム23bに基づいて作動するロボット10の基準座標系として設定されている。基準座標系に対して、ハンド30のツールセンターポイント(TCP)を原点とする座標系、部品110の基準位置を原点とする座標系等が表現される。
制御装置20は、図2に示されるように、CPU、RAM等を有する制御部21と、表示装置22と、不揮発性ストレージ、ROM等を有する記憶部23と、ロボット10のサーボモータ11にそれぞれ対応している複数のサーボ制御器24と、ハンド30のサーボモータ31に対応しているサーボ制御器25と、制御装置20に接続された入力部26とを備えている。一例では、入力部26はオペレータが持ち運べる操作盤等の入力装置である。入力部26が制御装置20と無線通信を行う場合もある。
記憶部23にはシステムプログラム23aが格納されており、システムプログラム23aは制御装置20の基本機能を担っている。また、記憶部23には動作プログラム23bが格納されている。また、記憶部23には、追随制御プログラム23cと、力制御プログラム23dとが格納されている。
制御部21は、これらのプログラムに基づいて、物品100に対する所定の作業を行うための制御指令を各サーボ制御器24,25に送信する。これによって、ロボット10およびハンド30が物品100に対して所定の作業を行う。この際の制御部21の動作を図4のフローチャートを参照しながら説明する。
先ず、検出装置40によって物品100が検出されると(ステップS1−1)、制御部21は、動作プログラム23bに基づいたロボット10およびハンド30への制御指令の送信を開始する(ステップS1−2)。これにより、部品110がハンド30によって把持され、ロボット10は、ハンド30によって把持された部品110のシャフト111aを、対象部101の孔101aに近付ける。この時、制御部21は、搬送装置2の搬送速度、物品100内における対象部101の位置のデータ等を用いても良いし、搬送装置2の搬送量がセンサ50の視野の範囲内であれば用いなくても良い。また、後述のステップS1−7の後で、動作プログラム23bに基づいて、部品110のシャフト111aが物品100の孔101aに嵌合される。
ステップS1−2のロボット10の制御により、例えば図1に示されるように部品110が嵌合のための位置および姿勢に到達する。これにより、センサ50の画角内に対象部101が存在するようになると(ステップS1−3)、制御部21は、追随制御プログラム23cに基づいた制御を開始する(ステップS1−4)。当該制御として、例えば下記の2つの制御を用いることが可能である。なお、以下の2つの制御において、センサ50は対象部101の少なくとも位置を検出し、検出された位置に基づいて制御部21がロボット10の先端部を対象部101に追随させる。
1つ目の制御は、センサ50の画角内の所定の位置に物品100上の特徴形状および/又は特徴点を常に配置することにより、ロボット10の先端部を対象部101に追随させる制御である。2つ目の制御は、物品100上の特徴形状および/又は特徴点の実際の位置(ロボット10に対する位置)を検出し、特徴形状および/又は特徴点の位置と実際の位置との差に基づいて動作プログラム23bを補正することにより、ロボット10の先端部を対象部101に追随させる制御である。
1つ目の制御では、制御部21は、センサ50によって逐次得られる画像データ上で特徴形状および/又は特徴点を検出する。特徴形状は、対象部101の全体の形状、対象部101の孔101aの形状、対象部101に設けられたマークM(図3)の形状等である。特徴点は、対象部101の孔101aの重心位置を示す点、対象部101に設けられたマークMの重心位置を示す点等である。センサ50と対象部101とのZ方向(視線方向)の距離が変化すると、特徴形状の大きさが変化するが、特徴点の変化は小さい又は無い。
そして、制御部21は、センサ50によって逐次得られる画像データを用いて、検出した特徴形状および/又は特徴点を画像データ中の所定の位置に常に配置するための制御指令をサーボ制御器24に送信する。
この時、制御部21は、好ましくは、嵌合が行われる時にセンサ50から見えなくなる特徴形状および/又は特徴点ではなく、嵌合が行われる時にセンサ50から見える特徴形状および/又は特徴点を用いる。または、制御部21は、追随制御に用いる特徴形状および/又は特徴点がセンサ50から見えなくなった時に、追随制御に用いる特徴形状および/又は特徴点を変更することができる。
2つ目の制御では、制御部21は、センサ50によって逐次得られる画像データを用いて、ロボット10が有する固定座標系に対する物品100上の特徴形状および/又は特徴点の実際の位置を検出する。そして、制御部21は、特徴形状および/又は特徴点の位置と実際の位置との差に基づいて、固定座標系に対し教示された動作プログラム23bの教示点を補正する。
なお、1つ目の制御において、制御部21がさらに、対象部101の移動量を計算してもよい。この場合、制御部21は、計算した移動量も用いながらロボット10の先端部を対象部101に追随させる。
対象部101の移動量は、例えばセンサ50によって取得された画像データに基づいて逐次計算される。例えば、センサ50の画角内にあらわれている特徴形状および/又は特徴点を用いて、対象部101の移動量が計算される。
制御部21は、連続する複数の画像データ内において、特徴点の整合をとる。動作プログラム23bによってロボット10の先端部が物品100と同一の方向に移動しているので、連続する複数の画像データ内で特徴点の位置はほとんど変化しない。しかし、搬送装置2の搬送速度とロボット10の先端部の移動速度とが完全に一致していない時、両者は相対的に移動する。当該相対的な移動が連続する複数の画像データ内で捉えられる。また、ロボット10の先端部の移動速度と、ロボット10の先端部の対象部101に対する移動速度とを用いて、対象部101の移動量が逐次計算される。
ロボット10の先端部の移動速度は、制御部21の制御指令に基づく移動速度である。一方、ロボット10の先端部の対象部101に対する移動速度は、画像データ内における特徴形状および/又は特徴点の移動量とその移動時間とに基づいて計算される。図5に示すように、3つの特徴形状の位置p11,p21,p31がそれぞれ位置p12,p22,p32、位置p13,p23,p33、・・・に移動する場合、最小二乗法等でフィッティングすることにより、3つの特徴形状の移動速度がそれぞれ計算される。又は、3つの特徴形状の移動速度を平均することによって平均の移動速度が計算される。
移動量の計算が行われる場合、追随制御に用いる特徴形状および/又は特徴点がセンサ50から見えなくなっても、制御部21は、特徴形状および/又は特徴点が見えなくなる前に計算された移動量を用いて、ロボット10の先端部を対象部101に追随させることができる。
また、2つ目の制御において、制御部21がさらに、計算した移動量、実際の位置の検出結果の傾向等を用いて、特徴形状および/又は特徴点の実際の位置の検出結果を補間してもよい。特徴形状および/又は特徴点の実際の位置は、センサ50によって実際に撮像された画像データに基づいて計算される。このため、前記実際の位置の取得周期がセンサ50の撮像周期と同様に長くなる。これに対し、検出結果の補間を行うことにより、取得周期の間の実際の位置の検出又は推定、将来の実際の位置の推定等が可能となる。
上記制御によって、制御部21は、ロボット10の先端部を対象部101に追随させる。これにより、センサ50によって取得される撮像データ中の所定位置に対象部101が配置される。この時、例えば、部品110の取付部111のシャフト111aの水平方向の位置と対象部101の孔101aの水平方向の位置とが一致する。
ここで、前述のように、センサ50の座標系は、動作プログラム23bに基づいて作動するロボット10の基準座標系として設定されている。このため、ロボット10の基準座標系が搬送装置2の搬送方向に移動し、基準座標系の移動が搬送装置2による物品100の移動と一致する。この状況では、搬送装置2によって物品100の対象部101は移動しているが、制御部21から見ると基準座標系内において対象部101が停止している。
このように制御されている状態において、制御部21は、力制御プログラム23dに基づいた力制御を開始する(ステップS1−5)。力制御として、周知の力制御を用いることが可能である。本実施形態では、力センサ32によって検出される力から逃げる方向にロボット10が部品110を移動させる。その移動量は力センサ32の検出値に応じて制御部21が決定する。
例えば、ハンド30によって把持された部品110のシャフト111aと物品100の孔101aとが嵌合し始めた状況で、搬送装置2による搬送方向と反対方向の力が力センサ32によって検出されると、ロボット10は基準座標系内において追従しながら搬送方向と反対方向に部品110を僅かに移動させて検出される力から逃げる。
続いて、制御部21は、センサ50によって逐次検出されるロボット10に対する対象部101の位置が所定の基準を超えて変動する時に(ステップS1−6)、第1の異常対応作動を行う(ステップS1−7)。所定の基準を超えた変動は、画像データ内における対象部101の大きな移動、画像データ内における対象部101の所定速度よりも早い移動等である。電力供給が安定していない場合、モータ2aの回転速度が急激に低下する場合もあり、モータ2aの回転速度が大きく変動する場合もある。これらの場合に、ロボット10に対する対象部101の位置が前記所定の基準を超えて変動することになる。
第1の異常対応作動として、制御部21は、力制御の制御周期を短くする作動または感度を高める作動、嵌合の進行を停止する作動、嵌合作業を中止する作動等を行う。力制御の制御周期が短くし、または、感度を高めると、部品110に加わる力に対してロボット10をより敏感に移動させることが可能となる。本実施形態では、制御部21は、嵌合作業を中止する作動、搬送装置を停止させる、またはそれらを組み合わせた作動等を行う。
また、制御部21は、力センサ32の検出値が所定の基準値を超える時に(ステップS1−8)、第2の異常対応作動を行う(ステップS1−9)。力センサ32の検出値が所定の基準値を超える時は、部品110、物品100等に異常な力が加わっている可能性が高い。このため、制御部21は、第2の異常対応作動として、ロボット10を停止させる作動、力センサ32によって検出された力の方向から逃げる方向にロボット10を低速で移動させる作動、搬送装置を停止させる作動、またはそれらを組み合わせた作動等を行う。本実施形態では、制御部21は、ロボット10を停止させる作動を行う。
一方、制御部21は、嵌合作業が完了したか否かを判断し(ステップS1−10)、嵌合作業が完了している場合は、ロボット10およびハンド30に制御指令を送る(ステップS1−11)。これにより、ハンド30が部品110から離れ、ハンド30がロボット10によって待機位置又は次の部品110がストックされている場所に移動する。
このように、本実施形態では、ロボット10に取付けられたセンサ50によって、搬送装置2によって搬送される物品100の対象部101のロボット10の先端部に対する位置が逐次検出され、センサ50の検出結果を用いてロボット10が制御される。このため、力制御が無い状態であっても、制御部21は、ロボット10に支持された部品110と物品100との位置関係を認識でき、両者の接触有無を認識できる場合もある。例えば、搬送装置2による物品100の移動量が大きく変動する搬送装置2の異常も、制御部21は力制御が無い状態において認識できる。このため、力制御の制御周期を無理に短くせず、または、感度を高めずに、ロボット10、搬送装置2、物品100等の破損防止を実現できるようになり、ロボット10の発振の発生も抑制される。
また、本実施形態では、制御部21が、ロボット10によって支持されている部品110をセンサ50の検出結果を用いて対象部101に追随させながら、力センサ32の検出値を用いて力制御を行う。
このように、センサ50の検出結果を用いることによって、制御部21がロボット10の部品110を対象部101に追随させる。このため、制御部21は、ロボット10が所定の作業を行う時に、搬送装置2によって搬送される物品100の対象部101に対して、ロボット10に支持された部品110の位置および姿勢を正確に制御できる。これは、力制御の制御周期を短くせず、または、感度を高めずにロボット10、搬送装置2、物品100等の破損防止を実現するために有利であり、ロボット10の発振の発生を抑制するためにも有利である。
また、本実施形態では、搬送装置2上の物品100における対象部101の少なくとも位置を検出する検出装置40を備え、制御部21が、検出装置40の検出結果に基づいて、ロボット10に支持された部品110を対象部101に近付ける。検出装置40の検出結果に基づいてこのようにロボット10が作動すると、作業の効率が向上する。この時、制御部21が、作動位置検出装置2bの検出結果も用いて、ロボット10に支持された部品110を対象部101に近付けてもよい。作動位置検出装置2bの検出結果を用いることにより、部品110を対象部101に近付ける制御がより正確になる。
本実施形態では検出装置40は光電センサであるが、検出装置40は、搬送装置2の上方、側方、又は下方に配置された二次元カメラ、三次元カメラ、三次元距離センサ、ライン光を対象物に照射して形状を測定するセンサ等であってもよい。検出装置40が二次元カメラである場合、制御部21は、検出装置40の検出結果である画像データに基づき、搬送装置2によって搬送される物品100の対象部101の位置を認識でき、姿勢を認識できる場合もある。このため、制御部21は、ステップS1−2において、部品110のシャフト111aを対象部101の孔101aにより正確に近付けることができる。
また、ロボット10の先端部に加工ツールが支持され、搬送装置2によって搬送される物品100にロボット10が所定の作業として加工を行ってもよい。この場合、加工ツールは、ドリル、フライス、ドリルタップ、バリ取り工具、その他の工具等である。この場合でも、ステップS1−2において加工ツールが対象部101に近付けられ、ステップS1−7において加工ツールと対象部101との接触に応じて力制御が行われること等により、前述と同様の効果が達成される。
なお、ステップS1−4において、制御部21が、画像データ中の対象部101の位置、画像データ内における対象部101の移動速度、その方向等を用いて、ロボット10の先端部を対象部101に追随させることもできる。その他の周知な方法を用いて、ロボット10の先端部を対象部101に追随させることもできる。当該構成を用いた場合でも、前述と同様の効果が達成される。
また、搬送装置2として、物品100を曲線的なルートに沿って搬送する搬送装置を用いることも可能であり、物品100を曲がりくねったルートに沿って搬送する搬送装置を用いることも可能である。これらの場合でも、制御部21は、センサ50の検出結果を用いて、ロボット10の先端部を対象部101に追随させることができる。また、ステップS1−6においてロボット10に対する対象部101の位置が所定の基準を超えて変動する時に、ステップS1−7において制御部21が第1の異常対応動作を行うことができる。このため、前記搬送装置を用いた場合でも、前述と同様の効果が達成される。
なお、ステップS1−4の移動量の取得は、センサ50によって現実に撮像された画像データに基づいて計算される。このため、移動量の取得周期をセンサ50の撮像周期と一致させると、移動量の取得周期がセンサ50の撮像周期と同様に長くなる。これに対し、センサ50の撮像データに基づいて逐次計算される移動量を補間することも可能である。例えば、制御部21は、連続する複数の移動量の計算結果を用いて移動量の変動の傾向を特定する。そして、制御部21は、特定された傾向に沿って移動量と移動量の間に補間移動量を設定することができる。
ステップS1−9において、制御部21は、第2の異常対応作動として、搬送装置2のモータ2aの停止、搬送装置2のモータ2aの減速等をおこなってもよい。
本実施形態では、ロボット10の先端部に力センサ32が取付けられている。一方、搬送装置2と物品100との間、物品100の内部等に、力センサ32を配置することも可能である。この場合でも、力センサ32の検出値に基づく力制御を行うことが可能であり、前述と同様の効果が達成される。
また、センサ50がロボット10における手首フランジ以外の部分に取付けられてもよい。この場合でも、制御部21は、ロボット10によって支持された部品110と搬送装置2によって搬送される物品100との位置関係を、センサ50の検出結果に基づき認識できる。これにより、前述と同様の効果が達成される。
1 作業ロボットシステム
2 搬送装置
2a モータ
2b 作動位置検出装置
3 ローラ
10 ロボット
11 サーボモータ
20 制御装置
21 制御部
22 表示装置
23 記憶部
23a システムプログラム
23b 動作プログラム
23c 追随制御プログラム
23d 力制御プログラム
24 サーボ制御器
25 サーボ制御器
26 入力部
30 ハンド
31 サーボモータ
32 力センサ
40 検出装置
50 センサ
100 物品
101 対象部
101a 孔
110 部品
111 取付部
111a シャフト

Claims (5)

  1. 物品を搬送する搬送装置と、
    前記搬送装置によって搬送される前記物品の対象部に対して所定の作業を行うロボットと、
    前記ロボットを制御する制御部と、
    前記ロボットの先端部に取付けられた視覚センサと、
    前記ロボットに支持された部品又はツールと前記物品との接触によって生ずる力を検出する力検出部と、を備え、
    前記制御部が、前記ロボットによる前記所定の作業が行われる時に、前記視覚センサの画角内の所定の位置に前記物品の特徴形状又は特徴点を常に配置することにより前記ロボットの前記先端部を前記対象部に追随させる追随制御を行いながら、前記力検出部の検出値に基づいた力制御を行い、
    前記制御部は、前記特徴形状若しくは前記特徴点が前記視覚センサから見えなくなった時に、別の特徴形状若しくは特徴点を前記追随制御に用いる、又は、前記特徴形状若しくは前記特徴点が見えなくなる前に計算された前記特徴形状若しくは前記特徴点の移動量を前記追随制御に用いる作業ロボットシステム。
  2. 前記制御部が、前記ロボットによって支持されている前記部品又は前記ツールを前記視覚センサの前記検出結果を用いて前記対象部に追随させながら、前記力検出部の検出値を用いて前記力制御を行う請求項1に記載の作業ロボットシステム。
  3. 前記搬送装置上の前記物品における前記対象部の少なくとも位置を検出する検出部を備え、
    前記制御部が、前記検出部の検出結果に基づいて、前記ロボットの前記部品又は前記ツールを前記対象部に近付ける請求項2に記載の作業ロボットシステム。
  4. 物品を搬送する搬送装置と、
    前記搬送装置によって搬送される前記物品の対象部に対して所定の作業を行うロボットと、
    前記ロボットを制御する制御部と、
    前記ロボットの先端部に取付けられた視覚センサと、
    前記ロボットに支持された部品又はツールと前記物品との接触によって生ずる力を検出する力検出部と、を備え、
    前記制御部が、前記ロボットによる前記所定の作業が行われる時に、前記視覚センサの画角内の所定の位置に前記物品の特徴形状又は特徴点を常に配置することにより前記ロボットの前記先端部を前記対象部に追随させる追随制御を行いながら、前記力検出部の検出値に基づいた力制御を行い、
    前記視覚センサによって検出される前記ロボットに対する前記対象部の位置が所定の基準を超えて変動する時に、前記制御部が前記力制御の制御周期を短くする、または、前記力制御の感度を高める作業ロボットシステム。
  5. 前記制御部は、前記所定の作業が行われる時に前記視覚センサから見えなくなる特徴形状又は特徴点ではなく、前記所定の作業が行われる時に前記視覚センサから見える特徴形状又は特徴点を前記追随制御に用いる、請求項1〜4の何れかに記載の作業ロボットシステム。
JP2018021181A 2018-02-08 2018-02-08 作業ロボットシステム Active JP6748126B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2018021181A JP6748126B2 (ja) 2018-02-08 2018-02-08 作業ロボットシステム
US16/245,593 US11407115B2 (en) 2018-02-08 2019-01-11 Work robot system
CN202310844799.1A CN116619341A (zh) 2018-02-08 2019-02-02 作业机器人系统
CN201910106489.3A CN110125906B (zh) 2018-02-08 2019-02-02 作业机器人系统
DE102019102859.0A DE102019102859B4 (de) 2018-02-08 2019-02-05 Arbeitsrobotersystem
US17/847,651 US11904483B2 (en) 2018-02-08 2022-06-23 Work robot system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018021181A JP6748126B2 (ja) 2018-02-08 2018-02-08 作業ロボットシステム

Publications (2)

Publication Number Publication Date
JP2019136808A JP2019136808A (ja) 2019-08-22
JP6748126B2 true JP6748126B2 (ja) 2020-08-26

Family

ID=67308505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018021181A Active JP6748126B2 (ja) 2018-02-08 2018-02-08 作業ロボットシステム

Country Status (4)

Country Link
US (2) US11407115B2 (ja)
JP (1) JP6748126B2 (ja)
CN (2) CN116619341A (ja)
DE (1) DE102019102859B4 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849631B2 (ja) 2018-04-23 2021-03-24 ファナック株式会社 作業ロボットシステムおよび作業ロボット
US10369701B1 (en) * 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
JP7306937B2 (ja) * 2019-09-25 2023-07-11 ファナック株式会社 ロボットに支持された部材の位置を調整するロボット装置の制御装置
CN114929435A (zh) * 2020-01-10 2022-08-19 发那科株式会社 控制系统
WO2021235331A1 (ja) * 2020-05-19 2021-11-25 ファナック株式会社 追随ロボット
JP7314871B2 (ja) * 2020-07-09 2023-07-26 新東工業株式会社 強度計測装置及び強度計測方法
JP7434196B2 (ja) 2021-01-29 2024-02-20 日立グローバルライフソリューションズ株式会社 作業システム
DE102021106990A1 (de) 2021-03-22 2022-09-22 Ferrobotics Compliant Robot Technology Gmbh Kraftgeregelte Handhabungsvorrichtung für die robotergestützte Oberflächenbearbeitung

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3576540A (en) * 1967-11-20 1971-04-27 Sundstrand Corp Plural machine tool and part handling control system
JPH0612490B2 (ja) * 1985-04-22 1994-02-16 日産自動車株式会社 ロボツトの制御装置
JPH0872764A (ja) 1994-09-01 1996-03-19 Mazda Motor Corp 生産ライン制御装置
JPH08286701A (ja) 1995-04-11 1996-11-01 Nissan Motor Co Ltd 複数ロボット制御方法およびシステム
JPH0972717A (ja) * 1995-09-04 1997-03-18 Fanuc Ltd 画像の取得・処理方法
WO2000045229A1 (en) * 1999-01-29 2000-08-03 Georgia Tech Research Corporation Uncalibrated dynamic mechanical system controller
US6886231B2 (en) 1999-06-25 2005-05-03 Burke E. Porter Machinery Company Robotic apparatus and method for mounting a valve stem on a wheel rim
JP4265088B2 (ja) 2000-07-10 2009-05-20 株式会社豊田中央研究所 ロボット装置及びその制御方法
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
KR100454714B1 (ko) * 2002-02-16 2004-11-05 한국과학기술연구원 작업용 로봇, 작업용 로봇을 위한 액츄에이터 및 작업용 로봇의 제어방법
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
JP4864363B2 (ja) * 2005-07-07 2012-02-01 東芝機械株式会社 ハンドリング装置、作業装置及びプログラム
WO2009123956A1 (en) * 2008-03-31 2009-10-08 Abb Research Robot parts assembly on a workpiece moving on an assembly line
US20100017033A1 (en) * 2008-07-18 2010-01-21 Remus Boca Robotic systems with user operable robot control terminals
JP2011073128A (ja) * 2009-09-30 2011-04-14 Almedio Inc ロボットシステム
JP2011110620A (ja) * 2009-11-24 2011-06-09 Toyota Industries Corp ロボットの動作を制御する方法およびロボットシステム
JP5508895B2 (ja) * 2010-02-22 2014-06-04 本田技研工業株式会社 加工システム及び加工方法
JP5464176B2 (ja) * 2011-06-20 2014-04-09 株式会社安川電機 ピッキングシステム
WO2017014303A1 (ja) * 2015-07-23 2017-01-26 オリンパス株式会社 医療システム及びその作動方法
CN106272416B (zh) * 2016-08-29 2020-12-29 上海交通大学 基于力觉和视觉的机器人细长轴精密装配系统及方法
CN106272424B (zh) * 2016-09-07 2017-10-27 华中科技大学 一种基于单目相机和三维力传感器的工业机器人抓取方法
JP7314475B2 (ja) * 2016-11-11 2023-07-26 セイコーエプソン株式会社 ロボット制御装置、及び、ロボット制御方法
CN106737697A (zh) * 2017-03-13 2017-05-31 安徽朗巴智能科技有限公司 一种基于装配机器人的自动装配系统
JP6478234B2 (ja) 2017-06-26 2019-03-06 ファナック株式会社 ロボットシステム

Also Published As

Publication number Publication date
US20190240841A1 (en) 2019-08-08
DE102019102859A1 (de) 2019-08-08
US20220324118A1 (en) 2022-10-13
US11904483B2 (en) 2024-02-20
US11407115B2 (en) 2022-08-09
CN116619341A (zh) 2023-08-22
CN110125906B (zh) 2023-07-11
CN110125906A (zh) 2019-08-16
DE102019102859B4 (de) 2022-05-12
JP2019136808A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP6748126B2 (ja) 作業ロボットシステム
US11241796B2 (en) Robot system and method for controlling robot system
US11890706B2 (en) Assembling parts in an assembly line
JP5849403B2 (ja) ロボットコントローラー、ロボット、及び、ロボットシステム
JPWO2017033355A1 (ja) マニピュレータシステム
CN108372503B (zh) 使用至少一个传感器的物品运送装置
JP6703018B2 (ja) 作業ロボットシステム
JP6849631B2 (ja) 作業ロボットシステムおよび作業ロボット
JP2017035754A (ja) 視覚センサおよび複数のロボットを備えるロボットシステム
CN111470309B (zh) 跟随机器人及作业机器人系统
JP5198155B2 (ja) ハンドリング装置、ワークハンドリング方法および信号処理装置
JP6816060B2 (ja) 作業ロボットシステムおよび作業ロボット
CN110605730A (zh) 机器人系统以及机器人
JP2020069614A (ja) ロボットシステム
US20230224450A1 (en) Imaging device for acquiring three-dimensional information of workpiece surface and two-dimensional image of workpiece
CN204868885U (zh) 用于操控工件的机器人系统
WO2021235331A1 (ja) 追随ロボット
JP2019038073A (ja) ロボットシステム及び搬送されているワークに対して作業を行う方法
JP7343329B2 (ja) ワーク選定及びロボット作業を同時に行うロボット制御システム
WO2023166588A1 (ja) 作業ロボットシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180831

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190710

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190913

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200806

R150 Certificate of patent or registration of utility model

Ref document number: 6748126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150