JP6662746B2 - 機械学習部を備えた作業補助システム - Google Patents

機械学習部を備えた作業補助システム Download PDF

Info

Publication number
JP6662746B2
JP6662746B2 JP2016198717A JP2016198717A JP6662746B2 JP 6662746 B2 JP6662746 B2 JP 6662746B2 JP 2016198717 A JP2016198717 A JP 2016198717A JP 2016198717 A JP2016198717 A JP 2016198717A JP 6662746 B2 JP6662746 B2 JP 6662746B2
Authority
JP
Japan
Prior art keywords
work
worker
orientation
state
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016198717A
Other languages
English (en)
Other versions
JP2018058178A (ja
Inventor
雅文 大場
雅文 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2016198717A priority Critical patent/JP6662746B2/ja
Priority to CN201710908675.XA priority patent/CN107914124B/zh
Priority to DE102017123088.2A priority patent/DE102017123088B4/de
Priority to US15/726,818 priority patent/US10603793B2/en
Publication of JP2018058178A publication Critical patent/JP2018058178A/ja
Application granted granted Critical
Publication of JP6662746B2 publication Critical patent/JP6662746B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
    • B23P19/00—Machines for simply fitting together or separating metal parts or objects, or metal and non-metal parts, whether or not involving some deformation; Tools or devices therefor so far as not provided for in other classes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G05B19/423—Teaching successive positions by walk-through, i.e. the tool head or end effector being grasped and guided directly, with or without servo-assistance, to follow a path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/11—Hand-related biometrics; Hand pose recognition
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40198—Contact with human allowed if under pain tolerance limit
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40202—Human robot coexistence
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40409—Robot brings object near operator, operator places object in correct position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Description

本発明は、機械学習部を備えた作業補助システムに関する。
従来、製造現場において、作業者が組み立て作業を行う場合、作業者自身が、組み立て作業に必要となる部品や工具等をこれらの保管場所に取りに行く必要があった。その結果としてタイムロスが生じ、作業効率が下がってしまうという問題点があった。
上述の問題を解決すべく、特許文献１は、作業者の位置を統計的に処理することで作業状況を予測し、その作業状況に合わせて部品や工具を供給する作業支援システムを開示している。
特許第５７１７０３３号公報
しかしながら、特許文献１では、作業者の個人差によって変化し得る作業の仕方やタイミングを考慮しなければならず、作業中に生じ得る様々な状況について予め想定しておく必要があった。そのため、作業者毎の手や足の動き等と作業の各工程との細かな対応付けを行う必要があった。
本発明は、上述した事情に鑑みてなされたものであって、作業者の個人差等によって作業の仕方やタイミングが異なっていたとしても、柔軟に作業状態を判断して作業を補助することのできる作業補助システムを提供することを目的とする。
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、作業者の手を含む各部位の位置姿勢を検出するセンサ部と、前記作業者に部品又は工具を供給する供給部と、該供給部を制御するセルコントローラと、を備え、該セルコントローラが、前記検出された前記各部位の位置姿勢と前記作業者の作業状態に関するラベルに基づいて学習モデルを構築する機械学習部と、前記構築された学習モデルを用いて、前記作業者の作業状態を判断する作業状態判断部と、を備え、前記供給部は、センサを備え、前記ラベルの作業状態と前記供給部の動作が対応付けられた作業テーブルと前記判断された作業状態に基づいて前記部品又は工具を選択し、前記部品又は工具に予め設定された座標系と前記各部位の前記位置姿勢を表現する座標系とが一致するように前記部品又は工具の位置姿勢を変化させ、前記センサの検出結果に基づいて前記部品又は工具が前記作業者の掌に到達したか否かを判断する作業補助システムである。
上記本発明の一態様における作業補助システムによれば、センサ部によって作業者の体の少なくとも一つの部位の位置姿勢が検出される。この検出された位置姿勢に基づいて、セルコントローラに備えられる機械学習部によって、作業者の作業状態が学習されてモデルが構築される。そして、構築されたモデルを用いて、セルコントローラに備えられる作業状態判断部によって、作業者の作業状態が判断される。そして、供給部において、この判断された作業状態に基づいて、作業者に供給すべき部品又は工具が選択される。そして、作業者の少なくとも一つの部位の位置姿勢に基づいて部品又は工具の位置姿勢を変化させて作業者に部品又は工具が供給される。
このように、作業者の作業状態が機械学習によって構築されたモデルを用いて判断されるため、作業者の個人差等によって作業の仕方やタイミングが異なっていたとしても、柔軟に作業状態を判断して作業を補助することができる。また、作業者と作業の各工程間の細かな対応付けといった事前準備が必要なくなるため、作業補助システムの導入容易性を上げることができる。
上記本発明の一態様に係る作業補助システムにおいて、前記供給部が、前記部品又は工具に予め設定された座標系と、前記少なくとも一つの部位の前記位置姿勢を表現する座標系とが一致するように、前記部品又は工具の前記位置姿勢を変化させる構成であってもよい。
上記本発明の一態様に係る作業補助システムにおいて、前記機械学習部で構築される前記モデルが、前記セルコントローラとネットワークを介して接続された他のセルコントローラで構築されるモデルとして共有される構成であってもよい。
こうすることにより、機械学習による学習効率を高くすることができる。
上記本発明の一態様に係る作業補助システムにおいて、前記供給部がロボットを備える構成であってもよい。
上記本発明の一態様に係る作業補助システムにおいて、前記機械学習部がニューラルネットワークを備える構成であってもよい。
上記本発明の一態様に係る作業補助システムにおいて、前記機械学習部は、学習用データとして前記各部位の位置姿勢を正規化したデータと、前記ラベルとして前記作業状態を正規化したデータと、に基づいて前記学習モデルを構築してもよい。
本発明によれば、作業者の個人差によって作業の仕方やタイミングが異なっていたとしても、柔軟に状況を判断して作業を補助することができるという効果を奏する。また、作業補助システムの導入容易性を上げることができるという効果を奏する。
本発明の一実施形態に係る作業補助システムの概略構成を示す図である。 図１の作業補助システムに備えられるセルコントローラの機械学習部の概略構成を示すブロック図である。 機械学習部に備えられるニューラルネットワークを説明する模式図である。 本発明の一実施形態に係る作業補助システムにおいて実行される処理を示したフローチャートである。 本発明の一実施形態に係る作業補助システムで使用される作業テーブルの一例を示す図表である。 図５の作業テーブルに対応する状態遷移図である。
以下に、本発明の一実施形態に係る作業補助システムについて図面を参照して説明する。
図１に示されるように、作業補助システム１は、センサ部２と、センサ部２が接続されるセルコントローラ３と、セルコントローラ３が接続される供給部４と、を備えている。
センサ部２は、複数の視覚センサであるカメラ２１を備えており、作業者５の体の各部位（例えば、手、足、頭等）の位置姿勢を逐次検出するように構成されている。本実施形態では、２台のカメラ２１を備えているが、１台以上のカメラ２１を備えていればよい。
セルコントローラ３は、センサ部２で検出された作業者５の体の各部位の位置姿勢に基づいて、作業者が現在どの作業状態にあるのかを判断するように構成されている。セルコントローラ３は、不図示のプロセッサと不図示のＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置とを備えており、プロセッサによって後述する各機能が処理されるように構成されている。セルコントローラ３は、機能ブロックとして、機械学習部３１と、作業状態判断部３２とを備えている。
機械学習部３１は、図２に示されるように、入力データ受信部３１１と、ラベル取得部３１２と、学習部３１３と、を備えている。
入力データ受信部３１１は、センサ部２で検出された作業者５の体の各部位の位置姿勢を入力データとして受信し、機械学習を行わせるための正規化等の前処理を施し、前処理を施した後の学習用データＸ＝｛ｘ１，ｘ２，．．．ｘｎ｝を学習部３１３に供給するように構成されている。
ラベル取得部３１２は、教師あり学習の際に必要となる教師データ、すなわちラベルを取得し、機械学習を行わせるための正規化等の前処理を施し、前処理を施した後の学習用ラベルＤ＝｛ｄ１，ｄ２，．．．ｄｍ｝を学習部３１３に供給するように構成されている。
学習部３１３は、入力データ受信部３１１で学習用データＸと、ラベル取得部３１２で前処理が施された後の学習用ラベルＤとに基づいて、学習モデル（モデル）３１３１を構築するように構成されている。学習モデル３１３１は、学習用入力データＸと学習用ラベルＤの組を大量に学習部３１３に与えることで構築される。
学習モデル３１３１の構築には、図３に示されるようなニューラルネットワークが用いられる。図３に示されるように、中間層を３層以上とすることで、深層学習による学習が行われると好適である。
学習により、図３に示されるニューラルネットワークに与えられた全ての学習用入力データＸと学習用ラベルＤの組に対し、誤差｜｜Ｄ−Ｙ｜｜２の合計が最小となる重みＷが決定され、学習モデル３１３１が構築される。
なお、機械学習部３１に与えられる入力データは、作業者５の体の少なくとも一つの部位の位置姿勢であり、例えば、手や足の位置姿勢である。また、機械学習部３１に与えられるラベルは、作業状態である。そして、機械学習部３１の出力、すなわち、学習モデルの出力Ｙ＝｛ｙ１，ｙ２，．．．ｙｍ｝は、例えば、該当する作業状態であり得る確率である。
また、図２に示されるように、学習モデル３１３１が、ネットワークを介して他のセルコントローラと接続され、当該他のセルコントローラに備えられる機械学習部の学習モデルとして共有されていてもよい。
このようにすることで、学習モデル３１３１の学習効率を高めることができる。
図１に示されるように、作業状態判断部３２は、センサ部２で検出された作業者５の体の各部位の位置姿勢と、機械学習部３１で構築された学習モデル３１３１とに基づいて、現在の作業状態を判断するように構成されている。
供給部４は、セルコントローラ３で判断された現在の作業状態に基づいて、作業者５に工具又は部品を供給するように構成されている。具体的には、供給部４は、協働ロボット４１と、協働ロボット４１を制御するロボット制御装置４２と、載置台４３とを備えている。
協働ロボット４１は、アーム先端部に、末端効果器であるハンド６と不図示のカメラが取り付けられており、ロボット制御装置４２からの指令に応じて、載置台４３上の部品を把持し、作業者５に供給するように構成されている。
ロボット制御装置４２は、互いにバスを介して接続された、不図示のプロセッサと、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置と、協働ロボット４１との間で種々のデータのやりとりを行う外部インタフェース等を備えており、プロセッサによって協働ロボット４１に対する制御命令が実行されるように構成されている。ロボット制御装置４２は、セルコントローラ３で判断された作業状態と記憶装置に格納された作業テーブルと協働ロボット４１に取り付けられたカメラからの情報とに基づいて、協働ロボット４１を制御する。より具体的には、ロボット制御装置４２は、セルコントローラ３から受信した作業状態を、記憶装置に格納された作業テーブル内において検索し、該当する作業状態に対応づけられているロボット動作を実行するように協働ロボット４１に命令する。また、ロボット制御装置４２は、協働ロボット４１に取り付けられたカメラによって撮像された作業者５の掌の画像に基づいて掌の位置姿勢を検出し、部品や工具毎に予め設定された座標系と掌の位置姿勢を表現する座標系とが一致するように協働ロボット４１を動作させる。
載置台４３には、作業に必要な工具や部品が載置される台であるが、部品棚、トレー、工具箱等であってもよい。
また、協働ロボット４１にカメラを設けずに、固定位置に取り付けられるとともにロボット制御装置４２に接続されたカメラからの情報に基づいて、載置台４３上の部品を把持し、作業者５に供給するように構成してもよい。
以下、上述のように構成される作業補助システム１で行われる作業補助方法について、図１及び図４を参照して説明する。
まず、センサ部２によって、作業者５の各部位の位置姿勢が逐次計測される（図４のステップＳ１）。そして、セルコントローラ３の作業状態判断部３２によって、計測された作業者５の各部位の位置姿勢に基づいて作業状態が判別される（図４のステップＳ２）。次に、ロボット制御装置４２によって、セルコントローラ３から受信した作業状態が逐次監視され、作業状態が切り替わったか否かが判断される（図４のステップＳ３）。作業状態に変化がないと判断された場合には、ステップＳ１及びステップＳ２が繰り返され、作業状態が切り替わったと判断された場合には次の処理へと進む。
作業状態が切り替わったと判断されると、ロボット制御装置４２によって、切り替わった後の作業状態が、記憶装置に格納された作業テーブル内において検索される。そして、該当する作業状態に対応づけられているロボット動作を協働ロボット４１が実行するように、協働ロボット４１に対して制御命令を送信する。
ロボット動作は、原則として、工具又は部品を作業者５に供給する動作である。従って、まず、協働ロボット４１が、ロボット制御装置４２からの制御命令に従って、工具又は部品を載置台４３から選択しハンド６によって把持することで、作業者５に工具又は部品を供給するための準備が行われる（図４のステップＳ４）。
その後、協働ロボット４１に取り付けられたカメラによって作業者５の掌を含む画像が撮像され、ロボット制御装置４２によって、作業者５の掌の位置姿勢が計測される（図４のステップＳ５）。そして、ロボット制御装置４２によって協働ロボット４１が制御され、作業者５の掌の位置姿勢と工具又は部品に予め設定された座標系とが一致するように、協働ロボット４１が移動する（図４のステップＳ６）。
続いて、工具又は部品が、作業者５の掌の位置に到達したか否かが判断される（図４のステップＳ７）。なお、この判断は、協働ロボット４１のカメラにより撮像された画像に基づいてなされてもよいし、協働ロボット４１のハンド６に力センサを取り付け、この力センサからのフィードバックに基づいてなされてもよい。
作業者５の掌の位置に到達していないと判断された場合には、ステップＳ５及びステップＳ６が繰り返され、作業者５の掌の位置に到達したと判断された場合には処理が終了する。
（実施例）
以下、本実施形態に係る作業補助システム１が適用される実施例として、１つのシャーシに１つのカバーを手で取り付け、その後、１つのドライバ及び４つのネジを用いて４箇所のネジ締めを行う作業を例に挙げて説明する。
この作業の工程としては、図５に示されるように、カバー取付工程と、ネジ締め工程とがある。カバー取付工程における作業者５の作業状態は、シャーシ待ち状態と、カバー待ち状態と、カバー取付作業中の状態である。ネジ締め工程における作業者５の作業状態は、ドライバ待ち状態と、ネジ待ち状態と、ネジ締め作業中の状態とである。ネジが４つあるため、ネジ待ち状態及びネジ締め作業中の状態は、それぞれ４つずつとなる。
上記の各作業状態は、図６に示されるように、所定の動作によって各作業状態間を遷移する。すなわち、シャーシ待ち状態は、協働ロボット４１によってシャーシが供給されると、カバー待ち状態に遷移する。カバー待ち状態は、協働ロボット４１によってカバーが供給されると、カバー取付作業中の状態に遷移する。カバー取付作業中の状態は、作業者５による作業が終了することで、ドライバ待ち状態に遷移する。ドライバ待ち状態は、協働ロボット４１によってドライバが供給されるとネジ待ち状態に遷移する。ネジ待ち状態は、協働ロボット４１によってネジが供給されるとネジ締め作業中の状態に遷移する。ネジ締め作業中の状態は、作業者５による作業が終了することで、ネジ待ち状態に遷移する。本実施例では、４箇所のネジ締めが行われるため、ネジ待ち状態及びネジ締め作業中の状態間の遷移を４回繰り返した後で、作業完了となる。
図５に示される作業テーブルには、各作業状態に対して、その作業状態を別の作業状態に遷移させるためのロボット動作が対応づけられている。なお、カバー取付作業中の状態及びネジ締め作業中の状態は、作業者５の動作によって次の状態に遷移するものであるため、ロボット動作としては、待機状態となる。但し、作業の効率化を図るため、次の作業で使用される工具又は部品を作業者５にすぐに供給できるように、工具又は部品を選択し把持した後で、待機状態に入るのが好ましい。
図５に示される作業テーブルは、予め作成されて、ロボット制御装置４２の記憶装置に格納されている。
本実施例では、学習用データＸとして、作業者５の手、頭部及び爪先の位置姿勢を正規化したデータが用いられる。学習用ラベルＤは、「シャーシ待ち」、「カバー待ち」、「カバー取付作業中」、「ドライバ待ち」、「ネジ待ち」及び「ネジ締め作業中」の６つの作業状態を正規化したものである。これらの学習用データＸと学習用ラベルＤの組を大量に学習部３１３に与えることで、学習モデル３１３１が構築される。
これにより、作業状態判断部３２において、学習モデル３１３１に実際の作業で得られた作業者５の手、頭部及び爪先の位置姿勢のデータを入力すると、出力Ｙとして、現在の作業がどの作業状態にあるかの確率が出力される。作業状態判断部３２は、最も高い確率を有する作業状態が現在の作業状態であると判断し、現在の作業状態をロボット制御装置４２に送信する。例えば、「シャーシ待ち」の確率が最も高かった場合には、「シャーシ待ち」が現在の作用状態であるとしてロボット制御装置４２に送信する。
ロボット制御装置４２は、内部の記憶装置に格納された作業テーブルから「シャーシ待ち」を検索し、これに対応づけられたロボット動作として「シャーシ供給」を得る。そして、ロボット制御装置４２は、協働ロボット４１が「シャーシ供給」を行うように、協働ロボット４１を制御する。
協働ロボット４１は、載置台４３からシャーシをピックアップし、作業者５に供給する。この場合に、作業者５の掌の位置姿勢とシャーシに予め設定された座標系とが一致するように、シャーシが作業者５に供給される。
同様にして、作業テーブル上の全ての作業状態が完了するまで上記の処理が繰り返される。
このように、作業者５の作業状態が機械学習によって構築された学習モデル３１３１を用いて判断されるため、作業者５の個人差等によって作業の仕方やタイミングが異なっていたとしても、柔軟に作業状態を判断して作業を補助することができる。また、作業者５と作業の各工程間の細かな対応付けといった事前準備が必要なくなるため、作業補助システム１の導入容易性を上げることができる。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、上記実施形態においては、協働ロボット４１に取り付けられたカメラが、作業者５の掌の位置姿勢を計測するための画像を撮像するとしたが、協働ロボット４１に取り付けられたカメラの代わりに、センサ部２に備えられるカメラ２１を用いてもよい。
１ 作業補助システム
２ センサ部
３ セルコントローラ
４ 供給部
５ 作業者
３１ 機械学習部
３２ 作業状態判断部
４１ 協働ロボット

Claims (5)

  1. 作業者の手を含む各部位の位置姿勢を検出するセンサ部と、
    前記作業者に部品又は工具を供給する供給部と、
    該供給部を制御するセルコントローラと、
    を備え、
    該セルコントローラが、
    前記検出された前記各部位の位置姿勢と前記作業者の作業状態に関するラベルに基づいて学習モデルを構築する機械学習部と、
    前記構築された学習モデルを用いて、前記作業者の作業状態を判断する作業状態判断部と、を備え、
    前記供給部は、センサを備え、前記ラベルの作業状態と前記供給部の動作が対応付けられた作業テーブルと前記判断された作業状態に基づいて前記部品又は工具を選択し、前記部品又は工具に予め設定された座標系と前記各部位の前記位置姿勢を表現する座標系とが一致するように前記部品又は工具の位置姿勢を変化させ、前記センサの検出結果に基づいて前記部品又は工具が前記作業者の掌に到達したか否かを判断する作業補助システム。
  2. 前記機械学習部で構築される前記モデルが、前記セルコントローラとネットワークを介して接続された他のセルコントローラで構築されるモデルとして共有される請求項１に記載の作業補助システム。
  3. 前記供給部がロボットを備える請求項１又は２に記載の作業補助システム。
  4. 前記機械学習部がニューラルネットワークを備える請求項１から３のいずれか一項に記載の作業補助システム。
  5. 前記機械学習部は、学習用データとして前記各部位の位置姿勢を正規化したデータと、前記ラベルとして前記作業状態を正規化したデータと、に基づいて前記学習モデルを構築する請求項１から４のいずれか一項に記載の作業補助システム。
JP2016198717A 2016-10-07 2016-10-07 機械学習部を備えた作業補助システム Active JP6662746B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016198717A JP6662746B2 (ja) 2016-10-07 2016-10-07 機械学習部を備えた作業補助システム
CN201710908675.XA CN107914124B (zh) 2016-10-07 2017-09-29 具有机械学习部的操作辅助系统
DE102017123088.2A DE102017123088B4 (de) 2016-10-07 2017-10-05 Arbeitsunterstützungssystem, das eine Maschinenlerneinheit aufweist
US15/726,818 US10603793B2 (en) 2016-10-07 2017-10-06 Work assisting system including machine learning unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016198717A JP6662746B2 (ja) 2016-10-07 2016-10-07 機械学習部を備えた作業補助システム

Publications (2)

Publication Number Publication Date
JP2018058178A JP2018058178A (ja) 2018-04-12
JP6662746B2 true JP6662746B2 (ja) 2020-03-11

Family

ID=61695695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016198717A Active JP6662746B2 (ja) 2016-10-07 2016-10-07 機械学習部を備えた作業補助システム

Country Status (4)

Country Link
US (1) US10603793B2 (ja)
JP (1) JP6662746B2 (ja)
CN (1) CN107914124B (ja)
DE (1) DE102017123088B4 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10675766B1 (en) * 2017-08-28 2020-06-09 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
WO2020066850A1 (ja) * 2018-09-27 2020-04-02 パナソニックＩｐマネジメント株式会社 搬送システム、搬送装置の制御方法及びプログラム
JP6826086B2 (ja) * 2018-09-28 2021-02-03 ファナック株式会社 状態判定装置及び状態判定方法
US11077559B2 (en) * 2018-12-05 2021-08-03 Honda Motor Co., Ltd. Support robot and methods of use thereof
US10866579B2 (en) * 2019-03-01 2020-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Automated manufacturing process tooling setup assist system
JP6940542B2 (ja) * 2019-03-14 2021-09-29 ファナック株式会社 把持力調整装置及び把持力調整システム
JP7021158B2 (ja) * 2019-09-04 2022-02-16 株式会社東芝 ロボットシステムおよび駆動方法
JP7448327B2 (ja) 2019-09-26 2024-03-12 ファナック株式会社 作業員の作業を補助するロボットシステム、制御方法、機械学習装置、及び機械学習方法
JP7362107B2 (ja) * 2019-09-30 2023-10-17 Ｊｏｈｎａｎ株式会社 制御装置、制御方法およびプログラム
JP2022156507A (ja) * 2021-03-31 2022-10-14 Ｊｏｈｎａｎ株式会社 ロボット制御システム、および制御装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56135588A (en) * 1980-03-28 1981-10-23 Kunimine Kogyo Kk Bentonite for drilling mud and production thereof
JPS5717033A (en) 1980-07-02 1982-01-28 Mitsubishi Electric Corp Voltage stabilizing circuit
JPH01199753A (ja) * 1988-02-05 1989-08-11 Fanuc Ltd 工具交換の制御方法
JP2003080484A (ja) 2001-09-07 2003-03-18 Tomy Co Ltd 動作反応玩具
JP4630553B2 (ja) * 2004-01-15 2011-02-09 ソニー株式会社 動的制御装置および動的制御装置を用いた２足歩行移動体
JP2005219161A (ja) * 2004-02-05 2005-08-18 Matsushita Electric Ind Co Ltd ロボット把持制御装置及びロボット把持制御システム
JP4682217B2 (ja) * 2007-03-07 2011-05-11 パナソニック株式会社 行動制御装置、方法、プログラム
US20080229255A1 (en) * 2007-03-15 2008-09-18 Nokia Corporation Apparatus, method and system for gesture detection
JP5022868B2 (ja) * 2007-11-16 2012-09-12 キヤノン株式会社 情報処理装置、情報処理方法
JP5201968B2 (ja) * 2007-12-10 2013-06-05 サンデン株式会社 コンプレッサトルク推定装置
JP4803212B2 (ja) 2008-05-28 2011-10-26 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
JP5336896B2 (ja) * 2009-03-24 2013-11-06 株式会社国際電気通信基礎技術研究所 対物行動推定装置およびサービス提供システム
KR101686517B1 (ko) * 2009-05-22 2016-12-14 도요타지도샤 히가시니혼 가부시키가이샤 작업 지원 로봇 시스템
US20130245882A1 (en) 2012-03-14 2013-09-19 Christopher P. Ricci Removable, configurable vehicle console
EP2637594A4 (en) * 2010-11-11 2015-05-06 Univ Johns Hopkins ROBOT SYSTEMS FOR HUMAN MACHINE COLLABORATION
WO2012101956A1 (ja) * 2011-01-27 2012-08-02 パナソニック株式会社 ロボットアームの制御装置及び制御方法、ロボット、ロボットアーム制御プログラム、並びに、集積電子回路
US8718822B1 (en) * 2011-05-06 2014-05-06 Ryan Hickman Overlaying sensor data in a user interface
CN102402712B (zh) * 2011-08-31 2014-03-05 山东大学 基于神经网络的机器人强化学习初始化方法
JP2013184273A (ja) * 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP5717033B2 (ja) * 2012-07-19 2015-05-13 トヨタ自動車東日本株式会社 作業支援システム
CN203062094U (zh) * 2012-12-31 2013-07-17 徐州润物科技发展有限公司 激光切割工业机器人
CN103170973B (zh) * 2013-03-28 2015-03-11 上海理工大学 人机协作装置及实现人机协作的方法
JP2015071206A (ja) * 2013-10-03 2015-04-16 セイコーエプソン株式会社 制御装置、ロボット、教示データ生成方法及びプログラム
US9381642B2 (en) * 2014-01-13 2016-07-05 Massachusetts Institute Of Technology Wearable robot assisting manual tasks
JP6291922B2 (ja) * 2014-03-11 2018-03-14 アイシン精機株式会社 睡眠深度判定装置
EP3147798A4 (en) 2014-05-22 2018-01-17 Sony Corporation Information processing device, information processing method, and program
JP6397226B2 (ja) 2014-06-05 2018-09-26 キヤノン株式会社 装置、装置の制御方法およびプログラム
JPWO2015186436A1 (ja) * 2014-06-06 2017-04-20 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US9469028B2 (en) * 2014-09-30 2016-10-18 Toyota Jidosha Kabushiki Kaisha Robotic handover system natural for humans
JP6435581B2 (ja) * 2015-01-29 2018-12-12 パナソニックＩｐマネジメント株式会社 転移学習装置、転移学習システム、転移学習方法およびプログラム
CN104985599B (zh) * 2015-07-20 2018-07-10 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制方法、系统及智能机器人
CN105718857B (zh) * 2016-01-13 2019-06-04 兴唐通信科技有限公司 一种人体异常行为检测方法及系统
CN105913117A (zh) * 2016-04-04 2016-08-31 北京工业大学 一种计算机智能识别的相关神经网络方法

Also Published As

Publication number Publication date
US20180126558A1 (en) 2018-05-10
CN107914124A (zh) 2018-04-17
CN107914124B (zh) 2021-11-19
JP2018058178A (ja) 2018-04-12
DE102017123088A1 (de) 2018-04-12
US10603793B2 (en) 2020-03-31
DE102017123088B4 (de) 2021-01-28

Similar Documents

Publication Publication Date Title
JP6662746B2 (ja) 機械学習部を備えた作業補助システム
US11338435B2 (en) Gripping system with machine learning
JP4235214B2 (ja) ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法
US11084168B2 (en) Article stacking apparatus and machine learning apparatus
JP5860021B2 (ja) 複数の締結部材を締結するための締結装置、ロボットシステム、および締結方法
EP1769890A2 (en) Robot simulation device
JP2020055096A (ja) 情報処理装置、情報処理方法及びシステム
JP2009110190A (ja) ワーク搬送用ロボットの制御装置
KR20120027253A (ko) 물체-학습 로봇 및 방법
JP2019107704A (ja) ロボットシステム及びロボット制御方法
CN111958604A (zh) 一种高效的基于cad模型的异形毛刷单目视觉示教抓取方法
US10960550B2 (en) Identification code reading apparatus and machine learning device
JP2012006097A (ja) ロボット装置
JP2014128840A (ja) ロボット制御システム
TW202122225A (zh) 使用先進掃描技術之用於機器人箱揀取的系統及方法
CN114174007A (zh) 自主式机器人工装系统、控制系统、控制方法及存储介质
JP4572497B2 (ja) ロボット制御装置
JP2008009899A (ja) 組立作業用ロボットの自動教示システム及び教示方法
JP6023251B2 (ja) ロボットシステム
WO2017141569A1 (ja) 制御装置、制御システム、制御方法およびプログラム
US20220072708A1 (en) Motion model calculation device, control device, joint mechanism, and motion model calculation method
JP6758915B2 (ja) 自律作業制御システムおよび自律作業制御方法
JP2006315128A (ja) ロボットハンドの持ち替え把持制御方法。
JP7376318B2 (ja) アノテーション装置
JP7239393B2 (ja) 工作機械、行動種別の判別方法、および、行動種別の判別プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181016

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190813

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200213

R150 Certificate of patent or registration of utility model

Ref document number: 6662746

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150