JP6616170B2 - コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 - Google Patents

コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 Download PDF

Info

Publication number
JP6616170B2
JP6616170B2 JP2015238410A JP2015238410A JP6616170B2 JP 6616170 B2 JP6616170 B2 JP 6616170B2 JP 2015238410 A JP2015238410 A JP 2015238410A JP 2015238410 A JP2015238410 A JP 2015238410A JP 6616170 B2 JP6616170 B2 JP 6616170B2
Authority
JP
Japan
Prior art keywords
laminated core
core
laminated
manufacturing apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015238410A
Other languages
English (en)
Other versions
JP2017107902A (ja
Inventor
卓 高見澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2015238410A priority Critical patent/JP6616170B2/ja
Priority to CN201610982260.2A priority patent/CN106826812B/zh
Priority to DE102016014264.2A priority patent/DE102016014264B4/de
Priority to US15/368,753 priority patent/US10500721B2/en
Publication of JP2017107902A publication Critical patent/JP2017107902A/ja
Application granted granted Critical
Publication of JP6616170B2 publication Critical patent/JP6616170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39271—Ann artificial neural network, ffw-nn, feedforward neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45055—Assembly
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y10S901/03—Teaching system

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • Manufacturing Cores, Coils, And Magnets (AREA)
  • Manufacture Of Motors, Generators (AREA)
  • Feedback Control In General (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Numerical Control (AREA)

Description

本発明は、コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法に関する。
従来、積層コアは、例えば、ロボットを含む積層コア製造装置により、複数のコアシートを順番に積み上げて製造している。ここで、ロボットによるコアシートの積層は、例えば、ティーチペンダントを利用してハンド部によるコアシートの把持および移動経路等をロボット制御部に記憶させ、あるいは、ロボット制御部に対してコアシートを把持，移動および積層する所定のプログラムを実行させることにより行っている。
ところで、従来、積層コアを精度よく製造することのできる積層コア製造装置および積層コア製造方法としては、様々な提案がなされている。
特開２０１５−０６１３５３号公報 特開２０１０−１６６６６４号公報
上述したように、積層コアは、例えば、ティーチペンダントを利用してハンド部によるコアシートの把持および移動経路等をロボット制御部に記憶させ、あるいは、所定のプログラムを実行させることにより行っている。このような手法により製造された積層コアには、所定のずれ(積層誤差)が含まれるため、より高精度の積層コアを製造するには、例えば、型枠治具を使用している。
しかしながら、型枠治具は、製造する積層コアの種類毎に異なるため、複数の型枠治具を準備することになり、また、同じ型枠治具を長期間継続して使用すると、その寸法や形状が微妙に変化してくるため、製造された積層コアの形状にも影響が出る。
本発明の目的は、上述した従来技術の課題に鑑み、高品位な積層コアを継続的に製造することができる機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法の提供にある。
本発明に係る第１実施形態によれば、複数枚のコアシートを積層して積層コアを製造する積層コア製造装置の動作を学習する機械学習器であって、前記コアシートおよび前記積層コア製造装置の状態を観測する状態観測部と、前記状態観測部により観測された状態量に基づいて、前記コアシートを積層する操作量を更新する学習部と、を備える機械学習器が提供される。
前記状態観測部は、前記コアシートの形状データ、前記積層コア製造装置の動作データ、および、前記積層コア製造装置により前記コアシートが積層される時間データの少なくとも１つの状態量を観測し、前記学習部は、前記状態観測部により観測された前記コアシートの形状データ、前記積層コア製造装置の動作データ、および、前記コアシートが積層される時間データの少なくとも１つの状態量に基づいて、前記コアシートを積層する操作量を更新するのが好ましい。
前記積層コア製造装置は、ハンド部もしくは作業空間を見渡せる個所にロボットビジョンが設けられたロボットを含み、前記状態観測部は、前記ロボットビジョンから、前記コアシートの形状データを受け取ることができる。前記積層コア製造装置は、さらに、前記ハンド部の変位または角度を指令して前記ロボットの動作を制御するロボット制御部を含み、前記状態観測部は、前記ロボット制御部から、前記積層コア製造装置の動作データ、および、前記コアシートが積層される時間データを受け取るのが好ましい。
前記状態観測部は、前記ロボット制御部から出力される前記ハンド部の速度ゲインおよび位置ゲイン、ならびに、前記コアシートが積層される時間のデータを取得することができる。前記機械学習器は、さらに、前記学習部が学習した前記操作量を参照して、前記積層コア製造装置の動作を決定する意思決定部を備えるのが好ましい。
前記学習部は、前記状態観測部の出力に基づいて報酬を計算する報酬計算部と、前記状態観測部および前記報酬計算部の出力に基づいて、前記コアシートを積層して積層コアを製造する動作の価値を定める価値関数を、前記報酬に応じて更新する価値関数更新部と、を備えることができる。また、前記学習部は、前記状態観測部の出力、および、入力された教師データに基づいて誤差を計算する誤差計算部と、前記状態観測部および前記誤差計算部の出力に基づいて、前記コアシートを積層して積層コアを製造する動作の誤差を定める誤差モデルを更新する誤差モデル更新部と、を備えることもできる。前記機械学習器は、ニューラルネットワークを有してもよい。
本発明に係る第２実施形態によれば、所定形状のコアシートを、１枚ずつまたは複数枚ずつ掴んで積層して積層コアを製造する積層コア製造装置であって、前記コアシートを把持するハンド部に設けられたロボットビジョンにより、前記コアシートの寸法を検出して前記積層コアを製造する積層コア製造装置が提供される。前記積層コア製造装置は、さらに、機械学習器を備えるのが好ましい。
本発明に係る第３実施形態によれば、所定形状のコアシートを、１枚ずつまたは複数枚ずつ掴んで積層して積層コアを製造する積層コア製造装置であって、機械学習器を備え、前記コアシートを把持するハンド部に設けられたロボットビジョンにより、前記コアシートの寸法を検出して前記積層コアを製造する積層コア製造装置を複数備える積層コア製造システムであって、前記機械学習器は、それぞれの前記積層コア製造装置に設けられ、複数の前記積層コア製造装置に設けられた複数の前記機械学習器は、通信媒体を介して相互にデータを共有または交換するようになっている積層コア製造システムが提供される。前記機械学習器は、クラウドサーバ上に存在してもよい。
本発明に係る第４実施形態によれば、複数枚のコアシートを積層して積層コアを製造する積層コア製造装置の動作を学習する機械学習方法であって、前記コアシートおよび前記積層コア製造装置の状態を観測し、前記観測された状態量に基づいて、前記コアシートを積層する操作量を更新する機械学習方法が提供される。前記コアシートおよび前記積層コア製造装置の状態を観測するのは、前記コアシートの形状データ、前記積層コア製造装置の動作データ、および、前記積層コア製造装置により前記コアシートが積層される時間データの少なくとも１つの状態量を観測し、前記コアシートを積層する操作量の更新は、観測された前記コアシートの形状データ、前記積層コア製造装置の動作データ、および、前記コアシートが積層される時間データの少なくとも１つの状態量に基づいて行うのが好ましい。
本発明に係る機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法によれば、高品位な積層コアを継続的に製造することができるという効果を奏する。
図１は、本発明に係る積層コア製造装置の一実施形態を概略的に示すブロック図である。 図２は、図１に示す積層コア製造装置におけるロボットビジョンにより得られるコアシート形状の一例を示す図である。 図３は、ニューロンのモデルを模式的に示す図である。 図４は、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。 図５は、図１に示す積層コア製造装置における機械学習器の動作の一例を示すフローチャートである。 図６は、本発明に係る積層コア製造装置の他の実施形態を概略的に示すブロック図である。 図７は、積層コア製造装置の一例を概略的に示すブロック図である。 図８は、図７に示す積層コア製造装置により積層コアを製造する一例を説明するための図である。 図９は、図７に示す積層コア製造装置により積層コアを製造する他の例を説明するための図である。
まず、本発明に係る機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法の実施形態を詳述する前に、積層コア製造装置の例およびその課題を、図７〜図９を参照して説明する。図７は、積層コア製造装置の一例を概略的に示すブロック図であり、図８は、図７に示す積層コア製造装置により積層コアを製造する一例を説明するための図である。図７において、参照符号100は積層コア製造装置、101はロボット(作業ロボット)、111はロボット101のハンド部、112はロボット101を制御するロボット制御部、そして、103は積層コアを示す。
図７に示されるように、本例の積層コア103の製造は、ロボット制御部112の出力で制御されるロボット101のハンド部111により、例えば、図８に示されるような複数のコアシート131-1，131-2，…131-kを積み上げて積層コア103を製造する。ここで、ロボット101は、例えば、６軸多関節型ロボットであり、ロボット101およびハンド部111の各駆動軸は、ロボット制御部112によって制御される。
また、ロボット101は、例えば、コアシート131(131-1，131-2，…，131-k)を所定個所から把持して積み上げ、積層コア103を製造する。なお、ロボット101によるコアシート131の積層は、例えば、図示しないティーチペンダントを利用してハンド部111によるコアシート131の把持および移動経路等をロボット制御部112に記憶させ、あるいは、ロボット制御部112に対してコアシート131を把持，移動および積層する所定のプログラムを実行させることにより行う。
しかしながら、上述した積層コア103の製造方法では、図８に示されるように、積層される複数のコアシート131-1，131-2，…，131-kの位置がばらつくため、製造された積層コア103には、例えば、Ｘ＋ΔＸおよびＹ＋ΔＹの誤差範囲が含まれることになる。
図９は、図７に示す積層コア製造装置により積層コアを製造する他の例を説明するための図であり、型枠治具130を使用して積層コア103を製造する場合を示す。すなわち、図９に示されるように、本例の積層コアの製造は、型枠治具130の内面により積層される複数のコアシート131-1，131-2，…，131-kを積層後、積層状態の寸法ばらつきを抑えられるようになっている。しかしながら、型枠治具130は、製造する積層コア103の種類毎に異なるため、複数の型枠治具130を準備することになる。また、同じ型枠治具130を長期間継続して使用すると、型枠治具130の寸法や形状が微妙に変化してくるため、製造された積層コア103の形状にも影響が出る。
このように、図７に示すような積層コア製造装置100により積層コア103を製造する場合、型枠治具130が無いと、高品位な積層コア103の設計が難しくなり、また、型枠治具130を用いて積層コア103を製造する場合でも、長期間に渡って同じ品質の積層コア103を製造するのが困難であり、さらに、製造する積層コア103の種類ごとに型枠治具130を準備することになるといった様々な問題がある。
以下、本発明に係る機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法の実施形態を、添付図面を参照して詳述する。ここで、各図面において、同じ部材には同じ参照符号が付されている。また、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。なお、理解を容易にするために、これらの図面は縮尺を適宜変更している。
図１は、本発明に係る積層コア製造装置の一実施形態を概略的に示すブロック図であり、図２は、図１に示す積層コア製造装置におけるロボットビジョンにより得られるコアシート形状の一例を示す図である。図１に示されるように、本実施形態の積層コア製造装置１０は、ハンド部１１を有するロボット１、機械学習器２、ロボット制御部１２およびロボットビジョン１３を含む。ロボット１は、例えば、６軸多関節型ロボットであり、ロボット１およびハンド部１１のそれぞれの駆動軸は、ロボット制御部１２によって制御される。
ロボット１は、コアシート３１を１枚ずつ、あるいは、複数枚ずつ把持して積層し、積層コア３を製造する。なお、図１において、ハンド部１１は、コアシート３１を２本の爪で把持するように描かれているが、例えば、負圧によりコアシート３１を吸着する吸着式ハンド等であってもよい。また、ハンド部１１には、ロボットビジョン１３が設けられていて、コアシート３１の形状を認識、すなわち、図２に示されるような、コアシート３１のＸおよびＹの寸法等を検出可能になっている。
なお、図１において、ロボットビジョン１３の装着個所は、ハンド部１１とされているが、これは単なる例であり、作業空間を見渡せる個所であれば、ハンド部１１に限定されるものではない。また、ロボットビジョン１３の設置数も１つに限定されず、複数個所あるいは複数個設けることができるのはいうまでもない。
ロボット制御部１２は、ハンド部１１の変位または角度を指令してロボット１の動作を制御する。状態観測部２１は、ロボットビジョン１３からのコアシート３１の形状データ、ならびに、ロボット制御部１２からの積層コア製造装置１０(ロボット１)の動作データおよびコアシート３１が積層される時間データの少なくとも１つを受け取る。すなわち、状態観測部２１は、ロボット制御部１２から出力されるハンド部１１の速度ゲインおよび位置ゲイン、ならびに、コアシート３１が積層される時間のデータを取得する。
機械学習器２は、積層コア製造装置１０の動作を学習するためのもので、コアシート３１および積層コア製造装置１０の状態を観測する状態観測部２１と、状態観測部２１により観測された状態量に基づいてコアシート３１を積層する操作量を更新する学習部２２と、学習部２２が学習した操作量を参照して積層コア製造装置１０の動作を決定する意思決定部２５と、を含む。
学習部２２は、状態観測部２１により観測されたコアシート３１の形状データ、積層コア製造装置１０の動作データ、および、コアシート３１が積層される時間データの少なくとも１つの状態量に基づいて、コアシート３１を積層するための操作量を更新する。すなわち、学習部２２は、状態観測部２１の出力に基づいて報酬を計算する報酬計算部２３と、状態観測部２１および報酬計算部２３の出力に基づいて、コアシート３１を積層して積層コア３を製造する動作の価値を定める価値関数を、報酬に応じて更新する価値関数更新部２４と、を含む。また、意思決定部２５は、学習部２２が学習した操作量を参照して、積層コア製造装置１０(ロボット１)の動作を決定して、ロボット制御部１２へ出力する。これにより、ロボット制御部１２は、更新された価値関数による速度ゲイン(更新値)および位置ゲイン(更新値)に基づいてハンド部１３(ロボット１)の制御を行い、コアシート３１を積層して積層コア３を製造する。
ここで、機械学習器について、説明する。機械学習器は、装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準などを解析により抽出し、その判断結果を出力するとともに、知識の学習(機械学習)を行う機能を有する。機械学習の手法は様々であるが、大別すれば、例えば、「教師あり学習」、「教師なし学習」および「強化学習」に分けられる。さらに、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習(ディープラーニング：Deep Learning)」と呼ばれる手法がある。
なお、図１に示す機械学習器２は、「強化学習」を適用したものであり、また、図６を参照して後述する機械学習器４は、「教師あり学習」を適用したものである。これらの機械学習(機械学習器２，４)は、汎用の計算機若しくはプロセッサを用いることもできるが、例えば、ＧＰＧＰＵ(General-Purpose computing on Graphics Processing Units)や大規模ＰＣクラスター等を適用すると、より高速処理が可能になる。
まず、教師あり学習とは、教師データ、すなわち、ある入力と結果(ラベル)のデータの組を大量に機械学習器２に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル(誤差モデル)、すなわち、その関係性を帰納的に獲得するものである。例えば、後述のニューラルネットワークなどのアルゴリズムを用いて実現することが可能である。
また、教師なし学習とは、入力データのみを大量に学習装置に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮・分類・整形などを行う装置で学習する手法である。例えば、それらのデータセットにある特徴を、似た者どうしにクラスタリングすることなどができる。この結果を使って、何らかの基準を設けてそれを最適化するような出力の割り当てを行うことにより、出力の予測を実現することができる。
なお、教師なし学習と教師あり学習との中間的な問題設定として、半教師あり学習と呼ばれるものもあり、これは、例えば、一部のみ入力と出力のデータの組が存在し、それ以外は入力のみのデータである場合が対応する。本実施形態においては、実際にロボットを動かさなくても取得することができるデータ(画像データやシミュレーションのデータ等)を教師なし学習で利用することにより、学習を効率的に行うことが可能になる。
次に、強化学習について、説明する。まず、強化学習の問題設定として、次のように考える。
・ロボットは、環境の状態を観測し、行動を決定する。
・環境は、何らかの規則に従って変化し、さらに、自分の行動が、環境に変化を与えることもある。
・行動するたびに、報酬信号が帰ってくる。
・最大化したいのは、将来にわたっての(割引)報酬の合計である。
・行動が引き起こす結果を全く知らない、または、不完全にしか知らない状態から学習はスタートする。すなわち、ロボットは、実際に行動して初めて、その結果をデータとして得ることができる。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように、事前学習(前述の教師あり学習や、逆強化学習といった手法)した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。
ここで、強化学習とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち、将来的に得られる報酬を最大にするための学習する方法を学ぶものである。以下に、例として、Ｑ学習の場合で説明を続けるが、Ｑ学習に限定されるものではない。
Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ(ｓ，ａ)を学習する方法である。つまり、或る状態ｓのとき、価値Ｑ(ｓ，ａ)の最も高い行動ａを最適な行動として選択すればよい。しかし、最初は、状態ｓと行動ａとの組合せについて、価値Ｑ(ｓ，ａ)の正しい値は全く分かっていない。そこで、エージェント(行動主体)は、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、報酬が与えられる。それにより、エージェントは、より良い行動の選択、すなわち、正しい価値Ｑ(ｓ，ａ)を学習していく。
さらに、行動の結果、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ(ｓ，ａ)＝Ｅ［Σ(γt)ｒt］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒtは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動に従って状態変化したときについてとるものとし、それは、分かっていないので、探索しながら学習することになる。このような価値Ｑ(ｓ，ａ)の更新式は、例えば、次の式(１)により表すことができる。
Figure 0006616170
 上記の式(１)において、ｓtは、時刻ｔにおける環境の状態を表し、ａtは、時刻ｔにおける行動を表す。行動ａtにより、状態はｓt+1に変化する。rt+1は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓt+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
上述した式(１)は、試行ａtの結果、帰ってきた報酬ｒt+1を元に、状態ｓtにおける行動ａtの評価値Ｑ(ｓt，ａt)を更新する方法を表している。すなわち、状態ｓにおける行動ａの評価値Ｑ(ｓt，ａt)よりも、報酬ｒt+1と行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ(ｓt+1，ｍａｘ ａt+1)の合計の方が大きければ、Ｑ(ｓt，ａt)を大きくし、反対に小さければ、Ｑ(ｓt，ａt)を小さくすることを示している。つまり、或る状態における或る行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるようにしている。
ここで、Ｑ(ｓ，ａ)の計算機上での表現方法は、すべての状態行動ペア(ｓ，ａ)に対して、その値をテーブルとして保持しておく方法と、Ｑ(ｓ，ａ)を近似するような関数を用意する方法がある。後者の方法では、前述の式(１)は、確率勾配降下法などの手法で近似関数のパラメータを調整していくことにより、実現することができる。なお、近似関数としては、後述のニューラルネットワークを用いることができる。
また、教師あり学習、教師なし学習の誤差モデル、あるいは、強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができる。図３は、ニューロンのモデルを模式的に示す図であり、図４は、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを模式的に示す図である。すなわち、ニューラルネットワークは、例えば、図３に示すようなニューロンのモデルを模した演算装置およびメモリ等で構成される。
図３に示されるように、ニューロンは、複数の入力ｘ(図３では、一例として入力ｘ1〜入力ｘ3)に対する出力(結果)ｙを出力するものである。各入力ｘ(ｘ1，ｘ2，ｘ3)には、この入力ｘに対応する重みｗ(ｗ1，ｗ2，ｗ3)が掛けられる。これにより、ニューロンは、次の式(２)により表現される結果ｙを出力する。なお、入力ｘ、結果ｙおよび重みｗは、すべてベクトルである。また、下記の式(２)において、θは、バイアスであり、ｆkは、活性化関数である。
Figure 0006616170
図４を参照して、図３に示すニューロンを組み合わせて構成した三層のニューラルネットワークを説明する。図４に示されるように、ニューラルネットワークの左側から複数の入力ｘ(ここでは、一例として、入力ｘ1〜入力ｘ3)が入力され、右側から結果ｙ(ここでは、一例として、結果ｙ1〜入力ｙ3)が出力される。具体的に、入力ｘ1，ｘ2， ｘ3は、３つのニューロンＮ11〜Ｎ13の各々に対して、対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてＷ１と表記されている。
ニューロンＮ11〜Ｎ13は、それぞれ、ｚ11〜ｚ13を出力する。図４において、これらｚ11〜ｚ13は、まとめて特徴ベクトルＺ１と表記され、入力ベクトルの特徴量を抽出したベクトルとみなすことができる。この特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴ベクトルである。ｚ11〜ｚ13は、２つのニューロンＮ21およびＮ22の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ２と表記されている。
ニューロンＮ21，Ｎ22は、それぞれｚ21，ｚ22を出力する。図４において、これらｚ21，ｚ22は、まとめて特徴ベクトルＺ２と表記されている。この特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴ベクトルである。ｚ21，ｚ22は、３つのニューロンＮ31〜Ｎ33の各々に対して、対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ３と表記されている。
最後に、ニューロンＮ31〜Ｎ33は、それぞれ、結果ｙ１〜結果ｙ３を出力する。ニューラルネットワークの動作には、学習モードと価値予測モードとがある。例えば、学習モードにおいて、学習データセットを用いて重みＷを学習し、そのパラメータを用いて予測モードにおいて、ロボットの行動判断を行う。なお、便宜上、予測と書いたが、検出・分類・推論など多様なタスクが可能なのはいうまでもない。
ここで、予測モードで実際にロボットを動かして得られたデータを即時学習し、次の行動に反映させる(オンライン学習)ことも、予め収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行う(バッチ学習)こともできる。あるいは、その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。
また、重みＷ１〜Ｗ３は、誤差逆伝搬法(誤差逆転伝播法：バックプロパゲーション：Backpropagation)により学習可能なものである。なお、誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ(教師)との差分を小さくするように、それぞれの重みを調整(学習)する手法である。
このようなニューラルネットワークは、三層以上に、さらに層を増やすことも可能である(深層学習と称される)。また、入力の特徴抽出を段階的に行い、結果を回帰する演算装置を、教師データのみから自動的に獲得することも可能である。そこで、本実施形態の機械学習器２は、上述のＱ学習を実施すべく、図１に示されるように、状態観測部２１、学習部２２、および、意思決定部２５を備えている。ただし、本発明に適用される機械学習方法は、Ｑ学習に限定されないのは前述した通りである。すなわち、機械学習器で用いることができる手法である「教師あり学習」、「教師なし学習」、「半教師あり学習」および「強化学習」等の様々な手法が適用可能である。
次に、本実施形態の積層コア製造装置における機械学習器２の動作の一例を説明する。図５は、図１に示す積層コア製造装置における機械学習器の動作の一例を示すフローチャートである。図５に示されるように、機械学習が開始(学習スタート)すると、行動価値テーブルに基づいてコアシート３１を積層する(ステップＳＴ１)。すなわち、ロボット制御部１２は、行動価値テーブル(価値関数)による速度ゲインおよび位置ゲインに基づいて、ハンド部１１の変位，角度等(操作量)を指令し、ロボット１に対してコアシート３１の積層処理を行わせる。
状態観測部２１は、例えば、ロボット制御部１２から速度ゲイン，位置ゲインおよび積層時間の情報、ならびに、ロボットビジョン１３の出力に基づく寸法測定値を取得する(ステップＳＴ２)。さらに、積層コア３の寸法が許容公差範囲内か(ステップＳＴ３)、および、積層時間を前回試行時より短縮できたか(ステップＳＴ４)を判定する。すなわち、ステップＳＴ３において、積層コア３の寸法が許容公差範囲内ではない(ＳＴ３：ＮＯ)と判定すると、ステップＳＴ７に進んでマイナス報酬を設定し、一方、積層コア３の寸法が許容公差範囲内である(ＳＴ３：ＹＥＳ)と判定すると、ステップＳＴ４に進んで、上述したステップＳＴ２のコアシート３１を積層するのに要した積層時間が前回試行時の積層時間よりも短縮することができたかどうかの判定を行う。
すなわち、ステップＳＴ４において、積層時間を前回試行時より短縮できた(ＳＴ４：ＹＥＳ)と判定すると、ステップＳＴ５に進んで、プラス報酬を設定し、一方、積層時間を前回試行時より短縮できなかった(ＳＴ４：ＮＯ)と判定すると、ステップＳＴ６に進んで、報酬なし(零報酬)を設定する。そして、ステップＳＴ８において、ステップＳＴ５〜ＳＴ７における「プラス報酬」，「報酬なし」および「マイナス報酬」による報酬計算を行い、行動価値テーブルを更新し(ステップＳＴ９)、ステップＳＴ１に戻り、同様の処理を繰り返す。これにより、高品位な積層コアを長期間に渡って継続的に製造することが可能になる。
以上において、ハンド部１１により積層するコアシート３１の数は、１枚に限定されるものではない。すなわち、１回のハンド部１１の動作により、所定形状のコアシート３１を、１枚ずつまたは複数枚ずつ積層して積層コアを製造する。なお、コアシート３１を積層するためのハンド部１１は、図１に示すような２本の爪で１枚または複数枚のコアシート３１を把持するものに限定されないのは前述した通りである。
また、状態観測部２１が取得(観測)する速度ゲイン，位置ゲイン，積層時間および寸法測定値(状態量)は、これらのものに限定されず、他の様々なデータであってもよい。さらに、コアシート３１の寸法測定値は、例えば、ロボットビジョン１３からの画像データから求めることができるが、このとき、知られている様々な処理を適用することができる。なお、ステップＳＴ５〜ＳＴ７における「プラス報酬」，「報酬なし」および「マイナス報酬」の値(大きさ)は、様々な条件(例えば、許容公差の大きさやコアシートの形状，材質および精度等)に応じて適切なものが選ばれるのはいうまでもない。
図６は、本発明に係る積層コア製造装置の他の実施形態を概略的に示すブロック図であり、教師あり学習を適用したものを示す。図６と、前述した図１の比較から明らかなように、図６に示す教師あり学習を適用した積層コア製造装置１０’は、図１に示すＱ学習(強化学習)を適用した積層コア製造装置１０において、教師データ(結果(ラベル)付きデータ)が提供されるようになっている。
図６に示されるように、教師あり学習を適用した積層コア製造装置１０’における機械学習器４は、状態観測部４１と、学習部４２と、意思決定部４５と、を備える。学習部４２は、誤差計算部４３と、誤差モデル更新部４４と、を含む。なお、本実施形態の積層コア製造装置１０’においても、機械学習器４は、行動価値テーブル(価値関数)による速度ゲインおよび位置ゲインに基づいて、ハンド部１１の変位，角度等の操作量を学習して出力する。
すなわち、図６に示す教師あり学習を適用した積層コア製造装置１０’において、誤差計算部４３および誤差モデル更新部４４は、それぞれ、図１に示すＱ学習を適用した積層コア製造装置１０における報酬計算部２３および価値関数更新部２４に対応する。なお、他の構成、例えば、ロボット１，ロボット制御部１２およびロボットビジョン１３等の構成は、前述した図１と同様であり、その説明は省略する。また、意思決定部４５も、図１のものと同様であり、その説明は省略する。また、図６においても、ロボットビジョン１３の装着個所は、ハンド部１１に限定されず、作業空間を見渡せる個所に設置してもよく、さらに、ロボットビジョン１３の数も１つに限定されず、複数個所あるいは複数個設けることができる。
誤差計算部４３は、状態観測部４１の出力および教師データを受け取って、結果(ラベル)付きデータと学習部４２に実装されている誤差モデルの出力との誤差を計算する。ここで、教師データは、例えば、コアシート３１(積層コア３)の形状やロボット１による処理が同一の場合、ロボット１に作業を行わせる所定日の前日までに得られた結果(ラベル)付きデータを保持し、その所定日に、結果(ラベル)付きデータを誤差計算部４３に提供することができる。
あるいは、積層コア製造装置１０’の外部で行われたシミュレーション等により得られたデータ、または、他の積層コア製造装置の結果(ラベル)付きデータを、メモリカードや通信回線により、その積層コア製造装置１０’の誤差計算部４３に提供することも可能である。さらに、結果(ラベル)付きデータ(教師データ)を、例えば、学習部４２に内蔵したフラッシュメモリ(Flash Memory)等の不揮発性メモリに保持し、その不揮発性メモリに保持された結果(ラベル)付きデータを、そのまま学習部４２で使用することもできる。
以上、において、積層コア製造装置１０(１０’)を複数備えた積層コア製造システムを考えた場合、例えば、機械学習器２(４)は、積層コア製造装置１０(１０’)毎にそれぞれ設けられ、複数の積層コア製造装置１０(１０’)に設けられた複数の機械学習器２(４)は、通信媒体を介して相互にデータを共有または交換することが可能である。また、機械学習器２(４)は、クラウドサーバ上に存在させることも可能である。
以上、実施形態を説明したが、ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではない。また、明細書のそのような記載は、発明の利点および欠点を示すものでもない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
１ ロボット
２，４ 機械学習器
３ 積層コア
１０，１０’ 積層コア製造装置
１１ ハンド部
１２ ロボット制御部
１３ ロボットビジョン
２１，４１ 状態観測部
２２，４２ 学習部
２３ 報酬計算部
２４ 価値関数更新部
２５，４５ 意思決定部
４３ 誤差計算部
４４ 誤差モデル更新部

Claims (12)

  1. 複数枚のコアシートを積層して積層コアを製造する積層コア製造装置の動作を学習する機械学習器であって、
    前記積層コアおよび前記積層コア製造装置の状態を観測する状態観測部と、
    前記状態観測部により観測された状態量に基づいて、前記コアシートを積層する操作量を更新する学習部と、を備え、
    前記操作量の更新は、前記コアシートを積層して積層コアを製造する動作の価値を定める価値関数の更新に基づいて行われ、
    前記状態観測部は、
    前記積層コアの形状データ、前記積層コア製造装置の動作データ、および、前記積層コア製造装置により前記コアシートが積層される時間データを含む状態量を観測し、
    前記学習部は、
    前記状態観測部の出力に基づいて報酬を計算する報酬計算部と、
    前記状態観測部および前記報酬計算部の出力に基づいて、前記価値関数を、前記報酬に応じて更新する価値関数更新部と、を備える、
    ことを特徴とする機械学習器。
  2. 複数枚のコアシートを積層して積層コアを製造する積層コア製造装置の動作を学習する機械学習器であって、
    前記積層コアおよび前記積層コア製造装置の状態を観測する状態観測部と、
    前記状態観測部により観測された状態量に基づいて、前記コアシートを積層する操作量を更新する学習部と、を備え、
    前記操作量の更新は、前記コアシートを積層して積層コアを製造する動作の誤差を定める誤差モデルの更新に基づいて行われ、
    前記状態観測部は、
    前記積層コアの形状データ、前記積層コア製造装置の動作データ、および、前記積層コア製造装置により前記コアシートが積層される時間データを含む状態量を観測し、
    前記学習部は、
    前記状態観測部の出力、および、入力された教師データに基づいて誤差を計算する誤差計算部と、
    前記状態観測部および前記誤差計算部の出力に基づいて、前記誤差モデルを更新する誤差モデル更新部と、を備える、
    ことを特徴とする機械学習器。
  3. 前記積層コア製造装置は、
    ハンド部もしくは作業空間を見渡せる個所にロボットビジョンが設けられたロボットを含み、
    前記状態観測部は、
    前記ロボットビジョンから、前記コアシートの形状データを受け取る、
    ことを特徴とする請求項１または請求項２に記載の機械学習器。
  4. 前記積層コア製造装置は、さらに、
    前記ハンド部の変位または角度を指令して前記ロボットの動作を制御するロボット制御部を含み、
    前記状態観測部は、
    前記ロボット制御部から、前記積層コア製造装置の動作データ、および、前記コアシートが積層される時間データを受け取る、
    ことを特徴とする請求項３に記載の機械学習器。
  5. 前記状態観測部は、
    前記ロボット制御部から出力される前記ハンド部の速度ゲインおよび位置ゲイン、ならびに、前記コアシートが積層される時間のデータを取得する、
    ことを特徴とする請求項４に記載の機械学習器。
  6. さらに、
    前記学習部が学習した前記操作量を参照して、前記積層コア製造装置の動作を決定する意思決定部を備える、
    ことを特徴とする請求項１乃至請求項５のいずれか１項に記載の機械学習器。
  7. 前記機械学習器は、
    ニューラルネットワークを有する、請求項１乃至請求項６のいずれか１項に記載の機械学習器。
  8. 所定形状のコアシートを、１枚ずつまたは複数枚ずつ積層して積層コアを製造する積層コア製造装置であって、
    請求項１乃至請求項７のいずれか１項に記載の機械学習器を備え、
    前記コアシートを把持するハンド部に設けられたロボットビジョンにより、前記コアシートの寸法を検出して前記積層コアを製造する、
    ことを特徴とする積層コア製造装置。
  9. 請求項８に記載の積層コア製造装置を複数備える積層コア製造システムであって、
    前記機械学習器は、それぞれの前記積層コア製造装置に設けられ、
    複数の前記積層コア製造装置に設けられた複数の前記機械学習器は、通信媒体を介して相互にデータを共有または交換するようになっている、
    ことを特徴とする積層コア製造システム。
  10. 前記機械学習器は、クラウドサーバ上に存在する、
    ことを特徴とする請求項９に記載の積層コア製造システム。
  11. 複数枚のコアシートを積層して積層コアを製造する積層コア製造装置の動作を学習する機械学習方法であって、
    前記積層コアおよび前記積層コア製造装置の状態を観測し、
    前記観測された状態量に基づいて、前記コアシートを積層する操作量を更新し、
    前記操作量の更新は、前記コアシートを積層して積層コアを製造する動作の価値を定める価値関数の更新に基づいて行われ、
    前記積層コアおよび前記積層コア製造装置の状態を観測するのは、
    前記積層コアの形状データ、前記積層コア製造装置の動作データ、および、前記積層コア製造装置により前記コアシートが積層される時間データを含む状態量を観測し、
    前記コアシートを積層する操作量を更新するのは、
    観測された前記状態量に基づいて報酬を計算し、
    観測された前記状態量および計算された前記報酬に基づいて、前記価値関数を、前記報酬に応じて更新して行う、
    ことを特徴とする機械学習方法。
  12. 複数枚のコアシートを積層して積層コアを製造する積層コア製造装置の動作を学習する機械学習方法であって、
    前記積層コアおよび前記積層コア製造装置の状態を観測し、
    前記観測された状態量に基づいて、前記コアシートを積層する操作量を更新し、
    前記操作量の更新は、前記コアシートを積層して積層コアを製造する動作の誤差を定める誤差モデルの更新に基づいて行われ、
    前記積層コアおよび前記積層コア製造装置の状態を観測するのは、
    前記積層コアの形状データ、前記積層コア製造装置の動作データ、および、前記積層コア製造装置により前記コアシートが積層される時間データを含む状態量を観測し、
    前記コアシートを積層する操作量を更新するのは、
    観測された前記状態量、および、入力された教師データに基づいて誤差を計算し、
    観測された前記状態量および計算された前記誤差に基づいて、前記誤差モデルを更新して行う、
    ことを特徴とする機械学習方法。
JP2015238410A 2015-12-07 2015-12-07 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法 Active JP6616170B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015238410A JP6616170B2 (ja) 2015-12-07 2015-12-07 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
CN201610982260.2A CN106826812B (zh) 2015-12-07 2016-11-08 机械学习器及机械学习方法、层叠芯制造装置及系统
DE102016014264.2A DE102016014264B4 (de) 2015-12-07 2016-11-30 Maschinelle Lernvorrichtung, Blechpaketherstellungsvorrichtung, Blechpaketherstellungssystem und maschinelles Lernverfahren zum Erlernen des Stapelns von Paketblechen
US15/368,753 US10500721B2 (en) 2015-12-07 2016-12-05 Machine learning device, laminated core manufacturing apparatus, laminated core manufacturing system, and machine learning method for learning operation for stacking core sheets

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015238410A JP6616170B2 (ja) 2015-12-07 2015-12-07 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法

Publications (2)

Publication Number Publication Date
JP2017107902A JP2017107902A (ja) 2017-06-15
JP6616170B2 true JP6616170B2 (ja) 2019-12-04

Family

ID=58798864

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015238410A Active JP6616170B2 (ja) 2015-12-07 2015-12-07 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法

Country Status (4)

Country Link
US (1) US10500721B2 (ja)
JP (1) JP6616170B2 (ja)
CN (1) CN106826812B (ja)
DE (1) DE102016014264B4 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020530655A (ja) * 2017-08-10 2020-10-22 ハインリヒ ゲオルク ゲーエムベーハー マシーネンファブリークＨｅｉｎｒｉｃｈ Ｇｅｏｒｇ ＧｍｂＨ Ｍａｓｃｈｉｎｅｎｆａｂｒｉｋ 変圧器鉄心の製造装置及びその製造方法
JP6680732B2 (ja) 2017-08-23 2020-04-15 ファナック株式会社 物品積み付け装置及び機械学習装置
JP6930901B2 (ja) 2017-11-09 2021-09-01 株式会社Ｎｔｔファシリティーズ 制振制御システム、制振制御方法、振動解析装置及び振動解析方法
DE102017010676A1 (de) * 2017-11-17 2019-05-23 Kuka Deutschland Gmbh Qualitätssicherung eines Prozesses
CN108340367A (zh) * 2017-12-13 2018-07-31 深圳市鸿益达供应链科技有限公司 用于机械臂抓取的机器学习方法
JP6804009B2 (ja) * 2018-04-11 2020-12-23 富士フイルム株式会社 学習装置、学習方法、及び学習プログラム
JP7008136B2 (ja) * 2018-06-14 2022-01-25 ヤマハ発動機株式会社 機械学習装置及びこれを備えたロボットシステム
JP7047726B2 (ja) * 2018-11-27 2022-04-05 トヨタ自動車株式会社 把持ロボットおよび把持ロボットの制御プログラム
CN109760050A (zh) * 2019-01-12 2019-05-17 鲁班嫡系机器人（深圳）有限公司 机器人行为训练方法、装置、系统、存储介质及设备
JP6656627B1 (ja) * 2019-02-13 2020-03-04 日本金銭機械株式会社 紙幣取扱いシステム
CN110000785B (zh) * 2019-04-11 2021-12-14 上海交通大学 农业场景无标定机器人运动视觉协同伺服控制方法与设备
JP7235585B2 (ja) * 2019-05-09 2023-03-08 東芝産業機器システム株式会社 積層鉄心の製造システム、及び積層鉄心の製造方法
EP3739604B1 (de) * 2019-05-15 2022-07-20 Heinrich Georg GmbH Maschinenfabrik Verfahren zum automatischen stapeln von plattenförmigem stapelgut, insbesondere transformatorenkernblechen
JP7339776B2 (ja) * 2019-05-28 2023-09-06 川崎重工業株式会社 制御システム、機械装置システム及び制御方法
JP7396062B2 (ja) 2020-01-15 2023-12-12 村田機械株式会社 制御値決定装置
EP4094904B1 (en) * 2020-01-23 2024-05-15 OMRON Corporation Robot system control device, robot system control method, computer control program, and robot system
DE102020206913B4 (de) 2020-06-03 2022-12-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Betreiben eines Roboters
US11379748B2 (en) 2020-06-15 2022-07-05 Bank Of America Corporation System for threshold detection using learning reinforcement

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63314606A (ja) * 1987-06-18 1988-12-22 Fanuc Ltd 多関節ロボットの制御装置
JPH077738B2 (ja) * 1988-08-18 1995-01-30 三菱電機株式会社 電気機器の鉄心組立方法
JP2851901B2 (ja) * 1990-03-09 1999-01-27 株式会社日立製作所 学習制御装置
EP0616706B1 (de) * 1991-12-09 1996-03-06 Siemens Aktiengesellschaft Verfahren zur optimierung von steuerparametern für ein system, das in abhängigkeit der steuerparameter ein ist-verhalten aufweist
JPH05233042A (ja) * 1992-02-25 1993-09-10 Fanuc Ltd 冗長自由度ロボットの姿勢制御方式
JPH06203166A (ja) * 1993-01-06 1994-07-22 Fujitsu Ltd 多次元位置測定，制御装置，及び、学習方法
JPH07192946A (ja) * 1993-12-27 1995-07-28 Kyoritsu Seiki Kk 鉄心自動組立装置
JPH09319420A (ja) * 1996-05-31 1997-12-12 Ricoh Co Ltd 組立ロボット
JP3488596B2 (ja) * 1997-07-08 2004-01-19 三菱電機株式会社 鉄心積み装置
JP3513437B2 (ja) * 1999-09-01 2004-03-31 キヤノン株式会社 基板管理方法及び半導体露光装置
AU2003265707A1 (en) * 2002-09-26 2004-04-19 Trumpf Maschinen Austria Gmbh And Co. Kg. Gripping device comprising means for detecting double feeding and method for the operation thereof
US20040240981A1 (en) * 2003-05-29 2004-12-02 I-Scan Robotics Robot stacking system for flat glass
JP3703821B2 (ja) * 2003-09-02 2005-10-05 株式会社国際電気通信基礎技術研究所 並列学習装置、並列学習方法及び並列学習プログラム
JP2006110702A (ja) * 2004-10-18 2006-04-27 Fanuc Ltd 学習制御機能を備えたロボット及びロボットの制御方法
US20060099064A1 (en) * 2004-11-08 2006-05-11 Yaron Anaki On-the-fly robotic stacking system for flat glass
JP2008302449A (ja) * 2007-06-06 2008-12-18 Fanuc Ltd ロボット制御装置
JP5212129B2 (ja) 2009-01-14 2013-06-19 三菱電機株式会社 積層コアの製造方法及びその製造治具
US20110024051A1 (en) * 2009-03-20 2011-02-03 Sanford Kyle L Automated lamination stacking system for a transformer core former
JP5656189B2 (ja) * 2010-09-16 2015-01-21 シンフォニアテクノロジー株式会社 多関節ロボットアーム型搬送装置の軌道情報生成装置
JP5953083B2 (ja) * 2011-04-07 2016-07-13 日産自動車株式会社 積層装置および積層方法
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US8982217B1 (en) * 2012-01-31 2015-03-17 Google Inc. Determining states and modifying environments according to states
US9126770B1 (en) * 2012-02-09 2015-09-08 Automatan, Inc. Aligning and stacking palletizing machine
US8989904B2 (en) * 2012-02-27 2015-03-24 Fanuc Robotics America Corporation Robotic process logger
JP2013180369A (ja) * 2012-03-01 2013-09-12 Ihi Corp 適応性機械
JP5815458B2 (ja) * 2012-04-20 2015-11-17 日本電信電話株式会社 報酬関数推定装置、報酬関数推定方法、およびプログラム
JP2013242761A (ja) * 2012-05-22 2013-12-05 Internatl Business Mach Corp <Ibm> マルコフ決定過程システム環境下における方策パラメータを更新するための方法、並びに、その制御器及び制御プログラム
CN104379308B (zh) * 2012-06-29 2016-05-18 三菱电机株式会社 机器人控制装置以及机器人控制方法
JP5983148B2 (ja) * 2012-07-26 2016-08-31 日産自動車株式会社 磁石積層体の製造方法および磁石積層システム
US8985936B2 (en) * 2012-09-11 2015-03-24 Nidec Minster Corporation Method and apparatus for orienting a lamination
JP5968259B2 (ja) * 2013-04-11 2016-08-10 日本電信電話株式会社 線形モデルに基づく強化学習方法とその装置とプログラム
JP2015061353A (ja) 2013-09-17 2015-03-30 アスモ株式会社 回転電機の電機子、回転電機の電機子の製造方法及び回転電機
JP6277818B2 (ja) * 2014-03-26 2018-02-14 日本電気株式会社 機械学習装置、機械学習方法、及びプログラム
US9873230B1 (en) * 2014-08-19 2018-01-23 The Boeing Company Mobile system for automated layup and compaction of composite laminates
US9908292B2 (en) * 2015-11-24 2018-03-06 Xerox Corporation Systems and methods for implementing three dimensional (3D) object, part and component manufacture including locally laser welded laminates
US10671938B2 (en) * 2016-01-27 2020-06-02 Bonsai AI, Inc. Artificial intelligence engine configured to work with a pedagogical programming language to train one or more trained artificial intelligence models
JP6514166B2 (ja) * 2016-09-16 2019-05-15 ファナック株式会社 ロボットの動作プログラムを学習する機械学習装置，ロボットシステムおよび機械学習方法
JP6457473B2 (ja) * 2016-12-16 2019-01-23 ファナック株式会社 ロボットおよびレーザスキャナの動作を学習する機械学習装置，ロボットシステムおよび機械学習方法
JP6453922B2 (ja) * 2017-02-06 2019-01-16 ファナック株式会社 ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
JP2018126798A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP2019053710A (ja) * 2017-03-21 2019-04-04 株式会社東芝 紙葉類処理システムおよび紙葉類処理方法
JP6603257B2 (ja) * 2017-03-31 2019-11-06 ファナック株式会社 行動情報学習装置、管理装置、ロボット制御システム及び行動情報学習方法
JP6636004B2 (ja) * 2017-11-28 2020-01-29 株式会社ダイヘン アークスタート調整装置、溶接システム、アークスタート調整方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2017107902A (ja) 2017-06-15
CN106826812A (zh) 2017-06-13
US20170157767A1 (en) 2017-06-08
CN106826812B (zh) 2021-10-26
DE102016014264A1 (de) 2017-07-27
DE102016014264B4 (de) 2021-07-01
US10500721B2 (en) 2019-12-10

Similar Documents

Publication Publication Date Title
JP6616170B2 (ja) コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
JP6438450B2 (ja) レーザ加工ロボットの加工順序を学習する機械学習装置、ロボットシステムおよび機械学習方法
US11511420B2 (en) Machine learning device, robot system, and machine learning method for learning operation program of robot
CN110315505A (zh) 机器学习装置及方法、机器人控制装置、机器人视觉系统
JP6240689B2 (ja) 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
US10692018B2 (en) Machine learning device and machine learning method for learning optimal object grasp route
JP6453805B2 (ja) 製品の異常に関連する変数の判定値を設定する生産システム
JP6506245B2 (ja) 組付動作を学習する機械学習装置および部品組付システム
US20230321837A1 (en) Machine learning device, robot system, and machine learning method for learning object picking operation
JP2022145915A (ja) 推論方法、推論プログラム、推論装置、学習方法、学習プログラム、学習装置およびモデル生成方法
JP6453922B2 (ja) ワークの取り出し動作を改善するワーク取り出し装置およびワーク取り出し方法
US10949740B2 (en) Machine learning device, numerical controller, machine tool system, manufacturing system, and machine learning method for learning display of operation menu
JP6055058B1 (ja) 機械学習器及び組み立て・試験器を備えた生産設備
JP6457382B2 (ja) キャッシュロックを学習する機械学習器，産業機械システム，製造システム，機械学習方法および機械学習プログラム
JP6625868B2 (ja) 加工プログラムの機械学習装置、該機械学習装置を備えた加工組立システムおよび加工プログラムの機械学習方法
JP6088613B1 (ja) ロータにおける磁石の配置位置を学習する機械学習装置および方法ならびに該機械学習装置を備えたロータ設計装置
JP6898479B2 (ja) 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法
JP6940425B2 (ja) 制御装置及び機械学習装置
WO2024110482A1 (en) Training multi-modal interactive agents using a reward model
JP2022180119A (ja) データ解析システム
Zhu et al. Neural Network Inspired Automation and Intelligence of Industrial Product Design

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170118

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20171023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191107

R150 Certificate of patent or registration of utility model

Ref document number: 6616170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150