JP6901450B2 - 機械学習装置、制御装置及び機械学習方法 - Google Patents
機械学習装置、制御装置及び機械学習方法 Download PDFInfo
- Publication number
- JP6901450B2 JP6901450B2 JP2018187588A JP2018187588A JP6901450B2 JP 6901450 B2 JP6901450 B2 JP 6901450B2 JP 2018187588 A JP2018187588 A JP 2018187588A JP 2018187588 A JP2018187588 A JP 2018187588A JP 6901450 B2 JP6901450 B2 JP 6901450B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- machine learning
- control device
- servo control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02P—CONTROL OR REGULATION OF ELECTRIC MOTORS, ELECTRIC GENERATORS OR DYNAMO-ELECTRIC CONVERTERS; CONTROLLING TRANSFORMERS, REACTORS OR CHOKE COILS
- H02P23/00—Arrangements or methods for the control of AC motors characterised by a control method other than vector control
- H02P23/0077—Characterised by the use of a particular software algorithm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Power Engineering (AREA)
- Feedback Control In General (AREA)
- Automation & Control Theory (AREA)
- Numerical Control (AREA)
- Control Of Electric Motors In General (AREA)
Description
特許文献1は、モータの速度を制御する速度フィードバックループを有し、この速度フィードバックループにノッチフィルタ手段を挿入して機械共振を除去するサーボアクチュエータにおいて、速度フィードバックループの周波数応答特性を示すデータを取得するデータ収集手段と、データ収集手段で取得されたデータを移動平均処理する移動平均手段と、この移動平均手段で得られたデータと、データ収集手段で得られたデータとを比較して、速度フィードバックループの共振特性を抽出する比較手段と、比較手段で抽出された共振特性に基づいてノッチフィルタ手段の周波数及びQ値を設定するノッチフィルタ設定手段と、を備えるサーボアクチュエータを記載している。
しかしながら、ノッチフィルタの特性を決めるときには、減衰係数、除去したい帯域の中心周波数、及び帯域幅等の複数のパラメータを決めることが求められ、これらのパラメータを調整して最適値を求めることは容易ではない。そして、これらのパラメータの設定が適正でないと、共振を十分に抑制できなかったり、サーボ制御部の位相遅れが増大してサーボ制御性能が劣化する場合がある。
前記フィルタは特定の周波数成分を減衰させるフィルタ(例えば、後述のフィルタ130)であり、
前記サーボ制御装置における、周波数が変わる入力信号と出力信号とに基づいて、前記サーボ制御装置の入出力ゲインと入出力の位相遅れの少なくとも1つを測定する測定装置(例えば、後述の測定部300)の測定情報に基づいて前記フィルタの係数を最適化する機械学習装置である。
前記状態情報に含まれる前記係数の調整情報を含む行動情報を前記フィルタに出力する行動情報出力部(例えば、後述の行動情報出力部403)と、
前記測定情報に基づく強化学習における報酬の値を出力する報酬出力部(例えば、後述の報酬出力部4021)と、
前記報酬出力部により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて行動価値関数を更新する価値関数更新部(例えば、後述の価値関数更新部4022)と、
を備えてもよい。
前記報酬出力部は、前記測定情報に含まれる、前記サーボ制御装置の入出力ゲインが、前記サーボ制御装置の特性から算出される入出力ゲインの規範モデルの該入出力ゲイン以下である場合に、前記入出力の位相遅れによる報酬を計算してもよい。
前記サーボ制御装置における、周波数が変わる入力信号と出力信号とに基づいて、前記サーボ制御装置の入出力ゲインと入出力の位相遅れの少なくとも1つを測定する測定装置(例えば、後述の測定部300)と、
を備えた制御装置(例えば、後述の制御装置10)である。
前記サーボ制御装置における、周波数が変わる入力信号と出力信号とに基づいて、前記サーボ制御装置の入出力ゲインと入出力の位相遅れの少なくとも1つを測定する測定装置(例えば、後述の測定部300)の測定情報に基づいて前記フィルタの係数を最適化する機械学習方法である。
なお、周波数生成部200、測定部300及び機械学習部400のうちの一つ又は複数はサーボ制御部100の内に設けてもよい。
数式1(以下に数1として示す)は、フィルタ130としてのノッチフィルタの伝達関数F(s)を示す。パラメータは係数ωc、τ、kを示す。
数式1の係数kは減衰係数、係数ωcは中心角周波数、係数τは比帯域である。中心周波数をfc、帯域幅をfwとすると、係数ωcはωc=2πfc、係数τはτ=fw/fcで表される。
サーボモータ150の回転角度位置は、サーボモータ150に設けられたロータリーエンコーダ(図示せず)によって検出され、速度検出値は速度フィードバックとして減算器110に入力される。
以上のようにサーボ制御部100は構成されるが、フィルタの最適なパラメータを機械学習するために、制御装置10は、周波数生成部200、測定部300及び機械学習部400を更に備える。
図2に示すように、周波数生成部200から出力された速度指令は周波数が変化し、図3に示すような、入出力ゲイン(振幅比)と位相遅れについての周波数特性が得られる。
以下、機械学習部400の構成及び動作の詳細について更に説明する。
以下の説明では機械学習部400が強化学習を行う場合について説明するが、機械学習部400が行う学習は特に強化学習に限定されず、例えば、教師あり学習を行う場合にも本発明は適用可能である。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。
Q学習では、或る状態Sのとき、取り得る行動Aのなかから、価値Q(S,A)の最も高い行動Aを最適な行動として選択することを目的とする。
この更新式は、状態Stにおける行動Atの価値Q(St,At)よりも、行動Atによる次の状態St+1における最良の行動の価値maxa Q(St+1,A)の方が大きければ、Q(St,At)を大きくし、逆に小さければ、Q(St,At)を小さくすることを示している。つまり、或る状態における或る行動の価値を、それによる次の状態における最良の行動の価値に近づける。ただし、その差は、割引率γと報酬rt+1のあり方により変わってくるが、基本的には、ある状態における最良の行動の価値が、それに至る一つ前の状態における行動の価値に伝播していく仕組みになっている。
「Human-level control through deep reinforcement learning」、Volodymyr Mnih1著[online]、[平成29年1月17日検索]、インターネット〈URL:http://files.davidqiu.com/research/nature14236.pdf〉
上述した強化学習を行うために、図4に示すように、機械学習部400は、状態情報取得部401、学習部402、行動情報出力部403、価値関数記憶部404、及び最適化行動情報出力部405を備える。学習部402は報酬出力部4021、価値関数更新部4022、及び行動情報生成部4023を備える。
状態情報取得部401は、取得した状態情報Sを学習部402に対して出力する。
なお、係数ωc、τ、kは予め操作者が工作機械を調整している場合には、調整済の値を初期値として機械学習してもよい。
報酬出力部4021は、フィルタ130の伝達関数の各係数ωc、τ、kを修正した場合において測定した入出力ゲインGsを、予め設定した規範モデルの各周波数ごとの入出力ゲインGbと比較する。報酬出力部4021は、測定した入出力ゲインGsが規範モデルの入出力ゲインGbよりも大きい場合には、負の報酬を与える。一方、報酬出力部4021は、測定した入出力ゲインGsが規範モデルの入出力ゲインGb以下である場合には、位相遅れが小さくなるときは正の報酬を与え、位相遅れが大きくなるときは負の報酬を与え、位相遅れが変わらないときはゼロの報酬を与える。
報酬出力部4021は、入出力ゲインの規範モデルを保存している。規範モデルは、共振のない理想的な特性を有するサーボ制御部のモデルである。規範モデルは、例えば、図5に示すモデルのイナーシャJa、トルク定数Kt、比例ゲインKp、積分ゲインKI、微分ゲインKDから計算で求めることができる。イナーシャJaはモータイナーシャと機械イナーシャとの加算値である。
図6は、規範モデルのサーボ制御部と、学習前及び学習後のサーボ制御部100との入出力ゲインの周波数特性を示す特性図である。図6の特性図に示すように、規範モデルは、一定の入出力ゲイン以上、例えば、−20dB以上での理想的な入出力ゲインとなる周波数領域である領域Aと、一定の入出力ゲイン未満となる周波数領域である領域Bとを備えている。図6の領域Aにおいて、規範モデルの理想的な入出力ゲインを曲線MC1(太線)で示す。図6の領域Bにおいて、規範モデルの理想的な仮想入出力ゲインを曲線MC11(破線の太線)で示し、規範モデルの入出力ゲインを一定値として直線MC12(太線)で示す。図6の領域A及びBにおいて、学習前及び学習後のサーボ制御部との入出力ゲインの曲線をそれぞれ曲線RC1、RC2で示す。
入出力ゲインが十分小さくなる周波数を超える領域Bでは、学習前の入出力ゲインの曲線RC1が規範モデルの理想的な仮想入出力ゲインの曲線MC11を超えたとしても安定性への影響が小さくなる。そのため領域Bでは、上述したように、規範モデルの入出力ゲインは理想的なゲイン特性の曲線MC11ではなく、一定値の入出力ゲイン(例えば、−20dB)の直線MC12を用いる。しかし、学習前の測定した入出力ゲインの曲線RC1が一定値の入出力ゲインの直線MC12を超えた場合には不安定になる可能性があるため、報酬として第1の負の値を与える。
以下の説明において、状態情報Sに係る状態変数である位相遅れをD(S)、行動情報A(フィルタ130の伝達関数の各係数ωc、τ、kの修正)により状態Sから変化した状態S´に係る状態変数である位相遅れをD(S´)で示す。
第1の方法は、状態Sから状態S´となった場合に、位相遅れが180度となる周波数が大きくなるか、小さくなるか、又は同じになるかで報酬を決める方法である。ここでは、位相遅れが180度の場合を取り上げたが、特に180度に限定されず他の値であってもよい。
例えば、位相遅れが図3に示した位相線図で示されたときに、状態Sから状態S´となった場合に、位相遅れが180度となる周波数が小さくなるように(図3のX2方向に)曲線が変わると、位相遅れは大きくなる。一方、状態Sから状態S´となった場合に、位相遅れが180度となる周波数が大きくなるように(図3のX1方向に)曲線が変わると、位相遅れが小さくなる。
一方で、状態Sから状態S´となった場合に、位相遅れが180度となる周波数が大きくなったとき、位相遅れD(S)>位相遅れD(S´)と定義して、報酬出力部4021は、報酬の値を正の値とする。
また、状態Sから状態S´となった場合に、位相遅れが180度となる周波数が変わらないとき、位相遅れD(S)=位相遅れD(S´)と定義して、報酬出力部4021は、報酬の値をゼロの値とする。
例えば、状態Sにおける、入力ゲインが図3に示したゲイン線図で示されたときに、0dBにクロスする点(以下、「ゼロクロス点」という)に対応する、図3に示した位相線図の位相遅れは−90度となる。
一方で、状態Sから状態S´となった場合に、ゼロクロス点の位相遅れの絶対値が小さくなったときには、位相遅れD(S)>位相遅れD(S´)と定義して、報酬出力部4021は、報酬の値を正の値とする。
また、状態Sから状態S´となった場合に、ゼロクロス点の位相遅れの絶対値が変わらないとき、位相遅れD(S)=位相遅れD(S´)として、報酬出力部4021は、報酬の値をゼロの値とする。
状態Sから状態S´となった場合に、位相余裕が小さくなったとき、位相遅れD(S)<位相遅れD(S´)と定義して、報酬出力部4021は、報酬の値を第2の負の値とする。
一方で、状態Sから状態S´となった場合に、位相余裕が大きくなったときには、位相遅れD(S)>位相遅れD(S´)と定義して、報酬出力部4021は、報酬の値を正の値とする。
また、状態Sから状態S´となった場合に、位相余裕が変わらないときには、位相遅れD(S)=位相遅れD(S´)と定義して、報酬出力部4021は、報酬の値をゼロの値とする。
価値関数Qの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習は、或る行動Aを現在の状態Sに適用することにより、状態Sが新たな状態S´に遷移する都度、即座に価値関数Qの更新を行う学習方法である。また、バッチ学習は、或る行動Aを現在の状態Sに適用することにより、状態Sが新たな状態S´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Qの更新を行う学習方法である。更に、ミニバッチ学習は、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Qの更新を行う学習方法である。
より具体的には、行動情報生成部4023は、例えば、状態Sに含まれるフィルタ130の伝達関数の各係数ωc、τ、kに対して行動Aに含まれる、フィルタ130の伝達関数の各係数ωc、τ、kをインクレメンタルに加算又は減算させる。
なお、フィルタ130の特性は図7に示すように、フィルタ130の帯域幅fwによって、ゲイン及び位相が変わる。図7において、破線は帯域幅fwが大きい場合を示し、実線は帯域幅fwが小さい場合を示す。また、フィルタ130の特性は図8に示すように、フィルタ130の減衰係数kによって、ゲイン及び位相が変わる。図8において、破線は減衰係数kが小さい場合を示し、実線は減衰係数kが大きい場合を示す。
より具体的には、最適化行動情報出力部405は、価値関数記憶部404が記憶している価値関数Qを取得する。この価値関数Qは、上述したように価値関数更新部4022がQ学習を行うことにより更新したものである。そして、最適化行動情報出力部405は、価値関数Qに基づいて、行動情報を生成し、生成した行動情報をフィルタ130に対して出力する。この最適化行動情報には、行動情報出力部403がQ学習の過程において出力する行動情報と同様に、フィルタ130の伝達関数の各係数ωc、τ、kを修正する情報が含まれる。
機械学習部400は、以上の動作で、フィルタ130の伝達関数の各係数ωc、τ、kの最適化を行い、機械端の振動を抑制するように動作することができる。
以上のように、本発明に係る機械学習部400を利用することで、フィルタ130のパラメータ調整を簡易化することができる。
これらの機能ブロックを実現するために、制御装置10は、CPU(Central Processing Unit)等の演算処理装置を備える。また、制御装置10は、アプリケーションソフトウェアやOS(Operating System)等の各種の制御用プログラムを格納したHDD(Hard Disk Drive)等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのRAM(Random Access Memory)といった主記憶装置も備える。
ステップS16において、具体的には、例えば、図3の位相線図において、状態Sから状態S´となった場合に、位相遅れが180度のときの周波数が小さくなったときには、位相遅れD(S)<位相遅れD(S´)と定義して、報酬出力部4021は、ステップS17で、報酬の値を第2の負の値とする。なお第2の負の値の絶対値は第1の負の値よりも小さくする。状態Sから状態S´となった場合に、位相遅れが180度のときの周波数が大きくなったときには、位相遅れD(S)>位相遅れD(S´)と定義して、報酬出力部4021は、ステップS18で報酬の値を正の値とする。また、状態Sから状態S´となった場合に、位相遅れが180度のときの周波数が変わらないときには、位相遅れD(S)=位相遅れD(S´)と定義して、報酬出力部4021は、ステップS19で報酬の値をゼロの値とする。
なお、ステップS20はオンライン更新を例示しているが、オンライン更新に替えてバッチ更新又はミニバッチ更新に置き換えてもよい。
次に、図10のフローチャートを参照して、最適化行動情報出力部405による最適化行動情報の生成時の動作について説明をする。
まず、ステップS21において、最適化行動情報出力部405は、価値関数記憶部404に記憶している価値関数Qを取得する。価値関数Qは、上述したように価値関数更新部4022がQ学習を行うことにより更新したものである。
<機械学習部がサーボ制御部の外部に設けられた変形例>
図12は制御装置の他の構成例を示すブロック図である。図12に示す制御装置10Aが、図1に示した制御装置10と異なる点は、n(nは2以上の自然数)個のサーボ制御部100A−1〜100A−nが、ネットワーク500を介してn個の機械学習部400A−1〜400A−nに接続されていること、及びそれぞれ周波数生成部200と測定部300を備えていることである。機械学習部400A−1〜400A−nは図4に示した機械学習部400と同じ構成を有している。サーボ制御部100A−1〜100A−nはそれぞれサーボ制御装置に対応しており、また機械学習部400A−1〜400A−nはそれぞれ機械学習装置に対応している。なお、周波数生成部200と測定部300の一方又は両方をサーボ制御部100A−1〜100A−nの外に設けてもよいことは勿論である。
上述した実施形態では、サーボ制御部100A−1〜100A−nと、機械学習部400A−1〜400A−nとはそれぞれ1対1の組とされて通信可能に接続されているが、例えば1台の機械学習部が複数のサーボ制御部とネットワーク500を介して通信可能に接続され、各サーボ制御部の機械学習を実施するようにしてもよい。
その際、1台の機械学習部の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、1台の機械学習部の各機能を実現してもよい。
100、100−1〜100−n サーボ制御部
110 減算器
120 速度制御部
130 フィルタ
140 電流制御部
150 サーボモータ
200 周波数生成部
300 測定部
400 機械学習部
400A−1〜400A−n 機械学習部
401 状態情報取得部
402 学習部
403 行動情報出力部
404 価値関数記憶部
405 最適化行動情報出力部
500 ネットワーク
Claims (7)
- モータの回転を制御するサーボ制御装置に設けられた少なくとも1つのフィルタの係数を最適化する機械学習を行う機械学習装置であって、
前記フィルタは特定の周波数成分を減衰させるフィルタであり、
前記サーボ制御装置における、周波数が変わる入力信号と出力信号とに基づいて、前記サーボ制御装置の入出力ゲインと入出力の位相遅れの少なくとも1つを測定する測定装置の測定情報と、前記フィルタの係数と、を含む状態情報を取得する状態情報取得部と、
前記状態情報に含まれる前記係数の調整情報を含む行動情報を前記フィルタに出力する行動情報出力部と、
前記測定情報に基づく強化学習における報酬の値を出力する報酬出力部と、
前記報酬出力部により出力される報酬の値と、前記状態情報と、前記行動情報とに基づいて価値関数を更新する価値関数更新部と、
を備え、
前記測定情報は、前記入出力ゲインと前記入出力の位相遅れとを含み、
前記報酬出力部は、前記測定情報に含まれる、前記サーボ制御装置の入出力ゲインが、前記サーボ制御装置の特性から算出される入出力ゲインの規範モデルの該入出力ゲイン以下である場合に、前記入出力の位相遅れによる前記報酬を計算する、機械学習装置。 - 前記周波数が変わる入力信号は、周波数が変わる正弦波であって、
該正弦波は周波数生成装置によって生成され、該周波数生成装置は前記サーボ制御装置内又は外に設けられる、請求項1に記載の機械学習装置。 - 前記規範モデルの入出力ゲインは、所定の周波数以上では一定値である、請求項1又は2に記載の機械学習装置。
- 前記報酬出力部が、前記係数を調整した前記フィルタを含む前記サーボ制御装置の前記入出力の位相遅れと、前記係数の調整前の前記フィルタを含む前記サーボ制御装置の前記入出力の位相遅れとの大小関係に基づいて、正又は負の値の報酬を出力する場合に、前記行動情報出力部は、前記係数を調整した前記フィルタを含む前記サーボ制御装置の前記入出力の位相遅れが、前記係数の調整前の前記フィルタを含む前記サーボ制御装置の前記入出力の位相遅れよりも小さくなるような前記行動情報を出力する、請求項1から3のいずれか1項に記載の機械学習装置。
- 前記価値関数更新部により更新された価値関数に基づいて、前記係数の調整情報を出力する最適化行動情報出力部を備えた請求項1から4のいずれか1項に記載の機械学習装置。
- 請求項1から請求項5のいずれか1項に記載の機械学習装置と、
特定の周波数成分を減衰させる少なくとも1つのフィルタを有する、モータの回転を制御するサーボ制御装置と、
前記サーボ制御装置における、周波数が変わる入力信号と出力信号とに基づいて、前記サーボ制御装置の入出力ゲインと入出力の位相遅れの少なくとも1つを測定する測定装置と、
を備えた制御装置。 - モータの回転を制御するサーボ制御装置に設けられた、特定の周波数成分を減衰させる少なくとも1つのフィルタの係数を最適化する機械学習を行う機械学習装置の機械学習方法であって、
前記サーボ制御装置における、周波数が変わる入力信号と出力信号とに基づいて、前記サーボ制御装置の入出力ゲインと入出力の位相遅れの少なくとも1つを測定する測定装置の測定情報と、前記フィルタの係数と、を含む状態情報を取得し、
前記状態情報に含まれる前記係数の調整情報を含む行動情報を前記フィルタに出力し、
前記測定情報に基づく強化学習における報酬の値を出力し、
出力される前記報酬の値と、前記状態情報と、前記行動情報とに基づいて価値関数を更新し、
前記測定情報は、前記入出力ゲインと前記入出力の位相遅れとを含み、
前記測定情報に含まれる、前記サーボ制御装置の入出力ゲインが、前記サーボ制御装置の特性から算出される入出力ゲインの規範モデルの該入出力ゲイン以下である場合に、前記入出力の位相遅れによる前記報酬を計算する、機械学習方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187588A JP6901450B2 (ja) | 2018-10-02 | 2018-10-02 | 機械学習装置、制御装置及び機械学習方法 |
US16/550,606 US11521119B2 (en) | 2018-10-02 | 2019-08-26 | Machine learning device, control device, and machine learning method |
CN201910926693.XA CN111082729A (zh) | 2018-10-02 | 2019-09-27 | 机器学习装置、控制装置以及机器学习方法 |
DE102019214994.4A DE102019214994A1 (de) | 2018-10-02 | 2019-09-30 | Vorrichtung für maschinelles lernen; steuerungsvorrichtung; und verfahren für maschinelles lernen |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018187588A JP6901450B2 (ja) | 2018-10-02 | 2018-10-02 | 機械学習装置、制御装置及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020057211A JP2020057211A (ja) | 2020-04-09 |
JP6901450B2 true JP6901450B2 (ja) | 2021-07-14 |
Family
ID=69947811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018187588A Active JP6901450B2 (ja) | 2018-10-02 | 2018-10-02 | 機械学習装置、制御装置及び機械学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11521119B2 (ja) |
JP (1) | JP6901450B2 (ja) |
CN (1) | CN111082729A (ja) |
DE (1) | DE102019214994A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119295A (ja) * | 2019-01-24 | 2020-08-06 | ファナック株式会社 | フィルタの係数を最適化する機械学習システム、制御装置及び機械学習方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6728495B2 (ja) * | 2016-11-04 | 2020-07-22 | ディープマインド テクノロジーズ リミテッド | 強化学習を用いた環境予測 |
DE112021002285T5 (de) * | 2020-04-14 | 2023-01-26 | Fanuc Corporation | Vorrichtung für maschinelles Lernen, Steuervorrichtung und Verfahren für maschinelles Lernen |
WO2022030346A1 (ja) * | 2020-08-05 | 2022-02-10 | ファナック株式会社 | 制御支援装置、制御システム及び制御支援方法 |
JP7411518B2 (ja) * | 2020-08-11 | 2024-01-11 | 株式会社日立製作所 | プラント制御装置、圧延制御装置、プラント制御方法およびプラント制御プログラム |
JPWO2022065190A1 (ja) * | 2020-09-23 | 2022-03-31 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0519858A (ja) | 1991-07-15 | 1993-01-29 | Yokogawa Electric Corp | サ―ボアクチユエ―タ |
JP2008312339A (ja) | 2007-06-14 | 2008-12-25 | Panasonic Corp | 電動機の制御装置 |
JP2009104439A (ja) | 2007-10-24 | 2009-05-14 | Yokogawa Electric Corp | サーボアクチュエータ |
WO2014093838A2 (en) * | 2012-12-14 | 2014-06-19 | The J. David Gladstone Institutes | Automated robotic microscopy systems |
US9008840B1 (en) * | 2013-04-19 | 2015-04-14 | Brain Corporation | Apparatus and methods for reinforcement-guided supervised learning |
WO2016057823A1 (en) * | 2014-10-08 | 2016-04-14 | MAD Apparel, Inc. | Method and system for measuring beat parameters |
JP6774637B2 (ja) * | 2017-02-20 | 2020-10-28 | 株式会社安川電機 | 制御装置及び制御方法 |
-
2018
- 2018-10-02 JP JP2018187588A patent/JP6901450B2/ja active Active
-
2019
- 2019-08-26 US US16/550,606 patent/US11521119B2/en active Active
- 2019-09-27 CN CN201910926693.XA patent/CN111082729A/zh active Pending
- 2019-09-30 DE DE102019214994.4A patent/DE102019214994A1/de active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020119295A (ja) * | 2019-01-24 | 2020-08-06 | ファナック株式会社 | フィルタの係数を最適化する機械学習システム、制御装置及び機械学習方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200104743A1 (en) | 2020-04-02 |
DE102019214994A1 (de) | 2020-05-07 |
CN111082729A (zh) | 2020-04-28 |
JP2020057211A (ja) | 2020-04-09 |
US11521119B2 (en) | 2022-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6901450B2 (ja) | 機械学習装置、制御装置及び機械学習方法 | |
JP6956122B2 (ja) | フィルタの係数を最適化する機械学習システム、制御装置及び機械学習方法 | |
JP6860540B2 (ja) | 出力装置、制御装置、及び学習パラメータの出力方法 | |
US11592789B2 (en) | Output device, control device, and method for outputting evaluation functions and machine learning results | |
JP6748135B2 (ja) | 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法 | |
JP6474456B2 (ja) | 機械学習装置、サーボ制御システム及び機械学習方法 | |
JP7000373B2 (ja) | 機械学習装置、制御装置及び機械学習方法 | |
JP6841801B2 (ja) | 機械学習装置、制御システム及び機械学習方法 | |
CN111552237B (zh) | 机器学习装置、控制装置、以及机器学习的搜索范围的设定方法 | |
CN111722530B (zh) | 机器学习装置、控制系统以及机器学习方法 | |
JP7469476B2 (ja) | 制御支援装置、制御システム及び制御支援方法 | |
JP6740263B2 (ja) | 機械学習装置、サーボモータ制御装置、サーボモータ制御システム、及び機械学習方法 | |
WO2021251226A1 (ja) | 制御支援装置、制御装置及び制御支援方法 | |
WO2021210483A1 (ja) | 機械学習装置、制御装置及び機械学習方法 | |
WO2022065190A1 (ja) | 制御支援装置、制御システム及びフィルタ調整方法 | |
CN110727242B (zh) | 机器学习装置、控制装置、以及机器学习方法 | |
WO2023067787A1 (ja) | 安定余裕の設定支援装置、制御システム及び設定支援方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200323 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200521 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200923 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210617 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6901450 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |