JP6645994B2

JP6645994B2 - ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法

Info

Publication number: JP6645994B2
Application number: JP2017039267A
Authority: JP
Inventors: 達也妹尾
Original assignee: FANUC Corp
Current assignee: FANUC Corp
Priority date: 2017-03-02
Filing date: 2017-03-02
Publication date: 2020-02-14
Anticipated expiration: 2035-07-31
Also published as: JP2017143730A

Description

本発明は、機械学習装置、電動機制御装置、及び機械学習方法に関し、特に、電動機制御における速度ゲインパラメータの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法に関する。

電動機をインバータで可変速制御する場合の電流制御系として、ＰＩ（比例・積分）制御が知られており、その調整項目として比例ゲイン関数と比例ゲイン関数とがある（例えば、特許文献１）。

特許文献１に記載の電流制御ゲイン調整方法は、ＰＩ制御の比例ゲインの調整であって、単相交流の電流指令信号と、電流検出信号の波形を比較して電流検出信号波形の遅れ位相又は遅れ時間を計測し、予め設定した目標遅れ位相又は遅れ時間に対して検出遅れが大きいか否かを判定して検出遅れが大きいときは比例ゲインを増大し、小さいときは比例ゲインを減少する調整を行なうようにしている。

従来技術においては、物理定数等から適正な速度ゲインパラメータを計算して設定している。また、従来技術においては、速度によりインダクタンスが変動する等の理由により、最適値と計算値には差分（ズレ）が多少なりとも存在していた。そのため、パラメータを変えながらステップ応答、あるいは周波数応答を見て人が微調整していた。

このような従来技術は最適とは言い難く、また、調整に時間や手間（人手）がかかるという問題があった。さらに、モータの物理定数には個体差があるため、真に最適なパラメータも個体によって異なり、個体ごとのパラメータの最適化は、なお一層手間がかかり現実的ではないという問題があった。

特開２０００−１８４７８５号公報

本発明は、機械学習によって、速度ゲインパラメータを最適化することによって、モータの応答性の向上、送りムラの改善、及び精度の向上が可能な機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法を提供することを目的とする。

本発明の一実施例に係る機械学習装置は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する実速度のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。

本発明の他の実施例に係る機械学習装置は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、周波数の異なる正弦波の組からなる速度指令に対する実速度の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する学習部と、を備えることを特徴とする。

本発明の一実施例に係る電動機制御装置は、上記機械学習装置及び電動機制御部を有する電動機制御装置であって、電動機制御部が、速度指令を入力する速度指令入力部を備え、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、積分ゲイン関数及び比例ゲイン関数の変更を決定する意思決定部をさらに備えることを特徴とする。

本発明の一実施例に係る機械学習方法は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する実速度のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習することを含むことを特徴とする。

本発明の他の実施例に係る機械学習方法は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、周波数の異なる正弦波の組からなる速度指令に対する実速度の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする。

本発明によれば、機械学習によって、速度ゲインパラメータを最適化することによって、モータの応答性の向上、送りムラの改善、及び精度の向上が可能な機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法を提供することができる。

本発明の実施例に係る機械学習装置の構成図である。速度ゲインを調整しない場合と調整した場合における速度の時間的変化を表すグラフである。本発明の実施例に係る電動機制御装置の構成図である。速度ゲインパラメータ（積分ゲイン,比例ゲイン）と速度指令との関係を表すグラフである。本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートである。本発明の実施例に係る電動機制御装置の動作手順を説明するためのフローチャートである。

以下、図面を参照して、本発明に係る機械学習装置、電動機制御装置及び機械学習方法について説明する。

図１は、本発明の実施例に係る機械学習装置の構成図である。図３は、本発明の実施例に係る電動機制御装置の構成図である。

本発明の実施例に係る機械学習装置１は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置１であって、状態観測部２と、学習部３と、を備える。

状態観測部２は、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する実速度のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。

学習部３は、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する。

本発明の実施例に係る機械学習装置１は、電動機制御の速度ゲインパラメータ（積分ゲイン，比例ゲイン）を機械学習（強化学習）で最適化するものである。ここで、最適な積分ゲイン、比例ゲインは速度指令により異なるので、速度指令を引数とする積分ゲイン関数、比例ゲイン関数を最適化することになる。

本発明の他の実施例に係る機械学習装置１´は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置１´であって、状態観測部２´と、学習部３´と、を備える。

上記の本発明の実施例に係る機械学習装置１ではステップ応答を利用しているが、周波数応答でも同じことが出来るため、オーバシュート及び立ち上がり時間を出力／入力の振幅比及び帯域に置き換えることができる。そこで、本発明の他の実施例に係る機械学習装置１´においては、状態観測部２´は、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、周波数の異なる正弦波の組からなる速度指令に対する実速度の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。

学習部３´は、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する。

学習部３、３´が、学習に用いる訓練データセットは１つの電動機に対して取得されるものには限られない。即ち、学習部３、３´が、複数の電動機に対して取得される訓練データセットに従って、条件を学習するようにしてもよい。

本発明の実施例に係る機械学習装置１は、訓練データセットに格納された状態変数のうち、オーバシュート量、アンダーシュート量、及び立ち上がり時間に基づいて報酬を計算する報酬計算部４と、報酬に基づいて、現在の状態変数から速度ゲインパラメータを調整するための関数を更新する関数更新部５と、をさらに備えることが好ましい。例えば、図２（ｂ）に示すように、オーバシュートが小さい場合、アンダーシュートが小さい場合、または立ち上がり時間短い場合のうちの少なくともいずれか１つの条件を満たす場合に報酬を増加させることが考えられる。

ただし、例えば、図４（ｂ）に示すように、速度指令の増減に対して学習後の積分ゲイン関数または比例ゲイン関数が大きく変化する場合には、応答特性は良好な場合であっても、異音等につながり好ましくない。そこで、このような場合には、報酬を減少させることが好ましい。

本発明の他の実施例に係る機械学習装置１´は、訓練データセットに格納された状態変数のうち、振幅比、位相遅れ量に基づいて報酬を計算する報酬計算部４´と、報酬に基づいて、現在の状態変数から速度ゲインパラメータを調整するための関数を更新する関数更新部５´と、をさらに備えることが好ましい。

また、応答性が高すぎると外乱に対し振動しやすくなる。そこで、発振に対する余裕の度合いに基づいて、報酬を増加させるか減少させるかを決定してもよい。具体的には、例えば比例ゲインを固定し、積分ゲインを倍にしたときにステップ応答が振動するか否か、及び周波数応答の振幅比が許容値を超える（これも発振とする）か否かを確認する。このときに、振動しなければ余裕ありと判断して報酬を増加させ、振動すれば余裕なしと判断して報酬を減少させるようにしてもよい。

そこで、上記の機械学習装置１、１´において、報酬計算部４、４´は、更に速度の発振に対する余裕に基づいて報酬を計算するようにしてもよい。

さらに、図４（ａ）に示すように、速度指令の増加に伴い、積分ゲイン関数は単調減少し、比例ゲイン関数は単調増加することが基本である。そこで、積分ゲイン関数の傾きが正または閾値を下回ったら報酬を減少させ、比例ゲイン関数の傾きが負または閾値を上回ったら報酬を減少させるようにしてもよい。

そこで、上記の機械学習装置１、１´において、報酬計算部４、４´は、更に積分ゲイン関数の傾き及び比例ゲイン関数の傾きに基づいて報酬を計算するようにしてもよい。

関数更新部５、５´は、いわゆるＱ学習を用いて強化学習を行うことが好ましい。Ｑ学習は、ある状態（環境）ｓの下で、行動ａを選択する価値（行動の価値）Ｑ（ｓ，ａ）を学習する方法である。ある状態（環境）ｓのとき、Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択するものである。関数更新部５、５´は、下記の式（１）を用いて関数（行動価値関数Ｑ（ｓ_t，ａ_t））を更新する。

ここで、Ｑ（ｓ_t，ａ_t）は行動価値関数、ｓ_tは時刻ｔにおける状態（環境）、ａ_tは時刻ｔにおける行動、αは学習係数、ｒ_t+1は報酬、γは割引率である。行動価値関数は、報酬の期待値を意味する。ｍａｘが付いた項は、状態（環境）ｓ_t+1の下で、最もＱ値が高い行動ａを選んだ場合のＱ値にγを掛けたものである。

学習係数及び割引率は、０＜α，γ≦１で設定することが知られているが、ここでは簡便のため学習係数及び割引率を１とすると、下記の式（２）のように表せる。

この更新式は、状態（環境）ｓにおける行動ａの価値Ｑ（ｓ_t，ａ_t）よりも、行動ａによる次の環境状態における最良の行動の価値Ｑ（ｓ_t+1，ｍａｘａ_t+1）の方が大きければＱ（ｓ_t，ａ_t）を大きくし、逆に小さければＱ（ｓ_t，ａ_t）を小さくすることを示す。即ち、ある状態（環境）におけるある行動の価値を、それによる次の状態における最良の行動の価値に近づけるものである。

本実施例においては、訓練データセットに格納された状態変数のうち、積分ゲイン関数及び比例ゲイン関数が状態（環境）に対応し、積分ゲイン関数及び比例ゲイン関数の変化量であるΔ積分ゲイン関数及びΔ比例ゲイン関数を決定し、Δ積分ゲイン関数及びΔ比例ゲイン関数を基に新たな積分ゲイン関数及び比例ゲイン関数を設定することが行動に対応する。学習部３、３´は、（（積分ゲイン関数，比例ゲイン関数）,（Δ積分ゲイン関数，Δ比例ゲイン関数），行動価値Ｑ）のテーブル（以下、行動価値テーブルと呼ぶ）を、報酬を使った学習で更新する。

本発明の実施例に係る電動機制御装置７は、機械学習装置１、１´及び電動機制御部６を有する。電動機制御部６は、速度指令を入力する速度指令入力部８を備える。機械学習装置１、１´は、学習部３、３´が訓練データセットに従って学習した結果に基づいて、現在の状態（環境）の入力に応答して、積分ゲイン関数及び比例ゲイン関数の変更を決定する意思決定部９を備える。

意思決定部９は、行動価値Ｑが大きくなる行動（Δ積分ゲイン関数，Δ比例ゲイン関数）を１−εの確率で選択し、εの確率でランダム選択するようにしてもよい（ε−ｇｒｅｅｄｙ法）。

行動価値テーブルに格納される行動価値の初期値は、電動機の巻線抵抗値、及びインダクタンス値から計算するようにしてもよい。通常、学習開始時に行動価値テーブルに格納する行動価値の初期値はランダム値である。そこで、電動機の巻線抵抗、インダクタンスを取得し、初期値を適正に与え、学習の効率を高めることができる。

行動価値を全てテーブルとして格納し、逐次更新することが困難な場合は、多層ニューラルネットワークを用いた深層学習を組み合わせて行動価値Ｑを更新してもよい。深層学習はＱ学習の膨大な計算量を削減する手段として有用であることが知られている。

図３に示すように、電動機制御部６における状態には、行動で間接的に変化する状態と、行動で直接的に変化する状態とがある。行動で間接的に変化する状態には、ステップごとのオーバシュート量、アンダーシュート量、及び立ち上がり時間が含まれる。行動で直接的に変化する状態には、積分ゲイン関数及び比例ゲイン関数が含まれる。

学習部３、３´は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成される。

機械学習装置１、１´がネットワークを介して電動機制御部６に接続され、状態観測部２、２´は、ネットワークを介して、現在の状態変数を取得するように構成されるようにしてもよい。

機械学習装置１、１´は、クラウドサーバに存在することが好ましい。

電動機制御部６は、速度指令入力部８（速度ステップ指令器）を備える。状態観測部２、２´は、速度センサ２１並びに積分ゲイン関数及び比例ゲイン関数を取得するための通信手段２２を備える。機械学習装置１、１´は、電動機制御部６に内蔵されていてもよい。

次に、本発明の実施例に係る機械学習方法について説明する。図５に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。本発明の実施例に係る機械学習方法は、電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する実速度のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測し、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する、ことを含むことを特徴とする。

図５に本発明の実施例に係る機械学習装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ１０１において、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する実速度のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測する。あるいは、ステップＳ１０１において、速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、周波数の異なる正弦波の組からなる速度指令に対する実速度の振幅比及び位相遅れ量から算出された帯域時間のうちの少なくとも１つ、積分ゲイン関数、及び比例ゲイン関数から構成される状態変数を観測するようにしてもよい。

次に、ステップＳ１０２において、状態変数によって構成される訓練データセットに従って、速度ゲインパラメータの調整に関連付けられる条件を学習する。

次に、本発明の実施例に係る電動機制御装置モータ駆動システムを用いた機械学習方法について説明する。図６に本発明の実施例に係る電動機制御装置の動作手順を説明するためのフローチャートを示す。まず、ステップＳ２０１において、学習をスタートする。

次に、ステップＳ２０２において、積分ゲイン関数及び比例ゲイン関数を設定する。

次に、ステップＳ２０３において、ステップ指令を入力する。例えば、速度指令を１０％、２０％、・・・と徐々に増加させながら入力する。

次に、ステップＳ２０４において、速度を採取し、速度指令の大きさごとのオーバシュート量等に変換する。例えば、速度指令を１０％刻みで増加させながら、各速度指令におけるオーバシュート量（ＯＳ量）、アンダーシュート量（ＵＳ量）、立ち上り時間（ＲｉｓｅＴｉｍｅ）に採取した速度を変換する。

次に、ステップＳ２０５において、報酬を計算する。ここで、報酬は０か１かに決定するような場合には限られない。即ち、オーバシュート量に対し単調減少する関数と、アンダーシュート量に対し単調増加する関数と、立ち上り時間に対し単調減少する関数と、により計算される。例えば、積分ゲイン関数、比例ゲイン関数全体に対応する１つの報酬を与えてもよいし、ステップの大きさごとに１つの報酬としてもよい。これは、積分ゲイン関数、比例ゲイン関数を関数として最適化するか、速度指令ごとの積分ゲイン及び比例ゲインを個別に最適化するか、の違いである。具体的には、１０％刻みで１０ステップなら１０種類の報酬を増減させるようにしてもよい。

次に、ステップＳ２０６において、行動価値テーブルを更新する。

次に、ステップＳ２０７において、更新した行動価値テーブルに基づいて、Δ積分ゲイン関数及びΔ比例ゲイン関数を決定する。以上のステップＳ２０２からＳ２０７を繰り返すことにより、積分ゲイン関数及び比例ゲイン関数を最適化することができる。

以上説明したように、本発明の実施例に係る機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法によれば、モータの個体差も考慮した速度ゲインパラメータの最適化により、モータの応答性向上、及び送りムラ改善・精度向上を実現し、調整の工数を削減することができる。

１、１´ 機械学習装置
２、２´ 状態観測部
３、３´ 学習部
４、４´ 報酬計算部
５、５´ 関数更新部
６電動機制御部
７電動機制御装置
８速度指令入力部
９意思決定部

Claims

電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、
速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する前記実速度のオーバシュート量、アンダーシュート量、及び立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記速度ゲインパラメータの調整に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習装置であって、
速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、周波数の異なる正弦波の組からなる速度指令に対する前記実速度の周波数ごとの振幅比及び、位相遅れ量から算出された応答可能な周波数帯域のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測する状態観測部と、
前記状態変数によって構成される訓練データセットに従って、前記速度ゲインパラメータの調整に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。
前記学習部が、複数の電動機に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される、請求項１または２に記載の機械学習装置。
前記オーバシュート量、前記アンダーシュート量、及び立ち上がり時間に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から速度ゲインパラメータを調整するための関数を更新する関数更新部と、
をさらに備える、請求項１に記載の機械学習装置。
前記振幅比、前記位相遅れ量に基づいて報酬を計算する報酬計算部と、
前記報酬に基づいて、現在の状態変数から速度ゲインパラメータを調整するための関数を更新する関数更新部と、
をさらに備える、請求項２に記載の機械学習装置。
請求項４または５に記載の機械学習装置であって、
前記報酬計算部は、更に速度の発振に対する余裕に基づいて報酬を計算する、機械学習装置。
請求項４乃至６のいずれか一項に記載の機械学習装置であって、
前記報酬計算部は、更に前記積分ゲイン関数の傾き及び比例ゲイン関数の傾きに基づいて報酬を計算する、機械学習装置。
請求項４乃至７のいずれか一項に記載の機械学習装置であって、
前記関数更新部はＱ学習を用いて強化学習を行う、機械学習装置。
請求項４乃至８のいずれか一項に記載の機械学習装置であって、
前記関数更新部はＱ学習を用いて強化学習を行い、Ｑ学習における行動価値の更新には深層学習を用いる、機械学習装置。
請求項１乃至９のいずれか一項に記載の機械学習装置及び電動機制御部を有する電動機制御装置であって、
前記電動機制御部が、速度指令を入力する速度指令入力部を備え、
前記機械学習装置が、前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、前記積分ゲイン関数及び前記比例ゲイン関数の変更を決定する意思決定部を備える、電動機制御装置。
前記学習部は、前記現在の状態変数及び変更された前記積分ゲイン関数及び前記比例ゲイン関数の組合せによって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される、請求項１０に記載の電動機制御装置。
前記機械学習装置がネットワークを介して前記電動機制御部に接続され、
前記状態観測部は、前記ネットワークを介して、前記現在の状態変数を取得するように構成される、請求項１０又は１１に記載の電動機制御装置。
前記機械学習装置がクラウドサーバに存在する、請求項１２に記載の電動機制御装置。
前記機械学習装置が、前記電動機制御部に内蔵されている、請求項１０乃至１３のいずれか一項に記載の電動機制御装置。
電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、
速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、ステップ状の速度指令に対する前記実速度のオーバシュート量、アンダーシュート量、立ち上がり時間のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記速度ゲインパラメータの調整に関連付けられる条件を学習する、
ことを含むことを特徴とする機械学習方法。
電動機制御における速度ゲインパラメータの調整に関連付けられる条件を学習する機械学習方法であって、
速度制御ループの積分ゲイン関数及び比例ゲイン関数を取得し、かつ実速度を取得し、周波数の異なる正弦波の組からなる速度指令に対する前記実速度の周波数ごとの振幅比及び、位相遅れ量から算出された応答可能な周波数帯域のうちの少なくとも１つ、前記積分ゲイン関数、及び前記比例ゲイン関数から構成される状態変数を観測し、
前記状態変数によって構成される訓練データセットに従って、前記速度ゲインパラメータの調整に関連付けられる条件を学習する、
ことを含むことを特徴とする機械学習方法。