JP7042932B2 - 機械学習装置、およびモータ制御システム - Google Patents

Description

本発明は、機械学習装置、およびモータ制御システムに関する。

従来、モータ駆動装置の平滑コンデンサとして電解コンデンサが使用可能であることが知られている。たとえば、特開２０１４－１０３７０３号公報（特許文献１）には、温度条件に応じて、平滑コンデンサと母線との接続状態およびインバータの制御方式を切り替えるインバータ制御装置が開示されている。当該インバータ制御装置によれば、モータを安定して駆動させることができるとともに、平滑コンデンサの寿命を延ばすことができる。

特開２０１４－１０３７０３号公報

特許文献１に開示されているモータ制御装置は、モータ制御装置の周囲の温度が基準温度以上である場合を電解コンデンサの寿命に対して厳しい場合であるとして、当該場合に母線から電解コンデンサを切り離す。当該基準温度は、電解コンデンサの寿命の温度特性に応じて任意に設定される。電解コンデンサの寿命は、試作の評価時に様々な温度条件で電解コンデンサを測定して算出され得る。

電解コンデンサが実際に使用される環境は、時間経過に伴って変化し、基準温度が決定された実機実験の環境あるいはシミュレーションにおける環境から乖離していくことが多い。そのため、予め決定された基準温度を用いた電解コンデンサの保護動作は、電解コンデンサが実際に使用される環境において電解コンデンサの劣化状況に適合していない可能性がある。

本発明は、上述のような課題を解決するためになされたものであり、その目的は、電解コンデンサが実際に使用される環境に適合された制御情報を提供することである。

本発明に係る機械学習装置は、モータを駆動するモータ駆動装置の状態変数を学習する。モータ駆動装置は、整流回路と、電解コンデンサと、インバータとを含む。整流回路は、交流電源からの交流電力を直流電力に変換する。電解コンデンサは、整流回路からの直流電力を平滑する。インバータは、電解コンデンサからの直流電力を変換し、モータに交流電力を出力する。状態変数は、交流電源からの交流電力に関するデータ、および電解コンデンサが受ける直流電力に関するデータ、およびモータが受ける交流電力に関するデータの少なくとも１つを含む。機械学習装置は、記憶部と、制御部とを備える。記憶部には、状態変数と、モータの駆動周波数と、駆動周波数の評価値とが関連付けられた第１関数が保存されている。制御部は、状態変数の変化が電解コンデンサを劣化させる程度に応じて駆動周波数の評価値を更新し、第１関数を出力する。

本発明に係る機械学習装置によれば、状態変数の変化が電解コンデンサを劣化させる程度に応じて第１関数におけるモータの駆動周波数の評価値が更新されることにより、電解コンデンサが実際に使用される環境に適合された制御情報を提供することができる。

実施の形態１に係るモータ制御システムの構成を示す機能ブロック図である。 図１の制御部によって行なわれる駆動周波数に関する学習処理の流れを示すフローチャートである。 図１のインバータ制御装置によって行なわれる電解コンデンサの保護処理の流れを示すフローチャートである。 実施の形態２に係るモータ制御システムの構成を示す機能ブロック図である。 図４の制御部によって行なわれる予測寿命に関する学習処理の流れを示すフローチャートである。

以下、実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。

実施の形態１．
図１は、実施の形態１に係るモータ制御システム１の構成を示す機能ブロック図である。モータ制御システム１は、モータ駆動装置７０を制御することによって、モータ８０の駆動を制御する。

図１に示されるように、モータ駆動装置７０は、整流回路７１と、電解コンデンサ７２と、インバータ７３とを含む。整流回路７１は、交流電源６０からの三相（ＵＶＷ相）交流電力を直流電力に変換する。電解コンデンサ７２は、整流回路７１からの直流電力を平滑する。インバータ７３は、電解コンデンサ７２からの直流電力を変換し、モータ８０に三相交流電力を出力する。

モータ制御システム１は、機械学習装置１０と、インバータ制御装置２０と、不平衡率計算部５１と、リプル電流測定部５２と、リプル電圧測定部５３と、負荷電流測定部５４とを備える。機械学習装置１０は、制御部１１と、メモリ１２（記憶部）とを含む。

不平衡率計算部５１は、交流電源６０から出力される三相交流電力の各相間の不平衡率Ｒｕｖ、Ｒｖｗ、およびＲｗｕを算出し、制御部１１およびインバータ制御装置２０に不平衡率Ｒｕｖ、Ｒｖｗ、およびＲｗｕを出力する。各相間の不平衡率は、相間電圧Ｖｕｖ、Ｖｖｗ、およびＶｗｕの平均電圧Ｖａｖｅに対する、各相間電圧から平均電圧Ｖａｖｅを引いた値の割合（各相間の不平衡率＝（各相間電圧－Ｖａｖｅ）／Ｖａｖｅ）として算出される。相間電圧をＶｕｖは、Ｕ相とＶ相との間の電圧である。相間電圧Ｖｖｗは、Ｖ相とＷ相との間の電圧である。相間電圧Ｖｗｕは、Ｗ相とＵ相との間の電圧である。平均電圧Ｖａｖｅは、（Ｖｕｖ＋Ｖｖｗ＋Ｖｗｕ）／３と表される。不平衡率Ｒｕｖは、（Ｖｕｖ－Ｖａｖｅ）／Ｖａｖｅと表される。不平衡率Ｒｖｗは、（Ｖｖｗ－Ｖａｖｅ）／Ｖａｖｅと表される。不平衡率Ｒｗｕは、（Ｖｗｕ－Ｖａｖｅ）／Ｖａｖｅと表される。

リプル電流測定部５２は、母線から電解コンデンサ７２に流れるリプル電流Ｉｒｐを検出し、制御部１１およびインバータ制御装置２０にリプル電流Ｉｒｐを出力する。リプル電圧測定部５３は、母線と電解コンデンサ７２との間に発生するリプル電圧Ｖｒｐを検出し、制御部１１およびインバータ制御装置２０にリプル電圧Ｖｒｐを出力する。負荷電流測定部５４は、インバータ７３から出力されるＵ相電流Ｉｕ、Ｖ相電流Ｉｖ、およびＷ相電流Ｉｗを検出し、制御部１１およびインバータ制御装置２０に負荷電流Ｉｕ、Ｉｖ、およびＩｗを出力する。

制御部１１は、強化学習のアルゴリズムを用いて、電解コンデンサ７２の劣化に影響を与えるデータを含むモータ駆動装置７０の状態変数を学習する。強化学習とは、選択した行動に応じて報酬が得られるという環境にいるエージェント（行動主体）が、時刻毎に観測した環境の状態に基づいて行動の選択をするということを繰り返すことにより、報酬の累積値の期待値を最大化する方策を学習するという学習アルゴリズムである。

電解コンデンサ７２の劣化の原因として、リプル電流Ｉｒｐが電解コンデンサ７２を流れる場合の電解コンデンサ７２のＥＳＲ（Equivalent Series Resistance）による温度上昇を挙げることができる。リプル電流Ｉｒｐは、交流電源６０の電圧不平衡率が高いほど大きくなるとともに、モータ８０の負荷電流が大きいほど大きくなることが知られている。そこで、当該状態変数は、電解コンデンサ７２の劣化に影響を与えるデータとして、不平衡率Ｒｕｖ、Ｒｖｗ、およびＲｗｕ（交流電源からの交流電力に関するデータ）、リプル電流Ｉｒｐおよびリプル電圧Ｖｒｐ（電解コンデンサが受ける直流電力に関するデータ）、ならびに負荷電流Ｉｕ、Ｉｖ、およびＩｗ（モータが受ける交流電力に関するデータ）を含む。なお、モータ駆動装置７０の状態変数は、不平衡率、リプル電流、リプル電圧、負荷電流のすべてを含んでいる必要はなく、これらの少なくとも１つを含んでいればよい。

制御部１１は、状態変数を外部記憶装置９０に保存する。外部記憶装置９０としては、たとえばインターネット上のクラウドサービスにおいて利用可能な記憶装置を挙げることができる。

制御部１１は、Ｑ学習において一般的に用いられる以下の式（１）を用いて、モータ駆動装置７０の状態ｓ_ｔと、モータ８０の駆動周波数である行動ａ_ｔと、行動ａ_ｔの評価値であるＱ値とが関連付けられた行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）（ＱテーブルＱｔ１）を更新する。制御部１１は、ＱテーブルＱｔ１をインバータ７３の制御情報としてインバータ制御装置２０に出力する。ＱテーブルＱｔ１は、メモリ１２に保存される。

式（１）において、状態ｓ_ｔは、時刻ｔにおける状態を表し、時刻ｔにおいて観測された状態変数によって決定される。時刻ｔは、行動選択を繰り返した回数である。ｔ＝０の場合の状態ｓ_０は、初期状態である。状態ｓ_ｔにおいて行動ａ_ｔが選択された場合、報酬ｒ_ｔ＋１が得られるとともに、モータ駆動装置７０の状態は、状態ｓ_ｔからｓ_ｔ＋１に遷移する。報酬ｒ_ｔ＋１は、状態ｓ_ｔにおいて行動ａ_ｔに関連付けられ、メモリ１２に保存されている。行動ｂは、状態ｓ_ｔ＋１において選択可能な行動である。αは学習率であり、γは割引率である。なお、制御部１１において用いられる強化学習のアルゴリズムは、Ｑ学習に限定されず、たとえばＴＤ（Temporal Difference）学習であってもよい。

インバータ制御装置２０は、機械学習装置１０からのＱテーブルＱｔ１を用いて、現在の状態変数によって特定される状態において最も評価値が高い駆動周波数をモータ８０の駆動周波数ｆｃとして決定する。インバータ制御装置２０は、駆動周波数ｆｃに対応する指令信号ｃｍをインバータ７３に出力するとともに、駆動周波数ｆｃを機械学習装置１０に出力する。インバータ制御装置２０は、リプル電流Ｉｒｐおよびリプル電圧Ｖｒｐに応じて、電解コンデンサ７２の保護処理を行なう。

インバータ７３は、インバータ制御装置２０からの指令信号ｃｍに応じてスイッチング素子の接続状態をオンおよびオフの間で切り替えることにより、モータ８０に負荷電流Ｉｕ、Ｉｖ、およびＩｗを出力する。インバータ７３は、インバータ制御装置２０からの指令信号ｃｍに従い、交流電力を直流電力に変換する力行動作（順変換動作）、および直流電力を交流電力に変換する回生動作（逆変換動作）のいずれかを行なう。インバータ７３の動作に対応して、モータ８０は加速動作、定速動作、あるいは減速動作を行なう。

通常、モータ駆動装置７０の周囲の温度が高くなるほど、電解コンデンサ７２の寿命に対する影響は大きくなる。そのため、電解コンデンサ７２に対する保護動作として、モータ駆動装置７０の周囲の温度が基準温度以上である場合に母線から電解コンデンサ７２を切り離す動作を挙げることができる。当該基準温度は、電解コンデンサ７２の寿命の温度特性に応じて、実機実験あるいはシミュレーションによって適宜決定され得る。

電解コンデンサ７２が実際に使用される環境は、時間経過に伴って変化し、基準温度が決定された実機実験の環境あるいはシミュレーションにおける環境から乖離していくことが多い。そのため、予め決定された基準温度を用いた電解コンデンサ７２の保護動作は、電解コンデンサ７２の劣化状況に適合していない可能性がある。

そこで、モータ制御システム１においては、電解コンデンサ７２が実際に使用される環境において電解コンデンサ７２の劣化に影響を与える程度に応じて、機械学習装置１０によってモータ８０の駆動周波数の評価値が反復的に更新される。その結果、機械学習装置１０は、電解コンデンサ７２が実際に使用される環境に適合された制御情報をインバータ制御装置２０に提供することができる。モータ制御システム１によれば、電解コンデンサ７２が実際に使用される環境において電解コンデンサ７２の劣化に影響が小さい駆動周波数が選択されることにより、電解コンデンサ７２の劣化を抑制することができる。

図２は、図１の制御部１１によって行なわれる駆動周波数に関する学習処理の流れを示すフローチャートである。図２に示される処理は、機械学習装置１０の統合的な制御を行なう不図示のメインルーチンによって、インバータ制御装置２０から駆動周波数ｆｃが出力される度に呼び出される。以下では、ステップを単にＳと記載する。なお、インバータ制御装置２０が下限値以上の駆動周波数ｆｃに対応する指令信号ｃｍをインバータ７３に出力するとともに、駆動周波数ｆｃを機械学習装置１０に出力することにより、図２に示される処理が最初に呼び出される。図２に示される処理が最初に呼び出される場合のモータ８０の駆動周波数は、下限値以上の範囲でランダムに決定されてもよい。状態および駆動周波数（行動）に関連付けられている報酬には、予め初期値が設定されている。ＱテーブルＱｔ１の各評価値には初期値（たとえば０）が予め設定されている。

以下では、図２に示される学習処理の回数が（ｍ＋１）回目である場合について説明する。ｍは０以上の自然数である。前回のｍ回目において、行動ａ_ｍとして駆動周波数ｆｃ_ｍが選択され、状態変数によって決定される状態がｓ_ｍからｓ_ｍ＋１に遷移したとする。駆動周波数ｆｃ_ｍに関連付けられている報酬をｒ_ｍ＋１とする。（ｍ＋１）回目の学習処理において参照される状態変数は、状態ｓ_ｍ＋１に対応する状態変数である。

図２に示されるように、制御部１１は、Ｓ１０１においてリプル電流Ｉｒｐが閾値Ｉｔｈ１（第１基準値）以下であるか否かを判定する。閾値Ｉｔｈ１は、実機実験あるいはシミュレーションによって適宜決定することができる。リプル電流Ｉｒｐが閾値Ｉｔｈ１以下である場合（Ｓ１０１においてＹＥＳ）、制御部１１は、Ｓ１０２において報酬ｒ_ｍ＋１を増加させて処理をＳ１０４に進める。リプル電流Ｉｒｐが閾値Ｉｔｈ１より大きい場合（Ｓ１０１においてＮＯ）、制御部１１は、Ｓ１０３において報酬ｒ_ｍ＋１を減少させて処理をＳ１０４に進める。

制御部１１は、Ｓ１０４においてリプル電圧Ｖｒｐが閾値Ｖｔｈ１（第２基準値）以下であるか否かを判定する。閾値Ｖｔｈ１は、実機実験あるいはシミュレーションによって適宜決定することができる。リプル電圧Ｖｒｐが閾値Ｖｔｈ１以下である場合（Ｓ１０４においてＹＥＳ）、制御部１１は、Ｓ１０５において報酬ｒ_ｍ＋１を増加させて処理をＳ１０７に進める。リプル電圧Ｖｒｐが閾値Ｖｔｈ１より大きい場合（Ｓ１０４においてＮＯ）、制御部１１は、Ｓ１０６において報酬ｒ_ｍ＋１を減少させて処理をＳ１０７に進める。

制御部１１は、Ｓ１０７において不平衡率Ｒｕｖ、Ｒｖｗ、およびＲｗｕの最大値Ｒｍａｘが閾値Ｒｔｈ（基準比率）以下であるか否かを判定する。閾値Ｒｔｈは、実機実験あるいはシミュレーションによって適宜決定することができる。最大値Ｒｍａｘが閾値Ｒｔｈ以下である場合（Ｓ１０７においてＹＥＳ）、制御部１１は、交流電源６０に電圧不平衡は発生していないとして、Ｓ１０８において報酬ｒ_ｍ＋１を増加させて処理をＳ１１０に進める。最大値Ｒｍａｘが閾値Ｒｔｈより大きい場合（Ｓ１０７においてＮＯ）、制御部１１は、交流電源６０に電圧不平衡が発生しているとして、Ｓ１０９において報酬ｒ_ｍ＋１を減少させて処理をＳ１１０に進める。

制御部１１は、Ｓ１１０において負荷電流Ｉｕ、Ｉｖ、およびＩｗが最適か否かを判定する。具体的には、制御部１１は、Ｓ１１０において負荷電流Ｉｕ、Ｉｖ、およびＩｗの各々が許容範囲（基準範囲）内であるか否かを判定する。許容範囲は、不平衡率Ｒｕｖ、Ｒｖｗ、およびＲｗｕから算出される。負荷電流Ｉｕ、Ｉｖ、およびＩｗの各々が許容範囲（基準範囲）内である場合（Ｓ１１０においてＹＥＳ）、制御部１１は、Ｓ１１１において報酬ｒ_ｍ＋１を増加させて処理をＳ１１３に進める。負荷電流Ｉｕ、Ｉｖ、およびＩｗのいずれかが許容範囲外である場合（Ｓ１１０においてＮＯ）、制御部１１は、Ｓ１１２において報酬ｒ_ｍ＋１を減少させて処理をＳ１１３に進める。制御部１１は、Ｓ１１３において式（１）を用いてＱテーブルＱｔ１を更新して処理をメインルーチンに返す。

駆動周波数ｆｃが変更される度に図２に示される処理が呼び出されることにより、電解コンデンサ７２が実際に使用される環境において電解コンデンサ７２の劣化に影響が小さい駆動周波数の評価値が高くなる。機械学習装置１０は、電解コンデンサ７２が実際に使用される環境に適合された制御情報であるＱテーブルＱｔ１をインバータ制御装置２０に提供することができる。

なお、制御部１１によって行なわれる処理は、ＣＰＵ（Central Processing Unit）のようなコンピュータがメモリ１２に保存されているプログラムを実行することによって実現されてもよいし、専用のハードウェア処理回路によって実現されてもよい。

図３は、図１のインバータ制御装置２０によって行なわれる電解コンデンサ７２の保護処理の流れを示すフローチャートである。図３に示される処理は、インバータ制御装置２０の統合的な制御を行なう不図示のメインルーチンによって、一定時間間隔で呼び出される。

図３に示されるように、インバータ制御装置２０は、Ｓ１２１においてリプル電流Ｉｒｐが閾値Ｉｔｈ２（第３基準値）以下であるか否かを判定する。閾値Ｉｔｈ２は、閾値Ｉｔｈ１よりも大きい。閾値Ｉｔｈ２は、電解コンデンサ７２に流すことが可能な電流の上限値であり、予め決定されている。リプル電流Ｉｒｐが閾値Ｉｔｈ２以下である場合（Ｓ１２１においてＹＥＳ）、インバータ制御装置２０は、処理をＳ１２２に進める。リプル電流Ｉｒｐが閾値Ｉｔｈ２より大きい場合（Ｓ１２１においてＮＯ）、インバータ制御装置２０は、処理をＳ１２３に進める。

インバータ制御装置２０は、Ｓ１２２においてリプル電圧Ｖｒｐが閾値Ｖｔｈ２（第４基準値）以下であるか否かを判定する。閾値Ｖｔｈ２は、閾値Ｖｔｈ１よりも大きい。閾値Ｖｔｈ２は、電解コンデンサ７２に印加することが可能な電圧の上限値であり、予め決定されている。リプル電圧Ｖｒｐが閾値Ｖｔｈ２以下である場合（Ｓ１２２においてＹＥＳ）、インバータ制御装置２０は、処理をメインルーチンに返す。リプル電圧Ｖｒｐが閾値Ｖｔｈ２より大きい場合（Ｓ１２２においてＮＯ）、インバータ制御装置２０は、処理をＳ１２３に進める。インバータ制御装置２０は、Ｓ１２３においてモータ８０の停止指令をインバータ７３に出力して処理をメインルーチンに返す。インバータ７３は、インバータ制御装置２０からの停止指令に応じて、モータ８０を停止させる。

なお、インバータ制御装置２０において行なわれる処理は、ＣＰＵのようなコンピュータがインバータ制御装置２０のメモリに保存されているプログラムを実行することによって実現されてもよいし、専用のハードウェア処理回路（半導体集積回路）によって実現されてもよい。

以上、実施の形態１に係るモータ制御システムによれば、電解コンデンサが実際に使用される環境に適合された制御情報を用いてモータを制御することにより、電解コンデンサの劣化を抑制することができる。

実施の形態２．
実施の形態１においては、強化学習の枠組みにおいて、モータの駆動周波数を行動として、機械学習装置が電解コンデンサの劣化に対する影響が小さい駆動周波数の評価値を学習処理の反復により高める場合について説明した。実施の形態２においては、モータ駆動周波数とともに電解コンデンサの寿命を行動として、機械学習装置が参照寿命との相対誤差が小さい電解コンデンサの予測寿命の評価値を学習処理の反復により高める場合について説明する。

図４は、実施の形態２に係るモータ制御システム２の構成を示す機能ブロック図である。モータ制御システム２の構成は、図１の制御部１１が１１Ｂに置き換えられているとともに、寿命予測装置３０および表示装置４０が追加された構成である。制御部１１Ｂは、制御部１１の機能を有する。これら以外の構成は同様であるため、説明を繰り返さない。

図４を参照しながら、制御部１１Ｂは、式（１）を用いて、モータ駆動装置７０の状態ｓ_ｔと、電解コンデンサ７２の予測寿命である行動ａ_ｔと、行動ａ_ｔの評価値であるＱ値とが関連付けられた行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）（ＱテーブルＱｔ２）を更新し、ＱテーブルＱｔ２を寿命予測装置３０に出力する。ＱテーブルＱｔ２は、メモリ１２に保存される。

制御部１１Ｂは、予測寿命の評価値を更新するために、外部サーバ１００から電解コンデンサ７２の寿命に関するデータを取得する。電解コンデンサ７２の寿命に関するデータとは、電解コンデンサ７２と同種の電解コンデンサの実験データ、シミュレーションデータ、あるいは状態変数と寿命が関連付けられたマップである。電解コンデンサ７２の寿命に関するデータは、たとえば電解コンデンサ７２の製造メーカから提供される。電解コンデンサ７２の寿命に関するデータは、予めメモリ１２に保存されていてもよい。制御部１１Ｂは、状態変数および電解コンデンサ７２の寿命に関するデータから、参照寿命ＬＳｒを算出する。

寿命予測装置３０は、不平衡率計算部５１から不平衡率Ｒｕｖ、Ｒｖｗ、およびＲｗｕを受ける。寿命予測装置３０は、リプル電流測定部５２からリプル電流Ｉｒｐを受ける。寿命予測装置３０は、リプル電圧測定部５３からリプル電圧Ｖｒｐを受ける。寿命予測装置３０は、負荷電流測定部５４から負荷電流Ｉｕ、Ｉｖ、およびＩｗを受ける。

寿命予測装置３０は、制御部１１ＢからのＱテーブルＱｔ２を用いて、状態変数によって特定される状態において最も評価値が高い予測寿命ＬＳｐを表示装置４０に出力する。寿命予測装置３０は、予測寿命ＬＳｐとともに電解コンデンサ７２の交換時期を表示装置４０に出力してもよい。表示装置４０は、寿命予測装置３０からの情報を表示する。

電解コンデンサ７２の寿命に関するデータが取得された環境と、電解コンデンサ７２が実際に使用される環境とは異なり得る。また、モータ制御システム２においては、電解コンデンサ７２の劣化に対する影響が小さくなるように駆動周波数が選択される。そのため、電解コンデンサ７２の寿命に関するデータから導出された参照寿命ＬＳｒは、電解コンデンサ７２が実際に使用される環境における電解コンデンサ７２の寿命から乖離し得る。

そこで、モータ制御システム２においては、参照寿命ＬＳｒをそのまま予測寿命として使用するのではなく、参照寿命ＬＳｒと予測寿命ＬＳｐとの相対誤差に応じて、機械学習装置１０によって予測寿命ＬＳｐの評価値が反復的に更新される。機械学習装置１０は、電解コンデンサ７２が実際に使用される環境に適合された寿命データを寿命予測装置３０に提供することができる。モータ制御システム２によれば、電解コンデンサ７２の寿命の予測精度を向上させることができる。

図５は、図４の制御部１１Ｂによって行なわれる予測寿命に関する学習処理の流れを示すフローチャートである。図５に示される処理は、機械学習装置１０の統合的な制御を行なう不図示のメインルーチンによって、インバータ制御装置２０から駆動周波数ｆｃが出力される度に呼び出される。図５に示される処理が最初に呼び出される場合、予測寿命に初期値が設定されている。当該初期値は、ランダムに決定されてもよい。状態および予測寿命（行動）に関連付けられている報酬には、予め初期値が設定されている。ＱテーブルＱｔ２に含まれる各評価値には予め初期値（たとえば０）が設定されている。

以下では、図５に示される学習処理の回数が（ｍ＋１）回目である場合について説明する。ｍは０以上の自然数である。前回のｍ回目において、行動ａ_ｍとして予測寿命ＬＳｐ_ｍが選択され、状態変数によって決定される状態がｓ_ｍからｓ_ｍ＋１に遷移したとする。駆動周波数に関連付けられている報酬ｒと区別するため、予測寿命ＬＳｐ_ｍに関連付けられている報酬をｗ_ｍ＋１とする。（ｍ＋１）回目の学習処理において参照される状態変数は、状態ｓ_ｍ＋１に対応する状態変数である。

図５に示されるように、制御部１１Ｂは、Ｓ２０１において参照寿命ＬＳｒに対する予測寿命ＬＳｐの相対誤差が許容誤差Ｔｏ１よりも小さいか否かを判定する。参照寿命ＬＳｒに対する予測寿命ＬＳｐの相対誤差とは、参照寿命ＬＳｒに対する、予測寿命ＬＳｐと参照寿命ＬＳｒとの差の絶対値の割合である。許容誤差Ｔｏ１は、実機実験あるいはシミュレーションによって適宜決定される。

参照寿命ＬＳｒに対する予測寿命ＬＳｐの相対誤差が許容誤差Ｔｏ１よりも小さい場合（Ｓ２０１においてＹＥＳ）、制御部１１Ｂは、Ｓ２０２において報酬ｗ_ｍ＋１を増加させて処理をＳ２０４に進める。参照寿命ＬＳｒに対する予測寿命ＬＳｐの相対誤差が許容誤差Ｔｏ１以上である場合（Ｓ２０１においてＮＯ）、制御部１１Ｂは、Ｓ２０３において報酬ｗ_ｍ＋１を減少させて処理をＳ２０４に進める。制御部１１Ｂは、Ｓ２０４において式（１）を用いてＱテーブルＱｔ２を更新して処理をメインルーチンに返す。

以上、実施の形態２に係るモータ制御システムによれば、電解コンデンサの劣化を抑制することができるとともに、電解コンデンサが実際に使用される環境における電解コンデンサの予測寿命の精度を向上させることができる。

今回開示された各実施の形態は、矛盾しない範囲で適宜組み合わせて実施することも予定されている。今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，２ モータ制御システム、１０ 機械学習装置、１１，１１Ｂ 制御部、１２ メモリ、２０ インバータ制御装置、３０ 寿命予測装置、４０ 表示装置、５１ 不平衡率計算部、５２ リプル電流測定部、５３ リプル電圧測定部、５４ 負荷電流測定部、６０ 交流電源、７０ モータ駆動装置、７１ 整流回路、７２ 電解コンデンサ、７３ インバータ、８０ モータ、９０ 外部記憶装置、１００ 外部サーバ。

Claims (12)

1. モータを駆動するモータ駆動装置の状態変数を学習する機械学習装置であって、
   前記モータ駆動装置は、
   交流電源からの交流電力を直流電力に変換する整流回路と、
   前記整流回路からの直流電力を平滑する電解コンデンサと、
   前記電解コンデンサからの直流電力を変換し、前記モータに交流電力を出力するインバータとを含み、
   前記状態変数は、前記交流電源からの交流電力に関するデータ、および前記電解コンデンサが受ける直流電力に関するデータ、および前記モータが受ける交流電力に関するデータの少なくとも１つを含み、
   前記機械学習装置は、
   前記状態変数と、前記モータの駆動周波数と、前記駆動周波数の評価値とが関連付けられた第１関数が保存された記憶部と、
   前記状態変数の変化が前記電解コンデンサを劣化させる程度に応じて前記駆動周波数の評価値を更新し、前記第１関数を出力する制御部とを備える、機械学習装置。
2. 前記状態変数は、前記直流電力に関するデータとして前記電解コンデンサを流れるリプル電流を含み、
   前記制御部は、前記リプル電流が第１基準値よりも小さい場合、前記駆動周波数の評価値を増加させ、前記リプル電流が前記第１基準値よりも大きい場合、前記駆動周波数の評価値を減少させる、請求項１に記載の機械学習装置。
3. 前記状態変数は、前記直流電力に関するデータとして前記電解コンデンサのリプル電圧を含み、
   前記制御部は、前記リプル電圧が第２基準値よりも小さい場合、前記駆動周波数の評価値を増加させ、前記リプル電圧が前記第２基準値よりも大きい場合、前記駆動周波数の評価値を減少させる、請求項１または２に記載の機械学習装置。
4. 前記状態変数は、前記交流電源からの交流電力に関するデータとして、前記交流電力の不平衡率を含み、
   前記制御部は、前記不平衡率が基準比率よりも小さい場合、前記駆動周波数の評価値を増加させ、前記不平衡率が前記基準比率よりも大きい場合、前記駆動周波数の評価値を減少させる、請求項１～３のいずれか１項に記載の機械学習装置。
5. 前記状態変数は、前記モータが受ける交流電力に関するデータとして前記モータに流れる負荷電流を含み、
   前記制御部は、前記負荷電流が基準範囲内にある場合、前記駆動周波数の評価値を増加させ、前記負荷電流が基準範囲外である場合、前記駆動周波数の評価値を減少させる、請求項１～４のいずれか１項に記載の機械学習装置。
6. 前記記憶部には、前記状態変数と、前記電解コンデンサの予測寿命と、前記予測寿命の評価値とが関連付けられた第２関数が保存され、
   前記制御部は、前記状態変数に対応する前記電解コンデンサと同種の電解コンデンサの参照寿命と前記予測寿命との差に応じて前記予測寿命の評価値を更新し、前記第２関数を出力する、請求項１～５のいずれか１項に記載の機械学習装置。
7. 前記制御部は、前記参照寿命に対する前記予測寿命と前記参照寿命との差の絶対値の割合が許容誤差よりも小さい場合、前記予測寿命の評価値を増加させ、前記割合が前記許容誤差よりも大きい場合、前記予測寿命の評価値を減少させる、請求項６に記載の機械学習装置。
8. 請求項１～５のいずれか１項に記載の機械学習装置と、
   前記機械学習装置から前記第１関数を受けて、前記状態変数において最も高い評価値が付された前記モータの駆動周波数に対応する指令信号を前記インバータに出力するインバータ制御装置とを備える、モータ制御システム。
9. 前記機械学習装置は、前記インバータ制御装置によって前記指令信号が出力される度に、前記状態変数の変化に応じて前記駆動周波数の評価値を更新する、請求項８に記載のモータ制御システム。
10. 請求項６または７に記載の機械学習装置と、
    前記機械学習装置から前記第１関数を受けて、前記状態変数において最も高い評価値が付された前記モータの駆動周波数に対応する指令信号を前記インバータに出力するインバータ制御装置と、
    前記機械学習装置から前記第２関数を受けて、前記状態変数において最も高い評価値が付された予測寿命を出力する寿命予測装置とを備える、モータ制御システム。
11. 前記機械学習装置は、前記インバータ制御装置によって前記指令信号が出力される度に、前記状態変数の変化に応じて前記駆動周波数の評価値を更新するとともに、現在の状態変数に対応する前記電解コンデンサと同種の電解コンデンサの参照寿命と前記予測寿命との差に応じて前記評価値を更新する、請求項１０に記載のモータ制御システム。
12. 前記インバータ制御装置は、前記電解コンデンサのリプル電流が第３基準値を超えた場合、および前記電解コンデンサのリプル電圧が第４基準値を超えた場合の少なくとも一方の場合に、前記モータを停止させる、請求項８～１１のいずれか１項に記載のモータ制御システム。

Images