JP6174649B2 - ファンモータの予防保全機能を備えたモータ駆動装置 - Google Patents

Description

本発明は、モータ駆動装置に関し、特に、ファンモータの予防保全機能を備えたモータ駆動装置に関する。

従来、モータ駆動装置と、モータ駆動装置に指令を出力する数値制御装置とを備えた数値制御システムにおいて、モータ駆動装置に設けられた発熱部品を冷却するためにファンモータが用いられている。ファンモータに異常が生じると部品が発熱する等により、モータ駆動装置が故障する恐れがある。そこで、そのための対策として、ファンモータの回転数が規定値以下になった場合に、警告を出力する装置が知られている（例えば、特許文献１）。

特許文献１に記載された従来の数値制御システムについて簡単に説明する。第１記憶部には、警告を出力するか否かを判断するための基準値として、第１基準値、及び第１基準値よりも大きい第２基準値が記憶されている。表示部は、比較部による比較の結果、個々の検出値が、第１基準値よりも大きく第２基準値以下であるときには「警告」と表示し、第２基準値よりも大きいときには「故障」と表示する。このような構成によれば、操作者は、既定の第１及び第２基準値を判定基準として、複数のファンモータの異常を個別に予測すること、及び異常発生を個別に確認することができるというものである。

しかしながら、従来技術においては、上述の第１及び第２基準値等の規定値は予め定められたものであるため、ファンモータの駆動環境の変化に応じた最適なタイミングでファンモータを交換することができないという問題があった。

特開２００７−２０００９２号公報

本発明は、ファンモータの回転数の推移をモニタし、ファンモータの故障を予測して警告を出力するモータ駆動装置を提供することを目的とする。

本発明の一実施例に係るモータ駆動装置は、機械学習器を備えたモータ駆動装置であって、ファンモータと、ファンモータの交換時期を知らせる警報出力部と、を有し、機械学習器は、ファンモータの回転数を観測する状態観測部と、警報出力部が警報を出力した時期、及び実際にファンモータが故障した時期から報酬を計算する報酬計算部と、状態観測部での観測結果、及び報酬計算部での報酬に基づいて行動の価値を判断する人工知能と、人工知能での判断結果に基づいて警報出力部から警報を出力するか否かを決定する意思決定部と、を有することを特徴とする。

本発明の一実施例に係るモータ駆動装置によれば、最適なタイミングでファンモータを交換でき、ファンモータの周囲温度や消費電流などによって故障までの時間が変わる場合にも、適切に警告を出力することができる。

本発明の実施例に係るモータ駆動装置の構成図である。 本発明の実施例に係るモータ駆動装置を用いて、複数の過去の回転数の推移と故障のデータから、今後の回転数の推移を予想する方法を説明するためのグラフである。 本発明の実施例に係るモータ駆動装置の機械学習器において用いられるニューロンのモデルを示す模式図である。 本発明の実施例に係るモータ駆動装置の機械学習器において用いられる３層のニューラルネットワークモデルを示す模式図である。 本発明の実施例に係るモータ駆動装置の動作手順を説明するためのフローチャートである。

以下、図面を参照して、本発明に係るモータ駆動装置について説明する。

図１は、本発明の実施例に係るモータ駆動装置の構成図である。本発明の実施例に係るモータ駆動装置１００は、機械学習器（エージェント）１０と、ファンモータ制御部（環境）２０と、を備えている。機械学習器１０は、状態観測部１と、報酬計算部２と、人口知能（学習部）３と、意思決定部４と、を備えている。ファンモータ制御部２０は、ファンモータ２１と、ファンモータ２１の交換時期を知らせる警報出力部２２と、を備えている。

状態観測部１は、ファンモータ２１の回転速度、即ち単位時間当たりの回転数（以下、単に「回転数」という）を観測する。図２は、本発明の実施例に係るモータ駆動装置を用いて、複数の過去の回転数の推移と故障のデータから、今後の回転数の推移を予想する方法を説明するためのグラフである。

図２の上側の２つのグラフは、状態観測部１が観測した過去のデータであるファンモータ２１の回転数の推移（時間的変化）を表している。例えば、データＮｏ．１においては、時刻０［ｓｅｃ］から時刻ｔ₁［ｓｅｃ］までは、ほぼ定格回転数で回転していたところ、時刻ｔ₁［ｓｅｃ］から回転数が減少し始め、時刻ｔ₂［ｓｅｃ］において回転が停止した例を示している。同様に、データＮｏ．２においては、時刻０［ｓｅｃ］から時刻ｔ₃［ｓｅｃ］までは、ほぼ定格回転数で回転していたところ、時刻ｔ₃［ｓｅｃ］から回転数が減少し始め、時刻ｔ₄［ｓｅｃ］において回転が停止した例を示している。なお、図２には過去のデータとして２つのデータを示しているが、過去のデータは３つ以上であってもよい。

警報出力部２２は、ファンモータ２１の回転数の推移に従ってファンモータ２１の交換時期を知らせる警報を出力する。例えば、警報出力部２２は、ファンモータ２１の回転数が定格回転数のＸ［％］を下回った場合に警報を出力するようにしてもよい。あるいは、警報出力部２２は、ファンモータ２１の回転数が所定の回転数Ｙ［ｍｉｎ^-1］を下回った場合に警報を出力するようにしてもよい。あるいは、警報出力部２２は、ファンモータ２１が回転を開始してからの経過時間が所定の時間Ｚ［ｈｏｕｒ］を超えた場合に警報を出力するようにしてもよい。ただし、これらの例は一例であって、他の基準に基づいて警報を出力するようにしてもよい。

報酬計算部２は、警報出力部２２が警報を出力した時期と実際にファンモータが故障した時期から報酬を計算する。報酬計算部２は、警報出力から実際にファンモータが故障するまでの時間が短いほど、高い報酬を算出するようにしてもよい。また、報酬計算部２は、警報を出力せずファンモータ２１が故障せずに回転を続けた場合に、高い報酬を算出するようにしてもよい。さらに、報酬計算部２は、警報を出力する前にファンモータ２１が故障した場合に、低い報酬を算出するようにしてもよい。

人工知能（学習部）３は、状態観測部１が観測したファンモータ２１の回転数等の観測結果、及び報酬計算部２での報酬に基づいて行動の価値を判断することができる。また、状態観測部１はモータ駆動装置１００の周囲温度も観測し、人工知能３は周囲温度も考慮に入れて行動の価値を判断するようにしてもよい。あるいは、状態観測部１はファンモータ２１の消費電流も観測し、人工知能３は消費電流も考慮に入れて行動の価値を判断するようにしてもよい。あるいは、状態観測部１は電源オン時、及び電源オフ時のファンモータ２１の回転数の推移変化も観測し、人工知能３は回転数の推移変化も考慮に入れて行動の価値を判断するようにしてもよい。

人工知能３は、状態観測部１で観測された状態変数を多層構造で演算し、行動の価値を判断するための行動価値テーブルをリアルタイムで更新することが好ましい。ここで、状態変数を多層構造で演算する方法として、例えば、図４に示すような多層ニューラルネットワークを用いることができる。

意思決定部４は、人工知能３での判断結果に基づいて、警報出力部２２から警報を出力するか否かを決定する。意思決定部４は、過去の回転数の推移と故障のデータから、故障（回転停止）までの時間を学習し、今後の回転数の推移を予想して、警報出力の有無を判断する。例えば、図２に示すように、データＮｏ．１及びデータＮｏ．２に基づいて、時刻ｔ₅［ｓｅｃ］において警報を出力すべきか否かを判断する。その後、ファンモータ２１は、時刻ｔ₆［ｓｅｃ］において回転を停止する（故障）か、あるいは、故障せずに回転を継続する。時刻ｔ₅［ｓｅｃ］において警報を出力すると判断した場合、報酬計算部２は、警報を出力してから実際にファンモータ２１が故障するまでの時間が短いほど、高い報酬を算出する。時刻ｔ₅［ｓｅｃ］において警報を出力しないと判断した場合、ファンモータ２１が故障せずに回転を続けた場合に、高い報酬を算出する。また、警報出力部２２が警報を出力する前にファンモータ２１が故障した場合は、低い報酬を算出する。意思決定部４は、ファンモータ２１が故障するまでの時間を出力するようにしてもよい。

ここで、図１に示される機械学習器１０について詳細に説明する。機械学習器１０は、装置に入力されるデータの集合から、その中にある有用な規則や知識表現、判断基準などを解析により抽出し、その判断結果を出力するとともに、知識の学習を行う機能を有する。その手法は様々であるが、大別すれば「教師あり学習」、「教師なし学習」、及び「強化学習」に分けられる。さらに、これらの手法を実現するうえで、特徴量そのものの抽出を学習する、「深層学習」と呼ばれる手法がある。

「教師あり学習」は、ある入力と結果（ラベル）のデータの組を大量に学習装置（機械学習器）に与えることで、それらのデータセットにある特徴を学習し、入力から結果を推定するモデル、即ち、その関係性を帰納的に獲得することができる。本実施形態においては、ファンモータ２１の回転数等の状態観測部１での観測結果、並びに報酬計算部２での報酬に基づいて、ファンモータ２１の交換時期の決定に用いることが出来る。上記学習は、後述のニューラルネットワークなどのアルゴリズムを用いて実現することができる。

「教師なし学習」とは、入力データのみを大量に学習装置（機械学習器）に与えることで、入力データがどのような分布をしているか学習し、対応する教師出力データを与えなくても、入力データに対して圧縮、分類、整形などを行う装置を学習する手法である。それらのデータセットにある特徴を似た者どうしにクラスタリングすることなどができる。この結果を使って、何らかの基準を設けてそれを最適にするような出力の割り当てを行うことで、出力の予測を実現することができる。また「教師なし学習」と「教師あり学習」との中間的な問題設定として、「半教師あり学習」と呼ばれるものもあり、一部のみ入力と出力のデータの組が存在し、それ以外は入力のみのデータである場合がこれに当たる。本実施形態においては、実際にファンモータを動作させなくても取得することが出来るデータを教師なし学習で利用し、学習を効率的に行うことが出来る。

強化学習の問題を以下のように設定する。
・ファンモータ制御部２０は環境の状態を観測し、行動を決定する。
・環境は何らかの規則に従って変化し、さらに自分の行動が、環境に変化を与えることもある。
・行動するたびに報酬信号が帰ってくる。
・最大化したいのは将来にわたっての（割引）報酬の合計である。
・行動が引き起こす結果を全く知らない、または不完全にしか知らない状態から学習はスタートする。ファンモータ制御部２０はファンモータ２１を実際に動作して初めて、その結果をデータとして得ることが出来る。つまり、試行錯誤しながら最適な行動を探索する必要がある。
・人間の動作を真似るように事前学習（前述の教師あり学習や、逆強化学習といった手法）した状態を初期状態として、良いスタート地点から学習をスタートさせることもできる。

「強化学習」とは、判定や分類だけではなく、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、即ち、将来的に得られる報酬を最大にするために学習する方法である。このことは、本実施形態において、未来に影響を及ぼすような行動を獲得できることを表している。例えば、Ｑ学習の場合で説明を続けるが、それに限るものではない。

Ｑ学習は、或る環境状態ｓの下で、行動ａを選択する価値Ｑ（ｓ，ａ）を学習する方法である。つまり、或る状態ｓのとき、価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択すればよい。しかし、最初は状態ｓと行動ａとの組合せについて、価値Ｑ（ｓ，ａ）の正しい値は全く分かっていない。そこで、エージェント（行動主体）は、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して報酬が与えられる。それにより、エージェントはより良い行動の選択、すなわち正しい価値Ｑ（ｓ，ａ）を学習していく。

行動の結果、将来にわたって得られる報酬の合計を最大化したい。そこで、最終的に、Ｑ（ｓ，ａ）＝Ｅ［Σγ^tｒ_t］（報酬の割引期待値。γ：割引率）となるようにすることを目指す（期待値は最適な行動に従って状態変化したときについてとる。もちろん、それは分かっていないので、探索しながら学習しなければならない）。そのような価値Ｑ（ｓ，ａ）の更新式は、例えば次式により表すことができる。

ここで、ｓ_tは時刻ｔにおける環境の状態を表し、ａ_tは時刻ｔにおける行動を表す。行動ａ_tにより、状態はｓ_t+1に変化する。ｒ_t+1は、その状態の変化により貰える報酬を表している。また、ｍａｘの付いた項は、状態ｓ_t+1の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。γは、０＜γ≦１のパラメータで、割引率と呼ばれる。αは学習係数で、０＜α≦１の範囲とする。

この式は、試行ａ_tの結果帰ってきた報酬ｒ_t+1を元に、状態ｓ_tにおける行動ａ_tの評価値Ｑ（ｓ_t，ａ_t）を更新する方法を表している。状態ｓにおける行動ａの評価値Ｑ（ｓ_t，ａ_t）よりも、報酬ｒ_t+1＋行動ａによる次の状態における最良の行動ｍａｘ ａの評価値Ｑ（ｓ_t+1，ｍａｘ ａ_t+1）の方が大きければ、Ｑ（ｓ_t，ａ_t）を大きくするし、反対に小さければ、Ｑ（ｓ_t，ａ_t）も小さくする事を示している。つまり、或る状態における或る行動の価値を、結果として即時帰ってくる報酬と、その行動による次の状態における最良の行動の価値に近付けるようにしている。

Ｑ（ｓ，ａ）の計算機上での表現方法は、全ての状態行動ペア（ｓ，ａ）に対して、その値をテーブル（行動価値テーブル）として保持しておく方法と、Ｑ（ｓ，ａ）を近似するような関数を用意する方法がある。後者の方法では、前述の更新式は、確率勾配降下法などの手法で近似関数のパラメータを調整していくことで実現することが出来る。近似関数としては、後述のニューラルネットワークを用いることが出来る。

教師あり学習、教師なし学習、及び強化学習での価値関数の近似アルゴリズムとして、ニューラルネットワークを用いることができる。ニューラルネットワークは、例えば図３に示すようなニューロンのモデルを模したニューラルネットワークを実現する演算装置及びメモリ等で構成される。

図３に示すように、ニューロンは、複数の入力ｘ（ここでは一例として、入力ｘ₁〜入力ｘ₃）に対する出力ｙを出力するものである。各入力ｘ₁〜ｘ₃には、この入力ｘに対応する重みｗ（ｗ₁〜ｗ₃）が掛けられる。これにより、ニューロンは、次の式により表現される出力ｙを出力する。なお、入力ｘ、出力ｙ、及び重みｗは、全てベクトルである。

ここで、θはバイアスであり、ｆ_kは活性化関数である。

次に、上述したニューロンを組み合わせた３層の重みを有するニューラルネットワークについて、図４を参照して説明する。図４は、Ｄ１〜Ｄ３の３層の重みを有するニューラルネットワークを示す模式図である。

図４に示すように、ニューラルネットワークの左側から複数の入力ｘ（ここでは一例として、入力ｘ１〜入力ｘ３）が入力され、右側から結果ｙ（ここでは一例として、結果ｙ１〜結果ｙ３）が出力される。

具体的には、入力ｘ１〜入力ｘ３は、３つのニューロンＮ１１〜Ｎ１３の各々に対して対応する重みが掛けられて入力される。これらの入力に掛けられる重みは、まとめてＷ１と標記されている。

ニューロンＮ１１〜Ｎ１３は、それぞれ、Ｚ１１〜Ｚ１３を出力する。これらのＺ１１〜Ｚ１３はまとめて特徴ベクトルＺ１と標記され、入力ベクトルの特徴量を抽出したベクトルとみなすことができる。この特徴ベクトルＺ１は、重みＷ１と重みＷ２との間の特徴ベクトルである。

Ｚ１１〜Ｚ１３は、２つのニューロンＮ２１，Ｎ２２の各々に対して対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ２と標記されている。

ニューロンＮ２１，Ｎ２２は、それぞれ、Ｚ２１，Ｚ２２を出力する。これらは、まとめて特徴ベクトルＺ２と標記されている。この特徴ベクトルＺ２は、重みＷ２と重みＷ３との間の特徴ベクトルである。

特徴ベクトルＺ２１，Ｚ２２は、３つのニューロンＮ３１〜Ｎ３３の各々に対して対応する重みが掛けられて入力される。これらの特徴ベクトルに掛けられる重みは、まとめてＷ３と標記されている。

最後に、ニューロンＮ３１〜Ｎ３３は、それぞれ、結果ｙ１〜結果ｙ３を出力する。

ニューラルネットワークの動作には、学習モードと価値予測モードとがあり、学習モードにおいて学習データセットを用いて重みＷを学習し、そのパラメータを用いて予測モードにおいてファンモータの行動判断を行う（便宜上、予測と書いたが、検出、分類、推論など多様なタスクが可能である）。

予測モードで実際にファンモータを動かして得られたデータを即時学習し、次の行動に反映させる（オンライン学習）こともできる。また、あらかじめ収集しておいたデータ群を用いてまとめた学習を行い、以降はずっとそのパラメータで検知モードを行う（バッチ学習）こともできる。その中間的な、ある程度データが溜まるたびに学習モードを挟むということも可能である。

重みＷ１〜Ｗ３は、誤差逆伝搬法（バックプロパゲーション）により学習可能なものである。誤差の情報は、右側から入り左側に流れる。誤差逆伝搬法は、各ニューロンについて、入力ｘが入力されたときの出力ｙと真の出力ｙ（教師）との差分を小さくするように、それぞれの重みを調整（学習）する手法である。

このようなニューラルネットワークは、３層以上にさらに層を増やすことも可能である（深層学習と称される）。入力の特徴抽出を段階的に行い、結果を回帰する演算装置を、教師データのみから自動的に獲得することが可能である。

そこで、本実施形態の機械学習器１０は、上述のＱ学習を実施すべく、図１に示されるように状態観測部１、人口知能３、及び意思決定部４を備えている。但し、本発明に適用される機械学習方法は、Ｑ学習に限定されるものではない。例えば、教師あり学習を適用する場合において、価値関数は学習モデル、報酬は誤差にそれぞれ対応する。

図１に示すように、ファンモータ制御部２０における状態には、行動で間接的に変化する状態と、行動で直接的に変化する状態とがある。行動で間接的に変化する状態には、ファンモータの回転数が含まれる。行動で直接的に変化する状態には、ファンモータを交換するか、あるいは、交換しないという情報が含まれる。

人工知能３は、更新式及び報酬に基づいて、行動価値テーブルの中から現在の状態変数及び取り得る行動に対応する行動価値を更新する。

機械学習器１０がネットワークを介してファンモータ制御部２０に接続されるようにし、状態観測部１は、ネットワークを介して、現在の状態変数を取得するように構成してもよい。また、機械学習器１０は、クラウドサーバに存在することが好ましい。

また、図１に示した例では、自己の機械学習器の人工知能で更新された行動価値テーブルを用いて自己の行動価値テーブルを更新する例を示したが、このような例には限られない。即ち、自己の機械学習器とは別の他の機械学習器の人工知能で更新された行動価値テーブルを用いて自己の行動価値テーブルを更新するようにしてもよい。例えば、複数のモータ駆動装置間でデータをやり取りするデータ交換部をさらに有し、他のモータ駆動装置の機械学習器での学習内容を自身の機械学習器での学習に活用するようにしてもよい。

次に、本発明の実施例に係るモータ駆動装置の動作について説明する。図５に本発明の実施例に係るモータ駆動装置の動作手順を説明するためのフローチャートを示す。

まず、ステップＳ１０１において、ファンモータ２１の各種状態を状態観測部１で観測する。即ち、状態観測部１は、ファンモータ２１の回転数や、温度等を観測する。

次に、ステップＳ１０２において、報酬計算部２が、観測した状態から報酬を計算する。例えば、報酬計算部２は、警報出力から実際にファンモータが故障するまでの時間が短いほど、高い報酬を算出し、警報を出力せずファンモータ２１が故障せずに回転を続けた場合に、高い報酬を算出し、警報を出力する前にファンモータ２１が故障した場合に、低い報酬を算出する。

次に、ステップＳ１０３において、人工知能３が、状態観測部１が観測した状態と報酬から行動価値を学習する。具体的には、状態観測部１が観測したファンモータ２１の回転数及び報酬計算部２での報酬に基づいて行動の価値を判断する。状態観測部１が、モータ駆動装置１００の周囲温度も観測する場合には、人工知能３はファンモータ２１の回転数に加えて、周囲温度も考慮に入れて行動の価値を判断するようにしてもよい。また、状態観測部１が、ファンモータ２１の消費電流も観測する場合には、人工知能３はファンモータ２１の回転数に加えて、消費電流も考慮に入れて行動の価値を判断するようにしてもよい。また、状態観測部１が、ファンモータ２１の電源オン時、及び電源オフ時のファンモータ２１の回転数の変化も観測する場合には、人工知能３はファンモータ２１の回転数に加えて、回転数の変化も考慮に入れて行動の価値を判断するようにしてもよい。

次に、ステップＳ１０４において、意思決定部４が、状態及び行動価値に基づいて、意思決定部４で最適なパラメータ（行動）を決定する。例えば、意思決定部４が、人工知能３での判断結果に基づいて、警報出力部２２から警報を出力するか否かを決定する。

次に、ステップＳ１０５において、パラメータ（行動）により状態が変化する。即ち、ファンモータ制御部２０が、ファンモータ２１を交換するか、あるいは、交換しないかを決定する。

以上説明したように、本発明の実施例に係るモータ駆動装置によれば、最適なタイミングでファンモータを交換でき、ファンモータの周囲温度や消費電流などによって故障までの時間が変わる場合にも、適切に警告を出力することができる。

１ 状態観測部
２ 報酬計算部
３ 人工知能
４ 意思決定部
１０ 機械学習器
２０ ファンモータ制御部
２１ ファンモータ
２２ 警報出力部
１００ モータ駆動装置

Claims (7)

1. 機械学習器を備えたモータ駆動装置であって、
   ファンモータと、
   前記ファンモータの交換時期を知らせる警報出力部と、を有し、
   前記機械学習器は、
   前記ファンモータの回転数の推移を観測する状態観測部と、
   前記警報出力部が警報を出力した時期、及び前記状態観測部が観測した回転数に基づいて検出した実際にファンモータが故障した時期から報酬を計算する報酬計算部と、
   前記状態観測部での観測結果である過去の回転数の推移、及び前記報酬計算部での報酬に基づいて警報を出力する行動の価値を判断する人工知能と、
   前記人工知能での判断結果に基づいて、前記警報出力部から警報を出力するか否かを決定する意思決定部と、を有し、
   前記報酬計算部は、
   警報出力から実際に前記ファンモータが故障するまでの時間が短いほど、高い報酬を算出し、
   警報を出力せず前記ファンモータが故障せずに回転を続けた場合に、高い報酬を算出し、
   警報を出力する前に前記ファンモータが故障した場合に、低い報酬を算出する、ことを特徴とするモータ駆動装置。
2. 前記状態観測部は、モータ駆動装置の周囲温度も観測し、
   前記人工知能は前記周囲温度も考慮に入れて行動の価値を判断する、請求項１に記載のモータ駆動装置。
3. 前記状態観測部は、前記ファンモータの消費電流も観測し、
   前記人工知能は前記消費電流も考慮に入れて行動の価値を判断する、請求項１に記載のモータ駆動装置。
4. 前記状態観測部は、電源オン時、及び電源オフ時の前記ファンモータの回転数の変化も観測し、
   前記人工知能は前記回転数の変化も考慮に入れて行動の価値を判断する、請求項１に記載のモータ駆動装置。
5. 前記人工知能は、前記ファンモータの回転数の推移変化を含めて行動の価値の判断する、請求項１乃至４のいずれか一項に記載のモータ駆動装置。
6. 前記意思決定部は、前記ファンモータが故障するまでの時間を出力する、請求項１乃至５のいずれか一項に記載のモータ駆動装置。
7. 複数のモータ駆動装置間でデータをやり取りするデータ交換部をさらに有し、
   他のモータ駆動装置の機械学習器での学習内容を自身の機械学習器での学習に活用する、請求項１乃至６のいずれか一項に記載のモータ駆動装置。

Images