JP6177842B2 - アース線又はシールド線の接続箇所を学習する機械学習方法及び機械学習装置並びに該機械学習装置を備えた電動機制御装置及び電動機装置 - Google Patents

Description

本発明は、アース線又はシールド線の接続箇所を学習する機械学習方法及び機械学習装置並びに該機械学習装置を備えた電動機制御装置及び電動機装置に関する。

電動機装置は、接地電位を確保するために電動機の筐体に接続されるアース線、ノイズ低減用のシールドを備えていて同じく電動機の筐体に接続されるシールド線を備えている。

特許文献１、特許文献２及び特許文献３には、ノイズ発生を抑制するための種々の配線構造が開示されている。

特開２００４−２０６９６２号公報 特開２００４−２４８３７１号公報 特開２００４−０９８１７４号公報

アース線又はシールド線の接続箇所は、熟練者の知識やノウハウの蓄積に依存するところが大きく、必ずしもノイズ抑制に最適な接続箇所が選択されるとは限らない。また、制御手法の複雑化ないし高度化に伴って、複数の制御システムが同時に使用される機会も増大しており、ノイズ発生のメカニズムも複雑化している。したがって、ノイズを抑制するのに最適なアース線又はシールド線の接続箇所を決定できる技術が求められている。

本願の１番目の発明によれば、電動機装置において使用されるアース線又はシールド線の接続箇所を学習する機械学習装置であって、前記アース線又はシールド線の接続箇所、及び電動機からのフィードバック信号を状態変数として観測する状態観測部と、前記状態変数に基づいて作成される訓練データセットに従って、前記フィードバック信号に含まれるノイズを抑制する前記アース線又はシールド線の接続箇所を学習する学習部と、を備える、機械学習装置が提供される。
本願の２番目の発明によれば、１番目の発明に係る機械学習装置と、前記アース線又はシールド線を前記接続箇所に接続する接続部と、前記フィードバック信号を取得する信号取得部と、前記学習部が学習した結果に基づいて、前記アース線又はシールド線の接続箇所を決定する意思決定部と、を備える、電動機制御装置が提供される。
本願の３番目の発明によれば、２番目の発明に係る電動機制御装置において、前記学習部が、前記フィードバック信号に含まれるノイズに基づいて報酬を計算する報酬計算部と、前記報酬に基づいて、前記アース線又はシールド線の前記接続箇所を決定するための関数を更新する関数更新部と、を備える。
本願の４番目の発明によれば、３番目の発明に係る電動機制御装置において、前記報酬計算部は、前記ノイズが予め定められる閾値よりも小さいときには報酬を増大し、前記閾値以上であるときは報酬を低減するように構成される。
本願の５番目の発明によれば、３番目又は４番目の発明に係る電動機制御装置において、前記関数更新部が、前記報酬に従って、行動価値テーブルを更新するように構成される。
本願の６番目の発明によれば、２番目から５番目のいずれかに係る電動機制御装置と、前記電動機制御装置によって制御される電動機と、前記フィードバック信号を出力するエンコーダと、を備えた電動機装置が提供される。
本願の７番目の発明によれば、電動機装置において使用されるアース線又はシールド線の接続箇所を学習する機械学習方法であって、前記アース線又はシールド線の接続箇所、及び電動機からのフィードバック信号を状態変数として観測し、前記状態変数に基づいて作成される訓練データセットに従って、前記フィードバック信号に含まれるノイズを抑制する前記アース線又はシールド線の接続箇所を学習することを含む、機械学習方法が提供される。

これら及び他の本発明の目的、特徴及び利点は、添付図面に示される本発明の例示的な実施形態に係る詳細な説明を参照することによって、より明らかになるであろう。

本発明に係る機械学習装置及び機械学習方法によれば、アース線又はシールド線の接続箇所とノイズ発生との関係性を自律的に学習する。したがって、熟練者の知識ないしノウハウの蓄積がなくても最適な接続箇所を決定できる。また、本発明に係る電動機制御装置及び電動機装置は、機械学習装置によって、アース線又はシールド線の接続箇所が最適化されるので、効果的なノイズ抑制が可能になる。

一実施形態に係る電動機装置のブロック図である。 一実施形態に係る機械学習の流を示すフローチャートである。 ニューラルネットワークの構成例を示す図である。

以下、添付図面を参照して本発明の実施形態を説明する。図示される実施形態の構成要素は、本発明の理解を助けるために寸法が適宜変更されている。また、同一又は対応する構成要素には、同一の参照符号が使用される。

図１は、一実施形態に係る電動機装置のブロック図である。電動機装置１は、アース線又はシールド線の接続箇所を学習する機械学習機能を有している。

本明細書において、「アース線」は、電動機２を接地するために電動機２の筐体に接続される導線である。「シールド線」は、ノイズを低減するためのシールドによって包囲された導線である。シールド線は、動力ケーブル又はエンコーダ２１からの出力信号線を含んでいてもよい。

電動機装置１は、電動機２と、電動機２を制御する電動機制御装置３と、アース線又はシールド線の接続箇所を学習する機械学習装置４と、を備えている。

電動機２は、電動機制御装置３によって作成されるトルク指令に従って供給される電力に応答して駆動する。電動機２は、電動機２の回転位置を検出するエンコーダ２１を備えている。エンコーダ２１から出力されるフィードバック信号は、出力信号線１２（以下、「シールド線１２」と称することがある。）を介して電動機制御装置３に入力される。

電動機２には、シールド線１２に加えて、電力を供給するのに使用される動力線１３（以下、「シールド線１３」と称することがある。）が接続されている。また、電動機２には、電動機２を接地するアース線１１がさらに接続されている。

電動機制御装置３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ及び外部装置に接続されるインタフェースを備えたデジタルコンピュータである。電動機制御装置３は、図１に示されるように、接続部３１と、信号取得部３２と、意思決定部３３と、を備えている。

接続部３１は、アース線１１又はシールド線１２，１３を所望の接続箇所に接続する。一実施形態において、接続部３１は、トランジスタなどのスイッチング素子によって接続箇所を変更できるように構成されていてもよい。

別の実施形態において、接続部３１は、オペレータの作業を介して接続工程が実行されるように構成されてもよい。その場合、接続部３１は、アース線１１又はシールド線１２，１３の接続箇所を、電動機制御装置３に接続される表示デバイスに表示する。オペレータは、表示された情報を参照して接続作業を実行する。また別の実施形態において、接続部３１は、外部装置、例えばロボットを利用して接続工程を実行するように構成されていてもよい。

信号取得部３２は、電動機２の位置情報を表すフィードバック信号をエンコーダ２１から取得する。信号取得部３２は、取得したフィードバック信号を状態観測部４１に出力する。

意思決定部３３は、機械学習装置４が学習した結果に基づいて、アース線１１又はシールド線１２，１３の接続箇所を決定する。

図１を再度参照すれば、機械学習装置４は、状態観測部４１と、学習部４２と、を備えている。機械学習装置４は、電動機制御装置３に内蔵されていてもよいし、又は電動機制御装置３とは別個のデジタルコンピュータであってもよい。或いは、機械学習装置４は、クラウドサーバに存在していてもよい。

状態観測部４１は、アース線１１又はシールド線１２，１３の接続箇所、及び電動機２からのフィードバック信号を状態変数として観測する。

学習部４２は、状態変数に基づいて作成される訓練データセットに従って、フィードバック信号に含まれるノイズを抑制できるアース線１１又はシールド線１２，１３の接続箇所を学習する。一実施形態において、学習部４２は、強化学習の概念に従って、アース線１１又はシールド線１２，１３の接続箇所と、ノイズ発生との関係性を学習する。

本実施形態に係る機械学習装置４は、公知のＱ学習の手法に従って強化学習を実行する。機械学習装置４は、或る状態変数ｓのときに行動ａを選択した場合の行動価値Ｑ（期待値）を求める行動価値関数Ｑ（ｓ，ａ）に基づいて、最良の行動を学習する。

学習の初期段階では、或る状態変数ｓと行動ａの組合せに対して割当てられる行動価値Ｑは未知である。機械学習装置４は、種々の状態変数ｓに対して行動ａをランダムに選択して実行し、行動ａの結果として与えられる報酬を積算することによって、行動価値関数Ｑ（ｓ，ａ）を更新する。行動価値関数Ｑ（ｓ，ａ）を更新する一般式は、式１で表される。

ここで、ｓ_tは、時刻ｔにおける状態変数である。ａ_tは、時刻ｔにおいて実行される行動である。ｓ_t+1は時刻ｔ＋１における状態変数であり、換言すれば、行動ａ_tを行った結果として変化した後の状態変数である。ｒ_t+1は行動ａ_tの結果として変化する環境に応じて与えられる報酬である。「ｍａｘ」の項は、状態変数ｓ_t+1における行動価値Ｑの最大値（すなわち、最良の行動ａに対する行動価値）を表している。γは割引率であり、０＜γ≦１を満足するように設定される（例えば、γ＝０．９〜０．９９）。αは学習係数であり、０＜α≦１を満足するように設定される（例えば、α＝０．０５〜０．２）。

式１で表される更新式は、時刻ｔ＋１における最良の行動ａの行動価値が、時刻ｔにおいて実行された行動ａの行動価値Ｑよりも大きければ、行動価値Ｑを大きくし、逆の場合は、行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ，ａ）を更新する。それにより、或る環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。

図１を再度参照すれば、学習部４２は、報酬計算部４３と、関数更新部４４と、をさらに備えている。

報酬計算部４３は、エンコーダ２１からのフィードバック信号に含まれるノイズに基づいて、報酬ｒを計算する。例えば、ノイズのレベルが予め定められる閾値よりも小さいときには報酬ｒを増大させる（例えば「１」の報酬を与える。）他方、ノイズのレベルが閾値以上であるときには報酬ｒを低減する（例えば「−１」の報酬を与える。）。ノイズは、公知の方法に従って抽出される。例えば、コンデンサによって、フィードバック信号から交流分を抽出することによって、ノイズを抽出できる。

関数更新部４４は、報酬計算部４３によって計算される報酬に従って、アース線１１又はシールド線１２，１３の接続箇所を決定するための関数を更新する。関数の更新は、訓練データセットに従って、例えば行動価値テーブルを更新することによって行うことができる。行動価値テーブルは、任意の行動と、その行動価値とを関連付けてテーブルの形式で記憶したデータセットである。

次に、図２に示されるフローチャートを参照して、行動価値Ｑ（ｓ，ａ）を更新する強化学習方法について説明する。ステップＳ２０１では、接続部３１がアース線１１又はシールド線１２，１３の接続箇所を選択する。接続部３１は、接続箇所をランダムに選択する。

ステップＳ２０２では、エンコーダ２１からのフィードバック信号を取得するため、電動機制御装置３を起動する。

ステップＳ２０３では、状態観測部４１が、接続部３１及び信号取得部３２から状態変数を取得する。状態変数ｓは、アース線１１又はシールド線１２，１３の接続箇所と、フィードバック信号と、をそれぞれ含んでいる。なお、フィードバック信号に含まれるノイズを可能な限り正確に検出するために、電動機２が停止しているときに取得されるフィードバック信号を状態変数ｓとして利用するのが好ましい。

ステップＳ２０４では、フィードバック信号に含まれるノイズが予め定められる閾値を下回っているか否かを判定する。ステップＳ２０４の判定結果が肯定である場合（ノイズが閾値よりも小さい場合）、ステップＳ２０５に進む。ステップＳ２０５では、報酬計算部４３が、接続部３１の行動（アース線又はシールド線１２，１３の接続箇所の選択）に対する行動価値Ｑが増大するように、報酬ｒを増大する。

他方、ステップＳ２０４での判定結果が否定である場合（ノイズが閾値以上である場合）、ステップＳ２０６に進む。ステップＳ２０６では、報酬計算部４３が、接続部３１の行動に対する行動価値Ｑが低下するように、報酬ｒを低減する。

ステップＳ２０７では、ステップＳ２０５又はステップＳ２０６で計算された報酬ｒに基づいて、関数更新部４４が、行動価値関数Ｑ（ａ，ｓ）を更新する。その後、再びステップＳ２０１に戻り、接続部３１が次の接続箇所を選択する。その後、新たに選択された接続箇所について、ノイズのレベルの大きさに応じて行動価値Ｑを求める。ステップＳ２０１〜Ｓ２０７の処理は、所定の周期で繰返し実行される。

別の実施形態において、機械学習装置４は、ニューラルネットワークモデルに従って機械学習を実行してもよい。図３は、ニューラルネットワークモデルの例を示している。ニューラルネットワークは、ｌ個のニューロンｘ₁、ｘ₂、ｘ₃、・・・、ｘ_lを含む入力層と、ｍ個のニューロンｙ₁、ｙ₂、ｙ₃、・・・、ｙ_mを含む中間層（隠れ層）と、ｎ個のニューロンｚ₁、ｚ₂、ｚ₃、・・・、ｚ_nを含む出力層と、から構成されている。なお、図３において、中間層は、１層のみ示されているものの、２層以上の中間層が設けられてもよい。

ニューラルネットワークは、人間が成功体験又は失敗体験に基づいて最適な行動を感覚的に学習するように、アース線１１及びシールド線１２，１３の接続箇所と、ノイズの発生との関係性を学習する。ニューラルネットワークは、状態観測部４１によって観測される状態変数に基づいて作成される訓練データセットに従って、いわゆる教師あり学習によって、状態変数と環境変化との関係性を学習する。本実施形態によれば、電動機制御装置３の意思決定部３３は、ニューラルネットワークの入力層に入力される接続箇所の経緯に応答して、出力層が、最適な接続箇所を決定するように機能する。

電動機制御装置３の意思決定部３３は、機械学習装置４が学習した結果を利用して、アース線１１又はシールド線１２，１３の接続箇所を決定する。ところで、いったん接続箇所が決定された後に、アース線１１又はシールド線１２，１３の経年劣化に起因してノイズが増大することがある。本実施形態に係る機械学習装置４は、接続箇所の候補を既に学習しているので、電動機制御装置３の意思決定部３３は、必要に応じて接続箇所の切替先を決定することができる。

さらに、機械学習装置４は、接続箇所の経緯と、ノイズ発生との関連性を学習することができる。したがって、アース線１１又はシールド線１２，１３の経年劣化に起因してノイズが増大する傾向が推測されるときには、意思決定部３３が接続箇所を切替えるように構成されてもよい。

本実施形態に係る機械学習装置及び機械学習方法を備えた電動機装置によれば、接続箇所とノイズ発生との関係性を自律的に学習する。そして、学習結果に基づいて、意思決定部３３が、アース線１１又はシールド線１２，１３の最適な接続箇所を決定する。したがって、熟練者の知識又はノウハウの蓄積がなくても、ノイズ抑制が可能になる。試行錯誤の必要がないので、作業効率が向上する。

本実施形態によれば、アース線１１又はシールド線１２，１３の経年劣化を推測できるので、電動機２の動作に影響が生じる前に接続箇所を変更し、誤動作や精度低下を防止できる。

一実施形態において、学習部が、複数の電動機装置に対して作成される訓練データセットに従って、最適な接続箇所を学習するように構成されてもよい。学習部は、同一の現場で使用される複数の電動機装置から訓練データセットを取得してもよいし、或いは、異なる現場で独立して稼働する複数の電動機装置から収集される訓練データセットを利用してアース線又はシールド線の接続箇所を学習してもよい。

強化学習及びニューラルネットワークを利用して機械学習する実施形態について説明したものの、他の公知の方法、例えば遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。

以上、本発明の種々の実施形態について説明したが、当業者であれば、他の実施形態によっても本発明の意図する作用効果を実現できることを認識するであろう。特に、本発明の範囲を逸脱することなく、前述した実施形態の構成要素を削除又は置換することができるし、或いは公知の手段をさらに付加することができる。また、本明細書において明示的又は暗示的に開示される複数の実施形態の特徴を任意に組合せることによっても本発明を実施できることは当業者に自明である。

１ 電動機装置
２ 電動機
３ 電動機制御装置
４ 機械学習装置
１１ アース線
１２ シールド線
１３ シールド線
２１ エンコーダ
３１ 接続部
３２ 信号取得部
３３ 意思決定部
４１ 状態観測部
４２ 学習部
４３ 報酬計算部
４４ 関数更新部

Claims (7)

1. 電動機装置において使用されるアース線又はシールド線の接続箇所を学習する機械学習装置であって、
   前記アース線又はシールド線の接続箇所、及び電動機からのフィードバック信号を状態変数として観測する状態観測部と、
   前記状態変数に基づいて作成される訓練データセットに従って、前記フィードバック信号に含まれるノイズを抑制する前記アース線又はシールド線の接続箇所を学習する学習部と、
   を備える、機械学習装置。
2. 請求項１に記載の機械学習装置と、
   前記アース線又はシールド線を前記接続箇所に接続する接続部と、
   前記フィードバック信号を取得する信号取得部と、
   前記学習部が学習した結果に基づいて、前記アース線又はシールド線の接続箇所を決定する意思決定部と、
   を備える、電動機制御装置。
3. 前記学習部が、
   前記フィードバック信号に含まれるノイズに基づいて報酬を計算する報酬計算部と、
   前記報酬に基づいて、前記アース線又はシールド線の前記接続箇所を決定するための関数を更新する関数更新部と、
   を備える、請求項２に記載の電動機制御装置。
4. 前記報酬計算部は、前記ノイズが予め定められる閾値よりも小さいときには報酬を増大し、前記閾値以上であるときは報酬を低減するように構成される、請求項３に記載の電動機制御装置。
5. 前記関数更新部が、前記報酬に従って、行動価値テーブルを更新するように構成される、請求項３又は４に記載の電動機制御装置。
6. 請求項２から５のいずれか１項に記載の電動機制御装置と、
   前記電動機制御装置によって制御される電動機と、
   前記フィードバック信号を出力するエンコーダと、
   を備えた電動機装置。
7. 電動機装置において使用されるアース線又はシールド線の接続箇所を学習する機械学習方法であって、
   前記アース線又はシールド線の接続箇所、及び電動機からのフィードバック信号を状態変数として観測し、
   前記状態変数に基づいて作成される訓練データセットに従って、前記フィードバック信号に含まれるノイズを抑制する前記アース線又はシールド線の接続箇所を学習する
   ことを含む、機械学習方法。

Images