JP6695518B1 - 機械学習装置、数値制御装置、ワイヤ放電加工機および機械学習方法 - Google Patents

Abstract

機械学習装置（２０）は、ワイヤ放電加工を行い得られる結果物の全体形状のうち加工条件の調整が必要と判断された一部分の形状を表す特徴形状と、加工条件を調整して特徴形状が示す箇所の加工性能を向上させるための１つ以上の調整方法の中から選択された調整方法である採用案と、採用案の実施が特徴形状に対応する箇所の加工性能の改善に有効か否かを示す判定結果と、を状態変数として観測する状態観測部（２１）と、状態変数に基づいて作成されるデータセットに従って、加工条件の調整方法を学習する学習部（２２）と、を備える。

Description

本発明は、ワイヤ放電加工機が加工を行う際の加工条件の調整方法を学習する機械学習装置、数値制御装置、ワイヤ放電加工機および機械学習方法に関する。

特許文献１には、ワイヤ放電加工を行う際の補正パラメータを機械学習によって学習する制御装置が開示されている。特許文献１に記載の制御装置は、学習結果を用いることで、加工形状や加工諸元などに基づいて加工条件における適切な補正パラメータを求めることが可能となっている。

特開２０１８−１６９９３４号公報

特許文献１に記載の発明は、加工形状全体を対象として、所望の加工精度が達成できたか否かの判定を行い、この判定結果を用いて機械学習を行う。そのため、加工形状の一部に問題がある場合でも、様々な補正パラメータのうち、加工形状全体の加工精度に影響がある補正パラメータも含めて機械学習を進め、補正パラメータの最適化を行う。この場合、加工形状全体としてみたときの加工精度が改善するように補正パラメータが最適化された加工条件となるが、一方で、実際に問題が生じている部分についてみたときには最適な補正パラメータを使用する加工条件となっていない可能性がある。

本発明は、上記に鑑みてなされたものであって、ワイヤ放電加工の加工条件を適切な内容に調整可能なワイヤ放電加工機を実現する機械学習装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、ワイヤ放電加工の加工条件の調整方法を学習する機械学習装置であって、ワイヤ放電加工を行い得られる結果物の全体形状のうち加工条件の調整が必要と判断された一部分の形状を表す特徴形状と、加工条件を調整して特徴形状が示す箇所の加工性能を向上させるための１つ以上の調整方法の中から選択された調整方法である採用案と、採用案の実施が特徴形状に対応する箇所の加工性能の改善に有効か否かを示す判定結果と、を状態変数として観測する状態観測部と、状態変数に基づいて作成されるデータセットに従って、加工条件の調整方法を学習する学習部と、を備える。

本発明にかかる機械学習装置は、ワイヤ放電加工の加工条件を適切な内容に調整可能なワイヤ放電加工機を実現できる、という効果を奏する。

本発明の実施の形態にかかる機械学習装置を適用して実現されるワイヤ放電加工機の構成例を示す図 本発明の実施の形態にかかる数値制御装置の構成例を示す図 本発明の実施の形態にかかる数値制御装置が備える機械学習装置および作業支援部の構成例を示す図 加工形状表示部が表示部に表示させる画面の一例を示す図 改善案表示部が表示部に表示させる画面の一例を示す図 改善案評価部が表示部に表示させる画面の一例を示す図 本発明の実施の形態にかかる数値制御装置の動作の一例を示すフローチャート 本発明の実施の形態にかかる数値制御装置を実現するハードウェアの一例を示す図

以下に、本発明の実施の形態にかかる機械学習装置、数値制御装置、ワイヤ放電加工機および機械学習方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

実施の形態．
図１は、本発明の実施の形態にかかる機械学習装置を適用して実現されるワイヤ放電加工機の構成例を示す図である。ワイヤ放電加工機１００は、ワイヤ電極１と、ワイヤ電極１に接触する一対の給電子２と、給電子２に電圧を印加する加工電源３と、被加工物４を搭載するテーブル５と、を備えている。また、ワイヤ放電加工機１００は、Ｘ軸を移動させるＸ軸駆動装置６と、Ｙ軸を移動させるＹ軸駆動装置７と、Ｕ軸を移動させるＵ軸駆動装置８と、Ｖ軸を移動させるＶ軸駆動装置９と、ワイヤ電極１を傾斜させた時の上下のワイヤ電極の支点となる上部ダイス１０および下部ダイス１１と、を備えている。また、ワイヤ放電加工機１００は、加工電源３、Ｘ軸駆動装置６、Ｙ軸駆動装置７、Ｕ軸駆動装置８およびＶ軸駆動装置９を制御する数値制御装置１２を備えている。図１では記載を省略しているが、数値制御装置１２は本実施の形態にかかる機械学習装置を備えている。また、ワイヤ放電加工機１００は、ワイヤ電極１を供給するワイヤボビン１３と、ワイヤ電極１の走行方向を変換するとともにワイヤ電極１を挟持する送給ローラ１４と、ワイヤ電極１の走行方向を変換する下部ローラ１５と、下部ローラ１５によって方向変換されたワイヤ電極１を回収する回収ローラ１６と、を備えている。

図１に示すワイヤ放電加工機１００においては、ワイヤ電極１と被加工物４との間で放電を発生させて、被加工物４を加工する。すなわち、ワイヤ放電加工機１００においては、Ｘ軸駆動装置６、Ｙ軸駆動装置７、Ｕ軸駆動装置８およびＶ軸駆動装置９のそれぞれが、対応する軸を移動させることにより、例えばテーブル５を移動させて被加工物４を所望の形状に加工する。なお、テーブル５を移動させるのではなく上部ダイス１０および下部ダイス１１を移動させる構成であってもよいし、テーブル５、上部ダイス１０および下部ダイス１１の全てを移動させる構成であってもよい。

一例として、Ｘ軸駆動装置６およびＹ軸駆動装置７がテーブル５を移動させ、Ｕ軸駆動装置８およびＶ軸駆動装置９が上部ダイス１０を移動させる場合について説明する。

この場合、Ｘ軸駆動装置６およびＹ軸駆動装置７が駆動してテーブル５を移動させると、上部ダイス１０および下部ダイス１１は被加工物４に対してＸＹ平面上を移動する。また、Ｕ軸駆動装置８およびＶ軸駆動装置９が駆動すると、上部ダイス１０は下部ダイス１１に対して相対的に移動する。したがって、数値制御装置１２が、Ｘ軸駆動装置６、Ｙ軸駆動装置７、Ｕ軸駆動装置８およびＶ軸駆動装置９を制御することにより、ワイヤ電極１を傾斜させて、上部ダイス１０および下部ダイス１１がワイヤ電極１をしごいた状態で被加工物４を加工する、テーパ加工が実現できる。

次に、本実施の形態にかかる数値制御装置１２について説明する。図２は、本発明の実施の形態にかかる数値制御装置１２の構成例を示す図である。

数値制御装置１２は、本発明にかかる機械学習装置２０と、作業者がワイヤ放電加工の加工条件を設定する作業を支援する作業支援部３０とを備える。また、数値制御装置１２は、図１に示す加工電源３、Ｘ軸駆動装置６、Ｙ軸駆動装置７、Ｕ軸駆動装置８およびＶ軸駆動装置９を制御する加工制御部４０と、加工プログラム５１および加工パラメータ５２を含む各種データを記憶する記憶部５０と、ワイヤ放電加工の加工条件を設定する加工条件設定部６０と、を備える。また、数値制御装置１２は、ユーザが入力操作を行うための入力操作部７０と、ワイヤ放電加工の異常を検出する異常検出部８０と、を備える。なお、これ以降の説明では、ワイヤ放電加工を単に「加工」と称する場合がある。また、ワイヤ放電加工の加工条件を単に「加工条件」と称する場合がある。

機械学習装置２０は、加工条件を調整して加工性能を向上させる際に採用された調整方法、採用された調整方法が有効か否かの判定結果などを状態変数として観測する状態観測部２１と、状態観測部２１が観測した状態変数に基づいて作成されるデータセットに従って、加工条件の調整方法を学習する学習部２２と、を備える。

作業支援部３０は、機械学習装置２０による学習結果に基づいて、加工条件を調整する際の調整方法の案を、ユーザである作業者に提示する。また、作業支援部３０は、加工条件を調整後に行われた加工の結果と、加工条件の調整内容と、加工により得られた結果物の形状のうち、加工条件を調整する前にユーザにより加工条件の調整が必要と判断された箇所の形状を表す情報である特徴形状と、を収集して機械学習装置２０に出力する。なお、作業支援部３０が機械学習装置２０へ出力する情報は、加工条件の調整方法の学習で使用される。特徴形状は、加工により得られた結果物の全体形状の一部分、すなわち、全体形状から抽出した一部の形状である。また、作業支援部３０は、加工条件を調整するための操作を入力操作部７０を介して作業者から受け付けた場合、受け付けた操作の内容に従い、加工条件設定部６０に対して、加工条件を調整するよう指示する。作業支援部３０の詳細については後述する。

加工制御部４０は、記憶部５０で保持されている加工プログラム５１および加工パラメータ５２に従い、図１に示す加工電源３、Ｘ軸駆動装置６、Ｙ軸駆動装置７、Ｕ軸駆動装置８およびＶ軸駆動装置９の動作を制御し、被加工物４をワイヤ放電加工する。

記憶部５０は、図示を省略したエンジニアリングツールなどにより作成された加工プログラム５１および加工パラメータ５２を保持する。加工パラメータ５２は、加工速度、加工電源３が給電子２に印加する電圧である加工電圧、ワイヤ電極１の送り速度、ワイヤ電極１と被加工物４との距離など、ワイヤ放電加工に関する様々な種類のパラメータを含む。加工パラメータ５２は、すなわち、加工パラメータ５２に含まれる各種パラメータは、ユーザが入力操作部７０を使用して加工条件を調整するための操作を行った場合に調整される。加工パラメータ５２に含まれる各種パラメータの調整は、加工条件設定部６０が行う。

加工条件設定部６０は、作業支援部３０から加工条件を調整するよう指示を受けた場合、指示内容に従い加工パラメータ５２を変更することで加工条件を調整する。

入力操作部７０は、加工条件を調整するための操作などをユーザより受け付ける。

異常検出部８０は、図１に示す被加工物４の加工中に、ワイヤ電極１の断線（以下、「断線」と称する）、および、ワイヤ電極１と被加工物４が接触する短絡（以下、「短絡」と称する）を検出する。異常検出部８０は、断線または短絡を検出した場合、断線または短絡が発生した位置の情報を、検出した現象（断線または短絡）を示す情報と対応付けて保持する。異常検出部８０は、公知の方法を使用して、断線および短絡を検出する。異常検出部８０は、例えば、ワイヤ電極１の張力を測定する張力センサを利用して断線を検出する。また、異常検出部８０は、例えば、ワイヤ電極１から放電される電流の値を利用して短絡を検出する。

次に、本実施の形態にかかる数値制御装置１２が備える機械学習装置２０および作業支援部３０の詳細について説明する。

図３は、本発明の実施の形態にかかる数値制御装置１２が備える機械学習装置２０および作業支援部３０の構成例を示す図である。

図３に示すように、機械学習装置２０の学習部２２は、状態観測部２１から出力される状態変数に基づいて報酬を計算する報酬計算部２３と、報酬計算部２３が計算した報酬に基づいて行動価値テーブルを更新する関数更新部２４とを備える。機械学習装置２０の各部の詳細については後述する。

作業支援部３０は、特徴形状抽出部３１、加工形状表示部３２、加工改善提案部３３、改善案表示部３４および改善案評価部３５を備える。

加工形状表示部３２には、各軸の座標値、加工速度、加工電圧、短絡点および断線点が加工形状データとして入力される。各軸の座標値は、加工を開始してから結果物が得られるまでの間のＸ軸、Ｙ軸、Ｕ軸およびＶ軸のそれぞれの座標の値である。加工速度は、加工中の被加工物４とワイヤ電極１との相対速度である。加工電圧は、加工中に加工電源３が給電子２に印加する電圧である。短絡点は、短絡が発生した箇所を示す点である。断線点は、断線が発生した箇所を示す点である。

加工形状表示部３２は、加工形状データとして入力された上記の各情報に基づいて、加工により得られた結果物（以下、加工結果物と称する）の形状を表す加工形状を表示部（図示せず）に表示させる。このとき、加工形状表示部３２は、被加工物４を加工している最中に短絡が発生した場合には、短絡が発生した位置を、加工形状に重ねて表示させる。同様に、加工形状表示部３２は、被加工物４を加工している最中に断線が発生した場合には、断線が発生した位置を、加工形状に重ねて表示させる。加工形状を表示させる表示部は、数値制御装置１２の内部に設けられた構成でもよいし、数値制御装置１２の外部に設けられた構成でもよい。各軸の座標値、加工速度および加工電圧は、例えば、加工制御部４０から加工形状表示部３２に入力される。加工形状表示部３２は、加工プログラム５１および加工パラメータ５２を解析して各軸の座標値、加工速度および加工電圧を取得するようにしてもよい。短絡点および断線点は、異常検出部８０から加工形状表示部３２に入力される。

図４は、加工形状表示部３２が表示部に表示させる画面の一例を示す図である。加工形状表示部３２は、例えば、加工結果を確認するための操作を図２に示す入力操作部７０がユーザより受け付けた場合に、図４に示す画面２１１を表示部に表示させる。画面２１１は、加工結果である加工形状を表示する加工形状表示エリア２２１を含む。加工形状表示エリア２２１には、短絡点および断線点も加工形状に重ねて表示される。加工パラメータから、短絡点および断線点が発生した加工条件（加工回数）を表示させてもよい。なお、加工形状表示部３２は、加工形状表示エリア２２１に加工形状を表示させる際に、短絡点および断線点に加えて、加工電圧および加工速度といった情報を併せて表示させてもよい。

図３の説明に戻り、特徴形状抽出部３１には、各軸の座標値、加工プログラム５１および加工パラメータ５２が入力される。各軸の座標値は加工形状表示部３２から特徴形状抽出部３１に入力される。加工プログラム５１および加工パラメータ５２は、特徴形状抽出部３１が、特徴形状を抽出する際に、記憶部５０から読み出す。

特徴形状抽出部３１は、加工形状表示部３２が表示部に表示させた加工形状の任意の箇所がユーザにより選択された場合、選択された箇所の形状を示す情報である特徴形状を抽出する。具体的には、加工形状表示部３２が表示する加工形状の任意の箇所がユーザにより選択された場合、選択された箇所を示す各軸の座標値が加工形状表示部３２から出力されて特徴形状抽出部３１に入力される。特徴形状抽出部３１は、各軸の座標値が入力されると、加工プログラム５１および加工パラメータ５２を記憶部５０から読み出す。特徴形状抽出部３１は、加工形状表示部３２から入力された各軸の座標値で示される、ユーザにより選択された箇所の特徴形状を、加工プログラム５１および加工パラメータ５２から抽出して出力する。特徴形状は、例えば、選択された箇所の形状が、ストレート、円弧、エッジ、アプローチ、連続円弧、段差形状およびテーパ形状のいずれに該当するかを示す。なお、特徴形状は、ユーザにより選択された箇所を示す情報を含む。ユーザにより選択された箇所を示す情報は、例えば、各軸の座標値である。また、特徴形状が円弧を示す場合、特徴形状は、インコーナとアウトコーナのどちらか、および、円弧の径の長さといった情報も含む。また、特徴形状がエッジを示す場合、特徴形状は、インコーナとアウトコーナのどちらか、および、開き角といった情報も含む。また、特徴形状がアプローチを示す場合、特徴形状は、入口と出口のどちらであるかを示す情報も含む。特徴形状抽出部３１が抽出した特徴形状は加工改善提案部３３および機械学習装置２０の状態観測部２１に入力される。

加工改善提案部３３には、特徴形状抽出部３１が出力する特徴形状と、機械学習装置２０の関数更新部２４が保持する行動価値テーブルである学習結果と、加工速度および加工電圧といった加工パラメータとが入力される。

加工改善提案部３３は、特徴形状抽出部３１から特徴形状が入力されると、入力された特徴形状にかかわる加工で使用する加工パラメータの調整案である、加工条件の改善案を生成する。加工条件の改善案は、加工パラメータの調整方法（以下、パラメータ調整方法と称する）を複数含んで構成される。加工パラメータの例は、ワイヤ径、ワイヤ材質、ワーク材質、板厚などである。パラメータ調整方法は、加工性能を向上させるための調整方法であり、ワイヤ放電加工機１００のメーカーなどによって予め準備されているものとする。加工改善提案部３３は、機械学習装置２０から入力される学習結果を用いて、加工条件の改善案を生成する。加工改善提案部３３は、１つの特徴形状に対して１つ以上の改善案を生成する。加工改善提案部３３は、改善案の生成動作では、学習結果を用いて、各パラメータ調整方法を表示する際の優先順位を決定し、各パラメータ調整方法を優先順位に従って並べ替える。詳細については後述するが、各パラメータ調整方法の優先順位は、機械学習装置２０の報酬計算部２３で計算される報酬から決定される。具体的には、加工改善提案部３３は、報酬が大きいほど優先順位を高くする。優先順位が高いパラメータ調整方法ほど、実施した場合により大きな改善効果が期待できるものとする。

また、加工改善提案部３３は、改善案に含まれる複数のパラメータ調整方法のうち、ユーザが採用したパラメータ調整方法を示す情報である採用案を出力する。加工改善提案部３３が出力する採用案は、機械学習装置２０の状態観測部２１と、改善案評価部３５と、加工条件設定部６０とに入力される。なお、図３では記載を省略している加工条件設定部６０は、採用案が入力されると、採用案に従い、記憶部５０が保持している加工パラメータ５２を調整する。

改善案表示部３４は、加工改善提案部３３が生成した改善案を表示部（図示せず）に表示させる。ユーザは、表示された改善案を確認し、改善案として表示されるパラメータ調整方法を１つ以上選択して採用する操作を、図２に示した入力操作部７０を用いて行う。

図５は、改善案表示部３４が表示部に表示させる画面の一例を示す図である。改善案表示部３４は、加工改善提案部３３から改善案が入力された場合、図５に示す画面２１２を表示部に表示させる。画面２１２は、加工形状表示エリア２２１と、改善案表示エリア２２２とを含む。加工形状表示エリア２２１は、図４に示す画面２１１に含まれる加工形状表示エリア２２１と同様のものである。改善案表示エリア２２２には、加工形状表示エリア２２１に表示される加工形状の任意の箇所がユーザにより選択されると、これに伴い改善案が表示される。図５では、２つのパラメータ調整方法を改善案として表示する場合の例としているが、３つ以上のパラメータ調整方法を改善案として表示する場合もある。また、改善案表示部３４は、学習結果から加工改善提案部３３が決定した各パラメータ調整方法の優先順位に従って、各パラメータ調整方法を表示させる。図５に示す例では、加工パラメータＩＰを１ノッチ下げるパラメータ調整方法が最も優先順位が高く、加工パラメータＦＡを１ノッチ下げるパラメータ調整方法が次に優先順位が高い。

ユーザは、表示部に改善案として表示されたパラメータ調整方法の中から、優先順位を参考にするなどして、実施するパラメータ調整方法を、１つ以上選択する。具体的には、ユーザは、１つ以上の選択欄２２２Ａにチェックを入れて、決定ボタン２３１を押下する。以上の操作を入力操作部７０が受け付けた場合、加工改善提案部３３は、ユーザが選択したパラメータ調整方法である採用案を加工条件設定部６０に通知し、採用案に従い加工パラメータ５２を調整するよう指示する。

図３の説明に戻り、改善案評価部３５には、加工改善提案部３３が出力する採用案と、記憶部５０が保持する加工プログラム５１および加工パラメータ５２と、断線情報、短絡情報および加工精度を含む加工結果と、が入力される。断線情報は、ワイヤ電極１の断線が発生したか否かを示す情報であり、短絡情報は、ワイヤ電極１と被加工物４との短絡が発生したか否かを示す情報である。断線情報および短絡情報は異常検出部８０から入力される。なお、断線情報は、断線が発生した箇所の情報を含む。また、短絡情報は、短絡が発生した箇所の情報を含む。加工精度は、所望の加工精度が達成できているか否かを示す情報である。加工精度は、加工結果物を確認したユーザが、入力操作部７０を用いて入力する。すなわち、加工精度は入力操作部７０から改善案評価部３５に入力される。

改善案評価部３５は、ユーザから加工精度の入力を受け付ける場合、例えば、図６に示す画面２１３を表示部（図示せず）に表示させる。図６は、改善案評価部３５が表示部に表示させる画面の一例を示す図である。画面２１３は、加工結果２２３と、改善案判定結果入力エリア２２４とを含む。加工結果２２３は、図５に示す画面２１２をユーザが確認して選択したパラメータ調整方法に従って加工条件設定部６０が調整を行った後の加工パラメータ５２を用いた加工の結果を示す。加工結果２２３の（１）〜（３）は、ユーザが加工パラメータ５２を前回調整する際に特徴形状抽出部３１が抽出した特徴形状、すなわち、ユーザにより選択された特徴形状を示す。

ユーザは、加工結果２２３の（１）〜（３）のそれぞれの箇所の形状を確認し、加工結果が良好か否かを判定して、改善案判定結果入力エリア２２４の結果入力欄２２４Ａに判定結果を入力する。具体的には、ユーザは、加工結果が良好であるか、加工結果が不良であるかを判定して、判定結果を入力する。例えば、ユーザは、測定器等を用いて加工結果物の測定を行い、加工精度が定められた基準を満たしていれば加工結果が良好と判定する。ここでの加工精度は、例えば、形状精度、ピッチ精度、面粗さ、真直度、真円度などである。ユーザは、これらの加工精度から、加工結果が良好か否かを総合的に判定する。ユーザは、すべての特徴形状（図６の例の場合は（１）〜（３）の３つ）について判定結果を入力した後、決定ボタン２３２を押下して、改善案評価部３５へ加工精度を入力する。なお、前回の加工結果で断線が発生していた箇所および短絡が発生していた箇所については、改善案評価部３５が、断線情報および短絡情報に基づき加工結果が良好か否かを判定してもよい。すなわち、改善案評価部３５は、特徴形状のそれぞれについて、断線情報および短絡情報を確認し、断線および短絡のいずれも発生していない場合は加工結果が良好と判定し、断線および短絡の少なくとも一方が発生している場合は加工結果が不良と判定する。前回の加工結果とは、加工パラメータ５２を調整する前に行った加工の加工結果である。

改善案評価部３５は、入力される各情報に基づいて、加工改善提案部３３が出力する採用案に対応するパラメータ調整方法が有効か否かを評価する。具体的には、改善案評価部３５は、加工改善提案部３３が出力する採用案に従って加工パラメータ５２を調整することが有効かどうか、すなわち、採用案に従って加工パラメータ５２を調整することにより加工性能が改善したかどうかを判定する。改善案評価部３５は、加工結果が入力された場合、これを前回の加工結果と比較する。改善案評価部３５は、前回の加工結果が不良であり、かつ今回の加工結果が良好である特徴形状についてはパラメータ調整方法が有効と判定する。これ以外の場合、改善案評価部３５は、パラメータ調整方法が有効ではないと判定する。今回の加工結果とは、加工パラメータ５２を調整した後に行った加工の加工結果である。改善案評価部３５は、特徴形状ごとの判定結果を機械学習装置２０の状態観測部２１に出力する。

つづいて、数値制御装置１２が、ワイヤ放電加工の加工条件を調整して加工性能を改善するための改善案をユーザに提示する動作、および、改善案を学習する動作について説明する。これらの２つの動作は、一連の動作として実行される。

図７は、本実施の形態にかかる数値制御装置１２の動作の一例を示すフローチャートである。図７のフローチャートは、具体的には、数値制御装置１２が、ワイヤ放電加工の加工条件を調整するユーザに対して改善案を提示するとともに、改善案として提示したパラメータ調整方法の中からユーザに選択されてパラメータ調整方法である採用案に従い加工条件を調整し、さらに、調整後の加工条件で加工を行った結果を用いて改善案を学習する動作を示す。この動作は、図３に示す機械学習装置２０および作業支援部３０が行う。また、この動作は、ワイヤ放電加工機１００による被加工物４の加工が終了した後に実行される。

図７に示す動作では、数値制御装置１２は、まず、加工結果を表示する（ステップＳ１１）。具体的には、加工形状表示部３２が、図４に示す画面２１１を表示部に表示させる。

数値制御装置１２は、次に、ユーザより改善対象箇所の指定を受け付ける（ステップＳ１２）。具体的には、加工形状表示部３２が、図４に示す画面２１１に含まれる加工形状表示エリア２２１に表示される加工形状の、加工性能を改善させたい箇所の指定を受け付ける。

数値制御装置１２は、次に、指定された改善対象箇所の特徴形状を抽出する（ステップＳ１３）。具体的には、加工形状表示部３２が、指定された改善対象箇所に対応する各軸の座標値を特徴形状抽出部３１へ出力し、特徴形状抽出部３１が、受け取った各軸の座標値が示す箇所の特徴形状を、加工プログラム５１および加工パラメータ５２から抽出する。

数値制御装置１２は、次に、ステップＳ１２で指定された改善対象箇所の加工性能を改善させるための改善案を作成して表示する（ステップＳ１４）。具体的には、加工改善提案部３３が、過去の加工パラメータの調整結果と加工結果とを用いて機械学習装置２０が適宜更新を行い得られた行動価値テーブルを使用して、加工パラメータを調整して加工性能を改善させるための改善案を作成する。また、加工改善提案部３３が作成した改善案を改善案表示部３４が表示部に表示させる。加工改善提案部３３は、図５に示す画面２１２を表示部に表示させる。

数値制御装置１２は、次に、ユーザより改善案の選択を受け付ける（ステップＳ１５）。具体的には、加工改善提案部３３が、図５に示す画面２１２に含まれる改善案表示エリア２２２に改善案として表示されているパラメータ調整方法のうち、実施するパラメータ調整方法を選択する操作をユーザより受け付ける。なお、選択されるパラメータ調整方法は複数の場合もある。すなわち、ユーザは、実施するパラメータ調整方法を１つ以上選択可能とする。

数値制御装置１２は、次に、選択された改善案（パラメータ調整方法）に従い加工条件を調整する（ステップＳ１６）。具体的には、加工改善提案部３３が、ユーザにより選択されたパラメータ調整方法を加工条件設定部６０に通知するとともに、パラメータ調整方法に従った調整の実施を指示する。この指示を受けた加工条件設定部６０は、加工パラメータ５２に含まれる各種パラメータのうち、通知を受けたパラメータ調整方法に対応するパラメータを、パラメータ調整方法に従い調整する。数値制御装置１２は、パラメータを調整した後、調整後のパラメータを使用して図１に示す加工電源３、Ｘ軸駆動装置６、Ｙ軸駆動装置７、Ｕ軸駆動装置８およびＶ軸駆動装置９の動作を制御し、被加工物４の加工を行う。数値制御装置１２は、加工開始の操作をユーザから受け付けると被加工物４の加工を開始する。数値制御装置１２は、パラメータを調整した後、被加工物４の加工を自動的に開始してもよい。

数値制御装置１２は、次に、改善案が有効か否かを判定する（ステップＳ１７）。具体的には、改善案評価部３５が、前回の加工結果と今回の加工結果とを比較し、パラメータ調整方法に従って加工条件設定部６０が行った加工パラメータの調整が有効か否かを判定する。改善案評価部３５は、パラメータ調整方法に従って加工条件設定部６０が加工パラメータを調整したことにより加工性能が改善した場合、改善対象箇所に対する改善案が有効と判断する。

数値制御装置１２は、次に、改善案を学習する（ステップＳ１８）。具体的には、機械学習装置２０が、作業支援部３０から入力される特徴形状、採用案および判定結果を用いて、採用案、すなわちユーザにより選択されたパラメータ調整方法の学習を行う。学習結果は、加工改善提案部３３が改善案を次回作成する際に使用される。機械学習装置２０の詳細について、以下に説明する。

機械学習装置２０において、状態観測部２１は、作業支援部３０から出力される特徴形状、採用案および判定結果を状態変数として観測する。状態観測部２１は、観測した状態変数を学習部２２へ出力する。学習部２２は、状態観測部２１から入力される状態変数に基づいて作成されるデータセットに従って、改善案を学習する。

学習部２２が改善案の学習で用いる学習アルゴリズムはどのようなものであってもよい。一例として、強化学習（Reinforcement Learning）を適用した場合について説明する。強化学習は、ある環境内におけるエージェントである行動主体が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Q-learning）またはＴＤ学習（TD-learning）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式は、以下の式（１）で表される。行動価値関数Ｑ（ｓ，ａ）は、行動価値テーブルとも呼ばれる。

式（１）において、ｓ_tは時刻ｔにおける環境を表し、ａ_tは時刻ｔにおける行動を表す。行動ａ_tにより、環境はｓ_t+1に変わる。ｒ_t+1はその環境の変化によってもらえる報酬を表し、γは割引率を表し、αは学習係数を表す。なお、γは０＜γ≦１、αは０＜α≦１の範囲とする。Ｑ学習を適用した場合、数値制御装置１２においては、採用案に従って行う加工パラメータの調整、すなわち、ユーザにより選択されたパラメータ調整方法に従って行う加工パラメータの調整が、行動ａ_tとなる。

式（１）で表される更新式は、時刻ｔ＋１における最良の行動ａの行動価値Ｑが、時刻ｔにおいて実行された行動ａの行動価値Ｑよりも大きければ、行動価値Ｑを大きくし、逆の場合は、行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ，ａ）を更新する。それにより、ある環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。

学習部２２の報酬計算部２３は、状態変数である特徴形状、採用案および判定結果に基づいて報酬ｒを計算する。例えば、報酬計算部２３は、加工性能が改善したことを判定結果が示す場合、報酬ｒを増大させる。報酬計算部２３は、例えば、「１」を加えることで報酬ｒを増大させる。一方、加工性能が改善したことを判定結果が示していない場合、報酬計算部２３は、報酬ｒを低減する。報酬計算部２３は、例えば、「−１」を加えることで報酬ｒを低減する。なお、加工性能が改善したことを判定結果が示していない場合には、加工性能が変化しない場合と加工性能が悪化する場合とが含まれる。そのため、報酬計算部２３は、加工性能が変化しない場合は報酬ｒについても変化させずにそれまでの値を維持し、加工性能が悪化した場合に報酬ｒを低減するようにしてもよい。また、報酬計算部２３は、加工性能が変化しない場合と加工性能が悪化する場合とで異なる低減量を使用して報酬ｒを低減するようにしてもよい。

学習部２２の関数更新部２４は、報酬計算部２３によって計算される報酬ｒに従って、作業支援部３０の加工改善提案部３３が改善案を作成するための関数を更新する。例えばＱ学習の場合、式（１）で表される行動価値関数Ｑ（ｓ_t，ａ_t）を、改善案を作成するための関数として用いる。

上述したように、状態観測部２１が状態変数として観測する情報は、特徴形状、採用案および判定結果である。そのため、学習部２２では、特徴形状ごとに、改善案の学習、より詳細には、採用案としてユーザに選択されたパラメータ調整方法の学習が行われることになる。

作業支援部３０の加工改善提案部３３が行動価値テーブルである行動価値関数Ｑ（ｓ_t，ａ_t）を用いて改善案を作成する処理では、改善案に含まれる各パラメータ調整方法の優先順位が、行動価値Ｑが高いものほど高くなるように決定する。したがって、加工改善提案部３３が改善案を作成するための関数である行動価値関数Ｑ（ｓ_t，ａ_t）は、パラメータ調整方法の優先順位を決定するための関数といえる。

以上のように、本実施の形態にかかる数値制御装置１２は、機械学習装置２０および作業支援部３０を備える。作業支援部３０は、ワイヤ放電加工により得られた加工結果物の形状のうち、ユーザにより選択された箇所の形状を表す特徴形状と、ユーザにより選択された加工条件の調整方法と、ユーザにより選択された加工条件の調整方法が有効か否を示す情報と、を生成して機械学習装置２０に出力する。機械学習装置２０は、作業支援部３０が出力する情報を状態変数として観測し、ユーザにより選択された加工条件の調整方法を学習する。作業支援部３０は、ユーザがワイヤ放電加工の加工条件を調整して加工性能を改善しようとする場合、機械学習装置２０による学習結果を用いて、加工条件の改善案を作成してユーザに提示する。機械学習装置２０が、ユーザにより選択された箇所の形状を示す特徴形状の加工性能を改善するための加工条件の調整方法を学習するので、作業支援部３０は、加工性能の改善が必要な箇所に対して個別に改善案を作成することができる。数値制御装置１２を適用することにより、ワイヤ放電加工の加工条件を適切な内容に調整することが可能なワイヤ放電加工機が実現される。

つづいて、数値制御装置１２のハードウェア構成について説明する。図８は、本実施の形態にかかる数値制御装置１２を実現するハードウェアの一例を示す図である。数値制御装置１２は、プロセッサ１０１、メモリ１０２、入力装置１０３および表示装置１０４により実現される。

プロセッサ１０１は、ＣＰＵ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、ＤＳＰ（Digital Signal Processor）ともいう）等である。メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、等の、不揮発性または揮発性の半導体メモリ、磁気ディスク等である。メモリ１０２は、プロセッサ１０１が数値制御装置１２として動作するためのプログラムおよびその他の各種データを保持する。メモリ１０２は、プロセッサ１０１が各種処理を実行する際のワーク用メモリとしても使用される。また、メモリ１０２は、図２に示す記憶部５０を構成する。

入力装置１０３は、マウス、キーボード、タッチパネルなどであり、図２に示す入力操作部７０を構成する。表示装置１０４は、液晶モニタ、ディスプレイなどであり、図４〜図６に示す画面２１１〜２１３などを表示する表示部を構成する。

数値制御装置１２を構成する機械学習装置２０および作業支援部３０は、プロセッサ１０１およびメモリ１０２により実現される。具体的には、機械学習装置２０の各部および作業支援部３０の各部として動作するためのプログラムをメモリ１０２に格納しておき、メモリ１０２に格納されているプログラムをプロセッサ１０１が読み出して実行することにより、機械学習装置２０の各部および作業支援部３０の各部が実現される。

以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１ ワイヤ電極、２ 給電子、３ 加工電源、４ 被加工物、５ テーブル、６ Ｘ軸駆動装置、７ Ｙ軸駆動装置、８ Ｕ軸駆動装置、９ Ｖ軸駆動装置、１０ 上部ダイス、１１ 下部ダイス、１２ 数値制御装置、１３ ワイヤボビン、１４ 送給ローラ、１５ 下部ローラ、１６ 回収ローラ、２０ 機械学習装置、２１ 状態観測部、２２ 学習部、２３ 報酬計算部、２４ 関数更新部、３０ 作業支援部、３１ 特徴形状抽出部、３２ 加工形状表示部、３３ 加工改善提案部、３４ 改善案表示部、３５ 改善案評価部、４０ 加工制御部、５０ 記憶部、５１ 加工プログラム、５２ 加工パラメータ、６０ 加工条件設定部、７０ 入力操作部、８０ 異常検出部、１００ ワイヤ放電加工機。

Claims (10)

1. ワイヤ放電加工の加工条件の調整方法を学習する機械学習装置であって、
   ワイヤ放電加工を行い得られる結果物の全体形状のうち加工条件の調整が必要と判断された一部分の形状を表す特徴形状と、前記加工条件を調整して前記特徴形状が示す箇所の加工性能を向上させるための１つ以上の調整方法の中から選択された調整方法である採用案と、前記採用案の実施が前記特徴形状に対応する箇所の加工性能の改善に有効か否かを示す判定結果と、を状態変数として観測する状態観測部と、
   前記状態変数に基づいて作成されるデータセットに従って、前記加工条件の調整方法を学習する学習部と、
   を備えることを特徴とする機械学習装置。
2. 前記学習部は、
   前記データセットに基づいて報酬を計算する報酬計算部と、
   前記報酬に基づいて、前記特徴形状が示す箇所の加工性能を向上させるための加工条件の調整作業を行うユーザに提案する調整方法の優先順位を決定するための関数を更新する関数更新部と、
   を備えることを特徴とする請求項１に記載の機械学習装置。
3. 前記報酬計算部は、
   前記採用案の実施が前記特徴形状に対応する箇所の加工性能の改善に有効な場合に前記報酬を増やし、前記採用案の実施が前記特徴形状に対応する箇所の加工性能の改善に有効ではない場合に前記報酬を減らす、
   ことを特徴とする請求項２に記載の機械学習装置。
4. 前記報酬計算部は、
   前記採用案を実施したことにより前記特徴形状に対応する箇所の加工性能が改善した場合、前記報酬を増やし、前記採用案を実施したことにより前記特徴形状に対応する箇所の加工性能が悪化した場合、前記報酬を減らし、前記採用案を実施しても前記特徴形状に対応する箇所の加工性能が変化しない場合、前記報酬を変化させない、
   ことを特徴とする請求項２に記載の機械学習装置。
5. 請求項１から４のいずれか一つに記載の機械学習装置と、
   前記結果物の形状から前記特徴形状を抽出する特徴形状抽出部と、
   前記特徴形状抽出部が抽出した特徴形状と、前記学習部による学習結果とに基づいて、加工条件を調整して前記特徴形状が示す箇所の加工性能を向上させるための調整方法を改善案として作成し、作成した調整方法のうち、ユーザに選択された調整方法を前記採用案として前記機械学習装置に出力する加工改善提案部と、
   前記採用案を適用して実施したワイヤ放電加工の結果に基づいて前記判定結果を生成して前記機械学習装置に出力する改善案評価部と、
   を備えることを特徴とする数値制御装置。
6. 前記加工改善提案部は、
   前記学習結果に基づいて、複数の加工条件調整方法を、加工性能の改善効果が大きい順に並べ替えて前記改善案を作成する、
   ことを特徴とする請求項５に記載の数値制御装置。
7. 前記改善案評価部は、
   前記ワイヤ放電加工においてワイヤ電極の断線が発生したか否かを示す断線情報と、前記ワイヤ放電加工においてワイヤ電極と被加工物との短絡が発生したか否かを示す短絡情報と、前記ワイヤ放電加工で所望の加工精度が達成できたか否かを示す加工精度とに基づいて、前記判定結果を生成する、
   ことを特徴とする請求項５または６に記載の数値制御装置。
8. 前記加工改善提案部が作成した前記改善案を表示部に表示させる改善案表示部、
   を備えることを特徴とする請求項５から７のいずれか一つに記載の数値制御装置。
9. 請求項５から８のいずれか一つに記載の数値制御装置を備えることを特徴とするワイヤ放電加工機。
10. 機械学習装置がワイヤ放電加工の加工条件の調整方法を学習する機械学習方法であって、
    ワイヤ放電加工を行い得られる結果物の全体形状のうち加工条件の調整が必要と判断された一部分の形状を表す特徴形状と、前記加工条件を調整して前記特徴形状が示す箇所の加工性能を向上させるための１つ以上の調整方法の中から選択された調整方法である採用案と、前記採用案の実施が前記特徴形状に対応する箇所の加工性能の改善に有効か否かを示す判定結果と、を状態変数として観測する第１のステップと、
    前記状態変数に基づいて作成されるデータセットに従って、前記加工条件の調整方法を学習する第２のステップと、
    を含むことを特徴とする機械学習方法。

Images