JP6063013B1 - びびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置 - Google Patents

Abstract

【課題】びびりや工具摩耗／工具折損を抑制する加工条件調整機能を有する数値制御装置を提供すること。【解決手段】本発明の数値制御装置１０は、工作機械１の加工条件の調整を機械学習する機械学習器２０を備え、機械学習器２０は、被加工物の加工状態に係るデータを取得する状態観測部２１と、加工状態に係るデータに基づいて報酬を計算する報酬計算部２４と、機械学習結果および加工状態に係るデータに基づいて加工条件の調整量を決定する加工条件調整学習部２５と、決定された加工条件の調整量に基づいて加工条件を調整する加工条件調整部２７と、を有し、加工条件調整学習部２５は、決定した加工条件の調整量と、状態観測部２１により取得された加工状態に係るデータと、報酬計算部２４が計算した報酬と、に基づいて加工条件の調整を機械学習する。【選択図】図３

Description

本発明は数値制御装置に関し、特にびびり或いは工具摩耗／破損の発生を抑制する加工条件調整機能を有する数値制御装置に関する。

工作機械により加工を行う場合、プログラム指令された経路、速度、主軸回転数、工具を用いて加工を行う。このとき、指令によっては加工時にびびりや工具摩耗／工具折損が発生し、加工面へ悪影響を及ぼすことがある。加工中にびびりや工具摩耗／工具折損が発生した場合、作業者が主軸回転数、送り速度を調整し、びびりや工具摩耗／工具折損の発生しない加工条件を見つけていた。

特許文献１には、加工中にセンサデータによる監視を行い、機械振動や工具破損などの異常が発生した場合にその原因を特定し、予め設定されている範囲で通常の加工条件とは異なる加工条件で加工を行い、特定された原因に基づいて異常が発生しない加工条件となるように加工プログラムの修正を行う異常回避制御方法が開示されている。

特許第３００５６６３号公報

しかしながら、びびりや工具摩耗／工具折損の発生しない最適な加工条件を選定するためには経験が必要であり、作業者の技量によっては加工条件の調整に時間が掛かるという課題があり、また、びびりや工具摩耗／工具折損の発生しない加工条件の選定が非常に困難な加工状況もあり、その場合、作業者が試行錯誤しても適切な加工条件がみつけられないことがあるという課題があった。
これに対して、特許文献１には、異常が発生しない加工条件となるようにすることは記載されているものの、具体的にどのようにして加工条件を調整すればよいのか、技術的な手法として開示するものではない。

そこで本発明の目的は、びびりや工具摩耗／工具折損を抑制する加工条件調整機能を有する数値制御装置を提供することである。

本発明では、主軸回転数、送り速度、切削量、機械振動（びびり）、びびり音、工具摩耗／破損状態、加工面の様子の情報を取得してこれら取得した情報に基づく機械学習を行い、該機械学習の結果を用いてびびりや工具摩耗／工具折損が発生しない主軸回転数、送り速度などの加工条件の調整を行う。

そして、本願の請求項１に係る発明は、プログラム指令に従って工作機械の主軸回転数、送り速度、工具とワークの位置のいずれか、または全てを制御してワークを加工する数値制御装置において、前記加工における加工条件の調整対象パラメータと該調整対象パラメータの調整量を機械学習する機械学習器と、を備え、前記機械学習器は、前記加工における加工状態を示す情報である状態データを取得する状態観測部と、報酬条件を記憶する報酬条件記憶部と、前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、加工条件調整を機械学習する加工条件調整学習部と、前記加工条件調整学習部による前記加工条件調整の機械学習結果と、前記状態データに基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工における加工条件を調整する加工条件調整部と、を有し、前記加工条件調整学習部は、前記調整行動と、出力された調整後の前記加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、ことを特徴とする数値制御装置である。

本願の請求項２に係る発明は、前記状態データは、加工中の主軸回転数、送り速度、切削量、機械振動（びびり）、びびり音、工具摩耗／破損状態、加工面の様子を含む、ことを特徴とする請求項１に記載の数値制御装置である。

本願の請求項３に係る発明は、前記加工条件調整の対象パラメータは、主軸回転数および送り速度の少なくともいずれかを含む、ことを特徴とする請求項１または２に記載の数値制御装置である。

本願の請求項４に係る発明は、前記加工条件調整学習部が学習した結果を記憶する学習結果記憶部をさらに備え、前記加工条件調整部は、前記加工条件調整学習部が学習した加工条件調整の学習結果と、前記学習結果記憶部に記憶された加工条件調整の学習結果とに基づいて加工条件を調整する、ことを特徴とする請求項１〜３のいずれか１つに記載の数値制御装置である。

本願の請求項５に係る発明は、前記報酬条件は、前記工具が工具経路に沿って速い速度で進んだとき、またはワーク加工面の品質が所定の基準値以上の場合にプラスの報酬を与え、機械振動（びびり）、びびり音が発生したとき、または工具摩耗、工具破損が発生した時、またはワークの加工面の品質が所定の基準値以下の場合にマイナスの報酬を与える、ことを特徴とする請求項１〜４のいずれか１つに記載の数値制御装置である。

本願の請求項６に係る発明は、少なくとも１つの他の数値制御装置と接続されており、前記他の数値制御装置との間で機械学習の結果を相互に交換または共有する、ことを特徴とする請求項１〜５のいずれか１つに記載の数値制御装置である。

本願の請求項７に係る発明は、前記機械学習は、前記報酬が最大となるように前記状態データと加工条件調整を引数で表現した評価関数を用いて学習する、ことを特徴とする請求項１〜６のいずれか１つに記載の数値制御装置である。

本願の請求項８に係る発明は、数値制御装置により制御される工作機械でのワークの加工時における加工条件の調整を機械学習する機械学習器であって、該機械学習器は、加工における加工状態を示す情報である状態データを取得する状態観測部と、報酬条件を記憶する報酬条件記憶部と、前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、加工条件調整を機械学習する加工条件調整学習部と、前記加工条件調整学習部による前記加工条件の調整の機械学習結果と、前記状態データに基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工における加工条件を調整する加工条件調整部と、を有し、前記加工条件調整学習部は、前記調整行動と、出力された調整後の前記加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、ことを特徴とする機械学習器である。

本発明では、機械学習によってびびりや工具摩耗／工具折損が発生しない加工条件に調整することで、加工面への悪影響などを防止でき加工の安定性が高まる。

強化学習アルゴリズムの基本的な概念を説明する図である。 本発明の実施形態における数値制御装置の機械学習に関するイメージ図である。 本発明の実施形態における数値制御装置の機能ブロック図である。 本発明の実施形態における機械学習の流れを示すフローチャートである。

以下、本発明の実施形態を図面と共に説明する。
本発明では、ワークを加工する工作機械を制御する数値制御装置に対して人工知能となる機械学習器を導入し、工作機械から主軸回転数、送り速度、切削量、機械振動（びびり）、びびり音、工具摩耗／破損状態、加工面の様子などの加工状態に係るデータに対する加工条件の調整に関する機械学習を行うことで、加工状態に応じて加工条件が最適なものになるように調整を行うようにする。
以下では、本発明で導入する機械学習について簡単に説明する。

＜１．機械学習＞
一般に、機械学習には教師あり学習や教師なし学習など、その目的や条件によって様々なアルゴリズムに分類されている。本発明ではワークを加工する工作機械を制御する数値制御装置における加工条件の調整の学習を目的としており、工作機械から取得される主軸回転数、送り速度、切削量、機械振動（びびり）、びびり音、工具摩耗／破損状態、加工面の様子などの加工状態に対してどのような行動（加工条件の調整）をすることが正しいのかを明示的に示すことが困難であることを考慮して、報酬を与えるだけで機械学習器が目標到達のための行動を自動的に学習する強化学習のアルゴリズムを採用する。

図１は、強化学習アルゴリズムの基本的な概念を説明する図である。強化学習においては、学習する主体となるエージェント（機械学習器）と、制御対象となる環境（制御対象システム）とのやりとりにより、エージェント学習と行動が進められる。より具体的には、（１）エージェントはある時点における環境の状態ｓ_tを観測し、（２）観測結果と過去の学習に基づいて自分が取れる行動ａ_tを選択して行動ａ_tを実行し、（３）行動ａ_tが実行されることで環境の状態ｓ_tが次の状態ｓ_t+1へと変化し、（４）行動ａ_tの結果としての状態の変化に基づいてエージェントが報酬ｒ_t+1を受け取り、（５）エージェントが状態ｓ_t、行動ａ_t、報酬ｒ_t+1および過去の学習の結果に基づいて学習を進める、といったやりとりがエージェントと環境の間で行われる。

上記した（５）における学習では、エ−ジェントは将来取得できる報酬の量を判断するための基準となる情報として、観測された状態ｓ_t，行動ａ_t，報酬ｒ_t+1のマッピングを獲得する。例えば、各時刻において取り得る状態の個数がｍ、取り得る行動の個数がｎとすると、行動を繰り返すことによって状態ｓ_tと行動ａ_tの組に対する報酬ｒ_t+1を記憶するｍ×ｎの２次元配列が得られる。
そして、上記得られたマッピングに基づいて現在の状態や行動がどのくらい良いのかを示す関数である価値関数（評価関数）を用い、行動を繰り返す中で価値関数（評価関数）を更新していくことにより状態に対する最適な行動を学習していく。

状態価値関数は、ある状態ｓ_tがどのくらい良い状態であるのかを示す価値関数である。状態価値関数は、状態を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態の価値などに基づいて更新される。状態価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、強化学習アルゴリズムの１つであるＴＤ学習においては、状態価値関数は以下の数１式で定義される。なお、数１式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。

また、行動価値関数は、ある状態ｓ_tにおいて行動ａ_tがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。行動価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、代表的な強化学習アルゴリズムの１つであるＱ学習においては、行動価値関数は以下の数２式で定義される。なお、数２式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。

なお、学習結果としての価値関数（評価関数）を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態を取るような場合には状態ｓ_t、行動ａ_tを入力として価値（評価）を出力する多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器を用いる方法などがある。

そして、上記した（２）における行動の選択においては、過去の学習によって作成された価値関数（評価関数）を用いて現在の状態ｓ_tにおいて将来にわたっての報酬（ｒ_t+1＋ｒ_t+2＋…）が最大となる行動ａ_t（状態価値関数を用いている場合には、もっとも価値の高い状態へ移るための行動、行動価値関数を用いている場合には該状態において最も価値の高い行動）を選択する。なお、エージェントの学習中には学習の進展を目的として（２）における行動の選択において一定の確率でランダムな行動を選択することもある（εグリーディ法）。

このように、（１）〜（５）を繰り返すことで学習が進められる。ある環境において学習が終了した後に、新たな環境におかれた場合でも追加の学習を行うことでその環境に適応するように学習を進めることができる。したがって、本発明のようにワークを加工する工作機械を制御する数値制御装置における加工条件の調整に適用することで、新しい工作機械の制御に適用したりした場合であっても、過去の加工条件の調整の学習に、新たな環境における追加の学習をすることで、加工条件の調整の学習を短時間で行うことが可能となる。

また、強化学習においては、複数のエージェントをネットワークなどを介して接続したシステムとし、エージェント間で状態ｓ、行動ａ、報酬ｒなどの情報を共有してそれぞれの学習に利用することで、それぞれのエージェントが他のエージェントの環境も考慮して学習をする分散強化学習を行うことで効率的な学習を行うことができる。本発明においても、複数の環境（数値制御装置）を制御する複数のエージェント（機械学習器）がネットワークなどを介して接続された状態で分散機械学習を行うことで、ワークを加工する工作機械を制御する数値制御装置における加工条件の調整の学習を効率的に行わせることができるようになる。

なお、強化学習のアルゴリズムとしては、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、ＡＣ法など様々な手法が周知となっているが、本発明に適用する方法としていずれの強化学習アルゴリズムを採用してもよい。上記したそれぞれの強化学習アルゴリズムは周知なので、本明細書における各アルゴリズムの更なる詳細な説明は省略する。
以下では、機械学習器を導入した本発明の数値制御装置について、具体的な実施形態に基づいて説明する。

＜２．実施形態＞
図２は、本発明の一実施形態における機械学習器を導入した数値制御装置における加工条件の調整の機械学習に関するイメージを示す図である。なお、図２には本実施形態における工作機械を制御する数値制御装置での機械学習の説明に必要な構成のみを示している。

本実施形態において、機械学習器２０が環境（＜１．機械学習＞で説明した状態ｓ_t）を特定するための情報として、工作機械での加工時における主軸回転数、送り速度、切削量などの指令値、および機械振動、びびり音、工具摩耗／破損状態、加工面の様子など加工情報を機械学習器２０に対して入力している。これら各値は、工作機械１の各部から取得されたデータ、および数値制御装置１０から取得されたデータである。

本実施形態では、機械学習器２０が環境に対して出力するもの（＜１．機械学習＞で説明した行動ａ_t）として、工作機械での加工時における主軸回転数、送り速度などの加工条件の調整を出力データとしている。

また本実施形態では、機械学習器２０に対して与えられる報酬（＜１．機械学習＞で説明した報酬ｒ_t）として、加工速度の向上（プラス報酬）、びびりの発生（マイナス報酬）、工具摩耗／破損の発生（マイナス報酬）、加工面の品質（プラス報酬、マイナス報酬）などを採用する。なお、いずれのデータに基づいて報酬を決定するのかについては、作業者が適宜設定するようにしてもよい。

更に、本実施形態では、機械学習器２０は上記した入力データ、出力データ、報酬に基づいて機械学習を行う。機械学習においては、ある時刻ｔにおいて、入力データの組み合わせにより状態ｓ_tが定義され、定義された状態ｓ_tに対して行われる加工条件の調整が行動ａ_tとなり、そして、行動ａ_tにより加工条件の調整が行われた結果として新たに得られた入力データに基づいて評価計算された値が報酬ｒ_t+1となり、これを＜１．機械学習＞で説明したように、機械学習のアルゴリズムに応じた価値関数（評価関数）の更新式に当てはめることにより学習を進める。

以下では、数値制御装置の機能ブロック図に基づいて説明する。
図３は、本実施形態の数値制御装置の機能ブロック図である。本実施形態の工作機械１を制御する数値制御装置１０は、図示しないメモリから読み出されたプログラム１１を解析し、解析結果として得られた制御データに基づいて工作機械１を制御してワークを加工する。工作機械１は、加工時に発生する機械振動（振動センサ）、びびり音（音センサ）、工具摩耗／破損状態（撮像センサ）、加工面の様子（撮像センサ）を検出するセンサ（図示せず）を備えており、数値制御装置１０はこれらセンサを介して加工状態を示す加工情報を取得できるように構成されている。数値制御装置１０は、工作機械１の各部から加工情報などのデータを取得する加工情報取得部１２、主軸回転数や送り速度のオーバライド値を変更するなどして加工条件をする加工条件変更部１３、および機械学習を行う人工知能となる機械学習器２０を備える。なお、工作機械１、数値制御装置１０は、一般的な工作機械、数値制御装置の構成を備えているものとし、本発明における機械学習の動作の説明に特段必要な構成以外は本明細書での詳細な説明を省略する。図３に示した構成を、図１に示した強化学習における要素と対比すると、機械学習器２０がエージェントに対応し、機械学習器２０を除く工作機械１、数値制御装置１０が備える各構成が環境に対応する。

機械学習を行う機械学習器２０は、状態観測部２１、状態データ記憶部２２、報酬条件記憶部２３、報酬計算部２４、加工条件調整学習部２５、学習結果記憶部２６、加工条件調整部２７を備える。機械学習器２０は、図に示すように数値制御装置１０内に備えてもよいし、数値制御装置１０外のパソコン等に備えるようにしてもよい。

状態観測部２１は、数値制御装置１０のプログラム１１の解析結果として得られた制御データから取得した主軸回転数、送り速度、切削量などの指令値と、加工情報取得部１２が取得した工作機械１の加工情報とを加工状態に係るデータとして観測して機械学習器２０内に取得する機能手段である。

状態データ記憶部２２は加工状態に係るデータを入力して記憶し、記憶した該加工状態に係るデータを報酬計算部２４や加工条件調整学習部２５に対して出力する機能手段である。入力される加工状態に係るデータは、最新の加工運転で取得したデータでも、過去の加工運転で取得したデータでも構わない。また、他の数値制御装置１０や集中管理システム３０に記憶された加工状態に係るデータを入力して記憶したり、出力したりすることも可能である。

報酬条件記憶部２３は、作業者などにより設定された機械学習における報酬を与える条件を記憶するための機能手段である。報酬にはプラスの報酬とマイナスの報酬があり、適宜設定が可能である。報酬条件記憶部２３への入力は集中管理システム３０で使用しているパソコンやタブレット端末等からでも構わないが、数値制御装置１０が備える図示しないＭＤＩ機器を介して入力できるようにすることで、より簡便に設定することが可能となる。
報酬計算部２４は、報酬条件記憶部２３で設定された条件に基づいて状態観測部２１または状態データ記憶部２２から入力された加工状態に係るデータを分析し、計算された報酬を加工条件調整学習部２５に出力する。

以下に、本実施形態における報酬条件記憶部２３で設定する報酬条件の例を示す。
●［報酬１：加工速度の向上（プラス報酬）］
ワークの加工速度が前回の加工条件の調整（時刻ｔ−１における加工条件の調整）により向上した場合には、その度合いに応じてプラスの報酬を与える。

●［報酬２：びびりの発生（マイナス報酬）］
工作機械１でのワークの加工時に、あらかじめ設定された所定の基準値以上の機械振動や、あらかじめ設定された所定の基準値以上のびびり音が発生した場合に、その度合いに応じてマイナスの報酬を与える。各所定の基準値は、あらかじめ報酬条件記憶部２３に設定しておくと良い。

●［報酬３：工具摩耗／破損の発生（マイナス報酬）］
工作機械１でのワークの加工時に、あらかじめ設定された所定の基準値以上に工具摩耗が進んだ場合、その度合いに応じてマイナスの報酬を与える。また、工具破損が発生した場合には、マイナスの報酬を与える。各所定の基準値は、あらかじめ報酬条件記憶部２３に設定しておくと良い。

●［報酬４：加工面の品質（プラス報酬、マイナス報酬）］
工作機械１で前回の加工条件の調整（時刻ｔ−１における加工条件の調整）後に加工されたワークの加工面の品質が、あらかじめ設定された所定の基準値以上に良い場合には、その度合いに応じてプラスの報酬を与え、該所定の基準値以下である場合には、その度合いに応じてマイナスの報酬を与える。品質の評価については、例えばプログラム１１から想定される理想的な加工面を基準として、そこから加工後の加工面がどれだけずれているか（加工精度）などで評価するようにすれば良い。

加工条件調整学習部２５は、入力データなどを含む加工状態に係るデータと、自身が行った加工条件の調整結果、および報酬計算部２４で計算された報酬とに基づいて機械学習（強化学習）を行う。

ここで、加工条件調整学習部２５が行う機械学習においては、ある時刻ｔにおける加工状態に係るデータの組み合わせにより状態ｓ_tが定義され、定義された状態ｓ_tに応じて加工条件の調整量を決定することが行動ａ_tとなり、後述する加工条件調整部２７により加工条件の調整を行い該調整結果が加工条件変更部１３へと出力され、そして、調整された加工条件に基づいて工作機械１が制御されてワークの加工が行われ、その結果として得られたデータに基づいて前記報酬計算部２４で計算された値が報酬ｒ_t+1となる。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。例えば、Ｑ学習を用いる場合には、上記した数２式に従って行動価値関数Ｑ（ｓ_t，ａ_t）を更新することにより学習を進めるようにすれば良い。

図４のフローチャートを用いて、加工条件調整学習部２５が行う機械学習の流れを説明する。
●［ステップＳＡ０１］機械学習が開始されると、状態観測部２１が工作機械１の加工状態に係るデータを取得する。
●［ステップＳＡ０２］加工条件調整学習部２５は、状態観測部２１が取得した加工状態に係るデータに基づいて現在の状態Ｓ_tを特定する。

●［ステップＳＡ０３］加工条件調整学習部２５は、過去の学習結果とステップＳＡ０２で特定した状態Ｓ_tに基づいて行動ａ_t（加工条件の調整）を選択する。
●［ステップＳＡ０４］ステップＳＡ０３で選択された行動ａ_tを実行する。

●［ステップＳＡ０５］状態観測部２１が、工作機械１の状態を示す加工状態に係るデータを取得する。この段階においては、工作機械１の状態は時刻ｔから時刻ｔ＋１への時間的推移と共にステップＳＡ０４で実行された行動ａ_tによって変化している。
●［ステップＳＡ０６］ステップＳＡ０５で取得された評価結果のデータに基づいて、報酬計算部２４が報酬ｒ_t+1を算出する。
●［ステップＳＡ０７］ステップＳＡ０２で特定された状態Ｓ_t、ステップＳＡ０３で選択された行動ａ_t、ステップＳＡ０６で算出された報酬ｒ_t+1に基づいて、加工条件調整学習部２５が機械学習を進め、ステップＳＡ０２へ戻る。

図３に戻って、学習結果記憶部２６は、加工条件調整学習部２５が学習した結果を記憶する。また、加工条件調整学習部２５が学習結果を再使用する際には、記憶している学習結果を加工条件調整学習部２５に出力する。学習結果の記憶には、上述したように、利用する機械学習アルゴリズムに応じた価値関数を、近似関数や、配列、又は多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器などにより記憶するようにすれば良い。
なお、学習結果記憶部２６に、他の数値制御装置１０や集中管理システム３０が記憶している学習結果を入力して記憶させたり、学習結果記憶部２６が記憶している学習結果を他の数値制御装置１０や集中管理システム３０に対して出力したりすることも可能である。

加工条件調整部２７は、加工条件調整学習部２５が学習した結果と現在の加工状態に係るデータとに基づいて加工条件の調整量を決定する。ここでいう加工条件の調整量の決定が、機械学習に用いられる行動ａに相当する。加工条件の調整は、例えば、加工条件を構成する各パラメータの項目と変更量を組み合わせたものを選択可能な行動（例えば、行動１＝主軸回転数オーバライド＋１０％、行動２＝送り速度オーバライド−１０％、…）として用意しておき、過去の学習結果に基づいて将来に得られる報酬が最も大きくなる行動を選択するようにしてもよい。選択可能な行動は、複数の加工条件の項目を同時に調整する行動としてもよい。また、上記したεグリーディ法を採用し、所定の確率でランダムな行動を選択することで加工条件調整学習部２５の学習の進展を図るようにしてもよい。
その後、加工条件調整部２７は、決定された加工条件の調整量に基づいて加工条件変更部１３に指令して数値制御装置１０における加工条件を調整する。そして、加工条件調整部２７が調整した加工条件に基づいて数値制御装置１０による工作機械の制御が行われる。

その後、再び現在の工作機械１の状況の取得が機械学習器２０により行われ、入力された加工状態に係るデータを使用して学習を繰り返すことにより、より優れた学習結果を得ることができる。
このようにして機械学習器２０が学習した結果として、数値制御装置１０による工作機械１でのワークの加工において加工状態に応じた加工条件の調整が行われるようになった段階で機械学習器２０による学習が完了する。

上記学習が完了した学習データを用いて実際に工作機械を制御する数値制御装置で加工する際には、機械学習器２０は新たな学習を行なわないようにして学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。
また、学習が完了した機械学習器２０（または、他の機械学習器２０の完了した学習データを学習結果記憶部２６に複写した機械学習器２０）を他の数値制御装置１０に取付けて、学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。
更に、学習が完了した機械学習器２０の学習機能を有効にしたままで他の数値制御装置に取付けて工作機械を制御してワークの加工を続けることで、工作機械毎に異なる個体差や経年変化などを更に学習させ、当該工作機械にとってより良い加工条件の調整を探索しながら運転することも可能である。

数値制御装置１０の機械学習器２０は単独で機械学習をするようにしてもよいが、複数の数値制御装置１０がそれぞれ外部との通信手段を更に備えると、それぞれの状態データ記憶部２２が記憶した加工状態に係るデータや学習結果記憶部２６が記憶した学習結果を送受信して共有することが可能となり、より効率良く機械学習を行うことができる。例えば、所定の範囲内で加工条件を変動させて学習する際に、複数の数値制御装置１０において異なる調整量を所定の範囲内でそれぞれ変動させて加工しながら、それぞれの数値制御装置１０の間で加工状態に係るデータや学習データをやり取りすることにより並列して学習を進めるようにすることで効率的に学習させることができる。
このように複数の数値制御装置１０の間でやり取りする際には、通信は集中管理システム３０等のホストコンピュータを経由しても、直接数値制御装置１０同士が通信しても構わないし、クラウドを使用しても構わないが、大量のデータを取り扱う場合があるため、なるべく通信速度が速い通信手段が好ましい。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

１ 工作機械
１０ 数値制御装置
１１ プログラム
１２ 加工情報取得部
１３ 加工条件変更部
２０ 機械学習器
２１ 状態観測部
２２ 状態データ記憶部
２３ 報酬条件記憶部
２４ 報酬計算部
２５ 加工条件調整学習部
２６ 学習結果記憶部
２７ 加工条件調整部
３０ 集中管理システム

Claims (8)

1. プログラム指令に従って工作機械の主軸回転数、送り速度、工具とワークの位置のいずれか、または全てを制御してワークを加工する数値制御装置において、
   前記加工における加工条件の調整対象パラメータと該調整対象パラメータの調整量を機械学習する機械学習器と、
   を備え、
   前記機械学習器は、
   前記加工における加工状態を示す情報である状態データを取得する状態観測部と、
   報酬条件を記憶する報酬条件記憶部と、
   前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、
   加工条件調整を機械学習する加工条件調整学習部と、
   前記加工条件調整学習部による前記加工条件調整の機械学習結果と、前記状態データに基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工における加工条件を調整する加工条件調整部と、
   を有し、
   前記加工条件調整学習部は、前記調整行動と、出力された調整後の前記加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、
   ことを特徴とする数値制御装置。
2. 前記状態データは、加工中の主軸回転数、送り速度、切削量、機械振動（びびり）、びびり音、工具摩耗／破損状態、加工面の様子を含む、
   ことを特徴とする請求項１に記載の数値制御装置。
3. 前記加工条件調整の対象パラメータは、主軸回転数および送り速度の少なくともいずれかを含む、
   ことを特徴とする請求項１または２に記載の数値制御装置。
4. 前記加工条件調整学習部が学習した結果を記憶する学習結果記憶部をさらに備え、
   前記加工条件調整部は、前記加工条件調整学習部が学習した加工条件調整の学習結果と、前記学習結果記憶部に記憶された加工条件調整の学習結果とに基づいて加工条件を調整する、
   ことを特徴とする請求項１〜３のいずれか１つに記載の数値制御装置。
5. 前記報酬条件は、
   前記工具が工具経路に沿って速い速度で進んだとき、またはワーク加工面の品質が所定の基準値以上の場合にプラスの報酬を与え、機械振動（びびり）、びびり音が発生したとき、または工具摩耗、工具破損が発生した時、またはワークの加工面の品質が所定の基準値以下の場合にマイナスの報酬を与える、
   ことを特徴とする請求項１〜４のいずれか１つに記載の数値制御装置。
6. 少なくとも１つの他の数値制御装置と接続されており、
   前記他の数値制御装置との間で機械学習の結果を相互に交換または共有する、
   ことを特徴とする請求項１〜５のいずれか１つに記載の数値制御装置。
7. 前記機械学習は、前記報酬が最大となるように前記状態データと加工条件調整を引数で表現した評価関数を用いて学習する、
   ことを特徴とする請求項１〜６のいずれか１つに記載の数値制御装置。
8. 数値制御装置により制御される工作機械でのワークの加工時における加工条件の調整を機械学習する機械学習器であって、
   該機械学習器は、
   加工における加工状態を示す情報である状態データを取得する状態観測部と、
   報酬条件を記憶する報酬条件記憶部と、
   前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、
   加工条件調整を機械学習する加工条件調整学習部と、
   前記加工条件調整学習部による前記加工条件の調整の機械学習結果と、前記状態データに基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工における加工条件を調整する加工条件調整部と、
   を有し、
   前記加工条件調整学習部は、前記調整行動と、出力された調整後の前記加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、
   ことを特徴とする機械学習器。

Images