JP7230546B2 - 研削盤の動作指令データ調整モデル生成装置および研削盤の動作指令データ更新装置 - Google Patents

Description

本発明は、研削盤の動作指令データ調整モデル生成装置および動作指令データ更新装置に関するものである。

研削盤にて砥石車による工作物の研削において、工作物の研削品質が所定条件を満たすようにすることが求められる。例えば、工作物に加工変質層が生じないようにすること、工作物の表面性状（例えば表面粗さ）が所定値以内であること、工作物にびびり模様が生じないようにすること、真円度が所定値未満であること等が求められる。

作業者が、研削後の工作物の検査を行うことで、研削品質が所定条件を満たすか否かを確認し、所定条件を満たす場合に良品とすることが行われている。また、特許文献１には、研削を行っている際において測定した研削負荷に基づいて、工作物に加工変質層が生じているか否かを判定することが記載されている。

ところで、近年コンピュータの処理速度の向上に伴い、人工知能が急速に発展しており、例えば、特許文献２には、機械学習により、レーザ加工条件データを生成することが記載されている。

特開２０１３－１２９０２８号公報 特開２０１７－１６４８０１号公報

しかし、特許文献１に記載されているように、研削負荷を用いるだけでは、加工変質層の有無を高精度に判定することができない。加工変質層が生じる要因には、種々の要因が存在するためである。そこで、種々の要因を考慮して、加工変質層の有無等の工作物の研削品質を取得することが求められる。さらに、工作物の研削品質が良好となるとなるような研削条件を得ることが求められる。

本発明は、工作物の研削品質を用いて、研削品質を向上させることができる研削盤の動作指令データを取得するために、研削盤の動作指令データ調整モデル生成装置および研削盤の動作指令データ更新装置を提供することを目的とする。

（１．研削盤の動作指令データ調整モデル生成装置）
研削盤の動作指令データ調整モデル生成装置は、研削盤にて砥石車により工作物の研削を行う際において、前記研削盤の制御装置への動作指令データを取得する動作指令データ取得部と、前記工作物の研削品質データを前記工作物毎に取得する研削品質データ取得部と、前記工作物毎に、前記研削品質データに応じて前記動作指令データに対する報酬を決定する報酬決定部と、複数の前記工作物に関する前記動作指令データおよび前記報酬を用いた機械学習により、前記報酬を多くするように前記動作指令データを調整するための学習モデルを生成する学習モデル生成部とを備える。

当該生成装置は、機械学習により、研削盤の動作指令データを調整するための学習モデルを生成する。そして、機械学習においては、複数の工作物に関する動作指令データおよび報酬を用いている。従って、多量のデータを用いたとしても、機械学習を適用することにより、学習モデルを容易に生成することができる。さらに、機械学習においては、工作物の研削品質データを用いて決定された報酬を多くするように、研削盤の動作指令データが調整されている。従って、研削品質が良好となるような動作指令データを生成することができるようになる。

（２．研削盤の動作指令データ更新装置）
研削盤の動作指令データ更新装置は、上述した研削盤の動作指令データ調整モデル生成装置と、更新フェーズにおいて、新たな工作物の研削に関する前記動作指令データ、前記新たな工作物の前記研削品質データ、前記報酬、および、前記学習モデルを用いて、前記動作指令データの調整を行う動作指令データ調整部とを備える。つまり、機械学習により生成された学習モデルを用いて動作指令データが更新される。そのため、研削状態が変化したとしても、動作指令データが現在の研削状態に応じて更新されていく。このように動作指令データが更新されることによって、工作物の研削品質を良好とすることができる。

研削盤を示す平面図である。 第一実施形態の機械学習装置の概要構成を示す機能ブロック図である。 第一実施形態の機械学習装置の学習フェーズの詳細構成を示す機能ブロック図である。 定寸装置および実測データ生成装置の構成を示す図である。 第一実施形態の機械学習装置の推定フェーズの詳細構成を示す機能ブロック図である。 第二実施形態の機械学習装置の概要構成を示す機能ブロック図である。 第二実施形態の機械学習装置の学習フェーズの詳細構成を示す機能ブロック図である。 外部装置による測定結果を示す波形データおよび第二次データを示すグラフである。 第三実施形態の機械学習装置の概要構成を示す機能ブロック図である。 第三実施形態の機械学習装置の学習フェーズの詳細構成を示す機能ブロック図である。 第三実施形態の機械学習装置の推定フェーズの詳細構成を示す機能ブロック図である。 第四実施形態の機械学習装置の概要構成を示す機能ブロック図である。 第四実施形態の機械学習装置の学習フェーズの詳細構成を示す機能ブロック図である。 第四実施形態の機械学習装置の推定フェーズの詳細構成を示す機能ブロック図である。

（１．第一実施形態）
（１－１．研削盤の構成）
研削盤１の構成について、図１を参照して説明する。研削盤１は、工作物Ｗを研削するための機械である。研削盤１は、円筒研削盤、カム研削盤等、種々の構成の研削盤を適用できる。本実施形態においては、研削盤１は、砥石台トラバース型の円筒研削盤を例にあげる。ただし、研削盤１は、テーブルトラバース型を適用することもできる。

研削盤１は、主として、ベッド１１、主軸台１２、心押台１３、トラバースベース１４、砥石台１５、砥石車１６、定寸装置１７、砥石車修正装置１８、クーラント装置１９、および、制御装置２０を備える。

ベッド１１は、設置面上に固定されている。主軸台１２は、ベッド１１の上面において、Ｘ軸方向の手前側（図１の下側）且つＺ軸方向の一端側（図１の左側）に設けられている。主軸台１２は、工作物ＷをＺ軸回りに回転可能に支持する。工作物Ｗは、主軸台１２に設けられたモータ１２ａの駆動により回転される。心押台１３は、ベッド１１の上面において、主軸台１２に対してＺ軸方向に対向する位置、すなわち、Ｘ軸方向の手前側（図１の下側）且つＺ軸方向の他端側（図１の右側）に設けられている。つまり、主軸台１２および心押台１３が、工作物Ｗを回転可能に両端支持する。

トラバースベース１４は、ベッド１１の上面において、Ｚ軸方向に移動可能に設けられている。トラバースベース１４は、ベッド１１に設けられたモータ１４ａの駆動により移動する。砥石台１５は、トラバースベース１４の上面において、Ｘ軸方向に移動可能に設けられている。砥石台１５は、トラバースベース１４に設けられたモータ１５ａの駆動により移動する。砥石車１６は、砥石台１５に回転可能に支持されている。砥石車１６は、砥石台１５に設けられたモータ１６ａの駆動により回転する。砥石車１６は、複数の砥粒をボンド材により固定されて構成されている。

定寸装置１７は、工作物Ｗの寸法（径）を測定する。砥石車修正装置１８は、砥石車１６の形状を修正する。砥石車修正装置１８は、砥石車１６のツルーイングを行う装置である。砥石車修正装置１８は、ツルーイングに加えて、または、ツルーイングに代えて、砥石車１６のドレッシングを行う装置としてもよい。さらに、砥石車修正装置１８は、砥石車１６の寸法（径）を測定する機能も有する。

ここで、ツルーイングは、形直し作業であり、研削によって砥石車１６が摩耗した場合に工作物Ｗの形状に合わせて砥石車１６を成形する作業、片摩耗によって砥石車１６の振れを取り除く作業等である。ドレッシングは、目直し（目立て）作業であり、砥粒の突き出し量を調整したり、砥粒の切れ刃を創成したりする作業である。ドレッシングは、目つぶれ、目詰まり、目こぼれ等を修正する作業であって、通常ツルーイング後に行われる。

クーラント装置１９は、砥石車１６による工作物Ｗの研削点にクーラントを供給する。クーラント装置１９は、回収したクーラントを、所定温度に冷却して、再度研削点に供給する。

制御装置２０は、工作物Ｗの形状、加工条件、砥石車１６の形状、クーラントの供給タイミング情報等の動作指令データに基づいて生成されたＮＣプログラムに基づいて、各駆動装置を制御する。すなわち、制御装置２０は、動作指令データを入力し、動作指令データに基づいてＮＣプログラムを生成し、ＮＣプログラムに基づいて各モータ１２ａ，１４ａ，１５ａ，１６ａおよびクーラント装置１９等を制御することにより工作物Ｗの研削を行う。特に、制御装置２０は、定寸装置１７により測定される工作物Ｗの径に基づいて、工作物Ｗが仕上げ形状となるまで研削を行う。また、制御装置２０は、砥石車１６を修正するタイミングにおいて、各モータ１４ａ，１５ａ，１６ａ、および、砥石車修正装置１８等を制御することにより、砥石車１６の修正（ツルーイングおよびドレッシング）を行う。

また、図１には一部を図示しないが、研削盤１は、後述する各種センサ２１，２２，２３（図３等に示す）を備えている。例えば、研削盤１は、各モータ等の実動作データ、研削盤１を構成する構造部材の状態を示すデータ、定寸装置１７、砥石径センサ、温度センサ、加速度センサ、マイクロフォン等を備える。なお、各種センサ等の詳細は、後述する。

（１－２．機械学習装置１００の概要）
次に、第一実施形態の機械学習装置１００の概要について、図２を参照して説明する。機械学習装置１００は、（ａ）工作物Ｗの研削品質を推定するための第一学習モデルを生成すると共に、（ｂ）第一学習モデルを用いて工作物Ｗの研削品質を推定する。機械学習装置１００は、研削盤１とは別の装置として構成することもできるし、研削盤１の制御装置２０等に組み込まれた装置として構成することもできる。本実施形態においては、機械学習装置１００は、研削盤１とネットワーク線により接続されており、各種データの送受信を行う。

機械学習装置１００は、第一学習モデルを生成する第一学習フェーズ１０１において機能する要素１０１ａ，１０１ｂ，１０１ｃ、および、研削品質を推定する推定フェーズ１０２（一般に「推論フェーズ」とも称する）において機能する要素１０２ａ，１０２ｂを備える。機械学習装置１００は、第一学習フェーズ１０１において機能する要素として、第一学習用入力データを取得する要素１０１ａ、第一教師データを取得する要素１０１ｂ、および、第一学習モデルの生成を行う要素１０１ｃを備える。

要素１０１ａにおいて取得される第一学習用入力データは、機械学習に用いられる入力データであって、例えば、動作指令データ、実動作データ、第一実測データ（構造部材の状態を表すデータ）、第二実測データ（研削部位に関するデータ）等である。

要素１０１ｂにおいて取得される第一教師データは、教師有り学習における機械学習に用いられる教師データである。第一教師データは、工作物Ｗの研削品質データであって、例えば、工作物Ｗの加工変質層データ、工作物Ｗの表面性状データ、工作物Ｗのびびり模様データ、真円度データ等である。

要素１０１ｃにおいて生成される第一学習モデルは、第一学習用入力データおよび第一教師データに基づいて、機械学習のうち教師有り学習を行うことによって工作物Ｗの研削品質を推定するためのモデル（関数）である。ただし、第一学習モデルは、研削品質の分類分けを行うことを目的として、教師無し学習を適用することにより生成することもできる。ただし、教師有り学習を適用する場合には、高精度に研削品質を取得することができる。

機械学習装置１００は、推定フェーズ１０２において機能する要素として、推定用入力データを取得する要素１０２ａ、並びに、研削品質の推定および工作物Ｗの良否の判別を行う要素１０２ｂを備える。要素１０２ａにおいて取得される推定用入力データは、第一学習用入力データと同種のデータであって、学習に用いた工作物Ｗとは異なる工作物Ｗ（新しい工作物Ｗ）に関して取得されるデータである。要素１０２ｂは、推定用入力データと第一学習モデルとを用いて研削品質を推定すると共に、推定された研削品質に基づいて工作物Ｗの良否を判別する。要素１０２ｂにて用いる第一学習モデルは、第一学習フェーズ１０１において機械学習によって生成される第一学習モデルである。

（１－３．機械学習装置１００に関連する研削盤１の構成）
機械学習装置１００に関連する研削盤１の構成について、図３を参照して説明する。図３に示すように、研削盤１は、制御装置２０を備える。制御装置２０は、いわゆるＣＮＣ（Computerized Numerical Control）装置である。上述したように、制御装置２０は、動作指令データに基づいてＮＣプログラムを生成し、当該ＮＣプログラムに基づいて、各駆動装置１２ａ，１４ａ，１５ａ，１６ａ，１７，１８（図３では「１２ａ等」と記載する）を制御する。

各駆動装置１２ａ，１４ａ，１５ａ，１６ａ，１７，１８が駆動することによって、構造部材１２，１３，１４，１５（図３では「１５等」を記載する。）が動作する。構造部材１２，１３，１４，１５の動作によって、工作物Ｗが砥石車１６による研削が行われる。図３では、工作物Ｗにおいて砥石車１６によって研削される部位が研削部位として示される。

研削盤１は、さらに、駆動装置１２ａ等の実動作データを検出するセンサ２１、構造部材１５等の状態（構造部材の状態を表すデータ）を検出するセンサ２２、研削によって変化する研削部位に関するデータ（研削部位データ）を検出するセンサ２３を備える。センサ２１は、例えば、モータ１２ａの駆動電流を検出する電流センサ、モータ１２ａの現在位置（回転角度）を検出する位置センサ等である。センサ２１は、他の駆動装置１４ａ，１５ａ，１６ａ，１７，１８についても同様の情報を検出する。センサ２２は、構造部材１５等の振動を検出する振動センサ、構造部材１５等の変形量を検出する歪センサ等である。振動センサは、振動に対応する加速度を検出するセンサ、振動に対応する音波を検出するセンサ等を適用できる。センサ２３は、研削によって変化する工作物Ｗの寸法（径）を検出する定寸装置１７、定寸装置１７の振動を検出するセンサ、研削時における音（振動に対応する音波）を検出するセンサ、研削時における研削点温度を検出する温度センサ等である。

ここで、図４を参照して、定寸装置１７の構成を説明する。図４に示すように、定寸装置１７は、装置本体１７ａと、一対の接触子１７ｂ１，１７ｂ２と、一対のフィンガ１７ｃ１，１７ｃ２と、差動トランス１７ｄとを主に備える。接触子１７ｂ１，１７ｂ２は、工作物Ｗの外周面に対して接触可能に設けられる。具体的に、一対の接触子１７ｂ１，１７ｂ２のうち、一方の接触子１７ｂ１は、工作物Ｗの外周面に対して上方から接触し、他方の接触子１７ｂ２は、工作物Ｗの外周面に対して下方から接触する。フィンガ１７ｃ１，１７ｃ２は、接触子１７ｂ１，１７ｂ２を保持すると共に、装置本体１７ａに対し、接触子１７ｂ１，１７ｂ２を相対変位可能に支持する。具体的に、一対のフィンガ１７ｃ１，１７ｃ２のうち、一方のフィンガ１７ｃ１は、一方の接触子１７ｂ１を支持し、他方のフィンガ１７ｃ２は、他方の接触子１７ｂ２を支持する。

差動トランス１７ｄは、装置本体１７ａに収容される。差動トランス１７ｄは、一対の接触子１７ｂ１，１７ｂ２の変位に伴って変位する一対のフィンガ１７ｃ１，１７ｃ２の変位を検出し、フィンガ１７ｃ１，１７ｃ２の変位に応じた電気信号を制御装置２０に出力する。制御装置２０は、差動トランス１７ｄから出力された電気信号に基づいて、一対の接触子１７ｂ１，１７ｂ２が工作物Ｗの外周面に接触したときのフィンガ１７ｃ１，１７ｃ２の位置を把握し、フィンガ１７ｃ１，１７ｃ２の位置に基づいて、定寸装置１７による工作物Ｗの外径の測定結果を把握する。

また、定寸装置１７には、センサ２３の一部である複数の検出器２３ａが設けられる。検出器２３ａは、工作物Ｗの外径測定時に定寸装置１７に発生する振動、または、砥石車１６による工作物Ｗの研削部位において発生する音を、工作物情報として検出する。具体的に、定寸装置１７には、検出器２３ａとして、差動トランス１７ｄと、加速度センサ１７ｅと、マイクロフォン１７ｆとが設けられる。

差動トランス１７ｄは、上記したように、フィンガ１７ｃ１，１７ｃ２の変位を検出可能な変位センサであり、装置本体１７ａに収容される。そして、検出器２３ａとしての差動トランス１７ｄは、一方のフィンガ１７ｃ１の変位を検出するために用いられる。つまり、回転する工作物Ｗの外周面に一方の接触子１７ｂ１を接触させると、一方の接触子１７ｂ１および一方のフィンガ１７ｃ１は、工作物Ｗの外周面の形状に応じて変位する。そのため、差動トランス１７ｄから出力される信号は、研削部位の周方向における形状との相関性が高いデータであると考えられる。そこで、機械学習装置１００は、差動トランス１７ｄが出力する信号の挙動を示す波形データを、研削部位の周方向における形状を示すデータとして活用する。

加速度センサ１７ｅは、一方のフィンガ１７ｃ１の振動に対応する加速度を検出可能な振動センサであり、一方のフィンガ１７ｃ１に取り付けられる。具体的に、加速度センサ１７ｅは、装置本体１７ａよりも一方の接触子１７ｂ１に近い位置で、一方のフィンガ１７ｃ１に取り付けられる。これにより、研削盤１は、一方の接触子１７ｂ１と工作物Ｗとの接触位置に対し、より近い位置に加速度センサ１７ｅを配置できる。その結果、研削盤１は、加速度センサ１７ｅが出力する信号の挙動を示す波形データと、工作物Ｗの研削品質との相関性を高めることができる。なお、図４において、加速度センサ１７ｅは、一方のフィンガ１７ｃ１の外側に取り付けられているが、一方のフィンガ１７ｃ１の内部に収容されていてもよい。また、加速度センサ１７ｅは、他方のフィンガ１７ｃ２に取り付けてもよい。

また、加速度センサ１７ｅから出力される波形データは、差動トランス１７ｄから出力される波形データとは周波数特性が異なる。つまり、差動トランス１７ｄは、一方のフィンガ１７ｃ１の変位（振動）に関して、加速度センサ１７ｅよりも低い周波数帯域の変位（振動）を検出することができる。これに対し、加速度センサ１７ｅは、一方のフィンガ１７ｃ１の変位（振動）に関して、差動トランス１７ｄよりも高い周波数帯域の変位（振動）を検出することができる。また、差動トランス１７ｄにおける周波数特性の範囲と加速度センサ１７ｅにおける周波数特性の範囲とは、一部分において重複する。従って、周波数特性が重複する範囲において、機械学習装置１００は、差動トランス１７ｄと加速度センサ１７ｅとの双方から波形データを取得することができる。

ここで、検出器２３ａとしての差動トランス１７ｄおよび加速度センサ１７ｅは、仕上げ研削（微研）後における工作物Ｗの研削部位データを取得するために用いられる。そして、検出器２３ａとしての差動トランス１７ｄおよび加速度センサ１７ｅは、工作物Ｗのスパークアウト中において、または、工作物Ｗの研削後であって工作物Ｗの回転中（回転停止前）において、一方のフィンガ１７ｃ１の振動を工作物情報として検出する。つまり、研削盤１は、スパークアウトを開始してから工作物の回転を停止するまでの間に、回転する工作物Ｗに一方の接触子１７ｂ１を接触させた状態で、一方のフィンガ１７ｃ１の振動を検出する。これにより、研削盤１は、研削部位データを取得するための時間を追加で設ける必要がなくなるので、サイクルタイムの長期化を回避できる。

なお、検出器２３ａによる工作物情報の取得を行うタイミングは、スパークアウト中又は工作物Ｗの研削後でなくてもよい。つまり、検出器２３ａによる工作物情報の取得は、荒加工中や仕上加工中に行うことも可能である。

マイクロフォン１７ｆは、工作物Ｗの研削時において研削部位に発生する音を検出可能なセンサであり、一方のフィンガ１７ｃ１に取り付けられる。具体的に、マイクロフォン１７ｆは、加速度センサ１７ｅよりも研削部位に近い位置で、一方のフィンガ１７ｃ１に取り付けられる。これにより、研削盤１は、研削部位に対し、より近い位置にマイクロフォン１７ｆを配置できる。その結果、研削盤１は、マイクロフォン１７ｆが出力する信号の挙動を示す波形データと、工作物Ｗの研削品質との相関性を高めることができる。

また、マイクロフォン１７ｆから出力される波形データは、差動トランス１７ｄおよび加速度センサ１７ｅから出力される波形データとは周波数特性が異なる。つまり、マイクロフォン１７ｆは、差動トランス１７ｄおよび加速度センサ１７ｅよりも高い周波数帯域の振動を検出することができる。また、加速度センサ１７ｅにおける周波数特性の範囲とマイクロフォン１７ｆにおける周波数特性の範囲とは、一部分において重複する。従って、周波数特性が重複する範囲において、機械学習装置１００は、加速度センサ１７ｅとマイクロフォン１７ｆとの双方から波形データを取得することができる。

このように、研削盤１は、センサ２３としての検出器２３ａを定寸装置１７に設けることにより、検出器２３ａ、工作物に近い位置に配置できる。その結果、検出器２３ａは、工作物の研削品質との相関性が高い工作物情報を検出できる。即ち、研削盤１は、検出器２３ａから出力される信号に対し、構造部材１５等から発生する振動や音が与える影響を少なくすることができる。そして、機械学習装置１００は、検出器２３ａにより検出された工作物情報を研削部位データとして用いる。よって、検出器２３ａは、研削部位データとして、工作物Ｗの研削品質との相関性が高いデータを検出することができる。

また、機械学習装置１００は、検出器２３ａとして、周波数特性の異なる複数種類のセンサ２３を設けることにより、幅広い周波数帯域の振動情報および音情報を、第二実測データとして取得することができる。さらに、機械学習装置１００は、複数種類のセンサ２３間において、周波数特性の範囲を一部重複させることにより、周波数特性が重複する範囲において、複数のセンサ２３から異なる波形データを、第二実測データとして取得することができる。その結果、機械学習装置１００は、第一学習モデルの学習精度を向上させることができる。

また、機械学習装置１００は、さらに、実測データ生成部３０を備える。実測データ生成部３０は、検出器２３ａにより出力された工作物情報に関する波形データに基づき、研削部位に関する実測データを生成する。実測データ生成部３０により生成された実測データは、第二実測データとして、要素１０１ａ（図２参照）に取得される。つまり、実測データ生成部３０は、検出器２３ａにより検出された研削部位データを加工し、要素１０１は、実測データ生成部３０により加工された研削部位データを、第二実測データとして取得する。実測データ生成部３０は、第一次データ生成部３１と、第二次データ生成部３２と、特定周波数データ生成部３３と、第三次データ生成部３４とを備える。

第一次データ生成部３１は、検出器２３ａにより検出された工作物情報に関する波形データをフーリエ変換することにより、第一次データＤ１を生成する。具体的に、検出器２３ａから出力された波形データＤ０は、振幅成分と時間成分とを含むのに対し、第一次データ生成部３１は、当該波形データＤ０を、振幅成分と周波数成分とを含む第一次データＤ１に変換する。なお、差動トランス１７ｄから出力された波形データＤ０の振幅成分は、一方のフィンガ１７ｃ１の変位を示す変位成分である。また、加速度センサ１７ｅから出力された波形データの振幅成分は、一方のフィンガ１７ｃ１の振動に対応する加速度を示す加速度成分である。

第二次データ生成部３２は、加速度センサ１７ｅにより出力された波形データＤ０から得られた第一次データＤ１を加工対象とする。第二次データ生成部３２は、当該第一次データＤ１の振幅成分である加速度成分を変位成分に変換することにより、第二次データＤ２を生成する。具体的に、第二次データ生成部３２は、第一次データＤ１を二回積分することにより、加速度成分を変位成分に変換する。これにより、第二次データＤ２は、差動トランス１７ｄにより出力された波形データＤ０から得られた第一次データＤ１と同様に、変位成分と周波数成分とを含む波形データとなる。その結果、加速度センサ１７ｅから出力された波形データＤ０は、研削部位の周方向における形状との相関性が高い第二次データＤ２に変換される。

特定周波数データ生成部３３は、差動トランス１７ｄおよび加速度センサ１７ｅにより出力された波形データＤ０から得られた第一次データＤ１または第二次データＤ２を加工対象とする。特定周波数データ生成部３３は、当該第一次データＤ１または第二次データＤ２から、特定の周波数帯域に含まれる変位成分を抽出した特定周波数データＤ１１，Ｄ２１を生成する。

具体的に、特定周波数データ生成部３３は、差動トランス１７ｄにより出力された波形データＤ０から得られた第一次データＤ１に含まれる変位成分のうち、特定の周波数帯域以外の変位成分を第一次データＤ１から除去した特定周波数データＤ１１を生成する。同様に、特定周波数データ生成部３３は、第二次データＤ２に含まれる変位成分のうち、特定の周波数帯域以外の変位成分を第二次データＤ２から除去した特定周波数データＤ２１を生成する。

なお、特定周波数データ生成部３３において抽出される特定の周波数帯域は、各々の検出器２３ａが有する周波数特性により決定される。例えば、特定周波数データ生成部３３は、第一次データＤ１または第二次データＤ２の波形データにおいて、特徴が振幅の大きさとして現れる周波数帯域の変位成分を抽出する。また、特定周波数データ生成部３３は、１つの第一次データＤ１または第二次データＤ２から、抽出する周波数帯域が異なる複数の特定周波数データＤ１１，Ｄ２１を生成することができる。

この点に関して、差動トランス１７ｄと加速度センサ１７ｅとでは、周波数特性が異なる。従って、実測データ生成部３０は、差動トランス１７ｄおよび加速度センサ１７ｅの各々から得られた波形データから特定周波数データを生成することにより、研削部位データとして有効となり得る特定周波数データを、多く生成することができる。また、差動トランス１７ｄと加速度センサ１７ｅとでは、周波数特性の範囲が一部において重複するので、周波数特性が重複するに範囲おいて、差動トランス１７ｄと加速度センサ１７ｅとの双方から特定周波数データを取得できる。

第三次データ生成部３４は、特定周波数データＤ１１，Ｄ２１を逆フーリエ変換することにより、変位成分と時間成分とを含む第三次データＤ３１，Ｄ３２を生成する。具体的に、第三次データ生成部３４は、差動トランス１７ｄにより出力された波形データＤ０から得られた特定周波数データＤ１１を逆フーリエ変換することにより、第三次データＤ３１を生成する。つまり、当該第三次データＤ３１は、差動トランス１７ｄにより出力された波形データＤ０から特定の周波数帯域以外の周波数成分を除去した波形データである。

また、第三次データ生成部３４は、加速度センサ１７ｅにより出力された波形データＤ０から得られた特定周波数データＤ２１を逆フーリエ変換することにより、第三次データＤ３２を生成する。つまり、当該第三次データＤ３２は、加速度センサ１７ｅにより出力された波形データＤ０から特定の周波数帯域以外の周波数成分を除去し、加速度成分を変位成分に変換した波形データである。

このように、実測データ生成部３０は、検出器２３ａにより出力された波形データＤ０を加工し、工作物Ｗの研削品質との相関性が高い波形データ（第一次データＤ１、第二次データＤ２、特定周波数データＤ１１，Ｄ２１および第三次データＤ３１、Ｄ３２）に変換する。そして、機械学習装置１００は、実測データ生成部３０により生成された実測データを、第二実測データとする取得し、第一学習モデルを生成することで、第一学習モデルの学習精度を向上させることができる。

（１－４．機械学習装置１００に関連する外部装置２の構成）
図３に戻り、機械学習装置１００に関連する外部装置２の構成を説明する。外部装置２は、研削盤１にて砥石車１６によって研削された工作物Ｗの研削品質データを工作物Ｗ毎に検出する。研削品質データには、例えば、加工変質層データ（研削焼け等のデータ）、表面性状データ（表面粗さ等のデータ）、びびり模様データ、真円度データ等が含まれる。

すなわち、外部装置２は、加工変質層データ（研削焼け、研削による軟化層等に関するデータ）を取得する加工変質層検出器、表面性状データ（表面粗さ等に関するデータ）を取得する表面性状測定器、びびり模様データを取得するびびり検出器、真円度を測定する真円度測定器等である。なお、外部装置２は、当該データを直接取得する装置としてもよい。また、外部装置２は、相関を有する別データを取得して、当該別データを用いて演算することにより目的のデータを取得する装置、すなわち目的のデータを間接的に取得する装置としてもよい。

加工変質層データは、加工変質層の有無に関するデータとしてもよいし、加工変質層の程度に関するスコアとしてもよい。表面性状データは、例えば表面粗さの値そのものとしてもよいし、表面粗さの程度に関するスコアとしてもよい。また、びびり模様データは、びびり模様の有無に関するデータとしてもよいし、びびり模様の程度に関するスコアとしてもよい。真円度データは、例えば真円度の値そのものとしてもよいし、真円度に関するスコアとしてもよい。各スコアは、例えば、複数段階の評点などで表される。

（１－５．機械学習装置１００の第一学習フェーズ１０１の詳細構成）
機械学習装置１００の第一学習フェーズ１０１の詳細構成について図３を参照して説明する。ここで、第一学習フェーズ１０１の構成が、研削品質推定モデル生成装置に相当する。

第一学習フェーズ１０１の構成は、第一入力データを取得する第一入力データ取得部１３０と、研削品質データを取得する研削品質データ取得部１４０と、第一学習モデル生成部１５０と、第一学習モデル記憶部１６０とを備えて構成される。

第一入力データ取得部１３０は、複数の工作物Ｗに関する第一入力データを、機械学習の第一学習用入力データとして取得する。また、研削品質データ取得部１４０は、当該複数の工作物Ｗに関する研削品質データを、機械学習の第一教師データとして取得する。ここで、第一学習用入力データおよび第一教師データは、表１に示すとおりである。表１に示すように、第一学習用入力データは、多数のデータとしているが、表１に示す全てのデータを用いる必要はなく、一部のデータのみを用いるようにしてもよい。

第一入力データ取得部１３０は、動作関連データ取得部１１０と、実測データ取得部１２０とを備える。動作関連データ取得部１１０は、制御装置２０への動作指令データを取得する動作指令データ取得部１１１、制御装置２０により制御される駆動装置１２ａ等の実動作データをセンサ２１から取得する実動作データ取得部１１２を備える。

動作関連データのうちの動作指令データは、表１に示すように、工程毎の指令切込速度、工程切替時の移動体１４，１５の指令位置、砥石車１６の指令回転速度、工作物Ｗの指令回転速度、クーラントの供給情報等である。ここで、工作物Ｗの研削は、例えば、粗研、精研、微研、スパークアウト等の複数の研削工程によって行われる。動作関連データのうちの実動作データは、表１に示すように、モータ１２ａ等の駆動電流、モータ１２ａ等の実位置等である。実動作データ取得部１１２は、工作物Ｗ毎に所定期間分の実動作データを取得する。所定期間分とは、例えば、研削初期から研削終期まで、粗研の初期から粗研の終期まで等である。なお、研削が非定常状態の時には、不安定であるため、定常状態のみを対象としてデータを取得することも可能である。

実測データ取得部１２０は、第一実測データをセンサ２２から取得する第一実測データ取得部１２１、第二実測データをセンサ２３および実測データ生成部３０から取得する第二実測データ取得部１２２を備える。第一実測データは、砥石車１６により工作物Ｗの研削を行っている際の実測データであって、構造部材１５等の振動、構造部材１５等の変形量等である。第二実測データは、砥石車１６により工作物Ｗの研削を行う際の実測データであって、工作物Ｗの寸法（径）、研削点温度、定寸装置１７の振動、研削部位において発生する音等である。

第一実測データ取得部１２１は、第一実測データを、工作物Ｗ毎に所定期間分取得する。また、第二実測データ取得部１２２も、第二実測データを、工作物Ｗ毎に所定期間分取得する。第一実測データおよび第二実測データは、上述した実動作データと同一の所定期間の分だけ取得される。所定期間は、上述したように、例えば、研削初期から研削終期まで、粗研の初期から粗研の終期まで等である。

なお、第二実測データ取得部１２２は、各々の検出器２３ａにより出力された波形データＤ０に基づいて実測データ生成部３０が生成した実測データに関して、当該実測データの一部または全部を取得する。つまり、第二実測データ取得部１２２は、実測データ生成部３０において生成された第一次データＤ１、第二次データＤ２、特定周波数データＤ１１，Ｄ２１、第三次データＤ３１、Ｄ３２の一部のみを取得してもよく、全てを取得してもよい。

研削品質データ取得部１４０は、外部装置２によって取得された複数の工作物Ｗに関する研削品質データを、教師有り学習の第一教師データとして取得する。つまり、研削品質データ取得部１４０は、例えば、加工変質層データ（研削焼け、研削による軟化層等に関するデータ）、表面性状データ（表面粗さ等のデータ）、びびり模様データ、真円度データ等を、第一教師データとして取得する。

第一学習モデル生成部１５０は、教師有り学習を行って、第一学習モデルを生成する。詳細には、第一学習モデル生成部１５０は、第一入力データ取得部１３０が取得した複数の工作物Ｗに関する第一入力データを第一学習用入力データとし、且つ、研削品質データ取得部１４０が取得した複数の工作物Ｗに関する研削品質データを第一教師データとする機械学習により、工作物Ｗの研削品質を推定するための第一学習モデルを生成する。

つまり、第一学習モデル生成部１５０は、動作指令データ、実動作データ、第一実測データ、第二実測データを第一学習用入力データとし、且つ、研削品質データを第一教師データとする機械学習により、第一学習モデルを生成する。第一学習モデルは、第一学習用入力データと第一教師データとの関係を示すモデルである。

ここで、第一学習用入力データのうち、少なくとも、実動作データ、第一実測データおよび第二実測データは、工作物Ｗ毎の所定期間分のデータである。従って、１つの工作物Ｗに関する第一学習用入力データだけでも、多量のデータとなる。さらに、複数の工作物Ｗに関する第一学習用入力データとなれば、極めて多量のデータとなる。しかし、第一学習モデルは、機械学習を用いることによって、複数の工作物Ｗに関する多量の第一学習用入力データを用いるとしても、容易に生成することができる。従って、後述するが、工作物Ｗの研削品質に影響を及ぼす多量の第一学習用入力データを考慮して第一学習モデルを生成することで、結果として、工作物Ｗの研削品質を取得することができる。

第一学習モデルは、工作物Ｗの研削品質として、工作物Ｗの加工変質層の状態、工作物Ｗの表面性状、工作物Ｗのびびり模様状態、および、真円度データを推定するためのモデルである。ただし、第一学習モデルは、これら全ての研削品質を推定する場合に限られず、これらの一部のみの研削品質を推定するようにしてもよい。そして、第一学習モデル生成部１５０によって生成された第一学習モデルは、第一学習モデル記憶部１６０に記憶される。

また、取得する所定期間が、研削初期から研削終期までである場合には、第一学習モデルは、全ての研削工程を考慮したモデルとなる。一方、取得する所定期間が、例えば粗研の初期から粗研の終期までである場合には、第一学習モデルは、粗研工程のみを考慮した学習モデルとなる。研削品質に影響を及ぼす工程を特定したい場合には、工程毎に第一学習モデルを取得するようにしてもよい。

（１－６．機械学習装置１００の推定フェーズ１０２の詳細構成）
機械学習装置１００の推定フェーズ１０２の詳細構成について図５を参照して説明する。ここで、第一学習フェーズ１０１の構成および推定フェーズ１０２の構成が、研削品質推定装置に相当する。第一学習フェーズ１０１の構成は、上述したとおりである。

推定フェーズ１０２の構成は、第一入力データを取得する第一入力データ取得部１３０と、第一学習モデル記憶部１６０と、研削品質推定部１７０と、判別部１８０とを備えて構成される。第一入力データ取得部１３０は、新たな工作物Ｗの研削における第一入力データを所定期間分取得しており、第一学習フェーズ１０１において説明した内容と実質的に同一である。ここでの所定期間とは、第一学習フェーズ１０１における所定期間と同一とする。第一学習モデル記憶部１６０は、第一学習フェーズ１０１において説明したように、第一学習モデル生成部１５０によって生成された第一学習モデルを記憶する。

研削品質推定部１７０は、新たな工作物Ｗの研削を行っている際の所定期間分の第一入力データを推定用入力データとし、第一学習モデル記憶部１６０に記憶されている第一学習モデルを用いることで、新たな工作物Ｗの研削品質を推定する。ここで、第一学習モデルは、上述したように、第一学習用入力データと、第一教師データとの関係を示すモデルである。そして、第一学習モデルは、第一教師データである研削品質データとして、工作物Ｗの加工変質層の状態、工作物Ｗの表面性状、工作物Ｗのびびり模様状態、および、真円度データに関するモデルである。

そこで、研削品質推定部１７０は、研削品質として、工作物Ｗの加工変質層の状態、工作物Ｗの表面性状、工作物Ｗのびびり模様状態、および真円度を推定する。ただし、研削品質推定部１７０は、当該全ての研削品質を推定するのではなく、一部の研削品質のみを推定するようにしてもよい。例えば、研削品質推定部１７０は、真円度のみを推定するようにしてもよい。この場合、第一学習モデルが、真円度のみを推定するようなモデルとして生成されていることになる。

研削品質推定部１７０は、上記のように、複数の対象を推定している。機械学習を適用して生成された第一学習モデルを用いることにより、研削品質推定部１７０は、複数の対象を容易に推定することができる。このように、機械学習装置１００は、複雑化された対象を一度に推定することができる。

判別部１８０は、研削品質推定部１７０により推定された工作物Ｗの研削品質に基づいて工作物Ｗの良否を判別する。例えば、判別部１８０は、推定された加工変質層の状態に基づいて、工作物Ｗに加工変質層が存在している（所定条件を満たしていない）と判別された場合には、当該工作物Ｗは不良品と判別する。また、判別部１８０は、推定された表面性状が所定条件を満たしていないと判別された場合には、当該工作物Ｗは不良品と判別する。また、判別部１８０は、推定されたびびり模様状態に基づいて、びびり模様が存在している（所定条件を満たしていない）と判別された場合には、当該工作物Ｗは不良品と判別する。また、判別部１８０は、推定された真円度に基づいて、真円度が所定値以上であると判別された場合には、当該工作物Ｗは不良品と判別する。

一方、判別部１８０は、加工変質層の状態、表面性状、びびり模様状態、および真円度に関して各条件を満たす場合に、当該工作物Ｗは良品と判別する。このように、機械学習を適用して生成された第一学習モデルを用いることにより、複数の条件について、容易に判別することができる。

（２．第二実施形態）
（２－１．機械学習装置２００の概要）
第二実施形態の機械学習装置２００の概要について、図６を参照して説明する。機械学習装置２００は、第一実施形態の機械学習装置１００と同様に、（ａ）工作物Ｗの研削品質を推定するための第二学習モデルを生成すると共に、（ｂ）第二学習モデルを用いて工作物Ｗの研削品質を推定する。

機械学習装置２００は、第二学習モデルを生成する第二学習フェーズ２０１において機能する要素１０１ａ，１０１ｂ，２０１ｃ、および、研削品質を推定する推定フェーズ１０２において機能する要素１０２ａ，１０２ｂを備える。なお、推定フェーズ１０２は、第一実施形態の対応するフェーズと同一構成を有する。

機械学習装置２００は、第一学習フェーズ１０１において機能する要素として、第一学習用入力データを取得する要素１０１ａ、第一教師データを取得する要素１０１ｂ、および、第二学習モデルの生成を行う要素２０１ｃを備える。要素２０１ｃにおいて生成される第二学習モデルは、第一学習用入力データおよび第一教師データに基づいて、機械学習のうち教師有り学習を行うことによって工作物Ｗの研削品質を推定するためのモデル（関数）である。ただし、第二学習モデルは、研削品質の分類分けを行うことを目的として、教師無し学習を適用することにより生成することもできる。ただし、教師有り学習を適用する場合には、高精度に研削品質を取得することができる。

機械学習装置２００に関連する研削盤１の構成について、図７を参照して説明する。図７に示すように、研削盤１は、研削品質データを生成する研削品質データ生成部４０を備える。この研削品質データ生成部４０は、一部の外部装置２の代わりとして用いられ、研削品質データ取得部１４０は、研削品質データを外部装置２および研削品質データ生成部４０の双方から取得する。

なお、研削品質データ生成部４０は、第一実施形態の機械学習装置１００に設けられる実測データ生成部３０と同一構成を有する。つまり、機械学習装置２００は、第一実施形態の機械学習装置１００において、実測データ生成部３０により生成され、実測データ取得部１２０により第二実測データとして取得されていたデータを、研削品質データとして用いる。

そして、研削品質データ生成部４０により生成される研削品質データには、表面性状データ（表面粗さ等のデータ）、びびり模様データ、真円度データ等が含まれる。例えば、真円度との相関性が高い第三次データＤ３１，Ｄ３２が得られる場合に、当該第三次データＤ３１，Ｄ３２は、真円度測定器による測定結果の代わりに、真円度データとして用いることができる。また、びびり模様の有無との相関性が高い特定周波数データＤ１１，Ｄ２１が得られる場合に、当該特定周波数データＤ１１，Ｄ２１は、びびり検出器による検出結果の代わりに、びびり模様データとして用いることができる。つまり、機械学習装置２００は、研削品質データ生成部４０により生成された研削品質データを、表面性状測定器、びびり検出器、真円度測定器から得られる表面性状データ、びびり模様データ、真円度データの代わりに用いることができる。

ここで、図８を参照して、研削盤１の機外に設けられた外部装置２により検出された研削品質データと、加速度センサ１７ｅにより出力された波形データから生成された第二次データＤ２との比較結果を説明する。図８に示す上のグラフは、一の工作物Ｗに対し、外部装置２により検出された研削品質データを示し、図８に示す下のグラフは、第二次データＤ２を示す。図８において、横軸は、周波数成分を示し、縦軸は、変位成分を示す。

図８に示すように、第二次データＤ２の波形データは、特徴が振幅の大きさとして示される周波数帯域、および、当該周波数帯域における変位成分の程度が近似する。そこで、機械学習装置２００は、第二学習フェーズ２０１において、研削品質データの一部を研削品質データ生成部４０から取得する。これにより、機械学習装置２００は、全ての研削品質データを外部装置２から取得する場合と比べて、機外での研削品質データの取得に要する時間を短縮できるので、サイクルタイムの短縮を図ることができる。

（２－３．機械学習装置２００の第二学習フェーズ２０１の詳細構成）
図７に戻り、機械学習装置２００の第二学習フェーズ２０１の詳細構成を説明する。機械学習装置２００の第二学習フェーズ２０１の構成は、第一入力データ取得部１３０と、研削品質データを取得する研削品質データ取得部１４０と、第二学習モデル生成部２５０と、第二学習モデル記憶部２６０とを備えて構成される。第二学習モデル生成部２５０は、第一実施形態における第一学習モデル生成部１５０と同一構成であり、第二学習モデル記憶部２６０は、第一実施形態における第一学習モデル記憶部１６０と同一構成である。

なお、機械学習装置２００の第一学習フェーズ１０１において、第二実測データ取得部１２２は、センサ２３から第二実測データを、工作物Ｗ毎に所定期間分取得する。つまり、第二実施形態における第二実測データ取得部１２２は、実測データ生成部３０から第二実測データを取得しない点において、第一実施形態における第二実測データ取得部１２２と異なる。また、研削品質データ取得部１４０は、複数の工作物Ｗに関する研削品質データを外部装置２および研削品質データ生成部４０から取得する。そして、外部装置２および研削品質データ生成部４０から取得した研削品質データは、教師有り学習の第一教師データとして用いられる。つまり、機械学習装置２００において第一学習用入力データおよび第一教師データは、表２に示すとおりとなる。ここで、表２に示すように、第一学習用入力データは、多数のデータとしているが、表２に示す全てのデータを用いる必要はなく、一部のデータのみを用いるようにしてもよい。

（２－４．機械学習装置２００の推定フェーズ１０２の詳細構成）
機械学習装置２００の推定フェーズ１０２は、第一実施形態の推定フェーズ１０２と同一である。

なお、本実施形態において、機械学習装置２００は、実測データ生成部３０を研削品質データ生成部４０と併せて備えていてもよい。この場合、研削品質データ生成部４０により生成可能なデータのうち、一のデータを研削品質データとして用いる場合、実測データ取得部１２０は、当該一のデータを取得しない。これにより、機械学習装置２００は、当該一のデータが第一学習用入力データデータおよび第一教師データの両方に用いられることを回避できる。

（３．第三実施形態）
（３－１．機械学習装置３００の概要）
第三実施形態の機械学習装置３００の概要について、図９を参照して説明する。機械学習装置３００は、第一実施形態の機械学習装置１００と同様に、（ａ）工作物Ｗの研削品質を推定するための第一学習モデルを生成すると共に、（ｂ）第一学習モデルを用いて工作物Ｗの研削品質を推定する。さらに、機械学習装置３００は、（ｃ）研削品質が良好となるように、研削盤１の動作指令データを調整するための第二学習モデルを生成すると共に、（ｄ）第二学習モデルを用いて研削品質が良好となるように、研削盤１の動作指令データを更新する。なお、機械学習装置３００は、上記（ａ）において、第一学習モデルの代わりに第二学習モデルを生成し、上記（ｂ）において、第一学習モデルの代わりに第二学習モデルを用いて工作物Ｗの研削品質を推定してもよい。

機械学習装置３００は、第一学習モデルを生成する第一学習フェーズ１０１において機能する要素１０１ａ，１０１ｂ，１０１ｃ、および、研削品質を推定する推定フェーズ１０２において機能する要素１０２ａ，１０２ｂを備える。第一学習フェーズ１０１および推定フェーズ１０２は、第一実施形態の対応するフェーズと同一構成を有する。

また、機械学習装置３００は、第三学習モデルを生成する第三学習フェーズ３０３において機能する要素として、第二学習用入力データを取得する要素３０３ａ、第一評価結果データを取得する要素３０３ｂ、および、第三学習モデルの生成を行う要素３０３ｃを備える。

要素３０３ａにおいて取得される第二学習用入力データは、機械学習に用いられる入力データであって、例えば、動作指令データ等である。動作指令データは、第一実施形態における表１に示すように、工程毎の指令切込速度、工程切替時の移動体１４，１５の指令位置、砥石車１６の指令回転速度、工作物Ｗの指令回転速度、クーラントの供給情報等である。動作指令データは、制御装置２０にて実行されるＮＣプログラムを生成するためのデータである。

要素３０３ｂにおいて取得される第一評価結果データは、強化学習における機械学習に用いられる報酬を導き出すための評価結果データである。第一評価結果データは、工作物Ｗの研削品質データであって、例えば、工作物Ｗの加工変質層データ、工作物Ｗの表面性状データ、工作物Ｗのびびり模様データ、真円度データ等である。要素３０３ｃにおいて生成される第三学習モデルは、第二学習用入力データおよび第一評価結果データに基づいて、機械学習のうち強化学習を行うことによって研削盤１の動作指令データを調整するためのモデル（関数）である。

機械学習装置３００は、動作指令データを更新する更新フェーズ３０４において機能する要素として、更新用入力データを取得する要素３０４ａ、並びに、動作指令データの更新を行う要素３０４ｂを備える。要素３０４ａにおいて取得される更新用入力データは、第二学習用入力データと同種のデータであって、学習に用いた工作物Ｗとは異なる工作物Ｗ（新しい工作物Ｗ）に関して取得されるデータである。要素３０４ｂは、更新用入力データ、第三学習モデル、および、推定された研削品質を用いて、動作指令データを更新する。要素３０４ｂにて用いる第三学習モデルは、第三学習フェーズ３０３において機械学習によって生成される第三学習モデルである。また、推定された研削品質は、推定フェーズ１０２において推定された研削品質である。

（３－２．機械学習装置２００の第一学習フェーズ１０１の詳細構成）
機械学習装置２００の第一学習フェーズ１０１の詳細構成は、第一実施形態と同一構成である。

（３－３．機械学習装置３００の第三学習フェーズ３０３の詳細構成）
機械学習装置３００の第三学習フェーズ３０３の詳細構成について図１０を参照して説明する。ここで、第三学習フェーズ３０３の構成が、研削盤の動作指令データ調整モデル生成装置に相当する。

第三学習フェーズ３０３の構成は、動作指令データ取得部１１１と、研削品質データ取得部１４０と、報酬決定部３１０と、第三学習モデル生成部３２０と、第三学習モデル記憶部３３０とを備えて構成される。

動作指令データ取得部１１１は、研削盤１にて砥石車１６により工作物Ｗの研削を行う際において、研削盤１の制御装置２０への動作指令データを取得する。動作指令データ取得部１１１は、複数の工作物Ｗに関する動作指令データを、機械学習の第二学習用入力データとして取得する。また、研削品質データ取得部１４０は、複数の工作物Ｗに関する研削品質データを、機械学習の第一評価結果データとして取得する。ここで、第二学習用入力データおよび第一評価結果データは、表３に示すとおりである。ここで、表３に示すように、第二学習用入力データは、多数のデータとしているが、表３に示す全てのデータを用いる必要はなく、一部のデータのみを用いるようにしてもよい。

報酬決定部は３１０、第二学習用入力データである動作指令データおよび第一評価結果データである研削品質データを取得して、研削品質データに応じて、動作指令データに対する報酬を決定する。ここで、報酬は、強化学習において、動作指令データの組み合わせに対する報酬である。そして、当該動作指令データに対応する研削品質データが望ましい結果を導き出した時に、当該動作指令データに対して多くの報酬が付与され、望ましくない結果を導き出した時に、当該動作指令データに対して少ない報酬（マイナスの報酬を含む）が付与される。

例えば、報酬決定部３１０は、工作物Ｗの加工変質層データにおいて、加工変質層が無い場合に報酬を多くし、加工変質層が有る場合に報酬を少なくする。また、報酬決定部３１０は、工作物Ｗの表面性状データが所定閾値以下の場合に報酬を多くし、表面性状データが所定閾値より大きい場合に報酬を少なくする。さらに、報酬決定部３１０は、工作物Ｗのびびり模様データにおいて、びびり模様が無しの場合に報酬を多くし、びびり模様が有りの場合に報酬を少なくする。さらに、報酬決定部３１０は、真円度データにおいて、真円度が所定値未満の場合に報酬を多くし、真円度が所定値以上の場合に報酬を少なくする。なお、報酬決定部３１０は、加工変質層データ、表面性状データ、びびり模様データ、および、真円度データの全てに基づいて報酬を決定してもよいし、これらの何れかのみに基づいて報酬を決定してもよい。

第三学習モデル生成部３２０は、機械学習により、報酬を多くするように動作指令データを調整するための第三学習モデルを生成する。第三学習モデル生成部３２０において、強化学習として、例えば、Ｑ学習、Sarsa、モンテカルロ法等が適用される。

ここで、調整前の動作指令データが、第一の工作物Ｗに関するデータであり、調整後の動作指令データが、第二の工作物Ｗに関するデータであるとする。第一の工作物Ｗに関する動作指令データと当該第一の工作物Ｗの研削品質データとの関係を、第一データ関係とする。第二の工作物Ｗの動作指令データと当該第二の工作物Ｗの研削品質データとの関係を、第二データ関係とする。

そして、第三学習モデルは、調整前である第一データ関係と調整後である第二データ関係との相互関係を表すモデルである。第三学習モデル生成部３２０は、調整後である第二の工作物Ｗの研削品質データが調整前である第一の工作物Ｗの研削品質データより良好となるように、すなわち報酬が多くなるように、調整前である第一の工作物Ｗの動作指令データから調整後である第二の工作物Ｗの動作指令データへの調整方法を学習する。

ただし、調整後の動作指令データは、調整前の動作指令データに対して、予め設定された制約の範囲内で調整可能とされている。例えば、調整可能なパラメータの一つである指令切込速度においては、調整後の指令切込速度は、調整前の指令切込速度に対して所定割合（例えば±３％）内に制限されている。所定割合は、任意に設定可能である。その他の調整可能なパラメータについても同様である。また、調整可能なパラメータを設定することも可能である。そして、生成された第三学習モデルは、第三学習モデル記憶部３３０に記憶される。

なお、第三学習モデル生成部３２０は、後述する更新フェーズ３０４においても第三学習モデルを学習することも可能である。この場合、第一評価結果データである研削品質データは、推定フェーズ１０２（第一実施形態にて説明）により得られた研削品質データを用いる。

（３－４．機械学習装置３００の推定フェーズ１０２の詳細構成）
機械学習装置３００の推定フェーズ１０２は、第一実施形態の推定フェーズ１０２と同一である。

（３－５．機械学習装置３００の更新フェーズ３０４の詳細構成）
機械学習装置３００の更新フェーズ３０４の詳細構成について図１１を参照して説明する。ここで、第三学習フェーズ３０３の構成および更新フェーズ３０４の構成が、研削盤の動作指令データ更新装置に相当する。第三学習フェーズ３０３の構成は、上述したとおりである。

更新フェーズ３０４の構成は、動作指令データ取得部１１１と、研削品質データ取得部１４０と、報酬決定部３１０と、第三学習モデル記憶部３３０と、動作指令データ調整部３４０とを備えて構成される。

動作指令データ取得部１１１および研削品質データ取得部１４０は、新たな工作物Ｗの研削における各データを取得し、第三学習フェーズ３０３において説明した内容と実質的に同一である。報酬決定部３１０は、新たな工作物Ｗの研削において取得した動作指令データおよび研削品質データを用いて、報酬を決定する。すなわち、報酬決定部３１０は、新たな工作物Ｗの研削に関して、研削品質データに応じて、動作指令データに対する報酬を決定する。第三学習モデル記憶部３３０は、第三学習フェーズ３０３において説明したように、第三学習モデル生成部３２０によって生成された第三学習モデルを記憶する。

動作指令データ調整部３４０は、新たな工作物Ｗの研削に関する動作指令データ、新たな工作物Ｗの研削品質データ、報酬、および、第三学習モデルを用いて、動作指令データの調整方法を決定し、決定した調整方法に基づいて動作指令データの調整を行う。ここで、第三学習モデルは、報酬が多くなるように、調整前の動作指令データから調整後の動作指令データへの調整方法を学習することによって生成されたモデルである。

詳細には、動作指令データ調整部３４０は、現在の動作指令データを調整前の動作指令データとして取得し、そのときの報酬を取得する。この場合に、動作指令データ調整部３４０は、現在の動作指令データと、現在の動作指令データに対する報酬と、第三学習モデルとを用いて、調整すべき動作指令データを決定する。つまり、調整すべき動作指令データは、現在の動作指令データにおける報酬よりも多くの報酬となるような動作指令データとなる。

動作指令データ調整部３４０の処理において、調整すべき動作指令データとして、報酬が同等となる複数の候補が出力される場合がある。この場合には、例えば、動作指令データ調整部３４０は、調整するパラメータの優先順位を設定することにより、複数の候補に対して順位付けを行うことができる。例えば、調整するパラメータの優先順位とは、第一位を指令切込速度とし、第二位を工作物Ｗの指令回転速度とする等である。

そして、動作指令データ調整部３４０は、第一位の候補を、調整すべき動作指令データと決定し、現在の動作指令データを当該調整すべき動作指令データに更新する。そうすると、研削盤１は、更新された動作指令データに基づいて工作物Ｗの研削を行う。そして、機械学習装置３００の更新フェーズ３０４において、当該工作物Ｗの研削における各データに基づいて、再び、次の研削における動作指令データを調整する。なお、動作指令データの調整の頻度を設定することもできる。例えば、設定数の工作物Ｗを研削した後に、動作指令データを調整するようにしてもよい。

つまり、機械学習装置３００の機械学習により生成された第三学習モデルを用いて動作指令データが更新される。そのため、研削状態が変化したとしても、動作指令データが現在の研削状態に応じて更新されていく。このように動作指令データが更新されることによって、工作物Ｗの研削品質を良好とすることができる。

（４．第四実施形態）
（４－１．機械学習装置４００の概要）
第四実施形態の機械学習装置４００の概要について、図１２を参照して説明する。機械学習装置４００は、（ａ）工作物Ｗの研削品質を推定するための第一学習モデルを生成すると共に、（ｂ）第一学習モデルを用いて工作物Ｗの研削品質を推定する。なお、機械学習装置４００は、上記（ａ）において、第一学習モデルの代わりに第二学習モデルを生成し、上記（ｂ）において、第一学習モデルの代わりに第二学習モデルを用いて工作物Ｗの研削品質を推定してもよい。

さらに、機械学習装置４００は、（ｅ）砥石車１６の表面状態を推定するための第四学習モデルを生成すると共に、（ｆ）第四学習モデルを用いて砥石車１６の表面状態を推定する。さらに、機械学習装置４００は、（ｇ）研削品質が良好となるように、且つ、砥石車１６の修正または交換の頻度を少なくするように、研削盤１の動作指令データを調整するための第三学習モデルを生成すると共に、（ｈ）第三学習モデルを用いて、研削品質が良好となるように、且つ、砥石車１６の修正または交換の頻度を少なくするように、研削盤１の動作指令データを更新する。

機械学習装置４００は、第一学習モデルおよび第四学習モデルを生成する第一学習フェーズ４０５において機能する要素１０１ａ，１０１ｂ，１０１ｃ，４０５ｄ，４０５ｅを備える。機械学習装置４００は、第一学習フェーズ４０５において機能する要素として、第一学習用入力データを取得する要素１０１ａ、第一教師データを取得する要素１０１ｂ、第一学習モデルの生成を行う要素１０１ｃ、第二教師データを取得する要素４０５ｄ、および、第四学習モデルの生成を行う要素４０５ｅを備える。ここで、要素１０１ａ，１０１ｂ，１０１ｃは、第一実施形態の対応する要素と同一構成を有する。

要素４０５ｄにおいて取得される第二教師データは、教師有り学習における機械学習に用いられる教師データである。第二教師データは、砥石車１６の表面状態を表すデータ（砥石車１６の表面状態データ）である。砥石車１６の表面状態データは、例えば、目つぶれ、目詰まり、目こぼれ等が生じている状態に関するデータ、目立てすぎの状態に関するデータ等である。

砥石車１６の表面は、工作物Ｗの研削品質に影響を及ぼす。すなわち、砥石車１６の表面状態とは、工作物Ｗの研削品質に影響を及ぼす程度である。砥石車１６の表面状態とは、例えば、目つぶれ、目詰まり、目こぼれ等が生じている状態、目立てすぎの状態等である。そして、砥石車１６の表面状態が良好でない場合には、工作物Ｗの研削品質が低下するおそれがある。従って、砥石車１６の表面状態を把握することが求められる。

砥石車１６の表面状態が、目つぶれ、目詰まり、目こぼれ等が生じている場合には、ドレッシングを行ったり、ツルーイングにより成形した後にドレッシングを行ったりすることが必要となる。また、砥石車１６の表面状態が、目立てすぎの状態であれば、ツルーイングを行うことが必要となる。通常、ツルーイング後には、ドレッシングが行われる。そして、ツルーイング回数が所定回数に到達した場合には、または、ツルーイングにより所定量成形した場合には、砥石車１６の交換を行う必要がある。

そして、砥石車１６の寿命を向上するためには、ツルーイングおよびドレッシングを行う回数を少なくすることが求められる。さらに、ツルーイング、ドレッシングおよび砥石車１６の交換を行うと、これらに要する時間によって、研削サイクル時間が長くなることになる。当然に、研削サイクル時間を短くすることが求められる。この観点においても、砥石車１６の表面状態を把握することが求められる。そこで、要素４０５ｄは、砥石車１６の表面状態データを第二教師データとして取得することとしている。なお、砥石車１６の表面状態データとは、工作物の研削品質に影響を及ぼす程度を示すデータである。

要素４０５ｅにおいて生成される第四学習モデルは、第一学習用入力データおよび第二教師データに基づいて、機械学習のうち教師有り学習を行うことによって砥石車１６の表面状態を推定するためのモデル（関数）である。ただし、第四学習モデルは、砥石車１６の表面状態の分類分けを行うことを目的として、教師無し学習を適用することにより生成することもできる。ただし、教師有り学習を適用する場合には、高精度に、砥石車１６の表面状態を取得することができる。

機械学習装置４００は、第三学習モデルを生成する第三学習フェーズ４０６において機能する要素３０３ａ，３０３ｂ，４０６ｄ，４０６ｅを備える。機械学習装置４００は、第三学習フェーズ４０６において機能する要素として、第二学習用入力データを取得する要素３０３ａ、第一評価結果データを取得する要素３０３ｂ、第二評価結果データを取得する要素４０６ｄ、および、第三学習モデルの生成を行う要素４０６ｅを備える。ここで、要素３０３ａ，３０３ｂは、第三実施形態の対応する要素と同一構成を有する。

要素４０６ｄにおいて取得する第二評価結果データは、強化学習における機械学習に用いられる報酬を導き出すための評価結果データである。第二評価結果データは、砥石車１６の表面状態データである。要素４０６ｅにおいて生成される第三学習モデルは、第二学習用入力データ、第一評価結果データおよび第二評価結果データに基づいて、機械学習のうち強化学習を行うことによって研削盤１の動作指令データを調整するためのモデル（関数）である。

機械学習装置４００は、研削品質および砥石車１６の表面状態を推定する推定フェーズ４０７において機能する要素として、推定用入力データを取得する要素１０２ａ、並びに、研削品質の推定および工作物Ｗの良否の判別を行う要素１０２ｂを備える。ここで、要素１０２ａ，１０２ｂは、第一実施形態の対応する要素と同一構成を有する。

さらに、機械学習装置４００は、推定フェーズ４０７において機能する要素として、砥石車１６の表面状態の推定、並びに、砥石車１６のツルーイングの実行、砥石車１６のドレッシングの実行、および、砥石車１６の交換の実行を判別する要素４０７ｃを備える。要素４０７ｃは、推定用入力データと第四学習モデルとを用いて砥石車１６の表面状態を推定すると共に、推定された砥石車１６の表面状態に基づいて、砥石車１６のツルーイングの実行、砥石車１６のドレッシングの実行、および、砥石車１６の交換の実行を判別する。要素４０７ｃにて用いる第三学習モデルは、第一学習フェーズ４０５において機械学習によって生成される第四学習モデルである。

機械学習装置４００は、動作指令データを更新する更新フェーズ４０８において機能する要素として、更新用入力データを取得する要素３０４ａ、並びに、動作指令データの更新を行う要素４０８ｃを備える。ここで、要素３０４ａは、第三実施形態の対応する要素と同一構成を有する。要素４０８ｃは、更新用入力データ、第三学習モデル、推定された研削品質、および、推定された砥石車１６の表面状態を用いて、動作指令データを更新する。要素４０８ｃにて用いる第三学習モデルは、第三学習フェーズ４０６において機械学習によって生成される第三学習モデルである。また、推定された研削品質は、推定フェーズ４０７において推定された研削品質である。推定された砥石車１６の表面状態は、推定フェーズ４０７において推定された砥石車１６の表面状態である。

（４－２．機械学習装置４００の第一学習フェーズ４０５の詳細構成）
機械学習装置４００の第一学習フェーズ４０５の詳細構成について図１３を参照して説明する。第一学習フェーズ４０５の構成は、研削品質推定モデル生成装置、および、砥石車表面状態推定モデル生成装置を構成する。第一学習フェーズ４０５の構成は、第一入力データ取得部１３０と、品質データ取得部４１０と、第一学習モデル生成部１５０と、第四学習モデル生成部４２０と、第一学習モデル記憶部１６０と、第四学習モデル記憶部４３０とを備えて構成される。

第一入力データ取得部１３０は、複数の工作物Ｗに関する第一入力データを、機械学習の第一学習用入力データとして取得する。品質データ取得部４１０は、研削品質データを取得する研削品質データ取得部１４０と、砥石車１６の表面状態データを取得する砥石車表面状態データ取得部４１１とを備える。研削品質データ取得部１４０は、複数の工作物Ｗに関する研削品質データを、機械学習の第一教師データとして取得する。また、砥石車表面状態データ取得部４１１は、工作物Ｗ毎に研削後における砥石車１６の表面状態を、機械学習の第二教師データとして取得する。ここで、第一学習用入力データ、第一教師データおよび第二教師データは、表４に示すとおりである。

第一入力データ取得部１３０および研削品質データ取得部１４０は、第一実施形態の対応する構成と同一構成を有する。砥石車表面状態データ取得部４１１は、外部装置２によって取得された工作物Ｗの研削品質データに対応する砥石車１６の表面状態データを、教師有り学習の第二教師データとして取得する。

砥石車１６の表面状態データは、工作物Ｗの真円度に対応する第一表面状態データ、工作物Ｗの表面性状に対応する第二表面状態データ、工作物Ｗのびびり模様状態に対応する第三表面状態データ、および、工作物Ｗの加工変質層の状態に対応する第四表面状態データを含む。ただし、第一表面状態データは、真円度データそのものとしてもよいし、真円度データに基づいて演算したデータとしてもよい。また、第二表面状態データは、工作物Ｗの表面性状データそのものとしてもよいし、表面性状データに基づいて演算したデータとしてもよい。第三表面状態データは、びびり模様データそのものとしてもよいし、びびり模様データに基づいて演算したデータとしてもよい。同様に、第四表面状態データは、加工変質層データそのものとしてもよいし、加工変質層データに基づいて演算したデータとしてもよい。

第一学習モデル生成部１５０は、第一学習モデルを学習し、第一実施形態の対応する構成と同一構成を有する。第一学習モデル記憶部１６０は、第一学習モデル生成部１５０によって生成された第一学習モデルを記憶する。

第四学習モデル生成部４２０は、教師有り学習を行って、第四学習モデルを生成する。詳細には、第四学習モデル生成部４２０は、第一入力データ取得部１３０が取得した第一入力データを第一学習用入力データとし、且つ、砥石車表面状態データ取得部４１１が取得した工作物Ｗ毎の砥石車１６の表面状態データを第二教師データとする機械学習により、砥石車１６の表面状態を推定するための第四学習モデルを生成する。

つまり、第四学習モデル生成部４２０は、動作指令データ、実動作データ、第一実測データ、第二実測データを第一学習用入力データとし、且つ、砥石車表面状態データを第二教師データとする機械学習により、第四学習モデルを生成する。第四学習モデルは、第一学習用入力データと第二教師データとの関係を示すモデルである。第一学習用入力データの種類が多数存在するとしても、機械学習を適用することにより第四学習モデルの生成が可能となる。

第四学習モデルは、砥石車１６の表面状態として、工作物の研削品質に影響を及ぼす程度を推定するためのモデルである。例えば、第一学習モデルは、砥石車１６の表面状態として、砥石車１６の目つぶれ、目詰まり、目こぼれ等が生じている状態、砥石車１６の目立てすぎの状態等を推定するためのモデルである。

例えば、第一学習モデルは、砥石車１６の表面状態として、工作物Ｗの真円度に対応する第一表面状態、工作物Ｗの表面性状に対応する第二表面状態、工作物Ｗのびびり模様状態に対応する第三表面状態、および、工作物Ｗの加工変質層の状態に対応する第四表面状態を推定するためのモデルである。ただし、第四学習モデルは、これら全ての表面状態を推定する場合に限られず、これらの一部のみの表面状態を推定するようにしてもよい。そして、第四学習モデル生成部４２０によって生成された第四学習モデルは、第四学習モデル記憶部４３０に記憶される。

（４－３．機械学習装置４００の第三学習フェーズ４０６の詳細構成）
機械学習装置４００の第三学習フェーズ４０６の詳細構成について図１３を参照して説明する。第三学習フェーズ４０６の構成は、研削盤の動作指令データ調整モデル生成装置を構成する。

第三学習フェーズ４０６の構成は、動作指令データ取得部１１１と、研削品質データ取得部１４０と、砥石車表面状態データ取得部４１１と、研削サイクル時間演算部４４０と、砥石車形状情報取得部４５０と、報酬決定部３１０と、第三学習モデル生成部３２０と、第三学習モデル記憶部３３０とを備えて構成される。

動作指令データ取得部１１１は、複数の工作物Ｗに関する動作指令データを、機械学習の第二学習用入力データとして取得する。また、研削品質データ取得部１４０は、当該複数の工作物Ｗに関する研削品質データを、機械学習の第一評価結果データとして取得する。砥石車表面状態データ取得部４１１は、工作物Ｗ毎の研削後における砥石車１６の表面状態データを、機械学習の第二評価結果データとして取得する。ここで、第二学習用入力データ、第一評価結果データおよび第二評価結果データは、表５に示すとおりである。ここで、表５に示すように、第二学習用入力データは、多数のデータとしているが、表５に示す全てのデータを用いる必要はなく、一部のデータのみを用いるようにしてもよい。

研削サイクル時間演算部４４０は、１個の工作物Ｗ当たりの研削サイクル時間を演算する。研削サイクル時間には、複数の工作物Ｗの研削に要する時間、前記研削において砥石車１６の交換に要する時間、前記研削において砥石車１６のドレッシングに要する時間、および、前記研削において砥石車１６のツルーイングに要する時間の合計を、工作物Ｗの数で除算した値である。つまり、砥石車１６の交換回数が少ないほど、砥石車１６のドレッシングの回数が少ないほど、さらには、砥石車１６のツルーイングの回数が少ないほど、研削サイクル時間が短くなる。

砥石車形状情報取得部４５０は、砥石車１６の形状情報を取得する。砥石車形状情報取得部４５０は、砥石車修正装置１８により測定された砥石車１６の寸法（径）を取得する。つまり、砥石車形状情報取得部４５０は、砥石車修正装置１８によって、砥石車１６のツルーイングまたはドレッシングが行われるときに取得される。さらに、砥石車形状情報取得部３５０は、砥石車１６の形状情報として、砥石車１６の寸法変化、および、砥石車１６の形崩れを取得することができる。

報酬決定部は３１０、第二学習用入力データである動作指令データ、第一評価結果データである研削品質データ、および、第二評価結果データである砥石車１６の表面状態データを取得して、研削品質データおよび表面状態データに応じて、動作指令データに対する報酬を決定する。ここで、報酬は、強化学習において、動作指令データの組み合わせに対する報酬である。

第二実施形態と同様に、当該動作指令データに対応する研削品質データが望ましい結果を導き出した時に、当該動作指令データに対して多くの報酬が付与され、望ましくない結果を導き出した時に、当該動作指令データに対して少ない報酬（マイナスの報酬を含む）が付与される。

さらに、当該動作指令データに対応する表面状態データが望ましい結果を導き出した時に、当該動作指令データに対して多くの報酬が付与され、望ましくない結果を導き出した時に、当該動作指令データに対して少ない報酬が付与される。

例えば、報酬決定部３１０は、第一表面状態データに対応する真円度が所定値未満の場合に報酬を多くし、真円度が所定値以上の場合に報酬を少なくする。また、報酬決定部３１０は、第二表面状態データに対応する工作物Ｗの表面性状データが所定閾値以下の場合に報酬を多くし、表面性状が所定閾値より大きい場合に報酬を少なくする。また、報酬決定部３１０は、第三表面状態データに対応するびびり模様が無しの場合に報酬を多くし、びびり模様が有りの場合に報酬を少なくする。同様に、報酬決定部３１０は、第四表面状態データに対応する加工変質層が無い場合に報酬を多くし、加工変質層が有る場合に報酬を少なくする。

さらに、報酬決定部３１０は、研削サイクル時間演算部４４０によって演算された研削サイクル時間を取得し、研削サイクル時間に応じて、動作指令データに対する報酬を決定する。詳細には、報酬決定部３１０は、研削サイクル時間が短くなるほど報酬を多くする。つまり、報酬決定部３１０は、砥石車１６の交換に要する時間、砥石車１６のドレッシングに要する時間、および、砥石車１６のツルーイングに要する時間の少なくとも一つが短くなるほど、報酬を多くする。

さらに、報酬決定部３１０は、砥石車形状情報取得部４５０が取得した砥石車１６の形状情報に基づいて、報酬を決定する。詳細には、報酬決定部３１０は、砥石車１６の寸法変化が小さくなるほど、砥石車１６の形崩れが小さくなるほど、報酬を多くする。

第三学習モデル生成部３２０は、機械学習により、報酬を多くするように動作指令データを調整するための第三学習モデルを生成する。生成された第三学習モデルは、第三学習モデル記憶部３３０に記憶される。

（４－４．機械学習装置４００の推定フェーズ４０７の詳細構成）
機械学習装置４００の推定フェーズ４０７の詳細構成について、図１４を参照して説明する。推定フェーズ４０７の構成は、第一入力データ取得部１３０と、第一学習モデル記憶部１６０と、第四学習モデル記憶部４３０と、研削品質推定部１７０と、砥石車表面状態推定部４６０と、判別部４７０とを備えて構成される。

砥石車表面状態推定部４６０は、新たな工作物Ｗの研削を行っている際の所定期間分の第一入力データを推定用入力データとし、第四学習モデル記憶部４３０に記憶されている第四学習モデルを用いることで、新たな工作物Ｗの研削を行った場合の砥石車１６の表面状態を推定する。ここで、第四学習モデルは、上述したように、第一学習用入力データと、第二教師データとの関係を示すモデルである。

そこで、砥石車表面状態推定部４６０は、砥石車１６の表面状態として、工作物Ｗの研削品質に影響を及ぼす程度を推定する。例えば、砥石車表面状態推定部４６０は、砥石車１６の表面状態として、工作物Ｗの真円度に対応する第一表面状態、工作物Ｗの表面性状に対応する第二表面状態、工作物Ｗのびびり模様状態に対応する第三表面状態、および、工作物Ｗの加工変質層の状態に対応する第四表面状態を推定する。ただし、砥石車表面状態推定部４６０は、当該全ての砥石車１６の表面状態を推定するのではなく、一部の表面状態のみを推定するようにしてもよい。例えば、砥石車表面状態推定部４６０は、第一表面状態のみを推定するようにしてもよい。この場合、第一学習モデルが、第一表面状態のみを推定するようなモデルとして生成されていることになる。

砥石車表面状態推定部４６０は、上記のように、表面状態として複数の対象を推定している。機械学習を適用して生成された第四学習モデルを用いることにより、砥石車表面状態推定部４６０は、複数の対象を容易に推定することができる。このように、機械学習装置４００は、複雑化された対象を一度に推定することができる。

判別部４７０は、研削品質推定部１７０により推定された工作物Ｗの研削品質に基づいて工作物Ｗの良否を判別する。さらに、判別部４７０は、砥石車表面状態推定部４６０により推定された砥石車１６の表面状態に基づいて、砥石車１６のツルーイングの実行、砥石車１６のドレッシングの実行、および、砥石車１６の交換の実行の少なくとも一つを判別する。

（４－５．機械学習装置３００の更新フェーズ４０８の詳細構成）
機械学習装置４００の更新フェーズ４０８の詳細構成について図１４を参照して説明する。更新フェーズ４０８の構成は、動作指令データ取得部１１１と、研削品質データ取得部１４０と、砥石車表面状態データ取得部４１１と、研削サイクル時間演算部４４０と、砥石車形状情報取得部４５０と、報酬決定部３１０と、第三学習モデル記憶部３３０と、動作指令データ調整部３４０とを備えて構成される。

動作指令データ取得部１１１、研削品質データ取得部１４０、および、砥石車表面状態データ取得部４１１は、新たな工作物Ｗの研削における各データを取得し、第三学習フェーズ４０６において説明した内容と実質的に同一である。また、研削サイクル時間演算部４４０、および、砥石車形状情報取得部４５０も、第三学習フェーズ４０６において説明した内容と実質的に同一である。

報酬決定部３１０は、新たな工作物Ｗの研削において取得した動作指令データ、研削品質データ、および、砥石車１６の表面状態データを用いて、報酬を決定する。すなわち、報酬決定部３１０は、新たな工作物Ｗの研削に関して、研削品質データおよび砥石車１６の表面状態データに応じて、動作指令データに対する報酬を決定する。さらに、報酬決定部３１０は、研削サイクル時間および砥石車１６の形状情報に応じて、動作指令データに対する報酬を決定する。第三学習モデル記憶部３３０は、第三学習フェーズ４０６において説明したように、第三学習モデル生成部３２０によって生成された第三学習モデルを記憶する。

動作指令データ調整部３４０は、新たな工作物Ｗの研削に関する動作指令データ、新たな工作物Ｗの研削品質データ、新たな工作物Ｗの研削を行った場合の砥石車１６の表面状態データ、報酬、および、第三学習モデルを用いて、動作指令データの調整方法を決定し、決定した調整方法に基づいて動作指令データの調整を行う。ここで、第三学習モデルは、報酬が多くなるように、調整前の動作指令データから調整後の動作指令データへの調整方法を学習することによって生成されたモデルである。動作指令データ調整部３４０は、実質的に、第三実施形態で説明した動作指令データ調整部３４０と同一である。

そして、機械学習装置３００の機械学習により生成された第三学習モデルを用いて動作指令データが更新される。そのため、研削状態が変化したとしても、動作指令データが現在の研削状態に応じて更新されていく。このように動作指令データが更新されることによって、工作物Ｗの研削品質を良好とすることができる。

さらに、動作指令データが更新されることによって、砥石車の表面状態に応じた研削を行うことができる。すなわち、動作指令データが更新されることによって、砥石車１６の表面状態が良好となる。砥石車１６の表面状態を良好とすることにより、工作物Ｗの研削品質を向上させることにつながる。さらに、動作指令データが更新されることによって、砥石車１６の交換に要する時間、砥石車１６のドレッシングに要する時間、および、砥石車１６のツルーイングに要する時間が少なくなる。結果として、研削サイクル時間が短くなる。さらに、動作指令データが更新されることによって、砥石車１６の寸法変化が小さくなり、砥石車１６の形崩れが小さくなる。

１：研削盤、２：外部装置、１１：ベッド、１２：主軸台（構造部材）、１２ａ，１４ａ，１５ａ，１６ａ：モータ（駆動装置）、１３：心押台（構造部材）、１４：トラバースベース（構造部材、移動体）、１５：砥石台（構造部材、移動体）、１６：砥石車、１７：定寸装置（駆動装置）、１７ａ：装置本体、１７ｂ１，１７ｂ２：接触子、１７ｃ１，１７ｃ２：フィンガ、１７ｄ：差動トランス、１７ｅ：加速度センサ、１７ｆ：マイクロフォン、１８：砥石車修正装置（駆動装置）、１９：クーラント装置、２０：制御装置、２１，２２，２３：センサ、２３ａ：検出器、３０：実測データ生成部、３１：第一次データ生成部、３２：第二次データ生成部、３３：特定周波数データ生成部、３４：第三次データ生成部、４０：研削品質データ生成部、１００：機械学習装置、１０１：第一学習フェーズ、１０２：推定フェーズ、１１０：動作関連データ取得部、１１１：動作指令データ取得部、１１２：実動作データ取得部、１２０：実測データ取得部、１２１：第一実測データ取得部、１２２：第二実測データ取得部、１３０：第一入力データ取得部、１４０：研削品質データ取得部、１５０：第一学習モデル生成部、１６０：第一学習モデル記憶部、１７０：研削品質推定部、１８０：判別部、２００：機械学習装置、２０１：第二学習フェーズ、２５０：第二学習モデル生成部、２６０：第二学習モデル記憶部、３００：機械学習装置、３０３：第三学習フェーズ、３０４：更新フェーズ、３１０：報酬決定部、３２０：第三学習モデル生成部、３３０：第三学習モデル記憶部、３４０：動作指令データ調整部、４００：機械学習装置、４０５：第一学習フェーズ、４０６：第三学習フェーズ、４０７：推定フェーズ、４０８：更新フェーズ、４１０：品質データ取得部、４１１：砥石車表面状態データ取得部、４２０：第四学習モデル生成部、４３０：第四学習モデル記憶部、４４０：研削サイクル時間演算部、４５０：砥石車形状情報取得部、４６０：砥石車表面状態推定部、４７０：判別部、Ｄ０：波形データ、Ｄ１：第一次データ、Ｄ１１，Ｄ２１：特定周波数データ、Ｄ２：第二次データ、Ｄ３１，Ｄ３２：第三次データ、Ｗ：工作物（研削部位）

Claims (25)

1. 研削盤にて砥石車により工作物の研削を行う際において、前記研削盤の制御装置への動作指令データを前記工作物毎に取得する動作指令データ取得部と、
   前記工作物の研削品質データを前記工作物毎に取得する研削品質データ取得部と、
   前記工作物毎に、前記研削品質データに応じて前記動作指令データに対する報酬を決定する報酬決定部と、
   複数の前記工作物に関する前記動作指令データおよび前記報酬を用いた機械学習により、前記報酬を多くするように前記動作指令データを調整するための学習モデルを生成する学習モデル生成部と、
   を備える、研削盤の動作指令データ調整モデル生成装置。
2. 前記工作物の前記研削品質データは、前記工作物の真円度データ、前記工作物の表面性状データ、前記工作物のびびり模様データ、および、前記工作物の加工変質層データの少なくとも一つである、請求項１に記載の研削盤の動作指令データ調整モデル生成装置。
3. 前記報酬決定部は、前記工作物の前記真円度データにおいて、真円度が所定値未満である場合に前記報酬を多くし、前記真円度が所定値以上である場合に前記報酬を少なくする、請求項２に記載の研削盤の動作指令データ調整モデル生成装置。
4. 前記報酬決定部は、前記工作物の前記表面性状データが所定閾値以下の場合に前記報酬を多くし、前記所定閾値より大きい場合に前記報酬を少なくする、請求項２に記載の研削盤の動作指令データ調整モデル生成装置。
5. 前記報酬決定部は、前記工作物の前記びびり模様データにおいて、びびり模様が無しの場合に前記報酬を多くし、びびり模様が有りの場合に前記報酬を少なくする、請求項２に記載の研削盤の動作指令データ調整モデル生成装置。
6. 前記報酬決定部は、前記工作物の前記加工変質層データにおいて、加工変質層が無い場合に前記報酬を多くし、前記加工変質層が有る場合に前記報酬を少なくする、請求項２記載の研削盤の動作指令データ調整モデル生成装置。
7. 前記研削盤の動作指令データ調整モデル生成装置は、さらに、前記砥石車の表面状態データを前記工作物毎に取得する表面状態データ取得部を備え、
   前記報酬決定部は、前記工作物毎に、前記研削品質データおよび前記表面状態データに応じて前記動作指令データに対する報酬を決定する、請求項１－６の何れか一項に記載の研削盤の動作指令データ調整モデル生成装置。
8. 前記砥石車の前記表面状態データは、前記工作物の研削品質に影響を及ぼすデータである、請求項７に記載の研削盤の動作指令データ調整モデル生成装置。
9. 前記砥石車の前記表面状態データは、前記工作物の真円度に対応する第一表面状態データ、前記工作物の表面性状に対応する第二表面状態データ、前記工作物のびびり模様状態に対応する第三表面状態データ、および、前記工作物の加工変質層の状態に対応する第四表面状態データの少なくとも一つである、請求項８に記載の研削盤の動作指令データ調整モデル生成装置。
10. 請求項１－９の何れか一項に記載の研削盤の動作指令データ調整モデル生成装置と、
    更新フェーズにおいて、新たな工作物の研削に関する前記動作指令データ、前記新たな工作物の前記研削品質データ、前記報酬、および、前記学習モデルを用いて、前記動作指令データの調整を行う動作指令データ調整部と、
    を備える、研削盤の動作指令データ更新装置。
11. さらに、
    前記研削盤にて砥石車により研削した工作物の外径を測定する定寸装置と、
    前記定寸装置に設けられ、前記工作物の外径測定時に前記定寸装置に発生する振動、および、前記砥石車による前記工作物の研削部位において発生する音の少なくとも一方を工作物情報として検出可能な検出器と、
    前記検出器により出力された前記工作物情報に関する波形データをフーリエ変換することにより、第一次データを生成する第一次データ生成部を有し、前記第一次データを用いて前記研削部位に関する実測データを生成する実測データ生成部と、
    前記実測データを、前記工作物毎に所定期間分取得する実測データ取得部と、
    複数の前記工作物に関する前記実測データを第一学習用入力データとする機械学習により、前記工作物の研削品質を推定するための第一学習モデルを生成する第一学習モデル生成部と、
    推定フェーズにおいて、新たな工作物の研削を行っている際の所定期間分の前記実測データである推定用入力データと前記第一学習モデルとを用いて、前記新たな工作物の前記研削品質を推定する研削品質推定部と、
    を備え、
    前記動作指令データ調整部は、前記更新フェーズにおいて、新たな工作物の研削に関する前記動作指令データ、前記新たな工作物について前記研削品質推定部により推定された前記研削品質データ、前記報酬、および、前記学習モデルを用いて、前記動作指令データの調整を行う、請求項１０に記載の研削盤の動作指令データ更新装置。
12. 前記定寸装置は、
    装置本体と、
    前記工作物に接触可能な接触子と、
    前記接触子を保持すると共に前記装置本体に対して変位可能に支持されたフィンガと、
    を備え、
    前記検出器は、回転する前記工作物に前記接触子を接触させた状態で、前記フィンガに発生する前記振動を前記工作物情報として検出する、請求項１１に記載の研削盤の動作指令データ更新装置。
13. 前記第一次データ生成部は、前記工作物のスパークアウト中において、または、前記工作物の研削後であって前記工作物の回転中において、前記検出器が検出した前記振動に関する波形データをフーリエ変換することにより前記第一次データを生成する、請求項１２に記載の研削盤の動作指令データ更新装置。
14. 前記定寸装置は、前記装置本体に設けられ、前記フィンガの変位を検出可能な差動トランスを備え、
    前記検出器は、前記差動トランスであり、
    前記第一次データ生成部は、変位成分と時間成分とを含む波形データをフーリエ変換することにより、前記変位成分と周波数成分とを含む前記第一次データを生成する、請求項１２または１３に記載の研削盤の動作指令データ更新装置。
15. 前記検出器は、前記フィンガに取り付けられ、前記フィンガの前記振動を検出可能な加速度センサであり、
    前記第一次データ生成部は、加速度成分と時間成分とを含む波形データをフーリエ変換することにより、前記加速度成分と周波数成分とを含む前記第一次データを生成する、請求項１２または１３に記載の研削盤の動作指令データ更新装置。
16. 前記実測データ生成部は、前記第一次データの前記加速度成分を変位成分に変換した第二次データを生成する第二次データ生成部を備える、請求項１５に記載の研削盤の動作指令データ更新装置。
17. 前記実測データ生成部は、前記第一次データまたは前記第二次データに含まれる前記変位成分のうち特定の周波数帯域以外の前記変位成分を、前記第一次データまたは前記第二次データから除去した特定周波数データを生成する特定周波数データ生成部を備える、請求項１４または１６に記載の研削盤の動作指令データ更新装置。
18. 前記実測データ生成部は、前記第二次データに基づいて生成された前記特定周波数データを逆フーリエ変換することにより、前記変位成分と前記時間成分とを含む第三次データを生成する第三次データ生成部を備える、請求項１７に記載の研削盤の動作指令データ更新装置。
19. 前記検出器は、前記定寸装置に取り付けられ、前記研削部位において発生する前記音を前記工作物情報として検出可能なマイクロフォンである、請求項１１に記載の研削盤の動作指令データ更新装置。
20. 前記第一学習モデル生成部は、前記研削品質データを教師データとする前記機械学習により、前記第一学習モデルを生成する、請求項１１－１９の何れか一項に記載の研削盤の動作指令データ更新装置。
21. さらに、
    前記研削盤にて砥石車により工作物の研削を行っている際の実測データであって、前記研削盤の構造部材の状態を表す第一実測データ、および、研削部位に関する第二実測データの少なくとも一つである前記実測データを、前記工作物毎に所定期間分取得する実測データ取得部と、
    複数の前記工作物に関する前記実測データを第一学習用入力データとする機械学習により、前記工作物の研削品質を推定するための第二学習モデルを生成する第二学習モデル生成部と、
    前記砥石車により研削した前記工作物の外径を測定可能な定寸装置と、
    前記定寸装置に設けられ、前記工作物の外径測定時に前記定寸装置に発生する振動、および、前記砥石車による前記工作物の研削部位において発生する音の少なくとも一方を工作物情報として検出可能な検出器と、
    前記検出器により検出された前記工作物情報に関する波形データをフーリエ変換することにより、第一次データを生成する第一次データ生成部を有し、前記第一次データを用いて前記工作物の研削品質データを生成する研削品質データ生成部と、
    推定フェーズにおいて、新たな工作物の研削を行っている際の所定期間分の前記実測データである推定用入力データと前記第二学習モデルとを用いて、前記新たな工作物の前記研削品質を推定する研削品質推定部と、
    を備え、
    前記第二学習モデル生成部は、前記研削品質データを教師データとする前記機械学習により、前記第二学習モデルを生成し、
    前記研削品質データ取得部は、前記研削品質データ生成部により生成された前記研削品質データを前記工作物毎に取得し、
    前記動作指令データ調整部は、前記更新フェーズにおいて、新たな工作物の研削に関する前記動作指令データ、前記新たな工作物について前記研削品質推定部により推定された前記研削品質データ、前記報酬、および、前記学習モデルを用いて、前記動作指令データの調整を行う、請求項１０に記載の研削盤の動作指令データ更新装置。
22. 前記工作物の前記研削品質データは、前記工作物の真円度データ、前記工作物の表面性状データ、および、前記工作物のびびり模様データの少なくとも一つである、請求項２１に記載の研削盤の動作指令データ更新装置。
23. さらに、前記研削盤の制御装置への動作指令データ、および、前記制御装置により制御される駆動装置の実動作データの少なくとも一つである動作関連データを、前記工作物毎に所定期間分取得する動作関連データ取得部を備え、
    前記第一学習モデル生成部または前記第二学習モデル生成部は、複数の前記工作物に関する前記実測データおよび前記動作関連データを前記第一学習用入力データとする前記機械学習により、前記第一学習モデルまたは前記第二学習モデルを生成する、請求項１１－２２の何れか一項に記載の研削盤の動作指令データ更新装置。
24. 前記第一学習モデル生成部または前記第二学習モデル生成部は、前記工作物の前記研削品質として、前記工作物の真円度、前記工作物の表面性状、および、前記工作物のびびり模様状態の少なくとも一つを推定するための前記第一学習モデルまたは前記第二学習モデルを生成し、
    前記研削品質推定部は、前記新たな工作物の前記研削品質として、前記工作物の真円度、前記工作物の表面性状、および、前記工作物のびびり模様状態の少なくとも一つを推定する、請求項２３に記載の研削盤の動作指令データ更新装置。
25. さらに、前記研削品質推定部により推定された前記工作物の前記研削品質に基づいて前記工作物の良否を判別する判別部を備える、請求項２３または２４に記載の研削盤の動作指令データ更新装置。

Images