JP7325697B2 - 転移学習装置および転移学習方法 - Google Patents

Description

本開示は、加工機に加工を実行させる際の加工条件の設定を支援するための学習済みのモデル（以下「機械学習モデル」という。）を生成する転移学習装置および転移学習方法に関する。

加工機は、加工対象となるワークの加工を行う際、加工の各過程において、加工を行うための加工条件に従う。加工条件には、例えば、加工の位置または速度等を指示する値が含まれる。当該加工条件は、例えば、加工機のユーザによって指示される、または、加工機を制御する制御装置によってプログラムに従って設定される。しかし、加工機においては、加工の際の摩擦、温度、または、振動等の外乱によって、設定された加工条件の通りに加工が進まないことがある。そこで、従来、加工条件に関するデータを入力とし加工機が当該加工条件に基づいて実行した加工の状態に関するデータを出力する機械学習モデルを用いて、加工機が指示されている通りの加工結果を得るのに適した加工条件を設定できるようにする技術が知られている。
ところで、機械学習モデルを別の領域の学習に適用させる、いわゆる転移学習の技術が知られている。例えば、特許文献１には、環境または条件等の異なる様々なデバイスに対して最適な共有モデルを選択して供給するサーバ装置において、デバイスから収集したサンプルデータを利用して共有モデルの追加学習を行う技術が開示されている。共有モデルは、予め学習が行われているとはいえ、そのデバイスに特化した環境、条件での学習は行っていない状況であるため、サーバ装置は、高精度の判定、分類等を行うために、追加の学習を行って共有モデルの微調整を行う。サーバ装置は、共有モデルをベースに追加学習を行うことによって、転移学習と呼ばれる作用の効果を得るとしている。

国際公開第２０１８／１７３１２１号

加工機は、経年変化、ワークの変更、または、当該加工機が稼働する現場の環境等、加工機の状況に伴って、その特性が変化する。この変化に伴って、加工機が指示されている通りの加工結果を得るのに適した加工条件を設定するための機械学習モデルを、加工機が稼働する現在の状況に適した機械学習モデルとする必要が生じる。
しかし、仮に、ユーザが、現在の加工機の状況にあわせてゼロから学習させて新たに機械学習モデルを生成するとなると、時間がかかる。
そこで、例えば、上述の特許文献１に開示されている技術のように、いわゆる転移学習の技術を用いて、予め用意されている機械学習モデル（以下「第１機械学習モデル」という。）に基づき、加工機が稼働する現在の状況に適した機械学習モデル（以下「第２機械学習モデル」という。）を生成することが考えられる。
ここで、第２機械学習モデルを生成するためのデータ（以下「転移学習データ」という。）として、例えば、現在の状況下で加工機を稼働させて得られるデータが収集される必要がある。当該データは、例えば、加工機を制御している制御装置から得られる。制御装置は、加工機が加工を行う過程における時系列の加工条件および加工の状態を、予め設定された周期でサンプリングしている。しかし、一般に、制御装置のサンプリング周期は、１ｍｓ等、短い。また、制御装置が収集するデータには、様々なワークに対して行う様々な加工内容に対応するための様々な加工条件を示すデータが含まれ得る。すなわち、加工機を稼働させて制御装置から収集されるデータの量は膨大になる。
したがって、いわゆる転移学習の技術を用いたとしても、加工機を稼働させて収集されるデータの量が膨大であることにより、第２機械学習モデルを生成するのには、時間がかかる。
このように、加工の現場において収集されるデータの全部を用いて、実際に加工機が稼働する現場での当該加工機の状況に適した加工条件を設定するための第２機械学習モデルを生成するには、多大な時間を要するという課題があった。

本開示は、上記のような課題を解決するためになされたものであり、加工の現場において収集されるデータの全部を必要とせず、当該データの一部から、実際に加工機が稼働する現場での当該加工機の状況に適した加工条件を設定するための第２機械学習モデルを生成することを可能とした転移学習装置を提供することを目的とする。

本開示に係る転移学習装置は、加工機に複数ステップ分の加工を行わせるための時系列の加工条件に関するデータ、および、加工機が加工条件に基づき複数ステップ分実行した加工の状態に関するデータを含む複数の加工データを取得する加工データ取得部と、加工データ取得部が取得した複数の加工データに基づき、加工データ取得部が取得した各加工データに対する重要度を算出する分析部と、分析部が算出した重要度に基づいて、加工データ取得部が取得した複数の加工データのうちから、事前に生成されている、複数ステップ分の時系列の加工条件に関するデータを入力とし複数ステップ分実行した後の加工の状態に関するデータを出力する第１機械学習モデル、の転移学習を行うための複数の転移学習データを抽出する抽出部と、抽出部が抽出した複数の転移学習データを用いて第１機械学習モデルの転移学習を行い、複数ステップ分の時系列の加工条件に関するデータを入力とし複数ステップ分実行した後の加工の状態に関するデータを出力する第２機械学習モデルを生成する学習部とを備えたものである。

本開示によれば、上記のように構成したので、加工の現場において収集されるデータの全部を必要とせず、当該データの一部から、実際に稼働する現場での当該加工機の状況に適した加工条件を設定するための第２機械学習モデルを生成することができる。その結果、多大な時間を要することなく、上記第２機械学習モデルを生成することができる。

実施の形態１に係る転移学習装置の構成例を示す図である。 実施の形態１に係る転移学習装置における加工データ取得部の詳細な構成例を示す図である。 実施の形態１に係る転移学習装置における分析部の詳細な構成例を示す図である。 実施の形態１に係る転移学習装置の動作について説明するためのフローチャートである。 実施の形態１に係る転移学習装置の分析部の動作について詳細に説明するためのフローチャートである。 実施の形態１に係る転移学習装置の機械学習の動作について詳細に説明するためのフローチャートである。 図７Ａおよび図７Ｂは、実施の形態１に係る転移学習装置のハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
図１は、実施の形態１に係る転移学習装置１の構成例を示す図である。
図２は、実施の形態１に係る転移学習装置１における加工データ取得部１１の詳細な構成例を示す図である。
図３は、実施の形態１に係る転移学習装置１における分析部１３の詳細な構成例を示す図である。

実施の形態１に係る転移学習装置１は、加工機４に加工を実行させる際の加工条件を設定するための学習済みのモデル（以下「機械学習モデル」という。）を生成する。
加工機４は、加工条件に従って加工を実施する産業用装置である。実施の形態１では、加工機４は、例えば、ＮＣ（Ｎｕｍｅｒｉｃａｌ Ｃｏｎｔｒｏｌ）加工機を想定している。なお、これは一例に過ぎず、加工機４は、モータで駆動する加工機であればよい。
加工機４は、例えば、金属からなる加工対象物（以下「ワーク」という。）に対して切削または研磨を行うことにより、または、電気等のエネルギーを利用して不要な部分の除去を行うことにより、ワークを所望の形状とする。なお、ワークは金属に限らない。
加工機４には、例えば、レーザ加工機、放電加工機、切削加工機、研磨加工機、電解加工機、超音波加工機、または、電子ビーム加工機がある。

加工条件は、加工機４の制御に用いられる複数の制御パラメータの組み合わせによって構成される。加工条件には、複数の制御パラメータとして、例えば、指令位置、指令速度、指令加速度、フィードバック位置、フィードバック速度、フィードバック加速度、または、電流フィードバックを示す数値が設定される。加工条件には、ワークの種類、または、ワークに対する加工内容を示す数値が設定されていてもよい。
なお、制御装置２が、加工機４と接続され、加工条件に従ってワークを加工するよう、加工機４を制御する。
実施の形態１では、加工条件は、加工の過程、言い換えれば、加工の各ステップに応じて、制御装置２によって設定されることを想定している。
例えば、現場のユーザは、制御装置２が備える入力装置（図示省略）を操作して、加工機４に加工を行わせたいワークの種類、および、加工内容の指示を入力する。
例えば、制御装置２は、あるワークに対してある内容の加工を行うときにどういう加工のステップを実施するかが設定されたプログラムを記憶している。制御装置２は、ユーザから、加工機４に加工を行わせたいワークの種類、および、加工内容の指示が入力されると、記憶しているプログラムに従って、加工の各ステップにおける加工条件を設定し、設定した加工条件に従って加工機４に加工の各ステップを実行させる。

制御装置２は、加工機４を制御するとともに、加工の現場にて加工機４が加工を行う過程における、制御装置２によって設定された加工条件に関するデータ、および、加工の状態に関するデータを、予め設定された周期（以下「サンプリング周期」という。）でサンプリングする。加工の状態とは、ワークを加工した結果の状態をいい、例えば、加工機４が指示されている通りの加工結果に対する、実際に加工機４を稼働させて得られた加工結果の誤差である。実施の形態１では、加工の状態は、加工機４によって実際に実行された加工位置の、加工機４が指示されている加工位置に対する位置誤差を想定している。
加工機４は、サンプリング周期において、複数ステップ分の加工を行う。
制御装置２は、加工機４に加工を実行させる過程において、サンプリング周期で、複数ステップ分の加工条件に関するデータと、複数ステップ分行われた加工の状態に関するデータとを収集する。以下、制御装置２が現場の加工機４から収集する、加工条件に関するデータ、および、加工の状態に関するデータを、「加工データ」という。
ある加工データに含まれる加工条件に関するデータには、サンプリング周期にて実行された複数のステップ分の制御パラメータの時系列のデータが含まれる。つまり、ある加工データに含まれる加工条件に関するデータには、複数のステップ分の、指令位置を示す時系列のデータ、指令速度を示す時系列のデータ、または、指令加速度を示す時系列のデータ等が含まれる。
また、加工データに含まれる、複数ステップ分行われた加工の状態に関するデータについて、当該加工の状態は、複数ステップ分の加工が行われた時点から数ステップ先の時点の、ワークを加工した結果の状態である。具体的には、ある加工データには、ある時刻ｔまでのｎステップ分の加工条件に関するデータと、時刻ｔ＋ｋにおける、加工の状態に関するデータが含まれている。
なお、一般に、制御装置２のサンプリング周期は、１ｍｓ程度である。

転移学習装置１は、制御装置２から複数の加工データを取得する。転移学習装置１は、制御装置２から取得した複数の加工データに基づいて、経年変化、ワークの変更、または、加工機４が稼働する現場の環境等、加工機４が稼働する現場の状況に適した加工条件を設定するための機械学習モデルを生成する。
具体的には、転移学習装置１は、複数の加工データを用いて、加工機４の工場出荷時等に予め用意されている機械学習モデル、に基づく転移学習を行うことで、加工機４が稼働する現場の状況に適した加工条件を設定するための機械学習モデルを生成する。
実施の形態１において、加工機４の工場出荷時等に予め用意されている機械学習モデルを「第１機械学習モデル」、当該第１機械学習モデルに基づいて転移学習装置１が生成する機械学習モデルを「第２機械学習モデル」という。実施の形態１において、第１機械学習モデルおよび第２機械学習モデルは、ニューラルネットワークにより構成されることを想定している。

第１機械学習モデルは、複数ステップ分の時系列の加工条件に関するデータを入力とし複数ステップ分実行した後の加工の状態に関するデータを出力する。
第１機械学習モデルは、例えば、出荷前の加工機４に、想定される基本的なワークに対する基本的な加工を実行させて得られた複数の加工データ、を学習データ（以下「事前学習データ」という。）とした学習により生成される。
例えば、加工機４の製造業者等が、制御装置２が備える入力装置を操作して、加工機４に基本的な加工を行わせたいワークの種類、および、基本的な加工内容の指示を入力する。制御装置２は、製造業者等から、加工機４に基本的な加工を行わせたいワークの種類、および、基本的な加工内容の指示が入力されると、加工の各ステップにおける加工条件を設定し、設定した加工条件に従って加工機４に加工の各ステップを実行させる。制御装置２が加工機４に各ステップを実行させることで、複数の事前学習データが得られる。なお、事前学習データに含まれる加工の状態に関するデータは、教師ラベルである。生成された第１機械学習モデルは、加工機４および制御装置２とともに出荷される。

加工機４においては、加工の際の摩擦、温度、または、振動等の外乱によって、加工条件にて指示されている通りに加工が進まないことがある。これに対し、予め第１機械学習モデルが用意されていることで、制御装置２は、例えば、第１機械学習モデルと加工条件に関するデータとに基づいて、設定された加工条件にて加工機４を稼働させた場合に生じる位置誤差を推測できる。そして、制御装置２は、推測した位置誤差を考慮して、加工条件の補正を行うことができる。また、例えば、制御装置２が推測した位置誤差に関する情報をユーザに提供し、ユーザが、推測された位置誤差を考慮して、制御装置２が記憶しているプログラムの修正、または、加工条件の補正を行うことができる。
しかし、加工機４は、加工機４が使用される現場における実際の加工機４の状況に伴って、その特性が変化する。そのため、第１機械学習モデルが用意されていたとしても、当該第１機械学習モデルが現場に即さないものとなり、加工機４は、より詳細には、加工機４を制御する制御装置２は、ユーザが意図した加工を行えない場合がある。第１機械学習モデルに未学習の加工条件に関するデータが入力され得るからである。
そこで、実施の形態１に係る転移学習装置１は、第１機械学習モデルに基づいて転移学習を行い、加工機４が稼働する現場の状況に適した加工条件を設定するための第２機械学習モデルを生成する。実施の形態１に係る転移学習装置１は、第２機械学習モデルの生成を、多大な時間を要することなく、効率的に生成することができる。以下、詳細に説明する。

実施の形態１に係る転移学習装置１は、制御装置２および記憶装置３と接続される。
制御装置２は、上述のとおり、加工機４の制御を行うとともに、加工機４が加工を行う過程における加工の状態に関するデータを、サンプリング周期で収集する。
記憶装置３は、事前学習データ記憶部３１および事前学習モデル記憶部３２を備えている。
事前学習データ記憶部３１は、第１機械学習モデルの生成時に用いられた複数の事前学習データを記憶している。事前学習モデル記憶部３２は、第１機械学習モデルを記憶している。
なお、記憶装置３は、加工機４に備えられていてもよいし、制御装置２に備えられていてもよい。また、制御装置２は、加工機４に備えられていてもよい。

転移学習装置１は、制御装置２から取得した複数の加工データと記憶装置３に記憶されている第１機械学習モデルとに基づき、第１機械学習モデルの転移学習を行うことで、第２機械学習モデルを生成する。転移学習装置１が制御装置２から取得する加工データには、上述のとおり、制御装置２が加工機４に実行させた、複数のステップ分の各制御パラメータの時系列のデータからなる加工条件に関するデータと、加工の状態に関するデータとが含まれる。

転移学習装置１は、加工データ取得部１１、事前学習データ取得部１２、分析部１３、抽出部１４、および、機械学習部１５を備える。
加工データ取得部１１は、加工データ前処理部１１１および加工データ記憶部１１２を備える。
分析部１３は、圧縮部１３１および解析部１３２を備える。
機械学習部１５は、選択部１５１、モデル読込部１５２、学習部１５３、評価部１５４、モデル記憶部１５５、評価値記憶部１５６、および、重み更新部１５７を備える。

加工データ取得部１１は、制御装置２から複数の加工データを取得し、記憶する。
加工データ取得部１１の加工データ前処理部１１１は、制御装置２から加工データを取得し、ローパスフィルタをかける等、取得した加工データの整形を行う。なお、加工データ前処理部１１１は、制御装置２から、例えば、１時間等、予め設定されている期間分の加工データを取得する。
加工データ前処理部１１１は、整形した後の加工データを、加工データ記憶部１１２に記憶させる。
加工データ記憶部１１２は、加工データ前処理部１１１が整形した後の複数の加工データを記憶する。

ここで、加工データ取得部１１は、整形した後の複数の加工データのうちの一部の加工データを、評価用加工データとして、その他の複数の加工データとは区別して、加工データ記憶部１１２に記憶しておく。評価用加工データは１つでも複数でもよい。加工データ取得部１１は、複数の加工データのうちからランダムに評価用加工データを選定してもよいし、決められたルールに従って評価用加工データを選定してもよい。決められたルールとは、例えば、１時間等、予め設定されている期間のうちの後半１０分間に取得された加工データを評価用加工データとすること、である。
なお、ここでは、加工データ記憶部１１２は転移学習装置１が備えるようにしているが、これは一例に過ぎない。加工データ記憶部１１２は、転移学習装置１の外部の、転移学習装置１が参照可能な場所に備えられてもよい。

事前学習データ取得部１２は、記憶装置３の事前学習データ記憶部３１が記憶している複数の事前学習データを取得する。
事前学習データ取得部１２は、取得した複数の事前学習データを分析部１３に出力する。

分析部１３は、加工データ取得部１１において加工データ記憶部１１２に記憶されている整形後の複数の加工データと、事前学習データ取得部１２から出力された複数の事前学習データとに基づき、整形後の複数の加工データに対する重要度を算出する。以下、整形後の加工データを、単に加工データという。分析部１３は、加工データ毎に重要度を算出する。
実施の形態１において、分析部１３が算出する、加工データに対する重要度は、その加工データが第２機械学習モデルを生成する際の学習データとして用いられた場合にどれだけ学習に有効かの度合いを示す。
なお、分析部１３が加工データ記憶部１１２から取得する整形後の複数の加工データは、評価用加工データ以外の加工データである。加工データ記憶部１１２に記憶されている評価用加工データは、評価部１５４が第２機械学習モデルの評価を行う際に用いられる。評価部１５４の詳細については、後述する。

まず、分析部１３において、圧縮部１３１は、複数の加工データ、および、複数の事前学習データを圧縮する。分析部１３は、自己符号化器（ＡＥ：Ａｕｔｏｅｎｃｏｄｅｒ）、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、または、ｔ分布型確率的近傍埋め込み法（ｔ－ＳＮＥ：Ｔ－ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ ｅｍｂｅｄｄｉｎｇ）等の既知の次元圧縮手法を用いて、複数の加工データ、および、複数の事前学習データを圧縮すればよい。
圧縮部１３１が、複数の加工データ、および、複数の事前学習データを圧縮することで、分析部１３における、加工データに対する重要度の算出処理を軽くすることができる。

解析部１３２は、圧縮部１３１が圧縮した後の複数の加工データ（以下「圧縮後加工データ」という。）と、圧縮部１３１が圧縮した後の複数の事前学習データ（以下「圧縮後事前学習データ」という。）とに基づき、各圧縮後加工データに対する重要度を算出する。
解析部１３２は、例えば、変化点検知手法によって、圧縮後加工データに含まれている加工条件に関するデータの急峻な変化を検知することで、当該圧縮後加工データの重要度を算出する。具体的には、解析部１３２は、加工条件に関するデータに含まれている、時系列の指令速度データ、または、時系列の指令加速度データにおいて、急峻な変化があったことを示すスコアを取得する。解析部１３２は取得されたスコアが高いほど、重要度が高くなるよう、圧縮後加工データに対する重要度を算出する。解析部１３２は、取得したスコアを重要度としてもよいし、予め決められている算出式に取得したスコアを代入して重要度を算出してもよい。速度または加速度は、位置誤差の原因となる制御パラメータである。解析部１３２は、位置誤差の原因となる制御パラメータに急峻な変化があるかによって、重要度を算出する。なお、解析部１３２は、変化点検知手法によって重要度を算出する場合、複数の圧縮後事前学習データを必要としない。

また、例えば、解析部１３２は、複数の圧縮後加工データと複数の圧縮後事前学習データのデータ間距離を求めて、当該データ間距離を重要度として算出してもよい。
具体的には、解析部１３２は、圧縮後加工データ毎に、「データ間距離算出処理」を行う。
「データ間距離算出処理」において、解析部１３２は、複数の圧縮後事前学習データのうちのある事前学習データ（以下「対象事前学習データ」という。）を選択し、圧縮後加工データと対象事前学習データとのデータ間距離を算出する。解析部１３２は、全ての事前学習データを対象事前学習データとして選択するまで、圧縮後加工データと対象事前学習データとのデータ間距離の算出を繰り返す。そして、解析部１３２は、算出したデータ間距離のうち最大のデータ間距離を、圧縮後加工データと複数の圧縮後事前学習データとのデータ間距離とする。
解析部１３２は、この「データ間距離算出処理」を、複数の圧縮後加工データ全てに対して行い、各圧縮後加工データの、複数の圧縮後事前学習データとのデータ間距離を算出する。解析部１３２は、圧縮後加工データの重要度について、複数の圧縮後事前学習データとのデータ間距離が大きいほど、重要度が高くなるよう、当該重要度を算出する。
なお、解析部１３２は、「データ間距離算出処理」において、少なくとも圧縮後加工データに含まれる加工条件に関するデータと、複数の圧縮後事前学習データに含まれる加工条件に関するデータとのデータ間距離を算出するようになっていればよい。

また、例えば、解析部１３２は、加工データ取得部１１において加工データ記憶部１１２に記憶されている複数の加工データに含まれる加工条件に関するデータを第１機械学習モデルに入力して得られた加工の状態に関するデータ（以下「第１推論結果」という。）と、加工データ取得部１１において加工データ記憶部１１２に記憶されている複数の加工データに含まれる加工の状態に関するデータとの誤差（以下「推論誤差」という。）に基づいて重要度を算出する「推論誤差算出処理」を行ってもよい。
解析部１３２は、加工データ毎に「推論誤差算出処理」を行う。
「推論誤差算出処理」において、解析部１３２は、第１推論結果と加工データに含まれる加工の状態に関するデータとの推論誤差を算出する。解析部１３２は、この「推論誤差算出処理」を、複数の加工データ全てに対して行い、各加工データに対応する推論誤差を算出する。
解析部１３２は、加工データの重要度について、加工データに対応する推論誤差が大きいほど、重要度が高くなるよう、当該重要度を算出する。
なお、上述したように、解析部１３２は、「推論誤差算出処理」を行うことで重要度を算出する場合は、各圧縮後加工データではなく、圧縮前の各加工データに対して「推論誤差算出部理」を行って、各加工データに対する重要度を算出する。
推論誤差算出処理を行う場合、解析部１３２は、例えば、記憶装置３の事前学習モデル記憶部３２から第１機械学習モデルを読み込めばよい。

また、例えば、解析部１３２は、いわゆる決定木による分類手法を用いて、複数の圧縮後加工データと、複数の圧縮後事前学習データの分類分けを行った結果から、重要度を算出してもよい。解析部１３２は、同じ分類に分類分けされなかった圧縮後事前学習データが多かった圧縮後加工データほど、当該圧縮後加工データに対して算出される重要度が高くなるようにする。
なお、解析部１３２は、少なくとも圧縮後加工データに含まれる加工条件に関するデータと、複数の圧縮後事前学習データに含まれる加工条件に関するデータとの分類分けを行うようになっていればよい。

解析部１３２が複数の圧縮後加工データに対して重要度を算出すると、分析部１３は、各圧縮後加工データと重要度とを対応付けて、抽出部１４に出力する。
なお、解析部１３２が「推論誤差算出処理」を行うことで複数の加工データに対して重要度を算出した場合は、分析部１３は、各加工データと重要度とを対応付けて、抽出部１４に出力する。

抽出部１４は、分析部１３が算出した重要度に基づいて、加工データ取得部１１が取得した複数の加工データのうちから、第１機械学習モデルの転移学習を行うための複数の加工データ、言い換えれば、転移学習データを抽出する。
例えば、加工データには当該加工データの取得日時の情報等、加工データを特定可能な情報が付与されており、抽出部１４は、分析部１３から出力された圧縮後加工データと、加工データ取得部１１が取得した加工データとを、加工データを特定可能な情報で対応付ける。これにより、抽出部１４は、加工データ取得部１１が取得した複数の加工データに対応する重要度を判定できる。なお、抽出部１４は、分析部１３から加工データが出力された場合は、分析部１３から加工データが出力された加工データと加工データ取得部１１が取得した加工データとを対応づければよい。
抽出部１４は、加工データ取得部１１が取得した複数の加工データと分析部１３が算出した重要度を対応付け、複数の加工データを、重要度の降順にソートする。そして、抽出部１４は、例えば、重要度が高い順に予め決められた数の加工データを、転移学習データとして抽出する。

また、抽出部１４は、転移学習データを抽出した際、特徴量の抽出も行う。
例えば、抽出部１４は、各加工データについて、加工データに含まれる加工条件に関するデータに対して、既知の移動平均の手法を用いて特徴量を抽出し、特徴量を抽出した後の加工条件に関するデータと加工の状態に関するデータとを含む加工データを転移学習データとする。例えば、抽出部１４は、各加工データについて、加工データに含まれる加工条件に関するデータの最大値および最小値を特徴量として抽出し、特徴量を抽出した後の加工条件に関するデータと加工の状態に関するデータとを含む加工データを転移学習データとしてもよい。例えば、加工条件に関するデータに含まれる速度データを例に挙げると、抽出部１４は、時系列の速度データのうち最大値および最小値を特徴量として抽出することになる。抽出部１４は、加工条件に関するデータに含まれる、制御パラメータを示すデータ毎に、最大値および最小値を特徴量として抽出する。

また、例えば、抽出部１４は、各加工データに含まれる加工条件に関するデータに対して、ＬｉｇｈｔＧＢＭを使って特徴量重要度を算出し、算出された特徴量重要度に基づき重要ではないと想定される加工条件に関するデータ、言い換えれば、特徴量重要度が「０」の加工条件に関するデータに対して、「０」をかけあわせてマスクをかける。具体例を挙げて説明すると、今、例えば、加工条件に関するデータには、指令速度データ、指令加速度データ、電流指令データ、および、指令位置データが含まれるとする。そして、加工条件に関するデータに対してＬｉｇｈｔＧＢＭを使って特徴量重要度を算出した結果、位置データに対する特徴量重要度が「０」となり、その他の速度データ、加速度データ、および、電流データに対する特徴量重要度は「１」以上となったとする。この場合、抽出部１４は、位置データに「０」をかけあわせてマスクをかける。抽出部１４は、マスクをかけた後の加工条件に関するデータと加工の状態に関するデータとを含む加工データを転移学習データとする。
抽出部１４は、分析部１３によって算出された重要度が対応付けられ、特徴量の抽出が行われた後の複数の転移学習データを、機械学習部１５に出力する。

機械学習部１５は、抽出部１４から出力された複数の転移学習データを用いて第１機械学習モデルの転移学習を行い、第２機械学習モデルを生成する。

機械学習部１５について、詳細に説明する。
選択部１５１は、複数の転移学習データのうちから、第２機械学習モデルを生成するための複数の転移学習データ（以下「選択転移学習データ」という。）を選択する。
具体的には、選択部１５１は、抽出部１４から出力された複数の転移学習データについて、それぞれ、優先度を付与し、付与した優先度に基づいて、選択転移学習データを選択する。実施の形態１において、選択部１５１が転移学習データに付与する優先度は、当該優先度が付与されている転移学習データが、第２機械学習モデルの生成に用いられるのに優先されるべき度合いを示す。

選択部１５１は、まず、抽出部１４から複数の転移学習データが出力された際に、当該複数の転移学習データに優先度を付与する。選択部１５１は、例えば、各転移学習データに対して、優先度の初期値を一律に付与する。優先度の初期値は、予め、適宜設定可能である。また、例えば、選択部１５１は、複数の転移学習データに対応付けられている重要度を優先度としてもよい。選択部１５１が、抽出部１４から複数の転移学習データが出力された際に当該複数の転移学習データに優先度を付与する処理を、「優先度の初期設定処理」ともいう。
選択部１５１は、「優先度の初期設定処理」にて各転移学習データに優先度を付与すると、付与した優先度に基づいて、選択転移学習データを選択する。
選択部１５１は、例えば、複数の転移学習データのうち、付与されている優先度が高い順に、予め設定されている数の転移学習データを、選択転移学習データとして選択する。例えば、一律に同じ優先度が付与されている場合、選択部１５１は、ランダムに選択転移学習データを選択してもよい。

また、選択部１５１は、重み更新部１５７から、付与されている優先度が更新された選択転移学習データが出力された場合は、更新後の優先度に基づいて、選択転移学習データのサンプリングを行う。例えば、選択部１５１は、更新後の優先度について、予め設定された閾値以上の優先度の選択転移学習データをサンプリングする。
重み更新部１５７の詳細については、後述する。選択部１５１による選択転移学習データのサンプリングの詳細についても、重み更新部１５７の説明とあわせて、後述する。

選択部１５１は、抽出部１４から複数の転移学習データが出力された際に選択した選択転移学習データを、学習部１５３に出力する。
選択部１５１は、重み更新部１５７から出力された選択転移学習データに基づき、選択転移学習データのサンプリングを行った場合は、サンプリング後の選択転移学習データを、学習部１５３に出力する。

モデル読込部１５２は、記憶装置３の事前学習モデル記憶部３２に記憶されている第１機械学習モデルを読み込む。
なお、モデル読込部１５２の機能は、学習部１５３が備えてもよい。この場合、転移学習装置１は、モデル読込部１５２を備えない構成とできる。

学習部１５３は、選択部１５１から出力された複数の選択転移学習データを用いて、モデル読込部１５２が読み込んだ第１機械学習モデルの転移学習を行い、複数ステップ分の時系列の加工条件に関するデータを入力とし複数ステップ分実行した後の加工の状態に関するデータを出力する第２機械学習モデルを生成する。すなわち、選択転移学習データに含まれる加工の状態に関するデータが教師ラベルとなる。
学習部１５３は、生成した第２機械学習モデルを、モデル記憶部１５５に記憶させる。
また、学習部１５３は、生成した第２機械学習モデルを、当該第２機械学習モデルを生成した際に用いた選択転移学習データとともに、評価部１５４に出力する。学習部１５３は、選択転移学習データには、選択部１５１から出力された際に付与されていた優先度を付与しておく。
学習部１５３が用いる機械学習の手法は、教師あり学習が可能な手法であれば、どのような手法であってもよい。学習部１５３は、いわゆる教師あり学習によって第２機械学習モデルを生成する。

なお、抽出部１４が、特徴量を抽出する際、既知の移動平均の手法、または、加工条件に関するデータの最大値および最小値を抽出する手法を用いた場合、選択転移学習データは、第１機械学習モデルを生成した際の事前学習データとは、データの構成が異なる。つまり、選択転移学習データは、第１機械学習モデルの入力とあわない。よって、この場合、学習部１５３は、例えば、選択転移学習データを、予め用意されている、第１機械学習モデルとは別の機械学習モデル（以下「第３機械学習モデル」という。）に入力して次元圧縮（特徴量抽出）を行う。また、学習部１５３は、これと並行して、特徴量の抽出を行っていない状態の選択転移学習データを第１機械学習モデルに入力して途中まで学習し、次元圧縮（特徴量抽出）を行う。なお、学習部１５３は、特徴量の抽出を行っていない状態の選択転移学習データを、抽出部１４から、選択部１５１を介して取得すればよい。そして、学習部１５３は、第１機械学習モデルで途中まで学習を行って得られたデータと、第３機械学習モデルから得られたデータとを合わせて、予め用意されている第１機械学習モデルおよび第３機械学習モデルとは別の機械学習モデル（以下「第４機械学習モデル」という。）に入力して加工の状態に関するデータを得る転移学習を実施する。第４機械学習モデルは、第１機械学習モデルの途中までの学習によって得られたデータと第３機械学習モデルから得られたデータとを結合したデータを入力とし、加工の状態に関するデータを出力する機械学習モデルである。

評価部１５４は、学習部１５３が生成した第２機械学習モデルの評価を行う。
実施の形態１において、評価部１５４は、２つの方法で第２機械学習モデルの評価を行う。
１つめの評価方法として、評価部１５４は、学習部１５３によって第２機械学習モデルが生成された際に用いられた複数の選択転移学習データ個々に対する評価を行うことで、第２機械学習モデルの評価を行う。当該評価方法を、「第１評価」ともいう。例えば、学習部１５３が５つの選択転移学習データを用いて第２機械学習モデルを生成したとすると、評価部１５４は、５つの選択転移学習データそれぞれの評価を行う。
２つめの評価方法として、評価部１５４は、学習部１５３によって第２機械学習モデルが生成された際に用いられた複数の選択転移学習データ全体に対する評価を行うことで、第２機械学習モデルの評価を行う。当該評価方法を、「第２評価」ともいう。例えば、上述の例でいうと、評価部１５４は、５つの選択転移学習データ全体としての評価を行う。
評価部１５４は、例えば、誤差（例えば、平均二乗誤差または平均絶対誤差）を用いて、複数の選択転移学習データに対する評価値を算出することで、複数の選択転移学習データに対する評価を行う。

具体的には、まず、評価部１５４は、複数の選択転移学習データに含まれている加工条件に関するデータを第２機械学習モデルに入力し、加工の状態に関するデータを得る。このとき、選択転移学習データの数の分だけ、加工の状態に関するデータが得られる。評価部１５４は、第２機械学習モデルに基づき得られた各加工の状態に関するデータと、対応する、複数の転移学習データに含まれている加工の状態に関するデータとの誤差を算出することで、各選択転移学習データに対する評価値（以下「個別評価値」という。）を算出する。これが、第１評価である。
具体例を挙げて説明すると、例えば、選択転移学習データが５つ（第１選択転移学習データ、第２選択転移学習データ、第３選択転移学習データ、第４選択転移学習データ、および、第５選択転移学習データ）あり、各選択転移学習データに含まれる加工の状態に関するデータは、「０．１５」、「０．３２」、「０．１０」、「－０．５２」、および、「－０．１１」だったとする。なお、これらの加工の状態に関するデータは、それぞれ、学習部１５３が第２機械学習モデルを生成した際の教師ラベルになったデータである。
一方、評価部１５４が、第１選択転移学習データに含まれている加工条件に関するデータ、第２選択転移学習データに含まれている加工条件に関するデータ、第３選択転移学習データに含まれている加工条件に関するデータ、第４選択転移学習データに含まれている加工条件に関するデータ、および、第５選択転移学習データに含まれている加工条件に関するデータをそれぞれ第２機械学習モデルに入力して得られた加工条件に関するデータは、「０．１０」、「０．２８」、「０．１４」、「－０．１４」、および、「－０．１９」だったとする。
この場合、評価部１５４は、第１選択転移学習データに対する個別評価値「０．０５」（「０．１５」と「０．１０」の絶対誤差）を算出する。また、評価部１５４は、第２選択転移学習データに対する個別評価値「０．０４」（「０．３２」と「０．２８」の絶対誤差）を算出する。また、評価部１５４は、第３選択転移学習データに対する個別評価値「０．０４」（「０．１０」と「０．１４」の絶対誤差）を算出する。また、評価部１５４は、第４選択転移学習データに対する個別評価値「０．３８」（「－０．５２」と「－０．１４」の絶対誤差）を算出する。また、評価部１５４は、第５選択転移学習データに対する個別評価値「０．０８」（「－０．１１」と「－０．１９」の絶対誤差）を算出する。

次に、評価部１５４は、第１評価を行って算出した、各選択転移学習データに対する評価値の平均値を算出することで、複数の選択転移学習データ全体に対する評価値（以下「全体評価値」という。）を算出する。これが第２評価である。
上述の具体例でいうと、評価部１５４は、複数の選択転移学習データ（第１選択転移学習データ、第２選択転移学習データ、第３選択転移学習データ、第４選択転移学習データ、および、第５選択転移学習データ）全体に対する全体評価値「０．１１８」（「０．０５」、「０．０４」、「０．０４」、「０．３８」、および、「０．０８」の平均絶対誤差）を算出する。

評価部１５４は、複数の選択転移学習データについて、各選択転移学習データと、対応する個別評価値とを対応付けて、重み更新部１５７に出力する。
また、評価部１５４は、複数の選択転移学習データと全体評価値とを対応付けて、評価値記憶部１５６に記憶させる。例えば、評価部１５４は、複数の選択転移学習データと、全体評価値と、第２機械学習モデルとを対応付けて、評価値記憶部１５６に記憶させてもよい。

なお、評価部１５４は、複数の選択転移学習データ全体に対する全体評価値を算出するとともに、評価用加工データ全体に対する評価値（以下「テスト全体評価値」という。）の算出も行う。評価用加工データは、加工データ取得部１１が加工データ記憶部１１２に記憶している。評価部１５４は、評価用加工データと第１機械学習モデルとに基づき、第２機械学習モデルを生成する。そして、評価部１５４は、複数の選択転移学習データに対して行った第２評価と同様の方法で、評価用加工データ全体に対するテスト全体評価値を算出すればよい。
評価部１５４は、評価用加工データとテスト全体評価値とを対応付けて、評価値記憶部１５６に記憶させる。例えば、評価部１５４は、評価用加工データと、テスト全体評価値と、第２機械学習モデルとを対応付けて、評価値記憶部１５６に記憶させてもよい。

モデル記憶部１５５は、学習部１５３が生成した第２機械学習モデルを記憶する。
なお、ここでは、モデル記憶部１５５は、転移学習装置１に備えられるものとするが、これは一例に過ぎない。モデル記憶部１５５は、転移学習装置１の外部の、転移学習装置１が参照可能な場所に備えられてもよい。例えば、モデル記憶部１５５は、制御装置２、または、記憶装置３に備えられてもよい。

評価値記憶部１５６は、評価部１５４から出力された、全体評価値が対応付けられた複数の選択転移学習データを記憶する。また、評価値記憶部１５６は、評価部１５４から出力された、テスト全体評価値が対応付けられた評価用加工データを記憶する。
なお、ここでは、評価値記憶部１５６は、転移学習装置１に備えられるものとするが、これは一例に過ぎない。評価値記憶部１５６は、転移学習装置１の外部の、転移学習装置１が参照可能な場所に備えられてもよい。例えば、評価値記憶部１５６は、制御装置２、または、記憶装置３に備えられてもよい。

重み更新部１５７は、評価部１５４が行った第２機械学習モデルの評価結果に基づき、各選択転移学習データに付与されている優先度を更新する。
評価部１５４が行った第２機械学習モデルの評価結果とは、すなわち、評価部１５４から出力された、個別評価値が対応付けられた複数の選択転移学習データである。
重み更新部１５７は、選択転移学習データ毎に、優先度の更新を行う。
重み更新部１５７は、例えば、各選択転移学習データに付与されている優先度を、複数の選択転移学習データに対応付けられている個別評価値で更新する。重み更新部１５７は、例えば、予め設定されている、優先度を算出するための条件式に個別評価値を代入して、優先度を算出し、算出した優先度で、選択転移学習データに付与されている優先度を更新してもよい。重み更新部１５７は、対応付けられている個別評価値が低いほど、選択転移学習データに付与される優先度が高くなるよう、優先度の更新を行う。
重み更新部１５７は、更新後の優先度を付与した複数の選択転移学習データを、選択部１５１に出力する。

選択部１５１は、重み更新部１５７から、更新後の優先度を付与した複数の選択転移学習データが出力されると、優先度に基づき、複数の選択転移学習データのサンプリングを行う。
例えば、選択部１５１は、優先度が予め設定された閾値（以下「サンプリング用閾値」という。）以上の選択転移学習データをサンプリングする。
そして、選択部１５１は、サンプリング後の選択転移学習データを、学習部１５３に出力する。選択部１５１がサンプリング後の選択転移学習データには重み更新部１５７が更新した優先度が付与されている。

学習部１５３は、選択部１５１から、サンプリング後の選択転移学習データが出力されると、第２機械学習モデルの再学習を行う。学習部１５３が再学習を行うと、評価部１５４は再学習によって生成された第２機械学習モデルの評価を行い、重み更新部１５７は、優先度の更新を行う。選択部１５１からサンプリング後の選択転移学習データが出力される間、学習部１５３による学習、評価部１５４による第２機械学習モデルの評価、および、重み更新部１５７による優先度の更新が繰り返される。

なお、選択部１５１は、学習部１５３による再学習が必要か否かを判定した上で、選択転移学習データのサンプリングを行う。
選択部１５１は、学習部１５３による再学習が不要と判定した場合、選択転移学習データのサンプリングをやめる。これにより、学習部１５３による第２機械学習モデルの生成が完了する。
選択部１５１は、例えば、重み更新部１５７が更新した、各選択転移学習データに付与されている優先度が、いずれも、予め設定された閾値（以下「第１打ち止め用閾値」という。）以下となった場合、学習部１５３による再学習が不要と判定する。選択部１５１は、例えば、評価値記憶部１５６に記憶されている全体評価値およびテスト全体評価値が、いずれも、予め設定された閾値（以下「第２打ち止め用閾値」という。）以上となった場合、学習部１５３による再学習が不要と判定してもよい。

学習部１５３による第２機械学習モデルの生成が完了すると、例えば、制御装置２は、加工機４に加工を実行させる際に、当該第２機械学習モデルを用いて、加工の過程における位置誤差を推論する。そして、制御装置２は、例えば、推論結果に基づき、位置誤差を補正できるよう、加工条件を設定する。また、例えば、制御装置２は、推論結果を、制御装置２が備える表示装置（図示省略）に表示させてユーザに知らせてもよい。

実施の形態１に係る転移学習装置１の動作について説明する。
図４は、実施の形態１に係る転移学習装置１の動作について説明するためのフローチャートである。

加工データ取得部１１は、制御装置２から複数の加工データを取得し、記憶する（ステップＳＴ１）。
具体的には、ステップＳＴ１にて、加工データ取得部１１の加工データ前処理部１１１は、制御装置２から加工データを取得し、取得した加工データの整形を行う。そして、加工データ前処理部１１１は、整形した後の加工データを、加工データ記憶部１１２に記憶させる。

事前学習データ取得部１２は、記憶装置３の事前学習データ記憶部３１が記憶している複数の事前学習データを取得する（ステップＳＴ２）。
事前学習データ取得部１２は、取得した複数の事前学習データを分析部１３に出力する。

分析部１３は、加工データ取得部１１において加工データ記憶部１１２に記憶されている整形後の複数の加工データと、事前学習データ取得部１２から出力された複数の事前学習データとに基づき、整形後の複数の加工データに対する重要度を算出する（ステップＳＴ３）。
分析部１３は、各加工データ（圧縮後加工データ）と重要度とを対応付けて、抽出部１４に出力する。

抽出部１４は、ステップＳＴ３にて分析部１３が算出した重要度に基づいて、ステップＳＴ１にて加工データ取得部１１が取得した複数の加工データのうちから、第１機械学習モデルの転移学習を行うための複数の加工データ、言い換えれば、転移学習データを抽出する（ステップＳＴ４）。
抽出部１４は、転移学習データを抽出した際、特徴量の抽出も行う。
抽出部１４は、ステップＳＴ３にて分析部１３によって算出された重要度が対応付けられ、特徴量の抽出が行われた後の複数の転移学習データを、機械学習部１５に出力する。

機械学習部１５は、ステップＳＴ４にて抽出部１４から出力された複数の転移学習データを用いて第１機械学習モデルの転移学習を行い、第２機械学習モデルを生成する（ステップＳＴ５）。

図５は、実施の形態１に係る転移学習装置１の分析部１３の動作について詳細に説明するためのフローチャートである。すなわち、図５は、図４のステップＳＴ３の処理について、詳細に説明するためのフローチャートである。
まず、分析部１３において、圧縮部１３１は、複数の加工データ、および、複数の事前学習データを圧縮する（ステップＳＴ３１）。

解析部１３２は、ステップＳＴ３１にて圧縮部１３１が圧縮した後の複数の圧縮後加工データと、圧縮部１３１が圧縮した後の複数の圧縮後事前学習データとに基づき、各圧縮後加工データに対する重要度を算出する（ステップＳＴ３２）。
解析部１３２が複数の圧縮後加工データに対して重要度を算出すると、分析部１３は、各圧縮後加工データと重要度とを対応付けて、抽出部１４に出力する。

図６は、実施の形態１に係る転移学習装置１の機械学習部１５の動作について、詳細に説明するためのフローチャートである。すなわち、図６は、図５のステップＳＴ５の処理について、詳細に説明するためのフローチャートである。
モデル読込部１５２は、記憶装置３の事前学習モデル記憶部３２に記憶されている第１機械学習モデルを読み込む（ステップＳＴ５１）。

選択部１５１は、抽出部１４から複数の転移学習データが出力されると、「優先度の初期設定処理」を行う（ステップＳＴ５２）。

選択部１５１は、転移学習が必要か否かを判定する（ステップＳＴ５３）。具体的には、選択部１５１は、転移学習に基づき第２機械学習モデルの生成が必要か否かを判定する。選択部１５１は、まだ第２機械学習モデルの生成を行っていない場合、転移学習が必要であると判定する。一方、選択部１５１は、第２機械学習モデルを生成済みである場合、転移学習は不要であると判定する。なお、例えば、学習部１５３が、第２機械学習モデルを生成した際に、機械学習部１５が参照可能なモデル生成済みフラグに「１」を設定する。選択部１５１は、モデル生成済フラグに「１」が設定されているか否かによって、第２機械学習モデルが生成済みであるか否かを判定すればよい。当該モデル生成済みフラグは、例えば、第２機械学習モデルが完成した際に初期化される。

選択部１５１は、転移学習が必要であると判定した場合（ステップＳＴ５３の“ＹＥＳ”の場合）、ステップＳＴ５２の「優先度の初期設定処理」にて各転移学習データに付与した優先度に基づいて、選択転移学習データを選択する（ステップＳＴ５４）。

学習部１５３は、ステップＳＴ５４にて選択部１５１から出力された複数の選択転移学習データを用いて、ステップＳＴ５１にてモデル読込部１５２が読み込んだ第１機械学習モデルの転移学習を行い、第２機械学習モデルを生成する（ステップＳＴ５５）。
学習部１５３は、生成した第２機械学習モデルを、モデル記憶部１５５に記憶させる。
また、学習部１５３は、生成した第２機械学習モデルを、当該第２機械学習モデルを生成した際に用いた選択転移学習データとともに、評価部１５４に出力する。

評価部１５４は、ステップＳＴ５５にて学習部１５３が生成した第２機械学習モデルの評価を行う（ステップＳＴ５６）。具体的には、評価部１５４は、学習部１５３によって第２機械学習モデルが生成された際に用いられた複数の選択転移学習データ個々に対する評価、および、当該複数の選択転移学習データ全体に対する評価を行う。
評価部１５４は、複数の選択転移学習データについて、各選択転移学習データと、対応する個別評価値とを対応付けて、重み更新部１５７に出力する。
また、評価部１５４は、複数の選択転移学習データと全体評価値とを対応付けて、評価値記憶部１５６に記憶させる。例えば、評価部１５４は、複数の選択転移学習データと、全体評価値と、第２機械学習モデルとを対応付けて、評価値記憶部１５６に記憶させてもよい。
なお、評価部１５４は、ステップＳＴ５６にて、評価部１５４は、評価用加工データ全体に対するテスト全体評価値の算出も行う。評価部１５４は、評価用加工データとテスト全体評価値とを対応付けて、評価値記憶部１５６に記憶させる。

重み更新部１５７は、ステップＳＴ５６にて評価部１５４が行った第２機械学習モデルの評価結果に基づき、各選択転移学習データに付与されている優先度を更新する（ステップＳＴ５７）。その後、機械学習部１５の動作は、ステップＳＴ５３に戻る。

一方、ステップＳＴ５３にて、転移学習が必要ではないと判定した場合（ステップＳＴ５３の“ＮＯ”の場合）、すなわち、第２機械学習モデルが生成済みである場合、選択部１５１は、学習部１５３による再学習が必要か否かを判定する（ステップＳＴ５８）。

選択部１５１は、学習部１５３による再学習が必要と判定した場合（ステップＳＴ５８の“ＹＥＳ”の場合）、選択転移学習データのサンプリングを行う（ステップＳＴ５９）。
選択部１５１は、サンプリング後の選択転移学習データを、学習部１５３に出力する。

学習部１５３は、ステップＳＴ５９にて、選択部１５１から、サンプリング後の選択転移学習データが出力されると、第２機械学習モデルの再学習を行う（ステップＳＴ６０）。
そして、機械学習部１５の動作は、ステップＳＴ５６の処理に進む。なお、この場合、ステップＳＴ５６にて、評価部１５４は、学習部１５３が再学習した第２機械学習モデルの評価を行う。その後、ステップＳＴ５６の処理が行われ、機械学習部１５の動作は、ステップＳＴ５３の処理に戻る。

一方、ステップＳＴ５８において、選択部１５１が、学習部１５３による再学習は必要ではないと判定した場合（ステップＳＴ５８の“ＮＯ”の場合）、選択部１５１は、選択転移学習データのサンプリングをやめる。これにより、学習部１５３による第２機械学習モデルの生成が完了する。そして、機械学習部１５は、図６のフローチャートに示す処理を終了する。

なお、図４に示すフローチャートを用いて説明した転移学習装置１の動作について、図４のフローチャートでは、ステップＳＴ１、ステップＳＴ２の順で処理が行われるものとしたが、この順で処理が行われることは必須ではない。例えば、ステップＳＴ２、ステップＳＴ１の順で処理が行われてもよいし、ステップＳＴ１の処理とステップＳＴ２の処理とが並行して行われてもよい。
また、図６に示すフローチャートを用いて説明した機械学習部１５の詳細な動作について、図６のフローチャートでは、まず、ステップＳＴ５１の処理が行われるものとしたが、これは一例に過ぎない。ステップＳＴ５１の処理は、ステップＳＴ５５の処理が行われるまでに完了していればよい。

このように、転移学習装置１は、制御装置２から取得した複数の加工データに対する重要度を算出し、重要度に基づいて、複数の加工データのうちから、第１機械学習の転移学習を行うための複数の転移学習データを抽出する。そして、転移学習装置１は、抽出した複数の転移学習データを用いて第１機械学習の転移学習を行い、第２機械学習モデルを生成する。
上述のとおり、加工機４が稼働される現場では、制御装置２から取得される加工データの量が膨大となる。したがって、仮に、転移学習装置１が、単純に取得された全ての加工データを用いて転移学習を行ったとすると、例え、転移学習が効率的な学習であったとしても、第２機械学習モデルの生成に時間がかかってしまう。これに対し、実施の形態１に係る転移学習装置１は、制御装置２から取得した各加工データに対して重要度を算出し、算出した重要度に応じて、転移学習データを抽出する。
これにより、転移学習装置１は、第２機械学習モデルを生成するのに用いるデータの量を減らすことができる。つまり、転移学習装置１は、加工の現場において収集される加工データの全部を必要とせず、当該加工データの一部から、実際に加工機４が稼働する現場での当該加工機４の状況に適した加工条件を設定するための第２機械学習モデルを生成することができる。その結果、転移学習装置１は、多大な時間をかけることなく効率的に第２機械学習モデルを生成できる。
なお、転移学習装置１は、重要度に基づいて転移学習データを抽出するので、言い換えれば、第２機械学習モデルを生成する際の学習データとして用いられた場合に有効と想定される度合いが高い加工データを、転移学習データとして抽出するので、数を減らしたとしても、第２機械学習モデルの生成に適した加工データを転移学習データとすることができる。

また、転移学習装置１は、重要度に基づいて抽出した各転移学習データに対して優先度を付与し、当該優先度に基づいて複数の前記転移学習データのうちから複数の選択転移学習データを選択する。そして、転移学習装置１は、選択した複数の選択転移学習データを用いて第１機械学習モデルの転移学習を行う。
これにより、転移学習装置１は、さらに第２機械学習モデルを生成するのに用いるデータの量を減らすことができる。その結果、転移学習装置１は、さらに効率的に第２機械学習モデルを生成できる。

また、転移学習装置１は、生成した第２機械学習モデルの評価を行い、評価結果に基づいて、選択転移学習データに付与されている優先度を更新する。そして、転移学習装置１は、更新した後の優先度に基づいて選択転移学習データのサンプリングを行い、サンプリング後の選択転移学習データを用いて、第２機械学習モデルを再学習する。
これにより、転移学習装置１は、生成した第２機械学習モデルの精度を高めることができる。

図７Ａおよび図７Ｂは、実施の形態１に係る転移学習装置１のハードウェア構成の一例を示す図である。
実施の形態１において、加工データ取得部１１と、事前学習データ取得部１２と、分析部１３と、抽出部１４と、機械学習部１５の機能は、処理回路５０１により実現される。すなわち、転移学習装置１は、制御装置２から取得した複数の加工データから抽出した転移学習データを用いて、予め生成されている第１機械学習モデルに基づき転移学習を行って、第２機械学習モデルを生成する制御を行うための処理回路５０１を備える。
処理回路５０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ５０４であってもよい。

処理回路５０１が専用のハードウェアである場合、処理回路５０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ５０４の場合、加工データ取得部１１と、事前学習データ取得部１２と、分析部１３と、抽出部１４と、機械学習部１５の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ５０５に記憶される。プロセッサ５０４は、メモリ５０５に記憶されたプログラムを読み出して実行することにより、加工データ取得部１１と、事前学習データ取得部１２と、分析部１３と、抽出部１４と、機械学習部１５の機能を実行する。すなわち、転移学習装置１は、プロセッサ５０４により実行されるときに、上述の図４のステップＳＴ１～ステップＳＴ５が結果的に実行されることになるプログラムを格納するためのメモリ５０５を備える。また、メモリ５０５に記憶されたプログラムは、加工データ取得部１１と、事前学習データ取得部１２と、分析部１３と、抽出部１４と、機械学習部１５の処理の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、加工データ取得部１１と、事前学習データ取得部１２と、分析部１３と、抽出部１４と、機械学習部１５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、加工データ取得部１１と事前学習データ取得部１２については専用のハードウェアとしての処理回路５０１でその機能を実現し、分析部１３と、抽出部１４と、機械学習部１５についてはプロセッサ５０４がメモリ５０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
モデル記憶部１５５および評価値記憶部１５６は、例えば、メモリで構成される。
また、転移学習装置１は、制御装置２または記憶装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置５０２および出力インタフェース装置５０３を備える。

なお、上述したとおり、以上の実施の形態１において、分析部１３が複数の加工データの重要度を算出する際、変化点検知手法によって重要度を算出する場合は、分析部１３は、複数の事前学習データを必要としない。したがって、この場合、転移学習装置１は、事前学習データ取得部１２を備えない構成とできる。

また、以上の実施の形態１では、転移学習装置１において、分析部１３は、圧縮部１３１を備えるものとしたが、これは一例に過ぎない。分析部１３は、圧縮部１３１を備えることを必須としない。この場合、解析部１３２は、圧縮していない複数の加工データと、圧縮していない複数の事前学習データとに基づいて、各加工データに対する重要度を算出する。解析部１３２の当該機能を分析部１３が有するものとし、分析部１３は解析部１３２も備えない構成としてもよい。

また、以上の実施の形態１では、転移学習装置１は、評価部１５４および重み更新部１５７を備えるものとしたが、これは一例に過ぎない。転移学習装置１は、評価部１５４および重み更新部１５７を備えない構成としてもよい。この場合、転移学習装置１は、第２機械学習モデルの再学習の機能を有しない。
さらに、転移学習装置１は、選択部１５１を有しない構成としてもよい。この場合、転移学習装置１において、学習部１５３は、抽出部１４が抽出した複数の転移学習データを用いて、第１機械学習モデルの転移学習を行うことで、第２機械学習モデルを生成すればよい。

また、以上の実施の形態１では、転移学習装置１において、加工データ取得部１１は、加工データ前処理部１１１を備えるものとしたが、これは一例に過ぎない。加工データ取得部１１は、加工データ前処理部１１１を備えることを必須としない。加工データ取得部１１は、加工データ前処理部１１１を備えない場合、制御装置２から取得した複数の加工データを、加工データ記憶部１１２に記憶させる。

また、以上の実施の形態１において、転移学習装置１は、例えば、制御装置２または加工機４に搭載されてもよいし、サーバ（図示省略）に搭載されて制御装置２と通信を行うものとしてもよい。また、例えば、加工データ取得部１１と、事前学習データ取得部１２と、分析部１３と、抽出部１４と、機械学習部１５のうち一部が制御装置２または加工機４に備えられ、その他がサーバに備えられてもよい。

また、以上の実施の形態１では、加工の状態は、加工機４によって実際に実行された加工位置の、加工機４が指示されている加工位置に対する位置誤差を想定していた。しかし、これは一例に過ぎない。以上の実施の形態１において、加工の状態は、例えば、加工機４によって実際に実行された加工位置が、加工機４が指示されている加工位置に対して、予め設定された範囲以上の位置誤差があるか否か、としてもよい。

以上のように、実施の形態１に係る転移学習装置１は、加工機４に複数ステップ分の加工を行わせるための時系列の加工条件に関するデータ、および、加工機４が加工条件に基づき複数ステップ分実行した加工の状態に関するデータを含む複数の加工データを取得する加工データ取得部１１と、加工データ取得部１１が取得した複数の加工データに基づき、加工データ取得部１１が取得した各加工データに対する重要度を算出する分析部１３と、分析部１３が算出した重要度に基づいて、加工データ取得部１１が取得した複数の加工データのうちから、事前に生成されている、複数ステップ分の時系列記加工条件に関するデータを入力とし複数ステップ分実行した後の加工の状態に関するデータを出力する第１機械学習モデル、の転移学習を行うための複数の転移学習データを抽出する抽出部１４と、抽出部１４が抽出した複数の転移学習データを用いて第１機械学習モデルの転移学習を行い、複数ステップ分の時系列の加工条件に関するデータを入力とし複数ステップ分実行した後の加工の状態に関するデータを出力する第２機械学習モデルを生成する学習部１５３とを備えるように構成した。これにより、転移学習装置１は、加工の現場において収集されるデータの全部を必要とせず、当該データの一部から、実際に稼働する現場での当該加工機の状況に適した加工条件を設定するための第２機械学習モデルを生成することができる。その結果、多大な時間を要することなく、上記第２機械学習モデルを生成することができる。

なお、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本開示に係る転移学習装置は、加工の現場において、実際に加工機が稼働する現場での当該加工機の状況に適した加工条件を設定するための第２機械学習モデルを生成する転移学習装置として用いることができる。

１ 転移学習装置、１１ 加工データ取得部、１１１ 加工データ前処理部、１１２ 加工データ記憶部、１３ 分析部、１３１ 圧縮部、１３２ 解析部、１４ 抽出部、１５ 機械学習部、１５１ 選択部、１５２ モデル読込部、１５３ 学習部、１５４ 評価部、１５５ モデル記憶部、１５６ 評価値記憶部、１５７ 重み更新部、２ 制御装置、３ 記憶装置、３１ 事前学習データ記憶部、３２ 事前学習モデル記憶部、４ 加工機、５０１ 処理回路、５０２ 入力インタフェース装置、５０３ 出力インタフェース装置、５０４ プロセッサ、５０５ メモリ。

Claims (7)

1. 加工機に複数ステップ分の加工を行わせるための時系列の加工条件に関するデータ、および、前記加工機が前記加工条件に基づき前記複数ステップ分実行した加工の状態に関するデータを含む複数の加工データを取得する加工データ取得部と、
   前記加工データ取得部が取得した複数の前記加工データに基づき、前記加工データ取得部が取得した各加工データに対する重要度を算出する分析部と、
   前記分析部が算出した前記重要度に基づいて、前記加工データ取得部が取得した複数の前記加工データのうちから、事前に生成されている、前記複数ステップ分の時系列の前記加工条件に関するデータを入力とし前記複数ステップ分実行した後の加工の状態に関するデータを出力する第１機械学習モデル、の転移学習を行うための複数の転移学習データを抽出する抽出部と、
   前記抽出部が抽出した複数の前記転移学習データを用いて前記第１機械学習モデルの前記転移学習を行い、前記複数ステップ分の時系列の前記加工条件に関するデータを入力とし前記複数ステップ分実行した後の加工の状態に関するデータを出力する第２機械学習モデルを生成する学習部
   とを備えた転移学習装置。
2. 前記第１機械学習モデルの生成時に用いられた、前記複数ステップ分の時系列の前記加工条件に関するデータ、および、前記複数ステップ分実行した後の加工の状態に関するデータを含む複数の事前学習データ、を取得する事前学習データ取得部を備え、
   前記分析部は、前記加工データ取得部が取得した複数の前記加工データと、前記事前学習データ取得部が取得した複数の前記事前学習データとに基づき、前記加工データ取得部が取得した各加工データに対する前記重要度を算出する
   ことを特徴とする請求項１記載の転移学習装置。
3. 前記抽出部が抽出した各転移学習データに対して優先度を付与し、当該優先度に基づいて複数の前記転移学習データのうちから複数の選択転移学習データを選択する選択部を備え、
   前記学習部は、前記選択部が選択した複数の前記選択転移学習データを用いて前記第１機械学習モデルの前記転移学習を行う
   ことを特徴とする請求項１記載の転移学習装置。
4. 前記学習部が生成した前記第２機械学習モデルの評価を行う評価部と、
   前記評価部が行った前記第２機械学習モデルの評価結果に基づき、各選択転移学習データに付与されている前記優先度を更新する重み更新部を備え、
   前記選択部は、前記重み更新部が更新した前記優先度に基づいて前記選択転移学習データのサンプリングを行い、
   前記学習部は、前記選択部が前記サンプリングを行った後の前記選択転移学習データに基づいて前記第２機械学習モデルを再学習する
   ことを特徴とする請求項３記載の転移学習装置。
5. 前記分析部は、
   複数の前記加工データおよび複数の前記事前学習データを圧縮する圧縮部と、
   前記圧縮部が圧縮した後の複数の前記加工データおよび複数の前記事前学習データに基づき、前記加工データ取得部が取得した各加工データに対する前記重要度を算出する解析部とを備えた
   ことを特徴とする請求項２記載の転移学習装置。
6. 前記抽出部は、複数の前記転移学習データの特徴量を抽出し、
   前記学習部は、前記抽出部が抽出した前記特徴量に基づいて前記第１機械学習モデルの前記転移学習を行う
   ことを特徴とする請求項１記載の転移学習装置。
7. 加工データ取得部が、加工機に複数ステップ分の加工を行わせるための時系列の加工条件に関するデータ、および、前記加工機が前記加工条件に基づき前記複数ステップ分実行した加工の状態に関するデータを含む複数の加工データを取得するステップと、
   分析部が、前記加工データ取得部が取得した複数の前記加工データに基づき、前記加工データ取得部が取得した各加工データに対する重要度を算出するステップと、
   抽出部が、前記分析部が算出した前記重要度に基づいて、前記加工データ取得部が取得した複数の前記加工データのうちから、事前に生成されている、前記複数ステップ分の時系列の前記加工条件に関するデータを入力とし前記複数ステップ分実行した後の加工の状態に関するデータを出力する第１機械学習モデル、の転移学習を行うための複数の転移学習データを抽出するステップと、
   学習部が、前記抽出部が抽出した複数の前記転移学習データを用いて前記第１機械学習モデルの前記転移学習を行い、前記複数ステップ分の時系列の前記加工条件に関するデータを入力とし前記複数ステップ分実行した後の加工の状態に関するデータを出力する第２機械学習モデルを生成するステップ
   とを備えた転移学習方法。

Images