JP6767355B2

JP6767355B2 - モデル構築システムおよびモデル構築方法

Info

Publication number: JP6767355B2
Application number: JP2017249728A
Authority: JP
Inventors: 幸仁西田; 英己安井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2017-03-29
Filing date: 2017-12-26
Publication date: 2020-10-14
Anticipated expiration: 2037-12-26
Also published as: TW201837761A; JP2018169999A; TWI677799B

Description

本発明の実施形態は、モデル構築システムおよびモデル構築方法に関する。

ある出力変数（目的変数）を、複数の入力変数（説明変数）を用いて予測することを目的として、複数の入力変数と出力変数との関係を表すモデルの構築が一般的に行われている。モデルを構築する際には、多数の入力変数の中から一部の入力変数を選択し、選ばれた入力変数と出力変数とを用いてモデルが構築される。例えば、入力変数は、出力変数に対する予測誤差が小さく、出力変数をより高精度に予測できるように選択される。

モデルについては、精度以外に、汎化能力が高いことが求められる。すなわち、ある範囲のデータ（既存のデータ）に基づいて構築されたモデルが、別の範囲のデータ（未知のデータ）に対しても、良好な精度を有することが求められる。しかし、既存のデータに対して高い精度を有するモデルが、高い汎化能力を有するとは限らない。また、既存のデータに対し精度が最も高いモデルより、ある程度精度が低いモデルの方が汎化能力では優れていることもある。このため、精度の低下を抑えつつ、汎化能力の高いモデルを構築できる技術の開発が望まれていた。

特開２０１０−２８２５４７号公報

本発明が解決しようとする課題は、精度の低下を抑制しつつ、汎化能力の高いモデルを構築できるモデル構築システムおよびモデル構築方法を提供することである。

実施形態に係るモデル構築システムは、ベースモデル構築部と、類似度算出部と、変形モデル構築部と、汎化能力算出部と、を備える。前記ベースモデル構築部は、複数の入力変数から選択された選択入力変数と、出力変数と、の関係を表すベースモデルを構築する。前記類似度算出部は、前記複数の入力変数のうち前記選択入力変数以外の非選択入力変数と、前記選択入力変数と、の間の類似度を算出する。前記変形モデル構築部は、前記類似度に基づき、前記選択入力変数の少なくとも一部を、前記非選択入力変数と入れ換え、入れ換えた後の入力変数と出力変数との関係を表す変形モデルを構築する。前記汎化能力算出部は、前記ベースモデルおよび前記変形モデルの汎化能力を算出する。前記変形モデル構築部は、それぞれの前記選択入力変数に対して、所定の閾値以上の前記類似度を有する前記非選択入力変数を抽出し、前記選択入力変数の少なくとも一部を、抽出された前記非選択入力変数と入れ換えて、前記変形モデルを構築する。

実施形態に係るモデル構築システムの構成を表すブロック図である。実施形態に係るモデル構築システムによる処理の一例を説明する図である。実施形態に係るモデル構築システムによる処理の一例を説明する図である。実施形態に係るモデル構築方法の一例を表すフローチャートである。実施形態に係るモデル構築方法の他の一例を表すフローチャートである。実施形態に係るモデル構築システムを実現するためのモデル構築装置の構成を例示するブロック図である。実施形態に係るモデル構築システムを用いて構築したモデルの特性を例示するグラフである。実施形態に係るモデル構築システムを用いて構築したモデルの特性を例示するグラフである。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
また、本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、実施形態に係るモデル構築システム１の構成を表すブロック図である。
図２および図３は、実施形態に係るモデル構築システム１による処理の一例を説明する図である。

図１に表すように、モデル構築システム１は、取得部１００、ベースモデル構築部１０２、モデル情報保存部１０４、類似度算出部１０６、類似度情報保存部１０８、変形モデル構築部１１０、汎化能力算出部１１２、外部出力部１１４、規定数データベース１２０、および変数データベース１２２を備える。

規定数データベース１２０は、規定数を記憶する。規定数は、モデル構築システム１において構築されるモデルの数を表す。規定数は、例えば、予めユーザによって入力される。変数データベース１２２は、入力変数および出力変数に関して、それぞれの変数の実測値である変数データを記憶している。

取得部１００は、規定数データベース１２０および変数データベース１２２から、それぞれ、規定数および変数データを取得する。取得部１００は、取得した情報を、ベースモデル構築部１０２に出力する。

ベースモデル構築部１０２は、取得部１００から出力された複数の入力変数から、一部の入力変数を選択する。ベースモデル構築部１０２は、取得部１００によって取得された変数データを用いて、選択された入力変数と出力変数との関係を表すモデルを構築する。入力変数の選択およびモデルの構築は、例えば、Least Absolute Shrinkage and Selection Operator(Lasso)、Elastic Net、Ridge、Least Angle Regression(LARS)、Non Negative Garrote、またはSmoothly Clipped Absolute Deviation(SCAD)を用いて行うことができる。あるいは、入力変数の選択を、ステップワイズ、Variable Important in the Projection(VIP)、遺伝的アルゴリズム、およびNearest Correlation Louvain Method(NCLM)のいずれかを用いて行い、モデルの構築を、重回帰またはPartial Least Squares(PLS)を用いて行っても良い。

以降では、ベースモデル構築部１０２によるモデル構築の際に選択された入力変数を「選択入力変数」と言う。、選択されなかった変数を「非選択入力変数」と言う。選択入力変数は、取得部１００によって取得された複数の入力変数の一部である。非選択入力変数は、複数の入力変数の別の一部である。非選択入力変数は、選択入力変数と異なる。また、ベースモデル構築部１０２によって、選択入力変数を用いて構築されたモデルを「ベースモデル」と言う。ベースモデルは、複数の選択入力変数を含む入力変数群と、出力変数と、の関係を表す。

ベースモデル構築部１０２は、構築したベースモデルを、モデル情報保存部１０４に出力する。これにより、モデル情報保存部１０４に、モデル情報が保存される。また、ベースモデル構築部１０２は、ベースモデルを、類似度算出部１０６および変形モデル構築部１１０にも出力する。

類似度算出部１０６は、ベースモデルに含まれる複数の選択入力変数のそれぞれと、複数の非選択入力変数のそれぞれと、の間の複数の類似度を算出する。例えば、相関係数、偏相関係数、正準相関、またはRidge決定係数などを類似度として用いることができる。類似度算出部１０６は、算出した類似度を、類似度情報保存部１０８に出力する。

変形モデル構築部１１０は、類似度情報保存部１０８から入力変数の類似度情報を取得する。変形モデル構築部１１０は、この類似度情報に基づいて、複数の選択入力変数の少なくとも一部を、複数の非選択入力変数の少なくとも一部と入れ替える。これにより、別の入力変数群が生成される。このとき、変形モデル構築部１１０は、ベースモデルに含まれる複数の選択入力変数の全てを、複数の非選択入力変数の少なくとも一部と入れ替えても良い。または、変形モデル構築部１１０は、ベースモデルに含まれる複数のの選択入力変数の一部を、複数の非選択入力変数の少なくとも一部と入れ替えても良い。変形モデル構築部１１０は、上記別の入力変数群と出力変数との関係を表すモデルを構築する。以降では、変形モデル構築部１１０によって構築されたこのモデルを「変形モデル」と言う。

変形モデル構築部１１０によって構築された変形モデルのモデル情報は、モデル情報保存部１０４に保存される。また、変形モデル構築部１１０は、モデル構築システム１によって構築されたベースモデルと変形モデルの総数が規定数に達しているか判定する。構築されたモデルの総数が規定数に達していない場合、変形モデル構築部１１０は、変形モデルに含まれる変数を入れ換えながら、さらに他の変形モデルを繰り返し構築していく。

ベースモデルおよび変形モデルの総数が規定数に達すると、汎化能力算出部１１２によって、構築された各モデルの汎化能力が算出される。汎化能力算出部１１２は、モデル情報保存部１０４に保存されたモデル情報（ベースモデルおよび変形モデル）を取得し、変数データベース１２２から変数データを取得する。このとき、汎化能力算出部１１２は、ベースモデルおよび変形モデルの構築時とは異なる範囲の変数データ（未知のデータ）を取得する。例えば、汎化能力算出部１１２は、未知のデータの入力変数に対してベースモデルおよび変形モデルを適用する。汎化能力算出部１１２は、各モデルの予測値と出力変数の実測値とを比較し、予測の精度を各モデルの汎化能力として算出する。

一例として、ベースモデルおよび変形モデルは、ある製造装置で得られた各種データ（温度や、圧力、出来栄え）を入力変数および出力変数として構築される。この場合、各モデルを、別の製造装置で得られた変数データに適用し、その精度を各モデルの汎化能力として算出する。
または、ベースモデルおよび変形モデルは、ある製造装置の所定期間に得られた変数データに基づいて構築される。この場合、各モデルを、当該装置の別の期間に得られたデータに適用し、その精度を各モデルの汎化能力として算出しても良い。
汎化能力は、例えば、Mean Square Error(MSE）、Root Mean Square Error(RMSE）、決定係数（Ｒ^２）、相関係数、Akaike's Information Criterion(AIC）、またはBayesian Information Criterion(BIC)などを用いて算出される。汎化能力算出部１１２は、各モデルについての汎化能力の算出結果を、外部出力部１１４に出力する。

外部出力部１１４は、最も汎化能力が高かったベースモデルおよび変形モデルの１つを、ディスプレイ上でユーザに対して表示させ、または所定のファイル形式で出力させる。外部出力部１１４は、最も高い汎化能力を有するモデルを含む複数のモデルを出力しても良い。

ここで、図２および図３を参照しつつ、複数の具体的な例について説明する。
例えば、１２個の入力変数Ｘ_ｉ（ｉ＝１〜１２の自然数）と出力変数Ｙとの変数データが変数データベース１２２に記憶されている。この場合、ベースモデル構築部１０２は、１２個の入力変数の一部を選択する。ベースモデル構築部１０２は、１２個の入力変数の一部と出力変数Ｙとの間で、例えば以下の式（１）で表されるベースモデルを作成する。ベースモデル構築部１０２は、このベースモデルを、モデル情報保存部１０４に保存する。
Ｙ＝ｂ_１Ｘ_１＋ｂ_２Ｘ_２＋ｂ_３Ｘ_３＋ｂ_０（１）

次に、類似度算出部１０６は、選択入力変数であるＸ_１、Ｘ_２、およびＸ_３のそれぞれと、非選択入力変数であるＸ_４〜Ｘ_{１２のそれぞれ}と、の間で、図２（ａ）に表すように、類似度を算出する。図２（ａ）では、類似度として相関係数を用いた場合を例示している。

１つ目の方法として、変形モデル構築部１１０は、例えば、予め設定された閾値を用いる。変形モデル構築部１１０は、それぞれの選択入力変数について、閾値以上の類似度を有する少なくとも１つの非選択入力変数を抽出する。
図２（ｂ）に表した例では、閾値は８０％に設定され、それぞれの選択入力変数に対して類似度の高い非選択入力変数が抽出されている。すなわち、この例では、変数Ｘ_１に対しては、変数Ｘ_４、Ｘ_５、Ｘ_６が抽出されている。変数Ｘ_２に対しては、変数Ｘ_７、Ｘ_８、Ｘ_９が抽出され、変数Ｘ_３に対しては、変数Ｘ_１０、Ｘ_１１、Ｘ_１２が抽出されている。これにより、１つの選択入力変数と、当該１つの選択入力変数と類似度が高い非選択入力変数と、の組が複数作成される。図２（ａ）に表す例では、非選択入力変数Ｘ_１２の類似度は、選択入力変数Ｘ_１およびＸ_３の両方に対して８０％以上である。この場合、非選択入力変数Ｘ_１２は、例えば、より類似度の高い選択入力変数Ｘ_３に対して割り当てられる。

変形モデル構築部１１０は、それぞれの組について、例えば、選択入力変数と非選択入力変数とを一様な確率で入れ換える。変形モデル構築部１１０は、入れ換え後の選択入力変数と非選択入力変数との群に基づいて変形モデルを構築する。変形モデル構築部１１０は、この変形モデルを、モデル情報保存部１０４に保存する。例えば、図２（ａ）および図２（ｂ）に表した例において、変数Ｘ_１およびＸ_３が入れ換えられず、変数Ｘ_２が変数Ｘ_７に入れ換えられる。この場合、変形モデル構築部１１０は、これらの入力変数に基づいて以下の式（２）で表される変形モデルを構築し、モデル情報保存部１０４に保存する。
Ｙ＝ｂ_５Ｘ_１＋ｂ_６Ｘ_７＋ｂ_７Ｘ_３＋ｂ_４（２）

２つ目の方法として、変形モデル構築部１１０は、非選択入力変数の類似度に基づく確率を設定する。変形モデル構築部１１０は、この確率に従って、少なくとも１つの選択入力変数と少なくとも１つの非選択入力変数とを入れ換える。図２（ｃ）は、図２（ａ）に表した類似度の算出結果を、各選択入力変数に対して類似度が高い非選択入力変数から順に並べたものである。各非選択入力変数の類似度を用いて、選択入力変数Ｘ_ｊ（ｊ＝１、２、３）と、非選択入力変数Ｘ_ｋ（ｋ＝４〜１２）と、を入れ換える確率Ｐ_ｊｋを、例えば、以下の式（３）のように設定される。αは、入れ換えをしない確率のために設定される数値である。

変形モデル構築部１１０は、式（３）で表される確率に従って選択入力変数と非選択入力変数とを入れ換える。変形モデル構築部１１０は、式（２）と同様に変形モデルを構築し、この変形モデルをモデル情報保存部１０４に保存する。この方法によれば、先に説明した方法に比べて、類似度がより忠実に反映されて変形モデルが構築される。従って、先の方法に比べて、より出力変数に対する予測誤差が小さい入力変数Ｘの組み合わせで変形モデルが構築され易くなる。

あるいは、３つ目の方法として、変形モデル構築部１１０は、実験計画法を用いて変形モデルを構築しても良い。具体的には、変形モデル構築部１１０は、まず、図２（ｂ）に表したように、それぞれの選択入力変数に対して類似度の高い非選択入力変数を抽出する。次に、変形モデル構築部１１０は、実験計画法を用いて、図３（ａ）に表すように直交表を作成し、この直交表に基づいて順番に変形モデルを構築していく。汎化能力算出部１１２は、直交表に基づいて構築されたそれぞれの変形モデルについて、図３（ｂ）に表すように、汎化能力（ＭＳＥ）を算出する。変形モデル構築部１１０は、汎化能力の算出結果を参照し、変数を入れ換えたことによる主効果を算出する。そして、変形モデル構築部１１０は、汎化能力が最も高くなるように、複数の選択入力変数の少なくとも一部を、主効果が最も大きい少なくとも１つの非選択入力変数と入れ換えて変形モデルを構築する。変形モデル構構築部１１０は、この変形モデルを外部へ出力する。

この方法において、変形モデル構築部１１０は、直交表を作成した際に、直交表に基づいて構築される変形モデルの数が、規定数以下か判定を行っても良い。構築される変形モデルの数が規定数以下である場合は、上述した方法に従って変形モデルの構築や主効果の算出を行う。構築される変形モデルの数が規定数を超える場合、モデル構築システム１は、例えば、外部出力部１１４からエラーを出力するか、１つ目か２つ目の方法に切り替えて変形モデルを構築していく。

図４は、実施形態に係るモデル構築方法の一例を表すフローチャートである。
図５は、実施形態に係るモデル構築方法の別の一例を表すフローチャートである。
図４に表したフローチャートは、図２（ａ）〜図２（ｃ）を用いて説明した１つ目および２つ目の方法に対応する。図５に表したフローチャートは、図３を用いて説明した３つ目の方法に対応する。

まず、図４に表したフローチャートについて説明する。
取得部１００が、規定数データベース１２０および変数データベース１２２から、規定数および変数データを取得する（ステップＳ１）。ベースモデル構築部１０２が、複数の入力変数の一部を選択し、ベースモデルを構築する（ステップＳ２）。ベースモデル構築部１０２は、構築されたベースモデルのモデル情報を、モデル情報保存部１０４に保存する（ステップＳ３）。

類似度算出部１０６は、ベースモデルの構築のために選択された複数の選択入力変数のそれぞれと、選択されなかった複数の非選択入力変数のそれぞれと、の間の類似度を算出する（ステップＳ４）。類似度算出部１０６は、算出されたこれらの変数間の類似度を、類似度情報保存部１０８に保存する（ステップＳ５）。変形モデル構築部１１０は、少なくとも１つの選択入力変数を、当該少なくとも１つの選択入力変数と類似度が高い非選択入力変数と入れ換える。変形モデル構築部１１０は、入れ換え後の入力変数群に基づいて変形モデルを構築する（ステップＳ６）。

変形モデル構築部１１０は、構築された変形モデルのモデル情報を、モデル情報保存部１０４に保存する（ステップＳ７）。変形モデル構築部１１０は、構築されたモデル数が、ステップＳ１で取得された規定数に達したか判定する（ステップＳ８）。規定数に達していない場合、規定数に達するまで、ステップＳ６およびＳ７を繰り返し行う。

構築されたモデル数が規定数に達すると、汎化能力算出部１１２は、構築されたモデルの汎化能力を算出するための変数データを、変数データベース１２２から取得する（ステップＳ９）。また、汎化能力算出部１１２は、モデル情報保存部１０４から、ベースモデルおよび変形モデルのモデル情報を取得し、各モデルの汎化能力を算出する（ステップＳ１０）。外部出力部１１４は、汎化能力が高いモデルを選択し、外部に出力する（ステップＳ１１）。

次に、図５に表したフローチャートについて説明する。
ステップＳ１〜Ｓ５を、図４に表したフローチャートのステップＳ１〜Ｓ５と同様に実行する。変形モデル構築部１１０は、類似度情報保存部１０８に保存された類似度に基づいて、直交表を作成する（ステップＳ６）。変形モデル構築部１１０は、直交表に基づいて作成される変形モデルの数が、規定数以下か判定する（ステップＳ７）。変形モデルの数が規定数を超える場合、実験計画法を用いた変形モデルの構築を終了する。変形モデルの数が規定数以下の場合、変形モデル構築部１１０は、直交表に基づいて別の変形モデルを構築する（ステップＳ８）。

変形モデル構築部１１０は、構築された変形モデルのモデル情報を、モデル情報保存部１０４に保存する（ステップＳ９）。汎化能力算出部１１２は、構築されたモデルの汎化能力を算出するための変数データを、変数データベース１２２から取得する（ステップＳ１０）。また、汎化能力算出部１１２は、モデル情報保存部１０４から、ベースモデルおよび変形モデルのモデル情報を取得し、各モデルの汎化能力を算出する（ステップＳ１１）。汎化能力算出部１１２は、汎化能力の算出結果を参照し、変数を入れ換えたことによる主効果を算出する（ステップＳ１２）。変形モデル構築部１１０は、選択入力変数の少なくとも一部を、主効果が最も大きい少なくとも１つの非選択入力変数と入れ換えて、別の変形モデルを構築する（ステップＳ１３）。外部出力部１１４は、ステップＳ１３で構築された別の変形モデルを、最も汎化能力が高いモデルとして外部に出力する（ステップＳ１４）。

図６は、実施形態に係るモデル構築システム１を実現するためのモデル構築装置２の構成を例示するブロック図である。
モデル構築装置２は、例えば、入力装置２００、出力装置２０２、およびコンピュータ２０４を備える。コンピュータ２０４は、例えば、ＲＯＭ(Read Only Memory)２０６、ＲＡＭ(Random Access Memory)２０８、ＣＰＵ(Central Processing Unit)２１０、および記憶装置ＨＤＤ(Hard Disk Drive)２１２を有する。

入力装置２００は、ユーザがモデル構築装置２に対して情報の入力を行うためのものである。入力装置２００は、キーボードまたはタッチパネルなどである。
出力装置２０２は、モデル構築システム１によって得られる出力結果を、ユーザに対して出力するためのものである。出力装置２０２は、ディスプレイまたはプリンタなどである。

ＲＯＭ２０６は、モデル構築装置２の動作を制御するプログラムを格納している。ＲＯＭ２０６は、コンピュータ２０４を、図１に表した、取得部１００、ベースモデル構築部１０２、類似度算出部１０６、変形モデル構築部１１０、汎化能力算出部１１２、および外部出力部１１４として機能させるために必要なプログラムを格納している。

ＲＡＭ２０８は、ＲＯＭ２０６に格納されたプログラムが展開される記憶領域として機能する。ＣＰＵ２１０は、ＲＯＭ１０３に格納された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータ２０４の動作を制御する。また、ＣＰＵ２１０は、コンピュータ２０４の動作によって得られた様々なデータをＲＡＭ２０８に展開する。

ＨＤＤ２１２は、図１に表した、規定数データベース１２０および変数データベース１２２を格納している。また、ＨＤＤ２１２は、構築されたモデルや算出された類似度が保存される、モデル情報保存部１０４および類似度情報保存部１０８としても機能する。

ここで、以上で説明した実施形態の効果について説明する。
本実施形態に係るモデル構築システム１によれば、まず、ベースモデル構築部１０２によって、複数の選択入力変数を含む入力変数群を用いて、出力変数を精度良く予測できるベースモデルが構築される。さらに、変形モデル構築部１１０によって、複数の選択入力変数のそれぞれと複数の非選択入力変数のそれぞれとの間の類似度に基づき、複数の選択入力変数の少なくとも一部が複数の非選択入力変数の少なくとも一部と入れ換えられる。これにより、別の入力変数群が生成される。この別の入力変数群を用いて変形モデルが構築される。類似度を用いて複数の選択入力変数の少なくとも一部と複数の非選択入力変数の少なくとも一部とを入れ換えることで、上記別の入力変数群を用いて構築された変形モデルも、比較的高い精度で出力変数を予測することができる。そして、構築されたベースモデルおよび変形モデルは、汎化能力算出部１１２によって、汎化能力が算出される。このとき、汎化能力算出部１１２によって最も高い汎化能力が算出されたモデルは、上述の通り、出力変数を比較的高い精度で予測することが可能である。
すなわち、本実施形態によれば、精度の低下を抑制しつつ、汎化能力の高いモデルを構築することが可能となる。

選択入力変数と非選択入力変数との入れ換えにおいては、例えば図２（ａ）および図２（ｂ）に表したように、所定の閾値以上の非選択入力変数が抽出される。そして、抽出された非選択入力変数が、確率で選択入力変数と入れ換える。この方法によれば、選択入力変数と類似度の高い非選択入力変数のみが変形モデルの構築に用いられるため、変形モデルの精度の低下を抑えることができる。

または、図２（ａ）および図２（ｃ）に表したように、全ての非選択入力変数について、類似度に基づく入れ換えの確率が設定される。この確率に従って複数の選択入力変数の少なくとも一部が複数の非選択入力変数の少なくとも一部と入れ換えられても良い。非選択入力変数の類似度が低いほど、選択入力変数が当該非選択入力変数と入れ換わる確率も低下する。このため、この方法においても、変形モデルの精度の低下を抑えることができる。また、この方法によれば、多様な変形モデルが構築されるため、より汎化能力の高いモデルを構築することが可能となる。

あるいは、図３（ａ）および図３（ｂ）に表したように、直交表に基づいて変数が入れ換えられ、汎化能力が算出されても良い。主効果が最も高くなるように複数の選択入力変数の一部が複数の非選択入力変数の少なくとも一部と入れ換えられて変形モデルが構築される。この方法によれば、精度の低下を抑制しつつ、より一層汎化能力の高いモデルを構築することが可能となる。また、この方法によれば、選択入力変数と抽出された非選択入力変数との全ての組み合わせについて変形モデルを構築する必要が無く、汎化能力の高い変形モデルをより短時間で効率的に構築することが可能となる。

以下で、具体的な実施例について説明する。

（第１実施例）
第１実施例では、電子機器の製造装置において、加工後のワークの出来栄えを出力変数としている。製造装置に設けられた各種センサのデータ（温度や圧力等）を入力変数としている。規定数は、１００に設定した。複数の入力変数の選択およびベースモデルの構築は、Adaptive Lassoを用いた。類似度には、選択入力変数と非選択入力変数との間の相関係数を用いた。相関係数が０．５以上の非選択入力変数を抽出し、一様な確率で選択入力変数と入れ換えを行った。選択入力変数と非選択入力変数を入れ換えた後のモデルの構築は、重回帰を用いた。各モデルは、所定の構築期間Ｔ０における変数データに基づいて構築された。汎化能力の算出は、同じ製造装置において、構築期間Ｔ０の後のテスト期間Ｔ１〜Ｔ５の各期間の変数データを用いた。

図７は、実施形態に係るモデル構築システム１を用いて構築したモデルの特性を例示するグラフである。
図７（ａ）は、各期間におけるＲ^２を表している。図７（ｂ）は、各期間におけるＭＳＥを表している。
図７（ａ）および図７（ｂ）では、ベースモデルと最も汎化能力の高い変形モデルのみを表している。ベースモデルの結果は、〇（白丸）で表されている。最も汎化能力の高い変形モデルの結果は、●（黒丸）で表されている。

図７（ａ）および図７（ｂ）の結果から、変形モデルは、ベースモデルと同様に、高いＲ^２および小さいＭＳＥが得られ、良好な精度を有することが分かる。テスト期間がより未来に移るに連れて、ベースモデルおよび変形モデルの精度は低下している。テスト期間Ｔ４およびＴ５では、変形モデルの精度の低下が、ベースモデルの精度の低下に比べて緩やかであり、より高い精度を有することが分かる。すなわち、この結果から、本実施形態によって得られた変形モデルは、ベースモデルとほぼ同等の精度を有することが分かる。さらに、変形モデルは、ベースモデルに比べて長期間の変数データに対してより高い精度を有し、高い汎化能力を備えていることがわかる。

（実施例２）
第２実施例では、電子機器の製造装置において、加工後のワークの出来栄えを出力変数としている。製造装置に設けられた各種センサのデータ（加工時温度や圧力等）を入力変数としている。出来栄えは、加工後のワークの寸法およびワークの加工レートの少なくともいずれかに基づく。規定数は、１０００に設定した。複数の入力変数の選択およびベースモデルの構築は、Adaptive Lassoを用いた。類似度には、選択入力変数と非選択入力変数との間の相関係数を用いた。相関係数が０．５以上の非選択入力変数を抽出し、一様な確率で選択入力変数と入れ換えを行った。選択入力変数と非選択入力変数を入れ換えた後のモデルの構築は、重回帰を用いた。各モデルは、所定の構築期間Ｔ０における変数データに基づいて構築された。汎化能力の算出は、同じ製造装置において、構築期間Ｔ１０の後のテスト期間Ｔ１１〜Ｔ１３の各期間の変数データを用いた。

図８は、実施形態に係るモデル構築システム１を用いて構築したモデルの特性を例示するグラフである。
図８（ａ）は、各期間における各モデルのＲ^２を表している。図８（ｂ）は、各期間における各モデルのＭＳＥを表している。
図８（ａ）および図８（ｂ）では、ベースモデルと最も汎化能力の高い変形モデルのみを表している。ベースモデルの結果は、〇（白丸）で表されている。最も汎化能力の高い変形モデルの結果は、●（黒丸）で表されている。

図８（ａ）および図８（ｂ）の結果から、構築時においては、ベースモデルのＲ^２およびＭＳＥは、それぞれ、変形モデルのＲ^２およびＭＳＥとほぼ同じである。すなわち、変形モデルの精度は、ベースモデルの精度と同等である。
そして、ベースモデルについては、時間が経過するほど、Ｒ^２が低下し、且つＭＳＥが増大している。これに対して、変形モデルについては、Ｒ^２の低下が期間Ｔ１２からＴ１３にかけて停止している。また、ＭＳＥは、期間Ｔ１２からＴ１３で低下している。これらの結果は、変形モデルが高い精度を有し、且つ変形モデルの汎化能力が、ベースモデルの汎化能力よりも高いことを示している。

以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。

１モデル構築システム、２モデル構築装置、１００取得部、１０２ベースモデル構築部、１０４モデル情報保存部、１０６類似度算出部、１０８類似度情報保存部、１１０変形モデル構築部、１１２汎化能力算出部、１１４外部出力部、１２０規定数データベース、１２２変数データベース

Claims

複数の入力変数から選択された選択入力変数と、出力変数と、の関係を表すベースモデルを構築するベースモデル構築部と、
前記複数の入力変数のうち前記選択入力変数以外の非選択入力変数と、前記選択入力変数と、の間の類似度を算出する類似度算出部と、
前記類似度に基づき、前記選択入力変数の少なくとも一部を、前記非選択入力変数と入れ換え、入れ換えた後の入力変数と出力変数との関係を表す変形モデルを構築する変形モデル構築部と、
前記ベースモデルおよび前記変形モデルの汎化能力を算出する汎化能力算出部と、
を備え、
前記変形モデル構築部は、それぞれの前記選択入力変数に対して、所定の閾値以上の前記類似度を有する前記非選択入力変数を抽出し、前記選択入力変数の少なくとも一部を、抽出された前記非選択入力変数と入れ換えて、前記変形モデルを構築するモデル構築システム。
前記変形モデル構築部は、前記選択入力変数と抽出された前記非選択入力変数から、実験計画法を用いて直交表を作成し、前記直交表に基づいて複数の前記変形モデルを構築し、
前記汎化能力算出部は、それぞれの前記変形モデルの汎化能力を算出し、
前記変形モデル構築部は、当該汎化能力の算出結果から、変数を入れ換えたことによる主効果を算出し、前記主効果が最も高くなるように、前記選択入力変数の少なくとも一部を前記主効果が最も大きい前記非選択入力変数に入れ換えて前記変形モデルを構築する請求項１記載のモデル構築システム。
最も高い前記汎化能力が算出された前記ベースモデルまたは前記変形モデルを外部へ出力する外部出力部をさらに備えた請求項１または２に記載のモデル構築システム。
複数の入力変数から選択された選択入力変数と、出力変数と、の関係を表すベースモデルを構築し、
前記複数の入力変数のうち前記選択入力変数以外の非選択入力変数と、前記選択入力変数と、の間の類似度を算出し、
前記類似度に基づき、前記選択入力変数の少なくとも一部を、前記非選択入力変数と入れ換え、入れ換えた後の入力変数と出力変数との関係を表す変形モデルを構築し、
前記ベースモデルおよび前記変形モデルの汎化能力を算出するモデル構築方法であって、
前記変形モデルの構築において、それぞれの前記選択入力変数に対して、所定の閾値以上の前記類似度を有する前記非選択入力変数を抽出し、前記選択入力変数の少なくとも一部を、抽出された前記非選択入力変数と入れ換えて、前記変形モデルを構築するモデル構築方法。