JP7491371B2

JP7491371B2 - 数式モデル生成システム、数式モデル生成方法および数式モデル生成プログラム

Info

Publication number: JP7491371B2
Application number: JP2022522107A
Authority: JP
Inventors: 悠真岩崎; 真彦石田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-05-11
Filing date: 2020-05-11
Publication date: 2024-05-28
Anticipated expiration: 2040-05-11
Also published as: JPWO2021229648A1; WO2021229648A1

Description

本発明は、データ主導で数式モデルを生成する数式モデル生成システム、数式モデル生成方法および数式モデル生成プログラムに関する。

データ主導で自然現象モデルを作成する手法が数多く知られている。例えば、機械学習（深層学習、ＬＡＳＳＯ（Least Absolute Shrinkage and Selection Operator ）など）による回帰モデルは、その代表的な手法である。ここで、深層学習は、予測性能が優れているものの、モデルの内部が分かりやすく数式化されていない、いわゆるブラックボックスであるため、解釈性が低いという問題がある。一方、ＬＡＳＳＯなどの線形回帰型モデルは、モデル内部が線形モデルで数式化されている、いわゆるホワイトボックスであるが、予測性能が低いという問題がある。

上述する問題を解決するため、データ主導で非線形な現象を数式で表現する手法が提案されている。非特許文献１には、実験データから自由な形式の自然法則を抽出する方法が記載されている。非特許文献１に記載された方法では、遺伝的アルゴリズムを用いて、演算シンボル（＋、－、×、÷など）を変更しながら、非線形の現象を表現した数式を探索する。

Michael Schmidt, Hod Lipson, "Distilling Free-Form Natural Laws from Experimental Data", Science, Vol 324, Issue 5923, pp. 81-85, April 2009.

一方、非特許文献１に記載された方法では、候補になる解（すなわち、数式）が一意に定まらないため、複数の候補解から人間がマニュアルで最も良い解を選定しなければならないという問題がある。そこで、解を一意に定めることができ、かつ、解釈性の高い数式モデルを生成できることが好ましい。

そこで、本発明は、解を一意に定めることができ、かつ、解釈性の高い数式モデルを生成できる数式モデル生成システム、数式モデル生成方法および数式モデル生成プログラムを提供することを目的とする。

本発明による数式モデル生成システムは、基礎とする説明変数を組み合わせて新たな説明変数を生成し、基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成手段と、説明変数候補の中から、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数を選択し、数式モデルの候補を生成する説明変数選択手段と、生成された数式モデルの候補の良さを評価するモデル評価手段と、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択手段とを備え、説明変数生成手段が、選択された説明変数を組み合わせて新たな説明変数を生成し、選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、説明変数選択手段が、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、モデル評価手段は、生成された各数式モデルの候補の良さを評価することを特徴とする。

本発明による数式モデル生成方法は、コンピュータが実行する数式モデル生成方法であって、基礎とする説明変数を組み合わせて新たな説明変数を生成し、基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成し、説明変数候補の中から、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数を選択し、数式モデルの候補を生成し、選択された説明変数を組み合わせて新たな説明変数を生成し、選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、生成された各数式モデルの候補の良さを評価し、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択することを特徴とする。

本発明による数式モデル生成プログラムは、コンピュータに、基礎とする説明変数を組み合わせて新たな説明変数を生成し、基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成処理、説明変数候補の中から、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数を選択し、数式モデルの候補を生成する説明変数選択処理、生成された数式モデルの候補の良さを評価するモデル評価処理、および、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択処理を実行させ、説明変数生成処理で、選択された説明変数を組み合わせて新たな説明変数を生成させ、選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成させ、説明変数選択処理で、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成させ、モデル評価処理で、生成された各数式モデルの候補の良さを評価させることを特徴とする。

本発明によれば、解を一意に定めることができ、かつ、解釈性の高い数式モデルを生成できる。

本発明による数式モデル生成システムの第一の実施形態の構成例を示すブロック図である。生成される説明変数候補の例を示す説明図である。第一の実施形態の数式モデル生成システムの動作例を示すフローチャートである本発明による数式モデル生成システムの第二の実施形態の構成例を示すブロック図である。データ主導でストークスの式を導出した結果の一例を示す説明図である。データ主導でエネルギー保存則の式を導出した結果の一例を示す説明図である。本発明による数式モデル生成システムの概要を示すブロック図である。少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による数式モデル生成システムの第一の実施形態の構成例を示すブロック図である。本実施形態で想定する数式モデルは、非線形現象を数式で表わしたモデルである。すなわち、本実施形態の数式モデル生成システム１００は、非線形現象を数式でモデル化する。

本実施形態の数式モデル生成システム１００は、記憶部１０と、入力部２０と、説明変数生成部３０と、説明変数選択部４０と、モデル評価部６０と、モデル選択部７０と、出力部８０とを備えている。

記憶部１０は、本実施形態の数式モデル生成システム１００が各処理に用いるパラメータや設定など、各種情報を記憶する。また、記憶部１０は、数式モデルの生成に用いられる学習データや、生成された数式モデルを記憶していてもよい。なお、学習データの内容は後述される。

なお、数式モデル生成システム１００が、通信ネットワークを介して、他の装置（例えば、ストレージサーバ）から、各種情報を取得する構成であってもよい。この場合、記憶部１０が上述する情報を記憶していなくてもよい。記憶部１０は、例えば、磁気ディスク等により実現される。

入力部２０は、数式モデルの生成に用いられる学習データの入力を受け付ける。学習データは、目的変数と１以上の説明変数とを含み、その内容は、生成する対象の数式モデルの内容に応じて定められる。

例えば、小さな粒子が流体中を沈降する際の終端速度を表わす式（すなわち、ストークスの式）を数式モデルとして生成するとする。この場合、目的変数は、粒子の終端速度であり、説明変数は、粒子径、粒子の密度、流体の密度、重力加速度、流体の粘度などである。また、説明変数は、実績として測定可能な特徴量であってもよく、この特徴量を組み合わせて（和や積などで）生成される特徴量であってもよい。

そして、入力部２０は、入力された学習データを、目的変数と説明変数とに分ける。以下の説明では、目的変数をｙで表わし、説明変数をｘ（および、添え字付きのｘ）で表わす。なお、以下の説明では、入力された説明変数（すなわち、初期状態で与えられた説明変数）のことを、オリジナルの説明変数と記すこともある。

また、入力部２０は、後述する上限値や閾値、繰り返し回数など（例えば、Ｋ、Ｌ、Ｎ、σ´など）の入力を受け付けてもよい。なお、これらの値が、予め記憶部１０に記憶されていてもよい。

説明変数生成部３０は、基礎とする説明変数を組み合わせて、新たな説明変数を生成し、基礎とする説明変数および新たに生成された説明変数を含む説明変数候補を生成する。ここで、説明変数を組み合わせるとは、各説明変数に演算を施すことであり、生成される新たな説明変数とは、演算を施した結果得られる説明変数を意味する。演算の種類は、可視化の観点から、単純な演算が好ましく、例えば、四則演算（和、差、積、商）、べき乗、指数、対数、三角関数、などである。また、組み合わせる説明変数は、計算量が膨大になってしまうことを抑制するため、２つまでとすることが好ましい。

具体的には、説明変数生成部３０は、各説明変数を用いた単純な非線形項（和、差、積、商、指数、三角関数など）を網羅的に生成し、それを新たな説明変数ｘ_ｎ－１´として生成する。図２は、生成された結果得られる説明変数候補の例を示す説明図である。図２では、説明変数を１つまたは２つ組み合わせて、四則演算およびべき乗演算が行われた場合の例を示す。

例えば、図２に例示する表Ｔ１は、組み合わせる対象の説明変数がｘ_１、ｘ_２、および、ｘ_３であった場合に生成される説明変数候補の一覧（２１個）を示す。また、図２に例示する表Ｔ２は、組み合わせる対象の説明変数がｘ_１、ｘ_２、ｘ_３、ｘ_１ｘ_２、および、ｘ_２＋ｘ_３であった場合に生成される説明変数候補の一覧（６０個）を示す。

説明変数選択部４０は、説明変数候補の中から、数式モデルに用いる説明変数としてより好ましい説明変数を選択する。すなわち、説明変数選択部４０は、説明変数候補の一覧の中から、重要な説明変数に絞って選択する。以下の説明では、選択された説明変数をｘ_ｎとする。

説明変数選択部４０は、例えば、ＬＡＳＳＯなどのアルゴリズムを用いた機械学習により説明変数の選択（特徴量選択）を行ってもよい。具体的には、説明変数選択部４０は、例えば、自然現象を表わすデータ（学習データ）を用いた機械学習によって自然現象モデルを学習することにより、最終的に残る説明変数（特徴量）を選択してもよい。なお、ここで用いられる機械学習の方法は、説明変数（特徴量）が選択できる方法であれば任意である。

さらに、説明変数選択部４０は、基礎とする説明変数（すなわち、オリジナルの説明変数）の種類の数が多いほど選択されにくくなる制約に基づいて、説明変数を選択してもよい。この制約に基づくと、例えば、説明変数「ｘ_１ｘ_２／ｘ_３」と、「ｘ_１ｘ_２ｘ_３（ｘ_１＋ｘ_２）」とでは、前者が説明変数の種類の数が３であり、後者が説明変数の種類の数が５である。

このような制約が有効なのは、以下の理由による。一つ目の理由は、一つの項に含まれるオリジナルの説明変数の種類があまりにも大きいと、その取り得るパターンが多すぎて計算量が爆発してしまうからである。また、二つ目の理由は、自然現象の式（公式）はシンプルなものが多いため、あまり複雑な項まで探索範囲に含める必要性が少ないからである。

説明変数選択部４０は、例えば、オリジナルの説明変数の種類が予め定めた閾値σ´より大きくなった場合にペナルティを大きくするような評価関数を用いて説明変数を選択してもよい。例えば、ＬＡＳＳＯアルゴリズムを用いる場合、評価関数は、以下に例示する式１のように定義できる。

式１において、ｙは目的変数ベクトル、Ｘ_ｇは非線形の説明変数ｘ_ｇにおける計画行列、βは回帰係数ベクトル、λは正則化パラメータである。また、式１において、Ｍは非線形の説明変数ｘ_ｇの数であり、σは、各非線形の説明変数におけるオリジナルの説明変数の数である。

式１におけるＡ_ｍ（σ）は、σにより各非線形の説明変数における正則化の大きさを制御する関数である。Ａ_ｍ（σ）は、例えば、以下に例示する式２のようなステップ関数として定義されてもよい。

他にも、説明変数選択部４０は、例えば、線形回帰標準化係数が大きいものほど重要度が高いと判断して説明変数を選択してもよいし、ランダムフォレストで計算されるパラメータ（importanceパラメータ）高いほど重要度が高いと判断して説明変数を選択してもよい。ここで用いられる方法として、各項に含まれるオリジナルの説明変数の数が大きいほど選ばれにくくなる（すなわち、重要度が下がる）という上述の制約を組み込める方法が好ましい。例えば、ＬＡＳＳＯの場合、各項の正則化項の係数を、各項に含まれるオリジナルの説明変数の数に応じて大きくすれば、同様に重要度を判断できる。

また、選択される説明変数の数の上限Ｋを定めておき、説明変数選択部４０は、その上限Ｋを制約条件として説明変数を選択してもよい。説明変数の上限Ｋは、使用するコンピュータの演算能力に応じてユーザ等により設定される。上限Ｋの値が大きいほど生成される数式モデルの精度は高くなるが、その分計算量も増加することになる。

そして、説明変数選択部４０は、選択された説明変数を用いて数式モデルの候補を生成する。具体的には、説明変数選択部４０は、選択された説明変数を各項に含む線形回帰モデルの候補を生成する。以下の説明では、生成された数式モデルの候補をＭ_ｎと記す。例えば、上述するＬＡＳＳＯを用いて特徴量選択を行った場合、説明変数選択部４０は、特徴量選択の過程で線形回帰モデルの候補を生成する。

モデル評価部６０は、生成された数式モデルの候補Ｍ_ｎの良さを評価する。なお、モデル評価部６０が数式モデルの候補Ｍ_ｎの良さを評価する方法は任意である。モデル評価部６０は、例えば、数式モデルの候補の汎化性能の高さを評価してもよい。汎化性能が高いほど、未知のテストデータに対する識別能力が高いと言えるからである。

評価方法として、例えば、ＡＩＣ（赤池情報量規準：Akaike's Information Criterion）や、ＢＩＣ（ベイズ情報量基準：Bayesian Information Criterion）などの情報量基準を用いる手法や、ＣＶ－Ｅｒｒｏｒ（交差検証誤差：Cross-Validation Error）を用いる手法、ＭＩＣ（Maximum Information Coefficient）を用いる手法などのモデルの性能を評価する手法が挙げられる。これらの評価方法の中から、モデル評価部６０が用いる評価方法を予め定めておけばよい。

数式モデル生成システム１００は、説明変数生成部３０、説明変数選択部４０、および、モデル評価部６０による処理を、予め定めた回数繰り返し、複数の数式モデルの候補を生成する。以下、繰り返す回数の上限をＮとする。上限Ｎは、使用するコンピュータの演算能力や、現象の複雑さに応じてユーザ等により設定されてもよい。

その際、説明変数生成部３０は、説明変数選択部４０により選択された説明変数のみを組み合わせた新たな説明変数を生成し、選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成する。すなわち、数式モデル生成システム１００は、説明変数生成部３０が非線形項の生成を行うことで説明変数候補を追加し、説明変数選択部４０が選択しなかった説明変数を説明変数候補から除外する処理を繰り返す。このような再帰的処理により、複雑さが異なる複数の数式モデルの候補を生成することが可能になる。

なお、上記説明では、説明変数の上限Ｋ、および、生成される数式モデルの候補の数の上限Ｎが、ユーザ等により予め定められる場合を想定した。一方、リソース（計算時間、コンピュータの演算能力等）に余裕がある場合、上記繰り返し処理において、ＫおよびＮを変数とするグリッドサーチが行われてもよい。これにより、数式モデルの候補を評価する際の網羅性を高めることが可能になる。

モデル選択部７０は、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルＭ_Ｆを選択する。さらに、モデル選択部７０は、選択された数式モデルＭ_Ｆに含まれる説明変数のうち、数式モデルへの寄与率が高い順に、予め定めた数の説明変数を選択し、選択した説明変数を各項に含む数式モデル（具体的には、線形回帰モデル）を新たに生成してもよい。具体的には、選択された数式モデルＭ_Ｆの説明変数ｘ_Ｆ´の数が予め定めた数Ｌより大きい場合、モデル選択部７０は、モデルへの寄与率が高い上位Ｌ個の説明変数を選択し、選択された説明変数を各項に含む線形回帰モデルを新たに生成してもよい。

数式モデルに含まれる説明変数の寄与度を算出する方法は任意である。モデル選択部７０は、例えば、線形回帰標準化係数が高い説明変数ほど寄与率が高い説明変数と判断してもよい。また、他にも、モデル選択部７０は、ランダムフォレストで計算されるパラメータ値が大きい説明変数ほど寄与度が高い説明変数と判断してもよい。

選択される説明変数の数Ｌは、数式モデルが対象とする現象の複雑さに応じてユーザ等により設定されてもよい。

出力部８０は、生成された数式モデルを出力する。

入力部２０と、説明変数生成部３０と、説明変数選択部４０と、モデル評価部６０と、モデル選択部７０と、出力部８０とは、プログラム（数式モデル生成プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２０、説明変数生成部３０、説明変数選択部４０、モデル評価部６０、モデル選択部７０および出力部８０として動作してもよい。また、入力部２０、説明変数生成部３０、説明変数選択部４０、モデル評価部６０、モデル選択部７０および出力部８０の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

また、入力部２０と、説明変数生成部３０と、説明変数選択部４０と、モデル評価部６０と、モデル選択部７０と、出力部８０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

また、入力部２０、説明変数生成部３０、説明変数選択部４０、モデル評価部６０、モデル選択部７０および出力部８０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

次に、本実施形態の数式モデル生成システム１００の動作を説明する。図３は、本実施形態の数式モデル生成システム１００の動作例を示すフローチャートである。入力部２０は、目的変数ｙおよび説明変数ｘを含むデータの入力を受け付け（ステップＳ１１）、説明変数ｘをｘ_ｎ＝０に代入する（ステップＳ１２）。以下、予め定めた回数Ｎまで、ステップＳ１３からステップＳ１７までの処理が繰り返される。

説明変数生成部３０は、基礎とする説明変数ｘ_ｎ－１で作成可能な非線形項を網羅的に生成する（ステップ１４）。具体的には、説明変数生成部３０は、１種類または２種類の説明変数ｘ_ｎ－１で作成可能な非線形項（和、差、積、商、指数、三角関数など）を網羅的に作成し、基礎とする説明変数および作成した非線形項を新しい説明変数候補ｘ_ｎ－１´とする。

説明変数選択部４０は、線形回帰モデルを仮定し、特徴量（説明変数）選択を実行する（ステップＳ１５）。具体的には、説明変数選択部４０は、線形回帰モデルｙ＝ｆ（ｘ_ｎ－１´）を仮定して、説明変数候補の中から説明変数（特徴量）の選択を実行し、選択された説明変数をｘ_ｎとする。ここで、説明変数選択部４０は、説明変数ｘ_ｎの種類の数が予め定めた数Ｋ以下になるように説明変数を選択してもよい。また、説明変数選択部４０は、選択される説明変数に含まれるオリジナルの説明変数ｘの種類の数が、大きいほど選ばれにくくなる制約に基づいて説明変数を選択してもよい。説明変数選択部４０が選択された説明変数で線形回帰モデルの候補Ｍ_ｎを生成すると、モデル評価部６０は、線形回帰モデルの候補Ｍ_ｎの汎化性能Ｇ_ｎを記憶部１０に記録する（ステップＳ１６）。

Ｎ回の処理が繰り返された後、モデル選択部７０は、最も汎化性能Ｇ_ｎが良い数式モデルＭ_Ｆを選択する（ステップＳ１８）。そして、モデル選択部７０は、選択した数式モデルＭ_Ｆに含まれる説明変数の数がＬ以下か否か判断する（ステップＳ１９）。説明変数の数がＬ以下でない場合（ステップＳ１９におけるＮｏ）、モデル選択部７０は、モデルへの寄与度が高い上位Ｌ種類の説明変数を選択する（ステップＳ２０）。そして、モデル選択部７０は、選択した説明変数で再度線形回帰モデルＭ_Ｆを生成する（ステップＳ２１）。

説明変数の数がＬ以下の場合（ステップＳ１９におけるＹｅｓ）、または、ステップＳ２１の処理後、出力部８０は、Ｍ_Ｆを最も良いモデルとして出力する（ステップＳ２２）。

以上のように、本実施形態では、説明変数生成部３０が、基礎とする説明変数を組み合わせて新たな説明変数を生成し、基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する。また、説明変数選択部４０が、説明変数候補の中から、数式モデルに用いる説明変数としてより好ましい説明変数を選択して、数式モデルの候補を生成する。その処理を繰り返して数式モデルの候補を生成すると、モデル評価部６０が、生成された各数式モデルの候補の良さを評価し、モデル選択部７０が、最も評価の高い数式モデルを選択する。よって、解を一意に定めることができ、かつ、解釈性の高い数式モデルを生成できる。

実施形態２．
次に、本発明による数式モデル生成システムの第二の実施形態を説明する。第二の実施形態では、ユーザがモデル生成の条件設定の入力や、各種結果を出力する方法について説明する。

図４は、本発明による数式モデル生成システムの第二の実施形態の構成例を示すブロック図である。本実施形態の数式モデル生成システム２００は、記憶部１０と、入力部１２０と、説明変数生成部３０と、説明変数選択部４０と、モデル評価部６０と、モデル選択部７０と、出力部１８０とを備えている。すなわち、本実施形態の数式モデル生成システム２００は、第一の実施形態の数式モデル生成システム１００と比較し、入力部１０の代わりに入力部１２０を備え、出力部８０の代わりに出力部１８０を備えている点において異なる。それ以外の構成は、第一の実施形態と同様である。

入力部１２０は、ユーザがモデル生成の条件設定を行えるよう、データやパラメータの入力を受け付ける。入力部１２０は、学習データ入力部１２１と、説明変数選択部１２２と、項選択部１２３と、関数タイプ選択部１２４と、評価指標選択部１２５と、評価手法選択部１２６と、パラメータ設定部１２７とを含む。なお、入力部１２０は、上述する全ての構成を含んでいてもよく、一部の構成のみ含んでいてもよい。

学習データ入力部１２１は、第一の実施形態の入力部２０と同様、数式モデルの生成に用いられる学習データの入力を受け付ける。

説明変数選択部１２２は、モデル生成の対象とする一以上の説明変数の選択をユーザから受け付ける。具体的には、説明変数選択部１２２は、説明変数生成部３０が新たな説明変数を生成する際の基礎となる説明変数の選択を受け付けてもよく、説明変数選択部４０が数式モデルの説明変数として用いる説明変数候補の選択を受け付けてもよい。説明変数選択部１２２は、例えば、対象とする説明変数を表示装置（図示せず）に出力して、ユーザに説明変数を選択させてもよく、テーブル形式のファイルや、データベース中のレコードに含まれる説明変数から対象とする説明変数を選択してもよい。

項選択部１２３は、説明変数生成部３０が新たな説明変数を生成する項の種類の選択をユーザから受け付ける。項選択部１２３は、非線形項の自動生成の際に発生させる項の種類として、例えば、和、差、商、積、べき、指数、対数、三角関数などの選択肢から受け付けてもよい。

関数タイプ選択部１２４は、説明変数選択部４０が使用する正則化項を特徴付ける関数Ａ_ｍ（σ）のタイプの選択を受け付ける。関数タイプ選択部１２４は、例えば、上記式２示すようなステップ関数や、Ｌ_１、Ｌ_０、Ｌ_０．５のような正則化のタイプなどから関数のタイプの選択を受け付けてもよい。

評価指標選択部１２５は、モデル評価部６０が数式モデルの候補の汎化性能を評価する指標の選択をユーザから受け付ける。評価指標選択部１２５は、例えば、上述するような評価方法（上述するＡＩＣ，ＢＩＣ，ＣＶ－Ｅｒｒｏｒ，ＭＩＣなど）の中から評価に用いる指標の選択を受け付けてもよい。

評価手法選択部１２６は、モデル選択部７０が説明変数の寄与度を判断する際に用いる評価手法の選択をユーザから受け付ける。評価手法選択部１２６は、例えば、線形回帰標準化係数、ランダムフォレスト、などの評価手法から選択を受け付けてもよい。

パラメータ設定部１２７は、数式モデル生成システム２００が処理に用いる各種パラメータの入力を受け付ける。パラメータ設定部１２７は、例えば、説明変数選択部４０が選択する説明変数の数の上限Ｋ、モデル選択部７０が選択する説明変数の数Ｌ、および、繰り返す回数の上限をＮの少なくとも１つの入力を受け付けてもよい。そして、パラメータ設定部１２７は、受け付けたパラメータが各処理に用いられるように設定する。また、他にも、パラメータ設定部１２７は、各上限値や閾値などの入力を受け付けてもよい。

出力部１８０は、生成された数式モデルの他、数式モデルを生成する際に得られる各種情報を出力する。具体的には、出力部１８０は、生成された非線形項や、説明変数候補、数式モデルの候補、汎化性能などを出力してもよい。なお、出力の態様は任意である。出力部１８０は、例えば、表示装置（図示せず）に各種情報を表示してもよく、ログファイルなどに各種情報を出力してもよい。

以下、具体的な実施例により本発明を説明するが、本発明の範囲は以下に説明する内容に限定されない。本実施例では、上述する数式モデル生成システム１００を用いて、データ主導でストークスの式およびエネルギー保存則の式を導出した結果を示す。図５は、データ主導でストークスの式を導出した結果の一例を示す説明図である。また、図６は、データ主導でエネルギー保存則の式を導出した結果の一例を示す説明図である。

図５および図６では、上述する数式モデル生成システム１００により生成された数式モデルと比較するため、ＬＡＳＳＯにより生成されたモデルによる予測結果と、ニューラルネットワークにより生成されたモデルによる予測結果を示している。

具体的には、グラフＧ４１およびグラフＧ５１がＬＡＳＳＯにより生成されたモデルによる予測結果を示し、グラフＧ４２およびグラフＧ５２がニューラルネットワークにより生成されたモデルによる予測結果を示し、グラフＧ４３およびグラフ５３が生成された数式モデルによる予測結果を示す。

図５および図６に例示するグラフＧ４１～Ｇ４３およびＧ５１～Ｇ５３は、横軸が実際に測定された結果を示し、縦軸が各モデルにより予測された結果を示す。また、ＬＡＳＳＯにより生成されたモデルの数式をＦ４１およびＦ５１に示し、上述する数式モデル生成システム１００により生成された数式モデルをＦ４２およびＦ５１に示す。

ＬＡＳＳＯは、現象を数式で表現することができるが、線形性を仮定しているため、非線形な現象（ストークスの式やエネルギー保存則の式）を導出することができない。また、ニューラルネットワークは、非線形性を適切に表現できるが、モデルを数式で表現することができない。

例えば、図５に例示するように、ＬＡＳＳＯを用いた場合、数式Ｆ４１のように表すことができるため、解釈性には優れている一方、グラフＧ４１に示すように、既知のストークスの式に基づく結果と比較し、比較的誤差が大きいと言える。一方、ニューラルネットワークを用いた場合、グラフＧ４２に示すように、既知のストークスの式に基づく結果との誤差が少なく予測性能は高い。しかし、数式Ｆ４１や数式Ｆ４２のような形式で表現することが困難であるため、解釈性は低い。一方、本発明による数式モデル生成システム１００を用いることで、非線形現象も数式で導出でき、かつ、その高い予測性能を実現できる。

次に、本発明の概要を説明する。図７は、本発明による数式モデル生成システムの概要を示すブロック図である。本発明による数式モデル生成システム９０（例えば、数式モデル生成システム１００）は、基礎とする説明変数（例えば、オリジナルの説明変数ｘ）を組み合わせて新たな説明変数を生成し、基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成手段９１（例えば、説明変数生成部３０）と、説明変数候補の中から、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数としてより好ましい説明変数を選択し、数式モデルの候補を生成する説明変数選択手段９２（例えば、説明変数選択部４０）と、生成された数式モデルの候補の良さを評価するモデル評価手段９３（例えば、モデル評価部６０）と、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択手段９４（例えば、モデル選択部７０）とを備えている。

そして、説明変数生成手段９１は、好ましい説明変数として選択された説明変数を組み合わせて新たな説明変数を生成し、選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、説明変数選択手段９２は、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、モデル評価手段９３は、生成された各数式モデルの候補の良さを評価する。

そのような構成により、解を一意に定めることができ、かつ、解釈性の高い数式モデルを生成できる。

また、説明変数選択手段９２は、数式モデルの候補として、線形回帰モデルを生成してもよい。

また、説明変数選択手段９２は、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、説明変数を選択してもよい。そのような構成によれば、計算量を抑制しつつ、想定する動作に近いモデルを生成し得る。

また、モデル選択手段９４は、選択された数式モデルに含まれる説明変数のうち、その数式モデルへの寄与率が高い順に予め定めた数の説明変数を選択し、選択した説明変数を各項に含む新たな数式モデル生成してもよい。

また、説明変数選択手段９２は、（例えば、ＬＡＳＳＯなど）機械学習により説明変数を選択し、選択した説明変数を用いた数式モデルの候補を生成してもよい。

具体的には、説明変数生成手段９１による説明変数候補の生成、説明変数選択手段９２による説明変数の選択および数式モデルの候補の生成、並びに、モデル評価手段９３による数式モデルの候補の良さの評価を予め定めた回数実行することで、複数の数式モデルの候補が生成されてもよい。そして、モデル選択手段９４は、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択してもよい。

また、数式モデル生成システム９０は、説明変数選択手段９２によって選択される説明変数の数の上限（例えば、上限Ｋ）、モデル選択手段９４によって選択される説明変数の数（例えば、Ｌ）、および、説明変数生成手段９１による説明変数候補の生成、説明変数選択手段９２による説明変数の選択および数式モデルの候補の生成、並びに、モデル評価手段９３による数式モデルの候補の良さの評価の繰り返しの上限（例えば、上限Ｎ）の少なくとも１つの入力を受け付けるパラメータ設定手段を備えていてもよい。

図８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

上述の数式モデル生成システム９０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（数式モデル生成プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

また、コンピュータ１０００が入力装置１００５および出力装置１００６にインタフェース１００４を介して接続され、入力装置１００５がユーザ等による入力を受け付け、出力装置１００６が処理結果を表示してもよい。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）基礎とする説明変数を組み合わせて新たな説明変数を生成し、前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成手段と、前記説明変数候補の中から、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数としてより好ましい説明変数を選択し、前記数式モデルの候補を生成する説明変数選択手段と、生成された前記数式モデルの候補の良さを評価するモデル評価手段と、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択手段とを備え、前記説明変数生成手段は、前記好ましい説明変数として選択された説明変数を組み合わせて新たな説明変数を生成し、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、前記説明変数選択手段は、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、モデル評価手段は、生成された各数式モデルの候補の良さを評価することを特徴とする数式モデル生成システム。

（付記２）説明変数選択手段は、数式モデルの候補として、線形回帰モデルを生成する付記１記載の数式モデル生成システム。

（付記３）説明変数選択手段は、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、説明変数を選択する付記１または付記２記載の数式モデル生成システム。

（付記４）モデル選択手段は、選択された数式モデルに含まれる説明変数のうち、当該数式モデルへの寄与率が高い順に予め定めた数の説明変数を選択し、選択した説明変数を各項に含む新たな数式モデル生成する付記１から付記３のうちのいずれか１つに記載の数式モデル生成システム。

（付記５）説明変数選択手段は、機械学習により説明変数を選択し、選択した説明変数を用いた数式モデルの候補を生成する付記１から付記４のうちのいずれか１つに記載の数式モデル生成システム。

（付記６）説明変数生成手段による説明変数候補の生成、説明変数選択手段による説明変数の選択および数式モデルの候補の生成、並びに、モデル評価手段による数式モデルの候補の良さの評価を予め定めた回数実行することで、複数の数式モデルの候補が生成され、モデル選択手段は、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択する付記１から付記５のうちのいずれか１つに記載の数式モデル生成システム。

（付記７）説明変数選択手段によって選択される説明変数の数の上限、モデル選択手段によって選択される説明変数の数、および、説明変数生成手段による説明変数候補の生成、説明変数選択手段による説明変数の選択および数式モデルの候補の生成、並びに、モデル評価手段による数式モデルの候補の良さの評価の繰り返しの上限の少なくとも１つの入力を受け付けるパラメータ設定手段を備えた付記１から付記６のうちのいずれか１つに記載の数式モデル生成システム。

（付記８）基礎とする説明変数を組み合わせて新たな説明変数を生成し、前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成し、前記説明変数候補の中から、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数としてより好ましい説明変数を選択し、前記数式モデルの候補を生成し、前記好ましい説明変数として選択された説明変数を組み合わせて新たな説明変数を生成し、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、生成された各数式モデルの候補の良さを評価し、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択することを特徴とする数式モデル生成方法。

（付記９）数式モデルの候補として、線形回帰モデルを生成する付記８記載の数式モデル生成方法。

（付記１０）コンピュータに、基礎とする説明変数を組み合わせて新たな説明変数を生成し、前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成処理、前記説明変数候補の中から、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数としてより好ましい説明変数を選択し、前記数式モデルの候補を生成する説明変数選択処理、生成された前記数式モデルの候補の良さを評価するモデル評価処理、および、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択処理を実行させ、前記説明変数生成処理で、前記好ましい説明変数として選択された説明変数を組み合わせて新たな説明変数を生成させ、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成させ、前記説明変数選択処理で、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成させ、モデル評価処理で、生成された各数式モデルの候補の良さを評価させるための数式モデル生成プログラムを記憶するプログラム記憶媒体。

（付記１１）コンピュータに説明変数選択処理で、数式モデルの候補として、線形回帰モデルを生成させるための数式モデル生成プログラムを記憶する付記１０記載のプログラム記憶媒体。

（付記１２）コンピュータに、基礎とする説明変数を組み合わせて新たな説明変数を生成し、前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成処理、前記説明変数候補の中から、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数としてより好ましい説明変数を選択し、前記数式モデルの候補を生成する説明変数選択処理、生成された前記数式モデルの候補の良さを評価するモデル評価処理、および、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択処理を実行させ、前記説明変数生成処理で、前記好ましい説明変数として選択された説明変数を組み合わせて新たな説明変数を生成させ、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成させ、前記説明変数選択処理で、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成させ、モデル評価処理で、生成された各数式モデルの候補の良さを評価させるための数式モデル生成プログラム。

（付記１３）コンピュータに、説明変数選択処理で、数式モデルの候補として、線形回帰モデルを生成させる付記１２記載の数式モデル生成プログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１０記憶部
２０，１２０入力部
３０説明変数生成部
４０説明変数選択部
６０モデル評価部
７０モデル選択部
８０，１８０出力部
１００，２００数式モデル生成システム
１２１学習データ入力部
１２２説明変数選択部
１２３項選択部
１２４関数タイプ選択部
１２５評価指標選択部
１２６評価手法選択部
１２７パラメータ設定部

Claims

基礎とする説明変数を組み合わせて新たな説明変数を生成し、前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成手段と、
前記説明変数候補の中から、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数を選択し、前記数式モデルの候補を生成する説明変数選択手段と、
生成された前記数式モデルの候補の良さを評価するモデル評価手段と、
生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択手段とを備え、
前記説明変数生成手段は、選択された説明変数を組み合わせて新たな説明変数を生成し、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、
前記説明変数選択手段は、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、
モデル評価手段は、生成された各数式モデルの候補の良さを評価する
ことを特徴とする数式モデル生成システム。
説明変数選択手段は、数式モデルの候補として、線形回帰モデルを生成する
請求項１記載の数式モデル生成システム。
モデル選択手段は、選択された数式モデルに含まれる説明変数のうち、当該数式モデルへの寄与率が高い順に予め定めた数の説明変数を選択し、選択した説明変数を各項に含む新たな数式モデル生成する
請求項１または請求項２記載の数式モデル生成システム。
説明変数選択手段は、機械学習により説明変数を選択し、選択した説明変数を用いた数式モデルの候補を生成する
請求項１から請求項３のうちのいずれか１項に記載の数式モデル生成システム。
説明変数生成手段による説明変数候補の生成、説明変数選択手段による説明変数の選択および数式モデルの候補の生成、並びに、モデル評価手段による数式モデルの候補の良さの評価を予め定めた回数実行することで、複数の数式モデルの候補が生成され、
モデル選択手段は、生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択する
請求項１から請求項４のうちのいずれか１項に記載の数式モデル生成システム。
説明変数選択手段によって選択される説明変数の数の上限、モデル選択手段によって選択される説明変数の数、および、説明変数生成手段による説明変数候補の生成、説明変数選択手段による説明変数の選択および数式モデルの候補の生成、並びに、モデル評価手段による数式モデルの候補の良さの評価の繰り返しの上限の少なくとも１つの入力を受け付けるパラメータ設定手段を備えた
請求項１から請求項５のうちのいずれか１項に記載の数式モデル生成システム。
コンピュータが実行する数式モデル生成方法であって、
基礎とする説明変数を組み合わせて新たな説明変数を生成し、
前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成し、
前記説明変数候補の中から、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数を選択し、
前記数式モデルの候補を生成し、
選択された説明変数を組み合わせて新たな説明変数を生成し、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成し、
新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成し、
生成された各数式モデルの候補の良さを評価し、
生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択する
ことを特徴とする数式モデル生成方法。
コンピュータが実行する数式モデル生成方法であって、
数式モデルの候補として、線形回帰モデルを生成する
請求項７記載の数式モデル生成方法。
コンピュータに、
基礎とする説明変数を組み合わせて新たな説明変数を生成し、前記基礎とする説明変数および生成された新たな説明変数を含む説明変数候補を生成する説明変数生成処理、
前記説明変数候補の中から、基礎とする説明変数の種類の数が多いほど選択されにくくなる制約に基づいて、非線形現象を数式で表わしたモデルである数式モデルに用いる説明変数を選択し、前記数式モデルの候補を生成する説明変数選択処理、
生成された前記数式モデルの候補の良さを評価するモデル評価処理、および、
生成された複数の数式モデルの候補のうち、最も評価の高い数式モデルを選択するモデル選択処理を実行させ、
前記説明変数生成処理で、選択された説明変数を組み合わせて新たな説明変数を生成させ、前記選択された説明変数および新たに生成された説明変数を含む新たな説明変数候補を生成させ、
前記説明変数選択処理で、新たに生成された説明変数候補の中から説明変数を選択して数式モデルの候補を生成させ、
モデル評価処理で、生成された各数式モデルの候補の良さを評価させる
ための数式モデル生成プログラム。