JP6927171B2

JP6927171B2 - Evaluation device, evaluation method, and computer program

Info

Publication number: JP6927171B2
Application number: JP2018150148A
Authority: JP
Inventors: 隆道岩田; 伊弦宮嵜; 康宏与語; 裕久竹内; 茂年則竹; 孝裕柚木
Original assignee: Toyota Central R&D Labs Inc
Current assignee: Toyota Central R&D Labs Inc
Priority date: 2018-08-09
Filing date: 2018-08-09
Publication date: 2021-08-25
Anticipated expiration: 2038-08-09
Also published as: JP2020027319A

Description

本発明は、構造モデルを評価する評価装置、評価方法、および、構造モデルをコンピュータに評価させるコンピュータプログラムに関する。 The present invention relates to an evaluation device for evaluating a structural model, an evaluation method, and a computer program for causing a computer to evaluate the structural model.

従来、多変数間の共変関係を求める方法として共分散構造分析が知られている。共分散構造分析では、他変数間の相関係数を算出可能な分散共分散行列を求める。しかしながら、分散共分散行列の要素の数は、変数の数の二乗のオーダーで大きくなるため、変数の数が大きくなると分散共分散行列を求める労力が大きくなる。そこで、より少ない変数で構造モデルを作成することが可能なスパース構造学習が提案されている。例えば、特許文献１には、グラフィカルラスーのアルゴリズムを用いたスパース構造学習におけるガウス分布の最尤推定値と構造モデルの特性を規定する罰則値との関係が開示されている。また、特許文献２には、精度行列がスパース行列となる解を得るためグラフィカルラスーのアルゴリズムによって条件付きガウス分布を算出する技術が開示されている。 Conventionally, covariance structure analysis is known as a method for finding a covariance relationship between multiple variables. In the covariance structure analysis, a variance-covariance matrix that can calculate the correlation coefficient between other variables is obtained. However, since the number of elements of the covariance matrix increases on the order of the square of the number of variables, the effort to find the covariance matrix increases as the number of variables increases. Therefore, sparse structure learning that can create a structural model with fewer variables has been proposed. For example, Patent Document 1 discloses the relationship between the maximum likelihood estimation value of the Gaussian distribution in sparse structure learning using a graphical sparse algorithm and the penalty value that defines the characteristics of the structural model. Further, Patent Document 2 discloses a technique for calculating a conditional Gaussian distribution by a graphical Raswoo algorithm in order to obtain a solution in which an accuracy matrix becomes a sparse matrix.

Ｓｐａｒｓｅｉｎｖｅｒｓｅｃｏｖａｒｉａｎｃｅｅｓｔｉｍａｔｉｏｎｗｉｔｈｔｈｅｇｒａｐｈｉｃａｌｌａｓｓｏ；Ｊ．Ｆｒｉｅｄｍａｎ，Ｔ．Ｈａｓｔｉｅ，ａｎｄＲ．Ｔｉｂａｈｉｒａｎｉ：Ｂｉｏｓｔａｔｉｓｔｉｃｓ．２００８Ｊｕｌ；９（３）：４３２−４４１．Space inverse covariance estimation with the graphic lasso; J. et al. Friedman, T.K. Hastie, and R. Tibahirani: Biostatistics. 2008 Jul; 9 (3): 432-441. 特願２００８−２４７３８０号公報Japanese Patent Application No. 2008-247380

しかしながら、特許文献１では、スパース構造学習によって求められたスパース行列がテストデータと合っているかどうかを基準に罰則値を設定するため、変数の数が多くなると複数の変数のうち特定の一の変数と他の変数との共変関係を示す偏相関係数が全てゼロとなる場合がある。このため、一の変数と他の変数との共変関係を求めるためには、構造モデルを恣意的に選択する必要がある。また、特許文献２では、多次元時系列データの異常度を計算することを目的としており、罰則値の設定方法について言及されていない。このため、多次元時系列データに最も適合する構造モデルを恣意的に選択する必要がある。 However, in Patent Document 1, since the penalty value is set based on whether the sparse matrix obtained by the sparse structure learning matches the test data, when the number of variables is large, a specific one of the plurality of variables is set. In some cases, the partial correlation coefficients that indicate the covariant relationship between and other variables are all zero. Therefore, in order to find the covariant relationship between one variable and another variable, it is necessary to arbitrarily select the structural model. Further, Patent Document 2 aims to calculate the degree of abnormality of multidimensional time series data, and does not mention a method of setting a penalty value. Therefore, it is necessary to arbitrarily select the structural model that best fits the multidimensional time series data.

本発明は、上述した課題を解決するためになされたものであり、製品の品質を表す目的変数と、製品の製造工程で得られる製品に関連する説明変数との共変関係を表す構造モデルを評価する評価装置において、目的変数と説明変数との対応関係が示された対応データに適合する構造モデルを機械的に選択することが可能な技術を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and a structural model representing a covariant relationship between an objective variable representing the quality of a product and an explanatory variable related to the product obtained in the manufacturing process of the product is provided. It is an object of the present invention to provide a technique capable of mechanically selecting a structural model that matches the correspondence data in which the correspondence between the objective variable and the explanatory variable is shown in the evaluation device to be evaluated.

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 The present invention has been made to solve at least a part of the above-mentioned problems, and can be realized as the following forms.

（１）本発明の一形態によれば、製品の品質を表す目的変数と、前記製品の製造工程で得られる前記製品に関連する説明変数との共変関係を表す構造モデルを評価する評価装置が提供される。評価装置は、前記目的変数と前記説明変数との対応関係が示された対応データを用いて構造学習によって前記構造モデルを作成するモデル作成部と、前記対応データを用いて前記目的変数を既知とした条件付きガウス分布の最尤推定値を算出する最尤推定値演算部と、前記最尤推定値に基づいて前記構造モデルを評価するモデル評価部と、を備える。 (1) According to one embodiment of the present invention, an evaluation device for evaluating a structural model representing a covariant relationship between an objective variable representing the quality of a product and an explanatory variable related to the product obtained in the manufacturing process of the product. Is provided. The evaluation device has a model creation unit that creates the structural model by structural learning using the correspondence data showing the correspondence between the objective variable and the explanatory variable, and the evaluation device that the objective variable is known using the correspondence data. It includes a maximum likelihood estimation value calculation unit that calculates the maximum likelihood estimation value of the conditional Gaussian distribution, and a model evaluation unit that evaluates the structural model based on the maximum likelihood estimation value.

この構成によれば、製品の品質を表す変数である目的変数を既知とした条件付きガウス分布の最尤推定値に基づいて構造モデルを評価することができる。これにより、目的変数と製品の製造工程で得られる製品に関連する説明変数との共変関係を良好に表した構造モデルを機械的に選択することができる。 According to this configuration, the structural model can be evaluated based on the maximum likelihood estimation value of the conditional Gaussian distribution in which the objective variable, which is a variable representing the quality of the product, is known. This makes it possible to mechanically select a structural model that well represents the covariant relationship between the objective variable and the explanatory variable related to the product obtained in the manufacturing process of the product.

（２）上記形態の評価装置において、前記モデル作成部は、前記構造モデルの特性に関連する特性値を変更することによって前記対応データから前記特性値の異なる複数の前記構造モデルを作成し、前記最尤推定値演算部は、前記特性値の異なる前記複数の構造モデルのそれぞれについて、条件付きガウス分布の尤度推定値を算出するとともに、算出した複数の前記尤度推定値のうちの最大値を前記最尤推定値とし、前記モデル評価部は、前記最尤推定値に対応する前記構造モデルを選択することによって前記構造モデルを評価してもよい。この構成によれば、モデル作成部は、特性値を変更することによって複数の構造モデルを作成することができる。最尤推定値演算部は、複数の構造モデルのそれぞれについて算出される条件付きガウス分布の尤度推定値のうちの最大値を最尤推定値とする。これにより、モデル評価部は、特性値が異なる複数の構造モデルのうちから目的変数と説明変数との共変関係を良好に表した構造モデルを機械的に選択することができる。 (2) In the evaluation device of the above embodiment, the model creation unit creates a plurality of the structural models having different characteristic values from the corresponding data by changing the characteristic values related to the characteristics of the structural model, and the above-mentioned The maximum likelihood estimation value calculation unit calculates the likelihood estimation value of the conditional Gaussian distribution for each of the plurality of structural models having different characteristic values, and the maximum value among the calculated plurality of the likelihood estimation values. May be the maximum likelihood estimation value, and the model evaluation unit may evaluate the structural model by selecting the structural model corresponding to the maximum likelihood estimation value. According to this configuration, the model creation unit can create a plurality of structural models by changing the characteristic values. The maximum likelihood estimation value calculation unit sets the maximum value among the likelihood estimates of the conditional Gaussian distribution calculated for each of the plurality of structural models as the maximum likelihood estimation value. As a result, the model evaluation unit can mechanically select a structural model that well represents the covariant relationship between the objective variable and the explanatory variable from among a plurality of structural models having different characteristic values.

（３）上記形態の評価装置において、前記モデル作成部は、前記対応データのうち、前記最尤推定値演算部がテストデータとして用いる部分を除いた残りの前記対応データの一部を学習用データとして用いて前記構造モデルを作成し、前記最尤推定値演算部は、前記テストデータを用いて、前記構造モデルにおける前記条件付きガウス分布の対数尤度を算出し、前記モデル作成部は、前記対応データのうち、前記最尤推定値演算部がテストデータとして用いる部分が異なる複数パターンの学習用データによって、一つの前記特性値において複数の前記構造モデルを作成し、前記最尤推定値演算部は、一つの前記特性値において前記複数の構造モデルのそれぞれに対応する対数尤度を算出し、算出した前記対数尤度の平均値を前記尤度推定値としてもよい。この構成によれば、モデル作成部は、いわゆる交差検証を用いて、一つの特性値において複数の構造モデルを作成することができる。最尤推定値演算部は、一つの特性値において複数算出される対数尤度に基づいて当該対数尤度の平均値を算出し、尤度推定値とする。モデル評価部は、当該尤度推定値を構造モデルの選択基準とする。これにより、一つの特性値に対して算出される尤度推定値は、複数の対数尤度の平均値であるため、尤度推定値の精度を向上することができる。したがって、構造モデルの選択性の精度を向上することができる。 (3) In the evaluation device of the above embodiment, the model creation unit uses a part of the corresponding data other than the part used as the test data by the maximum likelihood estimation value calculation unit among the corresponding data for learning. The maximum likelihood estimation value calculation unit calculates the logarithmic likelihood of the conditional Gaussian distribution in the structural model using the test data, and the model creation unit uses the test data to calculate the log likelihood. Of the corresponding data, the maximum likelihood estimation value calculation unit creates a plurality of the structural models with one characteristic value from the learning data of a plurality of patterns in which the portion used as the test data is different, and the maximum likelihood estimation value calculation unit. May calculate the log likelihood corresponding to each of the plurality of structural models in one characteristic value, and use the calculated average value of the log likelihood as the estimated likelihood value. According to this configuration, the model creation unit can create a plurality of structural models with one characteristic value by using so-called cross-validation. The maximum likelihood estimation value calculation unit calculates the average value of the log-likelihood based on a plurality of log-likelihoods calculated for one characteristic value, and uses the maximum likelihood estimation value as the likelihood estimation value. The model evaluation unit uses the likelihood estimation value as a selection criterion for the structural model. As a result, the likelihood estimation value calculated for one characteristic value is the average value of a plurality of log-likelihoods, so that the accuracy of the likelihood estimation value can be improved. Therefore, the accuracy of the selectivity of the structural model can be improved.

（４）上記形態の評価装置において、前記特性値とは、前記構造モデルの特性としてのスパース性を決定する罰則値であり、前記モデル作成部は、前記罰則値を変更することによって前記複数の構造モデルを作成してもよい。この構成によれば、共分散構造選択などの構造学習に比べ、対応データに適合する最適な構造モデルを求める労力を低減することができる。 (4) In the evaluation device of the above-described embodiment, the characteristic value is a penalty value for determining the sparsity as a characteristic of the structural model, and the model creation unit may change the penalty value to obtain the plurality of penalties. A structural model may be created. According to this configuration, it is possible to reduce the labor for finding the optimum structural model that matches the corresponding data, as compared with the structural learning such as covariance structure selection.

（５）上記形態の評価装置において、前記構造モデルには、前記目的変数と前記説明変数との偏相関係数が示されており、前記モデル作成部は、前記特性値を変化させることによって、前記構造モデルを作成するとともに、作成した前記構造モデルの前記偏相関係数が、全て０であるか否かを判定し、前記最尤推定値演算部は、前記モデル作成部が前記目的変数と前記説明変数との偏相関係数が全て０であると判定すると、前記最尤推定値の算出を開始してもよい。この構成によれば、モデル作成部は、目的変数と説明変数との偏相関係数が０となり変化しなくなると、構造モデルの作成を中止する。これにより、モデル作成部が作成する構造モデルの数を少なくすることができるため、対応データに適合する最適な構造モデルを求める労力を低減することができる。 (5) In the evaluation device of the above embodiment, the structural model shows a partial correlation coefficient between the objective variable and the explanatory variable, and the model creation unit changes the characteristic value. The structural model is created, and it is determined whether or not the partial correlation coefficients of the created structural model are all 0. In the maximum likelihood estimation value calculation unit, the model creation unit sets the objective variable. If it is determined that the partial correlation coefficients with the explanatory variables are all 0, the calculation of the maximum likelihood estimation value may be started. According to this configuration, the model creation unit stops creating the structural model when the partial correlation coefficient between the objective variable and the explanatory variable becomes 0 and does not change. As a result, the number of structural models created by the model creation unit can be reduced, so that the labor required to find the optimum structural model that matches the corresponding data can be reduced.

（６）上記形態の評価装置において、前記目的変数を既知とした条件付きガウス分布は、多変量正規分布の確率密度関数を既知の前記目的変数で積分して得られる周辺分布の密度関数によって多変量正規分布の確率密度関数を除したものであってもよい。 (6) In the evaluation device of the above embodiment, the conditional Gaussian distribution with the objective variable known is many by the density function of the marginal distribution obtained by integrating the probability density function of the multivariate normal distribution with the known objective variable. It may be obtained by dividing the probability density function of the multivariate normal distribution.

なお、本発明は、種々の態様で実現することが可能であり、例えば、評価方法、評価システム、評価をコンピュータに実行させるコンピュータプログラム、コンピュータプログラムを配布するためのサーバ装置、コンピュータプログラムを記憶した一時的でない記憶媒体等などの形態で実現することができる。 The present invention can be realized in various aspects. For example, an evaluation method, an evaluation system, a computer program for causing a computer to execute an evaluation, a server device for distributing the computer program, and a computer program are stored. It can be realized in the form of a non-temporary storage medium or the like.

評価装置の概略構成を示した説明図である。It is explanatory drawing which showed the schematic structure of the evaluation apparatus. 評価方法の対応データの処理を説明する説明図である。It is explanatory drawing explaining the processing of corresponding data of an evaluation method. 評価装置の構造学習の結果を説明するグラフィカルモデルである。This is a graphical model that explains the result of structural learning of the evaluation device. 評価方法の手順を示すフローチャートである。It is a flowchart which shows the procedure of the evaluation method. 最終罰則値の決定方法を説明する特性図である。It is a characteristic diagram explaining the method of determining the final penalty value. 評価装置の効果を説明する特性図である。It is a characteristic figure explaining the effect of the evaluation apparatus. 評価装置の効果を説明するグラフィカルモデルである。It is a graphical model explaining the effect of the evaluation device.

＜第一実施形態＞
図１は、第一実施形態における評価装置１の概略構成を示した説明図である。評価装置１は、製品の品質を表す品質変数と製品の製造工程で得られる製品に関連する工程変数との対応関係が示された対応データを用いて構造学習を行うとともに、当該構造学習によって作成される「構造モデル」としての精度行列を評価する。 <First Embodiment>
FIG. 1 is an explanatory diagram showing a schematic configuration of the evaluation device 1 according to the first embodiment. The evaluation device 1 performs structural learning using the correspondence data showing the correspondence between the quality variable representing the quality of the product and the process variable related to the product obtained in the manufacturing process of the product, and is created by the structural learning. Evaluate the precision matrix as the "structural model" to be done.

ここで、品質変数とは、例えば、製品の重さ、製品の所定の部位の厚みや製品の表面状態など、主に完成した製品を検査することによって得られる製品の特性を表す数値である。また、工程変数とは、例えば、製品の加工工程において製品に加えられる圧力の大きさや加圧時間、製品の加熱工程における製品の加熱温度や加熱時間など、製造工程において当該製品の製造の際に測定される工程条件に関連する数値である。対応データは、一つ以上の品質変数と、当該一つ以上の品質変数に対応する工程変数とが一つのセットとなっている変数データセットを複数有している。本実施形態では、変数データセットは、複数の品質変数と、複数の品質変数に対応する複数の工程変数とが一つのセットとなっているとする。 Here, the quality variable is a numerical value representing the characteristics of the product obtained mainly by inspecting the finished product, such as the weight of the product, the thickness of a predetermined portion of the product, and the surface condition of the product. In addition, the process variables are, for example, the magnitude and pressurization time of the pressure applied to the product in the processing process of the product, the heating temperature and heating time of the product in the heating process of the product, and the like when the product is manufactured in the manufacturing process. It is a numerical value related to the process conditions to be measured. The corresponding data has a plurality of variable data sets in which one or more quality variables and process variables corresponding to the one or more quality variables are one set. In the present embodiment, it is assumed that the variable data set is a set of a plurality of quality variables and a plurality of process variables corresponding to the plurality of quality variables.

評価装置１は、モデル作成部１０、最尤推定値演算部２０、モデル評価部３０、記憶部４０、および、図示しない通信部を備える。モデル作成部１０、最尤推定値演算部２０、および、モデル評価部３０は、ＣＰＵがＲＯＭに格納されているコンピュータプログラムをＲＡＭに展開し実現される。記憶部４０は、ハードディスク、フラッシュメモリ、メモリカードなどで構成されている。 The evaluation device 1 includes a model creation unit 10, a maximum likelihood estimation value calculation unit 20, a model evaluation unit 30, a storage unit 40, and a communication unit (not shown). The model creation unit 10, the maximum likelihood estimation value calculation unit 20, and the model evaluation unit 30 are realized by the CPU expanding the computer program stored in the ROM into the RAM. The storage unit 40 is composed of a hard disk, a flash memory, a memory card, and the like.

モデル作成部１０は、標準化処理部１１、分割処理部１２、罰則値設定部１３、構造学習処理部１４、および、偏相関係数判定部１５を備える。モデル作成部１０は、対応データを用いて、構造学習によって精度行列を作成する。 The model creation unit 10 includes a standardization processing unit 11, a division processing unit 12, a penalty value setting unit 13, a structure learning processing unit 14, and a partial correlation coefficient determination unit 15. The model creation unit 10 creates an accuracy matrix by structural learning using the corresponding data.

標準化処理部１１は、標準化された対応データを作成する。具体的には、標準化処理部１１は、評価装置１の外部から入力される対応データに含まれる複数の品質変数のそれぞれのデータを、平均が０であり分散が１となるように変換する。また、標準化処理部１１は、対応データに含まれる複数の工程変数を、平均が０であり分散が１となるように変換する。 The standardization processing unit 11 creates standardized corresponding data. Specifically, the standardization processing unit 11 converts the data of each of the plurality of quality variables included in the corresponding data input from the outside of the evaluation device 1 so that the average is 0 and the variance is 1. Further, the standardization processing unit 11 converts a plurality of process variables included in the corresponding data so that the average is 0 and the variance is 1.

分割処理部１２は、標準化された対応データを分割する。具体的には、分割処理部１２は、標準化された対応データを、それぞれが少なくとも一つ以上の変数データセットを有する複数のグループに分割する。 The division processing unit 12 divides the standardized corresponding data. Specifically, the division processing unit 12 divides the standardized corresponding data into a plurality of groups, each of which has at least one or more variable data sets.

図２は、分割処理部１２における対応データの分割処理を説明する説明図である。分割処理部１２は、図２に示すように、標準化された対応データＤｓｔｄをＫ個（Ｋは、２以上の整数）の分割データＤｄに分割する。このとき、Ｋ個の分割データＤｄのそれぞれには、Ｎ個（Ｎは、１以上の整数）の変数データセットが含まれる。 FIG. 2 is an explanatory diagram for explaining the division processing of the corresponding data in the division processing unit 12. As shown in FIG. 2, the division processing unit 12 divides the standardized corresponding data Dstd into K (K is an integer of 2 or more) divided data Dd. At this time, each of the K divided data Dd includes N variable data sets (N is an integer of 1 or more).

分割処理部１２では、さらに、Ｋ個の分割データＤｄを、後述する構造学習に用いるため、テストデータと学習用データとに分類する。具体的には、図２に示すように、Ｋ個の分割データＤｄのうち、一つの分割データＤｄをテストデータとし、テストデータとして分割データＤｄを除く残りの分割データＤｄを学習用データとする（例えば、図２の点線Ｐｔ１、Ｐｔ２参照）。分割処理部１２は、このようにして、Ｋ個の分割データＤｄのそれぞれがテストデータとなり、テストデータとなった分割データＤｄを除く残りの分割データＤｄが学習用データとなるよう分割データＤｄを分類する。 The division processing unit 12 further classifies the K division data Dd into test data and learning data in order to use them for structural learning, which will be described later. Specifically, as shown in FIG. 2, of the K divided data Dd, one divided data Dd is used as test data, and the remaining divided data Dd excluding the divided data Dd is used as training data as test data. (See, for example, the dotted lines Pt1 and Pt2 in FIG. 2). In this way, the division processing unit 12 sets the division data Dd so that each of the K division data Dd becomes test data and the remaining division data Dd excluding the division data Dd that becomes the test data becomes training data. Classify.

罰則値設定部１３は、スパース構造学習においてスパース性を規定する「特性値」としての罰則値を設定する。罰則値設定部１３は、後述する構造モデルの評価方法において任意の罰則値を仮の罰則値として設定する。また、罰則値設定部１３は、仮の罰則値を変更可能である。 The penalty value setting unit 13 sets a penalty value as a "characteristic value" that defines sparseness in sparse structure learning. The penalty value setting unit 13 sets an arbitrary penalty value as a provisional penalty value in the evaluation method of the structural model described later. Further, the penalty value setting unit 13 can change the provisional penalty value.

構造学習処理部１４は、分割処理部１２が作成する学習用データおよび罰則値設定部１３が設定する仮の罰則値を用いて構造学習を行う。これにより、構造学習処理部１４は、学習用データに基づく精度行列を求めることができる。 The structure learning processing unit 14 performs structure learning using the learning data created by the division processing unit 12 and the provisional penalty value set by the penalty value setting unit 13. As a result, the structure learning processing unit 14 can obtain an accuracy matrix based on the learning data.

図３は、評価装置１の構造学習の結果を説明するグラフィカルモデルである。図３には、構造学習を行った結果、求められた精度行列から導かれる多変数間の相関関係が表されている。図３では、一例として、八つの変数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈの相関を示すグラフィカルモデルを示している。図３に示す二つの変数をつなぐ直線の太さは、二つの変数間の相関関係の強さを表している。 FIG. 3 is a graphical model for explaining the result of structural learning of the evaluation device 1. FIG. 3 shows the correlation between multiple variables derived from the accuracy matrix obtained as a result of structural learning. In FIG. 3, as an example, a graphical model showing the correlation of eight variables a, b, c, d, e, f, g, and h is shown. The thickness of the straight line connecting the two variables shown in FIG. 3 represents the strength of the correlation between the two variables.

例えば、図３（ａ）に示すように、罰則値Ｐｖ１を用いての構造学習では、変数ａと変数ｄ、変数ｂと変数ｃ、および、変数ｅと変数ｈとの間に、比較的強い相関があることが分かる。しかしながら、罰則値が罰則値Ｐｖ１とは異なる罰則値Ｐｖ２を用いての構造学習では作成される構造モデルが異なり、図３（ｂ）に示すように、八つの変数間の相関関係が図３（ａ）のグラフィカルモデルに比べ変化する。また、罰則値が罰則値Ｐｖ１、Ｐｖ２とは異なる罰則値Ｐｖ３を用いての構造学習でも同様に構造モデルが異なり、図３（ｃ）に示すように、八つの変数間の相関関係が図３（ａ）、（ｂ）のグラフィカルモデルに比べ変化する。構造学習処理部１４は、このようにして、複数の構造モデルを作成する。 For example, as shown in FIG. 3A, in the structural learning using the penalty value Pv1, the variables a and d, the variable b and c, and the variable e and h are relatively strong. It can be seen that there is a correlation. However, the structural model created in the structural learning using the penalty value Pv2 whose penalty value is different from the penalty value Pv1 is different, and as shown in FIG. 3 (b), the correlation between the eight variables is shown in FIG. 3 ( It changes compared to the graphical model of a). Further, the structural model is also different in the structural learning using the penalties Pv3 whose penalties are different from the penalties Pv1 and Pv2, and as shown in FIG. 3C, the correlation between the eight variables is shown in FIG. It changes as compared with the graphical models of (a) and (b). The structure learning processing unit 14 creates a plurality of structural models in this way.

偏相関係数判定部１５は、構造学習処理部１４が求めた精度行列に基づいて、品質変数に含まれる目的変数と説明変数との偏相関係数の全てが０であるか否かを判定する。偏相関係数判定部１５の判定結果は、罰則値設定部１３と最尤推定値演算部２０とに出力される。 The partial correlation coefficient determination unit 15 determines whether or not all of the partial correlation coefficients of the objective variable and the explanatory variable included in the quality variable are 0 based on the accuracy matrix obtained by the structure learning processing unit 14. do. The determination result of the partial correlation coefficient determination unit 15 is output to the penalty value setting unit 13 and the maximum likelihood estimation value calculation unit 20.

ここで、対応データに含まれる目的変数と説明変数とについて説明する。
目的変数とは、一つの変数データセットに含まれる品質変数の一つの変数を指す。具体的には、例えば、図３で用いた八つの変数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈのうち品質変数を変数ａ、ｂとし、工程変数を変数ｃ、ｄ、ｅ、ｆ、ｇ、ｈとしたとき、目的変数は変数ａまたは変数ｂとなる。
また、説明変数とは、一つの変数データセットに含まれる複数の品質変数と複数の工程変数とのうち目的変数となった品質変数を除く残りの品質変数および工程変数を指す。具体的には、例えば、図３で用いた八つの変数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈのうち品質変数を変数ａ、ｂとし、工程変数を変数ｃ、ｄ、ｅ、ｆ、ｇ、ｈとしたとき、変数ａを目的変数とすると、変数ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈが説明変数となる。また、変数ｂを目的変数とすると、変数ａ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈが説明変数となる。 Here, the objective variable and the explanatory variable included in the corresponding data will be described.
The objective variable refers to one variable of the quality variables contained in one variable data set. Specifically, for example, among the eight variables a, b, c, d, e, f, g, and h used in FIG. 3, the quality variables are the variables a and b, and the process variables are the variables c, d, and e. , F, g, and h, the objective variable is variable a or variable b.
The explanatory variables refer to the remaining quality variables and process variables excluding the quality variable that is the objective variable among the plurality of quality variables and the plurality of process variables included in one variable data set. Specifically, for example, among the eight variables a, b, c, d, e, f, g, and h used in FIG. 3, the quality variables are the variables a and b, and the process variables are the variables c, d, and e. , F, g, h, and if the variable a is the objective variable, the variables b, c, d, e, f, g, h are the explanatory variables. If the variable b is the objective variable, the variables a, c, d, e, f, g, and h are the explanatory variables.

最尤推定値演算部２０は、対数尤度演算部２１、尤度平均値演算部２２、および、罰則値取得部２３を備える。最尤推定値演算部２０は、対応データを用いて、目的変数を既知とした条件付きガウス分布の対数尤度を算出し、対数尤度に基づいて最終罰則値を決定する。 The maximum likelihood estimation value calculation unit 20 includes a log likelihood calculation unit 21, a likelihood average value calculation unit 22, and a penalty value acquisition unit 23. The maximum likelihood estimation value calculation unit 20 calculates the log-likelihood of the conditional Gaussian distribution with the objective variable known using the corresponding data, and determines the final penalty value based on the log-likelihood.

対数尤度演算部２１は、複数の分割データのうち学習用データを除く残りの分割データをテストデータとして用いて、目的変数を既知とした条件付きガウス分布の対数尤度を算出する。ここで、目的変数を既知とした条件付きガウス分布とは、多変量正規分布の確率密度関数を既知の目的変数で積分して得られる周辺分布の密度関数によって多変量正規分布の確率密度関数を除したものである。 The log-likelihood calculation unit 21 calculates the log-likelihood of the conditional Gaussian distribution with the objective variable known by using the remaining divided data excluding the learning data among the plurality of divided data as test data. Here, the conditional Gaussian distribution in which the objective variable is known is the probability density function of the multivariate normal distribution by the density function of the marginal distribution obtained by integrating the probability density function of the multivariate normal distribution with the known objective variable. It is divided.

尤度平均値演算部２２は、複数の対数尤度から、対数尤度の平均値を尤度推定値として算出する。 The likelihood average value calculation unit 22 calculates the average value of the log-likelihoods as the likelihood estimation value from the plurality of log-likelihoods.

罰則値取得部２３は、偏相関係数判定部１５が目的変数と説明変数との偏相関係数の全てが０であると判定するとき、「最尤推定値」としての尤度推定値の最大値に対応する仮の罰則値を最終罰則値として取得する。罰則値取得部２３は、取得した最終罰則値をモデル評価部３０に出力する。 When the partial correlation coefficient determination unit 15 determines that all the partial correlation coefficients of the objective variable and the explanatory variable are 0, the penalty value acquisition unit 23 determines the likelihood estimation value as the “maximum likelihood estimation value”. The provisional penalty value corresponding to the maximum value is acquired as the final penalty value. The penalty value acquisition unit 23 outputs the acquired final penalty value to the model evaluation unit 30.

モデル評価部３０は、罰則値取得部２３が出力する最終罰則値によって規定される構造モデルを精度行列記憶部４３から選択する。 The model evaluation unit 30 selects a structural model defined by the final penalty value output by the penalty value acquisition unit 23 from the accuracy matrix storage unit 43.

記憶部４０は、分割データ記憶部４１、罰則値記憶部４２、精度行列記憶部４３、対数尤度記憶部４４、および、尤度平均値記憶部４５を備える。 The storage unit 40 includes a divided data storage unit 41, a penalty value storage unit 42, an accuracy matrix storage unit 43, a log-likelihood likelihood storage unit 44, and a likelihood average value storage unit 45.

分割データ記憶部４１は、分割処理部１２が出力する分割データを記憶する。分割データ記憶部４１は、記憶する分割データを、罰則値設定部１３、構造学習処理部１４、および、対数尤度演算部２１に出力する。 The divided data storage unit 41 stores the divided data output by the divided processing unit 12. The divided data storage unit 41 outputs the stored divided data to the penalty value setting unit 13, the structure learning processing unit 14, and the log-likelihood calculation unit 21.

罰則値記憶部４２は、罰則値設定部１３が出力する仮の罰則値を記憶する。罰則値記憶部４２は、記憶する仮の罰則値を構造学習処理部１４および対数尤度演算部２１に出力する。 The penalty value storage unit 42 stores a provisional penalty value output by the penalty value setting unit 13. The penalty value storage unit 42 outputs the tentative penalty value to be stored to the structure learning processing unit 14 and the log-likelihood calculation unit 21.

精度行列記憶部４３は、構造学習処理部１４が出力する精度行列および説明変数の平均値を記憶する。精度行列記憶部４３は、記憶する精度行列を、偏相関係数判定部１５、対数尤度演算部２１、および、モデル評価部３０に出力する。 The precision matrix storage unit 43 stores the average value of the precision matrix and explanatory variables output by the structure learning processing unit 14. The precision matrix storage unit 43 outputs the stored precision matrix to the partial correlation coefficient determination unit 15, the log-likelihood calculation unit 21, and the model evaluation unit 30.

対数尤度記憶部４４は、対数尤度演算部２１が出力する目的変数を既知とした条件付きガウス分布の対数尤度を記憶する。対数尤度記憶部４４は、記憶する対数尤度を尤度平均値演算部２２に出力する。 The log-likelihood storage unit 44 stores the log-likelihood of the conditional Gaussian distribution in which the objective variable output by the log-likelihood calculation unit 21 is known. The log-likelihood storage unit 44 outputs the stored log-likelihood to the likelihood average value calculation unit 22.

尤度平均値記憶部４５は、尤度平均値演算部２２が出力する対数尤度の平均値を記憶する。尤度平均値記憶部４５は、記憶する対数尤度の平均値を罰則値取得部２３に出力する。 The likelihood average value storage unit 45 stores the average value of the logarithmic likelihood output by the likelihood average value calculation unit 22. The likelihood average value storage unit 45 outputs the average value of the logarithmic likelihoods to be stored to the penalty value acquisition unit 23.

図４は、評価装置１による構造モデルの評価方法の手順を示すフローチャートである。本実施形態では、評価装置１による構造モデルの評価処理を、交差検証およびグラフィカルラスーによる構造推定を適用して行う。 FIG. 4 is a flowchart showing the procedure of the evaluation method of the structural model by the evaluation device 1. In the present embodiment, the evaluation process of the structural model by the evaluation device 1 is performed by applying cross-validation and structural estimation by the graphical raster.

ステップＳ１１において、対応データを標準化する。具体的には、標準化処理部１１は、評価装置１の外部から入力される対応データを標準化する。本実施形態では、対応データは、Ｍ種類（Ｍは、２以上の整数、図２参照）の変数のそれぞれについて（Ｎ×Ｋ）個の値を有するデータである。すなわち、対応データは、（Ｎ×Ｋ）個のＭ次元ベクトルから構成されているデータであるともいえる。ここで、対応データを構成するＭ次元ベクトルのうちｎ（ｎは、１以上（Ｎ×Ｋ）以下の整数）番目のＭ次元ベクトルを、便宜的に以下の式（１）のように示す。

In step S11, the corresponding data is standardized. Specifically, the standardization processing unit 11 standardizes the corresponding data input from the outside of the evaluation device 1. In the present embodiment, the corresponding data is data having (N × K) values for each of M types of variables (M is an integer of 2 or more, see FIG. 2). That is, it can be said that the corresponding data is data composed of (N × K) M-dimensional vectors. Here, the nth (n is an integer of 1 or more (N × K) or less) th M-dimensional vector among the M-dimensional vectors constituting the corresponding data is shown by the following equation (1) for convenience.

次に、ステップＳ１２において、標準化された対応データをＫ個に分割する。具体的には、図２に示したように、分割処理部１２は、標準化された対応データを、Ｋ個の分割データに分割する。このとき、Ｋ個の分割データのそれぞれには、１番からＫ番までの番号が付される。 Next, in step S12, the standardized corresponding data is divided into K pieces. Specifically, as shown in FIG. 2, the division processing unit 12 divides the standardized corresponding data into K divided data. At this time, numbers 1 to K are assigned to each of the K divided data.

次に、ステップＳ１３において、仮の罰則値を設定する。具体的には、罰則値設定部１３は、仮の罰則値を設定する。本実施形態では、最初のステップＳ１３では、仮の罰則値として、ほとんど０の比較的小さい値を設定する。 Next, in step S13, a provisional penalty value is set. Specifically, the penalty value setting unit 13 sets a provisional penalty value. In the present embodiment, in the first step S13, a relatively small value of almost 0 is set as a provisional penalty value.

次に、ステップＳ１４において、１番目の分割データをテストデータとし、残りの分割データを学習用データとする（図２のパターンＰｔ１参照）。具体的には、分割データ記憶部４１は、ステップＳ１２で作成された分割データの１番目の分割データをテストデータとし、１番目の分割データを除いた残りの２番目の分割データからＫ番目の分割データまでを学習用データとする。すなわち、学習用データは、（Ｋ-１）個の分割データからなる。 Next, in step S14, the first divided data is used as test data, and the remaining divided data is used as training data (see pattern Pt1 in FIG. 2). Specifically, the divided data storage unit 41 uses the first divided data of the divided data created in step S12 as test data, and is the Kth from the remaining second divided data excluding the first divided data. Up to the divided data is used as learning data. That is, the learning data is composed of (K-1) pieces of divided data.

次に、ステップＳ１５において、学習用データを用いてグラフィカルラスーによる構造推定を実施し、学習用データにおける精度行列Λおよび説明変数の平均値ｍを算出する。具体的には、構造学習処理部１４は、分割データ記憶部４１に記憶されている学習用データを用いてグラフィカルラスーによる構造推定を実施する。このとき、２番目の分割データからＫ番目の分割データまでの学習用データにおける精度行列Λおよび説明変数の平均値ｍは、精度行列記憶部４３に記憶される。なお、ステップＳ１５において算出される説明変数の平均値ｍは、以下の式（２）のように示される。

Next, in step S15, the structure is estimated by the graphical raster using the learning data, and the average value m of the accuracy matrix Λ and the explanatory variables in the learning data is calculated. Specifically, the structure learning processing unit 14 performs structure estimation by a graphical raster using the learning data stored in the divided data storage unit 41. At this time, the accuracy matrix Λ and the average value m of the explanatory variables in the learning data from the second divided data to the Kth divided data are stored in the accuracy matrix storage unit 43. The average value m of the explanatory variables calculated in step S15 is expressed by the following equation (2).

次に、ステップＳ１６において、直前のステップＳ１５において算出された精度行列Λおよび説明変数の平均値ｍならびにテストデータとしての１番目の分割データを用いて、目的変数を既知とする条件付きガウス分布の対数尤度Ｌ（ｘ）を算出する。具体的には、対数尤度演算部２１は、以下の式（３）によって、テストデータに含まれるＮ個の変数データセットに対して、説明変数が与えられたときの条件付きガウス分布の対数尤度Ｌ（ｘ）を算出する。

すなわち、

このとき、テストデータに含まれるｎ番目の変数データセットの確率分布は、以下の式（４）で表される。

また、目的変数が変数データセットの１番目、すなわち、ｘ₁に格納されているとき、Ｐ（ｘ⁽ⁿ⁾）をｘ₁で積分して得られる周辺分布Ｐ（ｘ_-1 ⁽ⁿ⁾）は、以下の式（５）で表される。

なお、

であり、

である。
算出された条件付きガウス分布の対数尤度Ｌ（ｘ）は、対数尤度記憶部４４に記憶される。 Next, in step S16, using the accuracy matrix Λ calculated in the immediately preceding step S15, the average value m of the explanatory variables, and the first divided data as test data, the conditional Gaussian distribution that makes the objective variable known is used. The log-likelihood L (x) is calculated. Specifically, the log-likelihood calculation unit 21 uses the following equation (3) to obtain the logarithmic value of the conditional Gaussian distribution when explanatory variables are given to the N variable data sets included in the test data. The likelihood L (x) is calculated.

That is,

At this time, the probability distribution of the nth variable data set included in the test data is expressed by the following equation (4).

Also, when the objective variable is stored in the first variable data set, that is, x ₁ , the marginal distribution P (x _-1 ⁽ⁿ⁾ ) obtained by integrating P (x ⁽ⁿ⁾ ) with x _1. Is expressed by the following equation (5).

note that,

And

Is.
The calculated log-likelihood L (x) of the conditional Gaussian distribution is stored in the log-likelihood storage unit 44.

次に、ステップＳ１７において、ステップＳ１４においてテストデータとした分割データが、Ｋ番目の分割データであるか否かを判定する。具体的には、分割データ記憶部４１は、テストデータとした分割データが、Ｋ番目の分割データであるか否かを判定する。１回目のステップＳ１４の後では、テストデータとされた分割データは１番目であるため、ステップＳ１８に進む。 Next, in step S17, it is determined whether or not the divided data used as the test data in step S14 is the Kth divided data. Specifically, the divided data storage unit 41 determines whether or not the divided data used as the test data is the Kth divided data. After the first step S14, since the divided data used as the test data is the first, the process proceeds to step S18.

次に、ステップＳ１８において、ステップＳ１４でテストデータとした分割データの番号を一つ繰り上げる。 Next, in step S18, the number of the divided data used as the test data in step S14 is incremented by one.

次に、ステップＳ１４において、２番目の分割データをテストデータとし、残りの分割データを学習用データとする。具体的には、分割データ記憶部４１は、ステップＳ１２で作成された分割データの２番目の分割データをテストデータとし、２番目の分割データを除いた１番目の分割データおよび３番目の分割データからＫ番目の分割データまでを１回目のステップＳ１４において学習用データとした学習用データとはパターンが異なる学習用データとする。 Next, in step S14, the second divided data is used as test data, and the remaining divided data is used as training data. Specifically, the divided data storage unit 41 uses the second divided data of the divided data created in step S12 as test data, and the first divided data and the third divided data excluding the second divided data. The data from the Kth divided data to the Kth divided data are used as learning data having a pattern different from that of the learning data used as the learning data in the first step S14.

次に、ステップＳ１５において、ステップＳ１４において学習用データとした１番目の分割データおよび３番目の分割データからＫ番目の分割データまでの分割データを用いて、グラフィカルラスーによる構造推定を実施し、学習用データにおける精度行列Λおよび説明変数の平均値ｍを算出する。このとき、１番目の分割データおよび３番目の分割データからＫ番目の分割データまでの学習用データにおける精度行列Λおよび説明変数の平均値ｍは、精度行列記憶部４３に記憶される。 Next, in step S15, the structure is estimated by the graphical raster using the first divided data and the divided data from the third divided data to the Kth divided data used as the training data in step S14. The accuracy matrix Λ in the training data and the average value m of the explanatory variables are calculated. At this time, the precision matrix Λ and the average value m of the explanatory variables in the training data from the first divided data and the third divided data to the Kth divided data are stored in the precision matrix storage unit 43.

次に、ステップＳ１６において、直前のステップＳ１５において算出された精度行列Λおよび説明変数の平均値ｍならびにテストデータとしての２番目の分割データを用いて目的変数を既知とする条件付きガウス分布の対数尤度Ｌ（ｘ）を算出する。算出された条件付きガウス分布の対数尤度Ｌ（ｘ）は、対数尤度記憶部４４に記憶される。 Next, in step S16, the logarithm of the conditional Gaussian distribution that makes the objective variable known by using the precision matrix Λ calculated in the immediately preceding step S15, the average value m of the explanatory variables, and the second divided data as test data. The likelihood L (x) is calculated. The calculated log-likelihood L (x) of the conditional Gaussian distribution is stored in the log-likelihood storage unit 44.

次に、ステップＳ１７において、ステップＳ１４においてテストデータとした分割データが、Ｋ番目の分割データであるか否かを判定する。具体的には、分割データ記憶部４１は、テストデータとした分割データが、Ｋ番目の分割データであるか否かを判定する。２回目のステップＳ１４の後では、テストデータとされた分割データは２番目であるため、ステップＳ１８に進む。本実施形態では、このようにして、Ｋ個の分割データのそれぞれを１番目から順番にテストデータとして、ステップＳ１４〜Ｓ１７を繰り返す。ステップＳ１４〜Ｓ１７をＫ回繰り返したのち、ステップＳ１７において、分割データ記憶部４１がテストデータとした分割データが、Ｋ番目の分割データであると判定すると、ステップＳ１９に進む。 Next, in step S17, it is determined whether or not the divided data used as the test data in step S14 is the Kth divided data. Specifically, the divided data storage unit 41 determines whether or not the divided data used as the test data is the Kth divided data. After the second step S14, since the divided data used as the test data is the second, the process proceeds to step S18. In the present embodiment, in this way, steps S14 to S17 are repeated with each of the K divided data as test data in order from the first. After repeating steps S14 to S17 K times, if it is determined in step S17 that the divided data used as test data by the divided data storage unit 41 is the Kth divided data, the process proceeds to step S19.

次に、ステップＳ１９において、尤度推定値を算出する。具体的には、尤度平均値演算部２２は、対数尤度記憶部４４が記憶しているＫ個の対数尤度Ｌ（ｘ）を用いて対数尤度Ｌ（ｘ）の平均値を尤度推定値として算出する。平均値が算出されるＫ個の対数尤度Ｌ（ｘ）は、一つの仮の罰則値においてステップＳ１４からステップＳ１８の繰り返しによって算出された対数尤度Ｌ（ｘ）である。尤度平均値演算部２２が算出した尤度推定値は、対応する仮の罰則値とともに尤度平均値記憶部４５に記憶される。 Next, in step S19, the likelihood estimation value is calculated. Specifically, the likelihood average value calculation unit 22 uses the K number of log-likelihood L (x) stored in the log-likelihood storage unit 44 to calculate the average value of the log-likelihood L (x). Calculated as a degree estimate. The K log-likelihood L (x) for which the average value is calculated is the log-likelihood L (x) calculated by repeating steps S14 to S18 in one provisional penalty value. The likelihood estimation value calculated by the likelihood average value calculation unit 22 is stored in the likelihood average value storage unit 45 together with the corresponding provisional penalty value.

次に、ステップＳ２０において、目的変数と説明変数との偏相関係数が全て０であるか否かを判定する。具体的には、偏相関係数判定部１５は、精度行列記憶部４３に記憶されている精度行列Λに基づいて、精度行列Λに示されている目的変数と説明変数との偏相関係数が全て０であるか否かを判定する。目的変数と説明変数との偏相関係数が全て０でないと判定されると、ステップＳ２１に進む。目的変数と説明変数との偏相関係数が全て０であると判定されると、ステップＳ２２に進む。 Next, in step S20, it is determined whether or not the partial correlation coefficients of the objective variable and the explanatory variable are all 0. Specifically, the partial correlation coefficient determination unit 15 has a partial correlation coefficient between the objective variable and the explanatory variable shown in the accuracy matrix Λ based on the accuracy matrix Λ stored in the accuracy matrix storage unit 43. Is determined to be all 0s. If it is determined that the partial correlation coefficients of the objective variable and the explanatory variable are not all 0, the process proceeds to step S21. If it is determined that the partial correlation coefficients of the objective variable and the explanatory variable are all 0, the process proceeds to step S22.

ステップＳ２０において目的変数と説明変数との偏相関係数が全て０でないと判定されると、ステップＳ２１において、仮の罰則値を更新する。具体的には、罰則値設定部１３は、仮の罰則値を大きくする。 If it is determined in step S20 that the partial correlation coefficients of the objective variable and the explanatory variable are not all 0, the provisional penalty value is updated in step S21. Specifically, the penalty value setting unit 13 increases the provisional penalty value.

ステップＳ２１の次に、ステップＳ１３において、ステップＳ２１で更新された仮の罰則値を、新たな仮の罰則値として設定する。ステップＳ１３以降、目的変数と説明変数との偏相関係数が全て０であると判定されるまでステップＳ１４からステップＳ２０までを繰り返す。 Following step S21, in step S13, the provisional penalty value updated in step S21 is set as a new provisional penalty value. From step S13 onward, steps S14 to S20 are repeated until it is determined that the partial correlation coefficients of the objective variable and the explanatory variable are all 0.

ステップＳ２０において目的変数と説明変数との偏相関係数が全て０であると判定されると、モデル作成部１０における構造モデルの作成を中止する。これは、目的変数と説明変数との偏相関係数が全て０になると、これ以上罰則値を大きくしても目的変数と説明変数との偏相関係数は０のままであるためである。 When it is determined in step S20 that the partial correlation coefficients of the objective variable and the explanatory variable are all 0, the model creation unit 10 stops creating the structural model. This is because when the partial correlation coefficients of the objective variable and the explanatory variable are all 0, the partial correlation coefficient of the objective variable and the explanatory variable remains 0 even if the penalty value is further increased.

次に、ステップＳ２２において、尤度推定値の最大値に対応する仮の罰則値を求める。具体的には、罰則値取得部２３は、尤度平均値記憶部４５が記憶している複数の尤度推定値のうち当該平均値の最大値に対応する罰則値を、最終罰則値とする。 Next, in step S22, a provisional penalty value corresponding to the maximum value of the likelihood estimation value is obtained. Specifically, the penalty value acquisition unit 23 sets the penalty value corresponding to the maximum value of the average value among the plurality of likelihood estimation values stored in the likelihood average value storage unit 45 as the final penalty value. ..

図５は、本実施形態における最終罰則値の決定方法を説明する特性図である。図５には、ステップＳ２２において得られる尤度推定値と罰則値との関係を示す特性図の一例である。図５に示す特性図を実際に作成するにあたって、交差検証法として１０分割交差検証法を用いた。図５に示すように、ここでは、尤度推定値は、罰則値が０．０１から増加していくと、大きくなっていくが、罰則値が０．０５を超えると小さくなる。図５に示す特性図から、尤度推定値が最大となるときの罰則値０．０５を最終罰則値と決定することとなる（図５の点線Ｐｖ４）。 FIG. 5 is a characteristic diagram illustrating a method of determining the final penalty value in the present embodiment. FIG. 5 is an example of a characteristic diagram showing the relationship between the likelihood estimated value obtained in step S22 and the penalty value. In actually creating the characteristic diagram shown in FIG. 5, a 10-fold cross-validation method was used as the cross-validation method. As shown in FIG. 5, here, the likelihood estimation value increases as the penalty value increases from 0.01, but decreases when the penalty value exceeds 0.05. From the characteristic diagram shown in FIG. 5, the penalty value of 0.05 when the estimated likelihood value is maximized is determined as the final penalty value (dotted line Pv4 in FIG. 5).

次に、ステップＳ２３において、ステップＳ２２で取得した最終罰則値によって規定される構造モデルを選択する。具体的には、モデル評価部３０は、精度行列記憶部４３に記憶されている複数の精度行列のうち最終罰則値に対応する精度行列を選択する。これにより、目的変数と説明変数との共変関係を良好に表す構造モデルが機械的に選択される。 Next, in step S23, the structural model defined by the final penalty value acquired in step S22 is selected. Specifically, the model evaluation unit 30 selects the accuracy matrix corresponding to the final penalty value from the plurality of accuracy matrices stored in the accuracy matrix storage unit 43. As a result, a structural model that well represents the covariant relationship between the objective variable and the explanatory variable is mechanically selected.

図６は、評価装置１の効果を説明する特性図であって、評価装置１による評価方法を適用した適用例の特性図である。図６は、ＫａｒｅｎＳａｃｈｓｅｔａｌ，Ｓｃｉｅｎｃｅ，２００５，５２３−５２９に記載されている細胞シグナル伝達のネットワーク分析のデータ（以下、「参考データ」という）を図４に示すフローチャートに適用し、尤度推定値と罰則値との関係を示している。図６では、目的変数を変数ＰＫＡとした場合（図６の点線Ｇｋ）、および、目的変数を変数Ｐｌｃｇとした場合（図６の二点鎖線Ｇｌ）の尤度推定値と罰則値との関係を示している。また、図６には、目的変数を設定しない場合を比較例として、参考データを交差検証およびグラフィカルラスーによる構造推定を適用したときに算出されるガウス分布の対数尤度の平均値と罰則値との関係を、実線Ｇ５で示している。 FIG. 6 is a characteristic diagram for explaining the effect of the evaluation device 1, and is a characteristic diagram of an application example to which the evaluation method by the evaluation device 1 is applied. FIG. 6 applies the data of the network analysis of cell signaling described in Karen Sachs et al, Science, 2005, 523-529 (hereinafter referred to as “reference data”) to the flowchart shown in FIG. It shows the relationship between the estimated value and the penalty value. In FIG. 6, the relationship between the likelihood estimation value and the penalty value when the objective variable is the variable PKA (dotted line Gk in FIG. 6) and when the objective variable is the variable Plcg (two-dot chain line Gl in FIG. 6). Is shown. Further, in FIG. 6, the average value and the penalty value of the log-likelihood of the Gaussian distribution calculated when cross-validation and structural estimation by graphical lath are applied to the reference data by taking the case where the objective variable is not set as a comparative example. The relationship with is shown by the solid line G5.

また、図７は、本実施形態の評価装置１による評価方法を適用した適用例のグラフィカルモデルである。図７には、図６に示す三つの場合における変数間の相関を、グラフィカルモデルで示している。図７（ａ）、（ｂ）は、比較例のグラフィカルモデルである。図７（ｃ）は、目的変数を変数ＰＫＡとした場合のグラフィカルモデルである。図７（ｄ）は、目的変数を変数Ｐｌｃｇとした場合のグラフィカルモデルである。 Further, FIG. 7 is a graphical model of an application example to which the evaluation method by the evaluation device 1 of the present embodiment is applied. FIG. 7 shows the correlation between the variables in the three cases shown in FIG. 6 in a graphical model. 7 (a) and 7 (b) are graphical models of comparative examples. FIG. 7C is a graphical model when the objective variable is the variable PKA. FIG. 7D is a graphical model when the objective variable is the variable Plcg.

比較例の場合、図７（ａ）に示すように、罰則値が０．００１のときには、各変数は全ての変数との間につながりがあることがわかる。
また、比較例でのガウス分布の対数尤度の平均値の最大値に対応する罰則値は、図６に示すように、０．５１となる（図６の点線Ｐｖ５）。この罰則値によって規定される構造モデルのグラフィカルモデルである図７（ｂ）を見ると、各変数間のつながりがほとんど切断されているため、例えば、変数ＰＫＡとつながりのある変数を特定することは困難である。 In the case of the comparative example, as shown in FIG. 7A, when the penalty value is 0.001, it can be seen that each variable has a connection with all the variables.
Further, the penalty value corresponding to the maximum value of the average value of the log-likelihood of the Gaussian distribution in the comparative example is 0.51 as shown in FIG. 6 (dotted line Pv5 in FIG. 6). Looking at FIG. 7B, which is a graphical model of the structural model defined by this penalty value, since the connection between each variable is almost broken, for example, it is not possible to identify a variable that is connected to the variable PKA. Have difficulty.

一方、目的変数を変数ＰＫＡとした場合、尤度推定値の最大値に対応する罰則値は、図６に示すように、０．０８となる（図６の点線Ｐｖｋ）。この罰則値によって規定される構造モデルのグラフィカルモデルである図７（ｃ）を見ると、目的変数である変数ＰＫＡにつながる変数Ａｋｔや変数Ａｋｔにつながる変数Ｅｒｋが認められる。 On the other hand, when the objective variable is the variable PKA, the penalty value corresponding to the maximum value of the likelihood estimation value is 0.08 as shown in FIG. 6 (dotted line Pvk in FIG. 6). Looking at FIG. 7 (c), which is a graphical model of the structural model defined by this penalty value, the variable Akt connected to the variable PKA, which is the objective variable, and the variable Erk connected to the variable Akt are recognized.

また、目的変数を変数Ｐｌｃｇとした場合、尤度推定値の最大値に対応する罰則値は、図６に示すように、０．１０となる（図６の点線Ｐｖｌ）。この罰則値によって規定される構造モデルのグラフィカルモデルである図７（ｄ）を見ると、目的変数である変数Ｐｌｃｇにつながる変数ＰＩＰ３や変数ＰＩＰ３につながる変数ＰＩＰ２が認められる。 When the objective variable is the variable Plcg, the penalty value corresponding to the maximum value of the likelihood estimation value is 0.10. As shown in FIG. 6 (dotted line Pvl in FIG. 6). Looking at FIG. 7D, which is a graphical model of the structural model defined by this penalty value, the variable PIP3 connected to the variable Plkg, which is the objective variable, and the variable PIP2 connected to the variable PIP3 are recognized.

以上説明した、本実施形態の評価装置１によれば、製品の品質を表す品質変数の一つである目的変数を既知とした条件付きガウス分布の最尤推定値に基づいて構造モデルを評価することができる。これにより、モデル評価部３０は、目的変数と製品の製造工程で得られる製品に関連する説明変数との共変関係を良好に表す構造モデルを機械的に選択することができる。したがって、構造モデルの選択において恣意性を排除することができるため、構造学習結果の信頼性を向上することができる。 According to the evaluation device 1 of the present embodiment described above, the structural model is evaluated based on the maximum likelihood estimation value of the conditional Gaussian distribution in which the objective variable, which is one of the quality variables representing the quality of the product, is known. be able to. As a result, the model evaluation unit 30 can mechanically select a structural model that satisfactorily represents the covariant relationship between the objective variable and the explanatory variable related to the product obtained in the manufacturing process of the product. Therefore, arbitrariness can be excluded in the selection of the structural model, and the reliability of the structural learning result can be improved.

また、本実施形態の評価装置１によれば、モデル作成部１０は、罰則値を変更することによって複数の構造モデルを作成することができる。最尤推定値演算部２０は、複数の構造モデルのそれぞれについて算出される条件付きガウス分布の尤度推定値のうちの最大値を最尤推定値とする。これにより、モデル評価部３０は、複数の構造モデルのうちから対応データに適合する最適な構造モデルを機械的に選択することができる。 Further, according to the evaluation device 1 of the present embodiment, the model creation unit 10 can create a plurality of structural models by changing the penalty value. The maximum likelihood estimation value calculation unit 20 sets the maximum value among the likelihood estimation values of the conditional Gaussian distribution calculated for each of the plurality of structural models as the maximum likelihood estimation value. As a result, the model evaluation unit 30 can mechanically select the optimum structural model that matches the corresponding data from the plurality of structural models.

また、本実施形態の評価装置１によれば、モデル作成部１０は、いわゆる交差検証を用いて、一つの罰則値において複数の構造モデルを作成することができる。最尤推定値演算部２０は、一つの罰則値において複数算出される対数尤度に基づいて当該対数尤度の平均値を算出し、尤度推定値とする。モデル評価部３０は、当該尤度推定値を構造モデルの選択基準とする。これにより、一つの罰則値に対して算出される尤度推定値は、複数の対数尤度から算出されているため、尤度推定値の精度を向上することができる。したがって、構造モデルの選択性の精度を向上することができる。 Further, according to the evaluation device 1 of the present embodiment, the model creation unit 10 can create a plurality of structural models with one penalty value by using so-called cross-validation. The maximum likelihood estimation value calculation unit 20 calculates the average value of the log-likelihoods based on the log-likelihoods calculated in a plurality of penalties, and uses the maximum likelihood estimation value calculation unit 20 as the likelihood estimation value. The model evaluation unit 30 uses the likelihood estimation value as a selection criterion for the structural model. As a result, the likelihood estimation value calculated for one penalty value is calculated from a plurality of log-likelihoods, so that the accuracy of the likelihood estimation value can be improved. Therefore, the accuracy of the selectivity of the structural model can be improved.

また、本実施形態の評価装置１によれば、スパース構造学習によって構造モデルを求めているため、共分散構造分析などの構造学習に比べ、対応データに適合する最適な構造モデルを求める労力を低減することができる。 Further, according to the evaluation device 1 of the present embodiment, since the structural model is obtained by sparse structure learning, the labor for obtaining the optimum structural model that matches the corresponding data is reduced as compared with the structural learning such as covariance structure analysis. can do.

また、本実施形態の評価装置１によれば、モデル作成部１０は、目的変数と説明変数との偏相関係数が０となり変化しなくなると、構造モデルの作成を中止する。これにより、モデル作成部１０が作成する構造モデルの数を少なくすることができるため、対応データに適合する最適な構造モデルを求める労力を低減することができる。 Further, according to the evaluation device 1 of the present embodiment, the model creation unit 10 stops the creation of the structural model when the partial correlation coefficient between the objective variable and the explanatory variable becomes 0 and does not change. As a result, the number of structural models created by the model creation unit 10 can be reduced, so that the labor required to find the optimum structural model that matches the corresponding data can be reduced.

＜本実施形態の変形例＞
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。 <Modified example of this embodiment>
The present invention is not limited to the above-described embodiment, and can be implemented in various aspects without departing from the gist thereof. For example, the following modifications are also possible.

［変形例１］
上述の実施形態では、評価装置１の一例として、モデル作成部１０は、標準化処理部１１、分割処理部１２、罰則値設定部１３、構造学習処理部１４、および、偏相関係数判定部１５を備えるとした。また、最尤推定値演算部２０は、対数尤度演算部２１、尤度平均値演算部２２、および、罰則値取得部２３を備えるとした。しかしながら、モデル作成部１０と、最尤推定値演算部２０とは、これらの構成に限定されない。モデル作成部１０は、対応データを用いて、構造学習によって精度行列を作成すればよい。最尤推定値演算部２０は、対応データを用いて、目的変数を既知とした条件付きガウス分布の対数尤度の平均値を複数演算し、当該平均値の最大値を選択すればよい。また、評価装置１の構成は、種々の変形が可能である。例えば、評価装置は、ネットワーク上に配置された複数の装置が協働することによって構成されてもよい。 [Modification 1]
In the above-described embodiment, as an example of the evaluation device 1, the model creation unit 10 includes a standardization processing unit 11, a division processing unit 12, a penalty value setting unit 13, a structure learning processing unit 14, and a partial correlation coefficient determination unit 15. Was prepared. Further, the maximum likelihood estimation value calculation unit 20 includes a log likelihood calculation unit 21, a likelihood average value calculation unit 22, and a penalty value acquisition unit 23. However, the model creation unit 10 and the maximum likelihood estimation value calculation unit 20 are not limited to these configurations. The model creation unit 10 may create an accuracy matrix by structural learning using the corresponding data. The maximum likelihood estimation value calculation unit 20 may calculate a plurality of average values of the log-likelihoods of the conditional Gaussian distribution with the objective variable known by using the corresponding data, and select the maximum value of the average value. Further, the configuration of the evaluation device 1 can be variously modified. For example, the evaluation device may be configured by the cooperation of a plurality of devices arranged on the network.

［変形例２］
上述の実施形態では、目的変数と説明変数との共変関係を表す構造モデルを、精度行列であるとした。しかしながら、構造モデルは、精度行列に限定されない。目的変数と説明変数との共変関係を表すものであればよい。 [Modification 2]
In the above-described embodiment, the structural model representing the covariant relationship between the objective variable and the explanatory variable is an accuracy matrix. However, the structural model is not limited to the precision matrix. Anything that represents the covariant relationship between the objective variable and the explanatory variable may be used.

［変形例３］
上述の実施形態では、「最尤推定値」として、条件付きガウス分布の対数尤度の平均値であるとした。しかしながら、「最尤推定値」はこれに限定されない。条件付きガウス分布の対数尤度の最大値、対数尤度の標準偏差の最小値、あるいは、平均値と標準偏差とを組み合わせた指標であってもよいし、これら以外であってもよい。 [Modification 3]
In the above-described embodiment, the "maximum likelihood estimation value" is the average value of the log-likelihoods of the conditional Gaussian distribution. However, the "maximum likelihood estimate" is not limited to this. It may or may not be the maximum value of the log-likelihood of the conditional Gaussian distribution, the minimum value of the standard deviation of the log-likelihood, or a combination of the average value and the standard deviation.

［変形例４］
上述の実施形態では、評価装置１による構造モデルの評価処理を、交差検証を適用して行うとした。しかしながら、評価装置１による構造モデルの評価処理は、これに限定されない。罰則値を変更して複数の構造モデルを作成してもよい。 [Modification example 4]
In the above-described embodiment, the evaluation process of the structural model by the evaluation device 1 is performed by applying cross-validation. However, the evaluation process of the structural model by the evaluation device 1 is not limited to this. Multiple structural models may be created by changing the penalties.

［変形例５］
上述の実施形態では、「特性値」を、構造モデルのスパース性を決定する罰則値であるとした。しかしながら、「特性値」は、これに限定されない。構造モデルの特性を決定する値であればよい。 [Modification 5]
In the above-described embodiment, the "characteristic value" is defined as a penalty value for determining the sparsity of the structural model. However, the "characteristic value" is not limited to this. Any value that determines the characteristics of the structural model may be used.

［変形例６］
上述の実施形態では、モデル作成部１０は、偏相関係数判定部１５が目的変数と説明変数との偏相関係数の全てが０であると判定すると、構造モデルの作成を中止するとした。しかしながら、偏相関係数判定部１５はなくてもよい。また、モデル作成部１０は、偏相関係数が０を除く所定の値となるまで、または、偏相関係数の減少率が所定の値以上となるまで構造モデルの作成をおこなってもよい。 [Modification 6]
In the above-described embodiment, when the partial correlation coefficient determination unit 15 determines that all the partial correlation coefficients of the objective variable and the explanatory variable are 0, the model creation unit 10 cancels the creation of the structural model. However, the partial correlation coefficient determination unit 15 may not be provided. Further, the model creation unit 10 may create a structural model until the partial correlation coefficient reaches a predetermined value other than 0, or until the reduction rate of the partial correlation coefficient becomes a predetermined value or more.

［変形例７］
上述の実施形態では、構造学習の方法としてグラフィカルラスーのアルゴリズムを用いた。しかしながら、構造学習の方法は、グラフィカルラスーに限定されない。例えば、共分散構造選択などの構造学習によって精度行列が得られればよい。 [Modification 7]
In the above embodiment, a graphical Rasuu algorithm is used as a method of structural learning. However, the method of structural learning is not limited to the graphical Rasuu. For example, an accuracy matrix may be obtained by structural learning such as covariance structure selection.

以上、実施形態、変形例に基づき本態様について説明してきたが、上記した態様の実施の形態は、本態様の理解を容易にするためのものであり、本態様を限定するものではない。本態様は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得るとともに、本態様にはその等価物が含まれる。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することができる。 Although the present embodiment has been described above based on the embodiments and modifications, the embodiments of the above-described embodiments are for facilitating the understanding of the present embodiment, and do not limit the present embodiment. This aspect may be modified or improved without departing from its spirit and claims, and this aspect includes its equivalents. In addition, if the technical feature is not described as essential in the present specification, it may be deleted as appropriate.

１…評価装置
１０…モデル作成部
１１…標準化処理部
１２…分割処理部
１３…罰則値設定部
１４…構造学習処理部
１５…偏相関係数判定部
２０…最尤推定値演算部
２１…対数尤度演算部
２２…尤度平均値演算部
２３…罰則値取得部
３０…モデル評価部
４０…記憶部
４１…分割データ記憶部
４２…罰則値記憶部
４３…精度行列記憶部
４４…対数尤度記憶部
４５…尤度平均値記憶部 1 ... Evaluation device 10 ... Model creation unit 11 ... Standardization processing unit 12 ... Division processing unit 13 ... Penalty value setting unit 14 ... Structural learning processing unit 15 ... Partial correlation coefficient determination unit 20 ... Maximum likelihood estimation value calculation unit 21 ... Logarithm Likelihood calculation unit 22 ... Likelihood average value calculation unit 23 ... Penalty value acquisition unit 30 ... Model evaluation unit 40 ... Storage unit 41 ... Divided data storage unit 42 ... Penalty value storage unit 43 ... Precision matrix storage unit 44 ... Logarithmic likelihood Storage unit 45 ... Likelihood average value storage unit

Claims

An evaluation device that evaluates a structural model that represents a covariant relationship between an objective variable that represents the quality of a product and an explanatory variable that is related to the product obtained in the manufacturing process of the product.
A model creation unit that creates the structural model by structural learning using the correspondence data showing the correspondence between the objective variable and the explanatory variable.
Using the corresponding data, a maximum likelihood estimation value calculation unit that calculates the maximum likelihood estimation value of a conditional Gaussian distribution with the objective variable known, and a maximum likelihood estimation value calculation unit.
A model evaluation unit that evaluates the structural model based on the maximum likelihood estimation value is provided.
The model creation unit creates a plurality of the structural models having different characteristic values from the corresponding data by changing the characteristic values related to the characteristics of the structural model.
The maximum likelihood estimation value calculation unit calculates the likelihood estimation value of the conditional Gaussian distribution for each of the plurality of structural models having different characteristic values, and the maximum of the calculated plurality of the likelihood estimation values. Let the value be the maximum likelihood estimation value.
The model evaluation unit evaluates the structural model by selecting the structural model corresponding to the maximum likelihood estimation value.
Evaluation device.

The evaluation device according to claim 1.
The model creation unit creates the structural model by using a part of the corresponding data, excluding the part used by the maximum likelihood estimation value calculation unit as test data, as learning data.
The maximum likelihood estimation value calculation unit calculates the log-likelihood of the conditional Gaussian distribution in the structural model using the test data.
The model creation unit creates a plurality of the structural models with one characteristic value by using learning data of a plurality of patterns in which the portion of the corresponding data used by the maximum likelihood estimation value calculation unit as test data is different.
The maximum likelihood estimation value calculation unit calculates the log-likelihood corresponding to each of the plurality of structural models in one characteristic value, and uses the calculated average value of the log-likelihood as the likelihood estimation value.
Evaluation device.

The evaluation device according to claim 1 or 2.
The characteristic value is a penalty value for determining sparsity as a characteristic of the structural model.
The model creation unit creates the plurality of structural models by changing the penalty value.
Evaluation device.

The evaluation device according to any one of claims 1 to 3.
In the structural model, the partial correlation coefficient between the objective variable and the explanatory variable is shown.
The model creation unit creates the structural model by changing the characteristic value, and determines whether or not the partial correlation coefficients of the created structural model are all 0.
When the model creation unit determines that the partial correlation coefficients of the objective variable and the explanatory variable are all 0, the maximum likelihood estimation value calculation unit starts calculation of the maximum likelihood estimation value.
Evaluation device.

The evaluation device according to any one of claims 1 to 4.
The conditional Gaussian distribution with the objective variable known is obtained by dividing the probability density function of the multivariate normal distribution by the marginal distribution density function obtained by integrating the probability density function of the multivariate normal distribution with the known objective variable. Is a thing,
Evaluation device.

A target variable representative of the quality of the product, said method for evaluating a product evaluation device structural models representing the covariant relationship between the explanatory variables relating to the products obtained by the production process of assessing,
A model creation step in which the evaluation device creates the structural model by structural learning using the correspondence data showing the correspondence between the objective variable and the explanatory variable.
A maximum likelihood estimation value calculation step in which the evaluation device calculates the maximum likelihood estimation value of the conditional Gaussian distribution with the objective variable known using the corresponding data.
The evaluation device includes a model evaluation step of evaluating the structural model based on the maximum likelihood estimation value.
In the model creation step, a plurality of the structural models having different characteristic values are created from the corresponding data by changing the characteristic values related to the characteristics of the structural model.
In the maximum likelihood estimation value calculation step, the likelihood estimation values of the conditional Gaussian distribution are calculated for each of the plurality of structural models having different characteristic values, and the maximum of the calculated maximum likelihood estimation values. Let the value be the maximum likelihood estimation value.
In the model evaluation step, the structural model is evaluated by selecting the structural model corresponding to the maximum likelihood estimation value.
Evaluation method.

A computer program that causes a computer to evaluate a structural model that represents a covariant relationship between an objective variable that represents the quality of a product and an explanatory variable that is obtained in the manufacturing process of the product and that is related to the product.
It is a model creation function that creates the structural model by structural learning using the correspondence data showing the correspondence between the objective variable and the explanatory variable, and changes the characteristic value related to the characteristic of the structural model. By doing so, a model creation function for creating a plurality of the structural models having different characteristic values from the corresponding data, and
A maximum likelihood estimation value calculation function for calculating the maximum likelihood estimation value of a conditional Gaussian distribution with the objective variable known using the corresponding data, and for each of the plurality of structural models having different characteristic values. A maximum likelihood estimation value calculation function that calculates the likelihood estimation value of the conditional Gaussian distribution and sets the maximum value among the calculated plurality of the likelihood estimation values as the maximum likelihood estimation value.
A model evaluation function that evaluates the structural model based on the maximum likelihood estimation value, and a model evaluation function that evaluates the structural model by selecting the structural model corresponding to the maximum likelihood estimation value. Let the computer do it,
Computer program.