WO2023053918A1 - 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム - Google Patents

予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム Download PDF

Info

Publication number
WO2023053918A1
WO2023053918A1 PCT/JP2022/034047 JP2022034047W WO2023053918A1 WO 2023053918 A1 WO2023053918 A1 WO 2023053918A1 JP 2022034047 W JP2022034047 W JP 2022034047W WO 2023053918 A1 WO2023053918 A1 WO 2023053918A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
model
clusters
data set
cluster
Prior art date
Application number
PCT/JP2022/034047
Other languages
English (en)
French (fr)
Inventor
皓亮 角田
真平 竹本
仁子 高
好成 奥野
Original Assignee
株式会社レゾナック
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社レゾナック filed Critical 株式会社レゾナック
Priority to EP22875790.2A priority Critical patent/EP4411602A1/en
Priority to CN202280065867.8A priority patent/CN118043826A/zh
Priority to JP2023524840A priority patent/JP7384322B2/ja
Publication of WO2023053918A1 publication Critical patent/WO2023053918A1/ja
Priority to JP2023178718A priority patent/JP2023182783A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C20/00—Chemoinformatics, i.e. ICT specially adapted for the handling of physicochemical or structural data of chemical particles, elements, compounds or mixtures
    • G16C20/70—Machine learning, data mining or chemometrics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation

Definitions

  • the present disclosure relates to a prediction model creation method, a prediction method, a prediction model creation device, a prediction device, a prediction model creation program, and a prediction program that consider clustering and weights.
  • Patent Document 1 discloses a base model that clusters training data and predicts a physical property value using a first predetermined number of training data in the vicinity of a representative vector in each cluster, and a second model in the vicinity of the representative vector. It has a correction model that predicts the reciprocal of the residual for each base model using a predetermined number of training data.
  • a method of searching for a model, calculating the predicted value of the base model and the predicted value of the correction model, and calculating the predicted value of physical properties by multiplying the predicted value of the base model and the predicted value of the correction model by a predetermined constant. is disclosed.
  • the present disclosure has been made in consideration of the above points, and aims to provide a prediction model creation method that uses training data thoroughly to improve prediction accuracy.
  • the present invention has the following configurations.
  • a method for creating a predictive model of material properties obtaining a training dataset; generating a trained clustering model using the training data set and the clustering model, and classifying the training data set into N clusters; calculating the distance between the centroids of each cluster; a step of calculating the weights between the clusters using the distance between the centroids of the clusters and parameters representing the features of the training data set; generating a learned prediction model ⁇ M i ⁇ 1 ⁇ i ⁇ N using the cluster and the weights for each of the clusters.
  • a method for predicting material properties subsequent to the method for creating a predictive model described in 1 above obtaining data for prediction; using the learned clustering model to identify that the prediction data belongs to cluster p among N classified training data set clusters; and obtaining a predicted value using the predicted data as an input and using a trained prediction model M p corresponding to the cluster p.
  • the method for creating a prediction model for material properties according to the preceding item 1 In the step of constructing the clustering model according to the preceding item 1, any one of the K-means method, the nearest neighbor method, the hierarchical clustering method, the Gaussian mixture method, the DBSCAN method, the t-SNE method, and the self-organizing map method A method of creating a predictive model for material properties, comprising using one or more clustering methods.
  • the method for creating a prediction model for material properties according to the preceding item 1 In the step of calculating the distance between the centroids of the clusters according to 1 above, the Euclidean distance method, Manhattan distance method, Mahalanobis distance method, Minkowski distance method, cosine distance method, shortest distance method, longest distance method, centroid method, group average method, ward method, Kullback-Leibler divergence, Jensen-Shannon divergence, dynamic time warping, Earth mover's distance, which is characterized by calculating the distance using one or more combinations Predictive modeling method.
  • the method for creating a prediction model for material properties according to the preceding item 1 any one of systematic error, standard deviation, variance, coefficient of variation, quantile, kurtosis, and skewness of the characteristic value of the learning data set as a parameter representing the characteristics of the learning data set, or A method of creating a predictive model for material properties, characterized by using a plurality of parameters.
  • the method for creating a prediction model for material properties according to the preceding item 1 A method for creating a predictive model of material properties, wherein in the step of calculating the weights, one or a plurality of weighting functions selected from an exponential function type, a reciprocal type, and a reciprocal power type are used.
  • a predictive model creation device for material properties A clustering model that generates a learned clustering model by inputting a learning data set and classifies the learning data set into N clusters; calculating the distance between the centroids of the classified clusters, and using the calculated distance between the centroids of the clusters and parameters representing the characteristics of the learning data set to calculate the weights between the clusters; a weight definition unit;
  • a prediction model creation device comprising a prediction model ⁇ M i ⁇ 1 ⁇ i ⁇ N for generating a learned prediction model using the cluster and the weight for each of the clusters.
  • a material property prediction device comprising: 8.
  • a program for creating a predictive model of material properties obtaining a training data set; generating a trained clustering model using the training data set and the clustering model, and classifying the training data set into N clusters; calculating the distance between the centroids of each cluster; A step of calculating weights between the clusters using parameters representing the distance between the centroids of the clusters and the characteristics of the training data set; and generating a learned prediction model ⁇ M i ⁇ 1 ⁇ i ⁇ N for each cluster using the cluster and the weight.
  • a material property prediction program comprising: obtaining data for prediction; Using the learned clustering model created by the prediction model creation program according to the preceding item 9, identifying that the prediction data belongs to cluster p among N classified learning data set clusters; 10.
  • the predictive model created using the predictive model creation method of the present disclosure suppresses over-learning due to lack of data by using all the training data, and by introducing a weight that reflects the tendency of the data, Prediction accuracy can be improved.
  • FIG. 10 is a flow chart showing the flow of normal random forest learning processing in a comparative example. 10 is a flow chart showing the flow of normal random forest prediction processing in a comparative example. It is a figure which shows an example of prediction accuracy.
  • the predictive model generating apparatus will be described as an example of a predictive model generating apparatus that generates a predictive model using a learning data set that includes design conditions at the time of trial production and property values of the material produced as an experiment.
  • the prediction device will be described as an example of a prediction device that predicts the characteristic values of a material to be prototyped under new design conditions using the learned prediction model created by the prediction model creation device.
  • prediction model creation device and prediction device are not limited to the above applications, and may be used for purposes other than material design.
  • FIG. 1 is a diagram showing an example of a functional configuration of a prediction model creation device in a learning phase and a prediction device in a prediction phase.
  • a learning program is installed in the prediction model creation device 120, and by executing the program, the prediction model creation device 120 a clustering model 121; - Weight definition unit 122, a predictive model 123; (see FIG. 1(a)).
  • the prediction model creation device 120 uses the learning data set 111 stored in the material data storage unit 110 to learn the clustering model 121 and the prediction model 123, and generates the learned clustering model 131 and the learned prediction model 132. do.
  • the learning data set 111 includes "input data” and "correct data” as information items.
  • "design condition 1" to “design condition n” are stored as “input data”
  • "characteristic value 1" to “characteristic value n” are stored as "correct data”. It shows the stored case.
  • the clustering model 121 outputs a learning data set cluster as output data by inputting "design conditions 1" to "design conditions n" stored in the "input data" of the learning data set 111. That is, by inputting the learning data set 111, the trained clustering model 131 and the learning data set 111 classified into the cluster i are generated.
  • the number of clusters generated by the clustering model 121 is set to N.
  • the clustering model 121 that the prediction model creation device 120 learns uses as a learning method, for example, "K-means method, Nearest Neighbor method, hierarchical clustering method, Gaussian mixture method, DBSCAN method, t-SNE method, self Organized map method", Suppose that it is a model in which learning is performed under any one or a plurality of learning methods among.
  • the clustering model 121 assigns “design conditions 1” to “design conditions n” stored in the “input data” of the learning data set 111 to any cluster i (1 ⁇ i ⁇ N). Classify and output the barycentric coordinates of cluster i.
  • the weight definition unit 122 calculates the weights ⁇ W ij ⁇ 1 ⁇ i ⁇ N, 1 ⁇ j ⁇ N used in the prediction model 123 using the distances between the classified clusters and the parameters representing the features of the learning data set 111. do.
  • the distances ⁇ l ij ⁇ 1 ⁇ i ⁇ N and 1 ⁇ j ⁇ N between the classified clusters are represented by the distances between the barycentric coordinates described above, and are calculated in N(N-1)/2 ways.
  • the distance between each cluster used in the weight definition unit 122 for example, "Euclidean distance method, Manhattan distance method, Mahalanobis distance method, Minkowski distance method, cosine distance method, shortest distance method, longest distance method, centroid method, group average method, ward method, Kullback-Leibler divergence, Jensen-Shannon divergence, Dynamic time warping, Earth mover's distance",
  • the distance can be calculated using any one or a combination of:
  • the weight calculated using the distance between the classified clusters and the parameter representing the feature of the learning data set 111 is represented by a weight function. type", defined using any one or more of
  • the weight function W ij is
  • Equation (1) It can be defined by an exponential function such as the Boltzmann type represented by Equation (1).
  • l ij is the distance between each cluster
  • ⁇ is a parameter representing the feature of the training data set
  • ⁇ is an arbitrary constant
  • the predictive model 123 receives a value obtained by multiplying the explanatory variable included in the learning data set cluster output by the clustering model 121 by the weight calculated by the weight definition unit 122, and the explanatory variable (design condition) used for input is It is generated by learning to output a characteristic value using the corresponding objective variable (characteristic value) as output data.
  • the prediction model that the prediction model creation device 120 learns as a learning method, "Random Forest, Decision Trees, Gradient Boosting, Adaboost, Bagging, Linear, Partial Least Squares, Lasso, Linear Ridge, Elastic Net", Any one or a combination of the following may be used.
  • the prediction model creation device 120 learns the prediction model 123
  • the prediction model 123 ⁇ M i ⁇ 1 ⁇ i ⁇ N is learned for N clusters classified by the clustering model 121. . That is, cluster i is subjected to learning applying weight W ij to generate learned prediction models 132 ⁇ M i ⁇ 1 ⁇ i ⁇ N , respectively.
  • One example of a weight-applied learning method is a method of inputting weights as parameters in the fit function of the random forest regression algorithm stored in scikit-learn.
  • the prediction model creation device 120 generates a learned clustering model 131 and a learned prediction model 132. Also, the prediction model creation device 120 applies the generated learned clustering model 131 and learned prediction model 132 to the prediction device 130 .
  • a prediction program is installed in the prediction device 130, and by executing the program, the prediction device 130 - Learned clustering model 131, - Learned prediction model 132, - output unit 133, (see FIG. 1(b)).
  • the learned clustering model 131 is obtained by the prediction model creation device 120 learning the clustering model 121 using “design condition 1” to “design condition n” stored in the “input data” of the learning data set 111. generated by
  • the learned clustering model 131 specifies that the learning data set 111 belongs to the cluster p among the N clusters by which the prediction data (design condition x) is input.
  • the trained prediction model 132 is generated by the prediction model creation device 120 learning the prediction model 123 using N clusters into which the learning data set 111 is classified and the weights calculated by the weight definition unit 122. be done.
  • the learned prediction model 132 is input with the design condition x and the classification p of the cluster output by the trained clustering model. is predicted, and the output unit 133 outputs the predicted characteristic value as prediction data.
  • the prediction device 130 As a result, according to the prediction device 130, a sufficient prediction accuracy can be obtained by predicting the characteristic value using the cluster to which the design condition x belongs and the learned model learned using the weight according to the cluster. will be able to That is, according to this embodiment, prediction accuracy can be improved in a prediction device using a trained prediction model.
  • ⁇ Hardware configuration of prediction model creation device and prediction device> Next, hardware configurations of the prediction model creation device 120 and the prediction device 130 will be described. Since the predictive model creation device 120 and the prediction device 130 have similar hardware configurations, the hardware configurations of the prediction model creation device 120 and the prediction device 130 will be collectively described here using FIG.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the learning device and prediction device.
  • the learning device 120 and the prediction device 130 have a processor 201 , a memory 202 , an auxiliary storage device 203 , an I/F (Interface) device 204 , a communication device 205 and a drive device 206 .
  • the hardware of the learning device 120 and the prediction device 130 are interconnected via a bus 207 .
  • the processor 201 has various computing devices such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processor 201 reads various programs (for example, a learning program, a prediction program, etc.) onto the memory 202 and executes them.
  • programs for example, a learning program, a prediction program, etc.
  • the memory 202 has main storage devices such as ROM (Read Only Memory) and RAM (Random Access Memory).
  • the processor 201 and the memory 202 form a so-called computer, and the processor 201 executes various programs read onto the memory 202, thereby realizing various functions of the computer.
  • the auxiliary storage device 203 stores various programs and various data used when the various programs are executed by the processor 201 .
  • the I/F device 204 is a connection device that connects with an external device (not shown).
  • the communication device 205 is a communication device for communicating with an external device (for example, the material data storage unit 110) via a network.
  • a drive device 206 is a device for setting a recording medium 210 .
  • the recording medium 210 here includes media such as CD-ROMs, flexible disks, magneto-optical disks, etc. that record information optically, electrically, or magnetically.
  • the recording medium 210 may also include a semiconductor memory or the like that electrically records information, such as a ROM or a flash memory.
  • auxiliary storage device 203 Various programs to be installed in the auxiliary storage device 203 are installed by, for example, setting the distributed recording medium 210 in the drive device 206 and reading the various programs recorded in the recording medium 210 by the drive device 206. be done. Alternatively, various programs installed in the auxiliary storage device 203 may be installed by being downloaded from the network via the communication device 205 .
  • FIG. 3 is a flowchart showing the flow of learning processing.
  • step S301 the prediction model creation device 120 acquires the learning data set 111.
  • step S302 the prediction model creation device 120 uses the acquired learning data set 111 to perform learning of the clustering model 121, generates a trained clustering model 131, Obtain cluster-classified training data set clusters.
  • step S303 the weight defining unit 122 calculates distances ⁇ l ij ⁇ 1 ⁇ i ⁇ N and 1 ⁇ j ⁇ N between the centroids of the learning data set cluster i.
  • step S304 the weight defining unit 122 determines the weights ⁇ W ij ⁇ 1 ⁇ i ⁇ N, 1 ⁇ j ⁇ N used in the prediction model 123 using the distance between the clusters and the parameters representing the features of the learning data set 111. calculate.
  • step S305 the predictive model creation device 120 determines whether weights have been calculated for all clusters of the learning data set 111 classified into N clusters. If it is determined in step S305 that there are clusters for which weights have not been calculated (NO in step S305), the process returns to step S304.
  • step S305 determines whether there is no cluster for which the weight has not been calculated (if YES in step S305). If it is determined in step S305 that there is no cluster for which the weight has not been calculated (if YES in step S305), the process proceeds to step S306.
  • step S306 the prediction model creation device 120 uses the combination of the generated learning data set clusters and the corresponding weights to learn the prediction model 123 and generate the trained prediction model 132.
  • step S307 the predictive model creation device 120 determines whether or not the predictive model 123 has been learned for all clusters of the learning data set 111 classified into N clusters. If it is determined in step S306 that there is a cluster for which a trained prediction model 132 has not been generated (NO in step S307), the process returns to step S306.
  • FIG. 4 is a flowchart showing the flow of prediction processing.
  • step S401 the prediction device 130 acquires prediction data (design condition x).
  • step S402 the prediction device 130 inputs the obtained prediction data to the learned clustering model 131, and identifies that it belongs to cluster p among the learning data set clusters.
  • step S403 the prediction device 130 acquires the trained prediction model 132M p corresponding to the specified cluster p, and predicts the characteristic value using the acquired prediction data as input.
  • step S404 the prediction device 130 outputs the predicted characteristic value as prediction data for the input data (design condition x) to be predicted.
  • the screen 500 in FIG. 5 is a GUI for selecting the manual setting of the number of clusters N or automatic setting by the elbow method, and selecting the type of parameter representing the characteristics of the learning data set 111 when generating the clustering model 121.
  • the user selects the optimal number of clusters from the screen and selects parameters such as systematic error, standard deviation, variance, coefficient of variation, quartile, kurtosis, and skewness.
  • FIG. 5 shows an example in which the automatic setting by the elbow method is selected as the method of setting the number of clusters, and the systematic error is selected as the parameter representing the characteristics of the learning data set 111 .
  • the "prediction" button is pressed in the state of FIG. 5, the clustering model 121, the weight definition unit 122, and the prediction model 123 of the prediction model creation device 120 follow the procedure of the flowchart of FIG. Generate a finished predictive model 132 .
  • the prediction device 130 has a trained clustering model 131 for clustering input data and a trained prediction model 132 corresponding to the cluster p. - Output the characteristic values predicted by the trained prediction model 132 under appropriate weights as prediction data.
  • the prediction accuracy can be improved in the prediction device 130 using the learned prediction model 132.
  • Example A specific example of the prediction method of the present invention will be described using a known data set. It should be noted that the property prediction according to the present invention can be applied not only to the field of materials.
  • the material data storage unit 110 includes, for example, 506 data Boston Suppose we have a dataset about house prices.
  • the processing is performed, for example, according to the following procedure.
  • the Boston housing price data set was randomly divided into training data set/prediction data set at a ratio of 75%/25%.
  • CRIM crime rate
  • ZN proportion of large houses
  • INDUS proportion of non-retail business
  • CHAS CHAS
  • NOX NOx concentration (0.1ppm unit)
  • RM Average number of rooms” per unit
  • AGE Proportion of old houses
  • DIS Mainn distance to facilities
  • RAD accessibility to major highways”
  • TAX property tax rate
  • PTRATIO student-teacher ratio” by town
  • B black
  • LSTAT proportion of low-income population
  • MEDV medium value of “house price” (in units of 1000 dollars)
  • Procedure 2 Using the training data set obtained in Procedure 1, learning was performed using the K-Means method, which is a clustering algorithm stored in scikit-learn, to obtain a trained clustering model.
  • Prediction data was obtained from the prediction data set obtained in step 1. Next, using the trained clustering model learned in procedure 2, it was determined whether the prediction data belonged to cluster p among the clusters described in procedure 3.
  • Procedure 8 Using the prediction data as input, the characteristic values are predicted using the trained prediction model M p created in step 6 corresponding to the cluster p to which the prediction data belongs, and the predicted characteristic values are output as prediction data.
  • Prediction data was output in the same way for each of the remaining prediction data in the prediction data set.
  • R 2 0.879 was obtained as the prediction accuracy of the example.
  • R 2 0.868 was obtained as the prediction accuracy of the comparative example.
  • the prediction accuracy of the random forest regression model which performs cluster classification as in this example and considers appropriate weights, is higher than that of the normal random forest regression model. It can be seen that the accuracy is higher than the accuracy.
  • the prediction model creation device and the prediction device have been described as separate devices. However, the prediction model creation device and the prediction device may be configured as an integrated device.
  • the method of calculating the distance between the centers of gravity was performed using the Euclidean distance, and other specific examples were not mentioned.
  • methods for calculating the distance between centroids include, for example, the Manhattan distance method, the Mahalanobis distance method, the Minkowski distance method, the cosine distance method, the shortest distance method, the longest distance method, the centroid method, the group average method, the Ward method, and the Kullback-Leibler method. Divergence, Jensen-Shannon divergence, dynamic time warping, earth mover's distance, etc. may be used.
  • the K-Means method and the random forest regression algorithm were used, and specific examples of other learning methods were not mentioned.
  • the learning method used for learning the clustering model may be, for example, the Nearest Neighbor method, the hierarchical clustering method, the Gaussian mixture method, the DBSCAN method, the t-SNE method, the self-organizing map method, or the like. .
  • the learning method used when learning the prediction model may be, for example, decision tree, gradient boosting, Adaboost, bagging, linear, partial least squares, Lasso, linear ridge, elastic net, and the like.
  • the design conditions of materials whose properties are predicted by the prediction method of the present invention can also be used for manufacturing.
  • a device that manufactures a material can acquire from the prediction device 130 information on the design conditions of the material whose properties are predicted by the prediction device 130, and use the acquired information on the design conditions to manufacture the material.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

学習済みのクラスタリングモデルと分類されたクラスターを用いて適切な重みを設定することで、学習済みの予測モデルの予測精度を向上させる。材料特性の予測モデル作成方法は、学習用データセットを取得するステップと、前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類するステップと、前記各クラスターの重心間の距離を算出するステップと、前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重みを算出するステップと、前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル｛Ｍｉ｝１≦ｉ≦Ｎを生成するステップと、を有する。

Description

予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム
　本願は、日本特許庁に２０２１年９月２９日に出願された基礎出願２０２１-１５９４７４号の優先権を主張するものであり、その全内容を参照によりここに援用する。
　本開示は、クラスタリングと重みを考慮した予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラムに関する。
　従来より、材料の設計は、材料開発者の経験に基づく試作を繰り返すことにより行われてきた。この場合、望ましい特性を得るために膨大な実験を行うことになる。そこで、近年、材料の設計において、機械学習を適用する試みがなされている。例えば、試作時の設計条件と、試作した材料の評価結果（材料の特性値等）とを収集し、学習用データセットとしてモデルの学習を行い、得られた学習済みモデルを用いて新たな設計条件のもとで試作する材料の特性値を予測することが可能になる。これにより望ましい特性を得るための実験を最小回数に抑えることができる。
特開２０２０－１８７４１７号公報
　例えば、特許文献１には、訓練データをクラスタリングし、各クラスターにおける代表ベクトルの近傍にある第１所定数の訓練データを使って物性値を予測するベースモデルと、代表ベクトルの近傍にある第２所定数の訓練データを使ってベースモデルごとの残差の反数を予測する補正モデルを有し、物性予測においては、未知入力ベクトルに対して、未知入力ベクトルに近い代表ベクトルに関するベースモデル及び補正モデルを検索し、ベースモデルの予測値及び補正モデルの予測値を算出し、ベースモデルの予測値と補正モデルの予測値に所定の定数を掛けた値との和によって物性予測値を算出する方法が開示されている。しかしながら、特許文献１に開示された物性予測方法の場合、代表ベクトル近傍にある第１所定数および第２所定数に含まれない訓練データはモデルの学習に用いられないため、物性予測精度の低下につながるおそれがあり、また、過学習しやすい問題もあった。
　本開示は、以上の点を考慮してなされたもので、訓練データを余すことなく用いて予測精度を向上させる予測モデル作成方法を提供することを目的としている。
　本発明は、以下の構成を有する。
［1］材料特性の予測モデル作成方法であって、
　学習用データセットを取得するステップと、
　前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類するステップと、
　前記各クラスターの重心間の距離を算出するステップと、
前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重みを算出するステップと、
　前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル｛Ｍｉ｝１≦ｉ≦Ｎを生成するステップと、を有することを特徴とする材料特性の予測モデル作成方法。
［２］前項１に記載の予測モデル作成方法に引き続いて行う材料特性の予測方法であって、
　予測用データを取得するステップと、
　前記学習済みクラスタリングモデルを用いて、前記予測用データがＮ個に分類された学習用データセットクラスターのうちクラスターｐに属することを特定するステップと、
　前記予測用データを入力として、前記クラスターｐに対応する学習済み予測モデルＭｐを用いて予測値を求めるステップと、を有することを特徴とする材料特性の予測方法。
［３］前項1に記載の材料特性の予測モデル作成方法であって、
　前項1に記載のクラスタリングモデルを構築するステップにおいて、Ｋ－ｍｅａｎｓ法、Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ法、階層的クラスタリング法、混合ガウス法、ＤＢＳＣＡＮ法、ｔ－ＳＮＥ法、自己組織化マップ法のうち、いずれか1つまたは複数のクラスタリング手法を用いることを特徴とする材料特性の予測モデル作成方法。
［４］前項1に記載の材料特性の予測モデル作成方法であって、
　前項1に記載のクラスターの重心間の距離を算出するステップにおいて、ユークリッド距離法、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ｗａｒｄ法、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンス、Ｊｅｎｓｅｎ―Ｓｈａｎｎｏｎダイバージェンス、Ｄｙｎａｍｉｃ　ｔｉｍｅ　ｗａｒｐｉｎｇ、Ｅａｒｔｈ　ｍｏｖｅｒ'ｓ　ｄｉｓｔａｎｃｅのうち、いずれか1つまたは複数の組合せを用いて距離を算出することを特徴とする材料特性の予測モデル作成方法。
［５］前項1に記載の材料特性の予測モデル作成方法であって、
　前記学習用データセットの特徴を表すパラメータとして、前記学習用データセットの特性値に係る系統誤差、標準偏差、分散、変動係数、分位数、尖度、歪度のうち、いずれか1つまたは複数のパラメータを用いることを特徴とする材料特性の予測モデル作成方法。
［６］前項1に記載の材料特性の予測モデル作成方法であって、
　前記重みを算出するステップにおいて、指数関数型、逆数型、逆数の累乗型のうち、いずれか1つまたは複数の重み関数を用いることを特徴とする材料特性の予測モデル作成方法。
［７］材料特性の予測モデル作成装置であって、
　学習用データセットが入力されることで、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類するクラスタリングモデルと、
　分類された前記各クラスターの重心間の距離を算出し、算出された各クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記各クラスター間の重みを算出する重み定義部と、
　前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデルを生成する予測モデル｛Ｍｉ｝１≦ｉ≦Ｎと、を有することを特徴とする予測モデル作成装置。
［８］材料特性の予測装置であって、
　予測用データが入力されることで、前記予測用データがＮ個に分類されたクラスターのうちクラスターｐに属することを特定する、前項７に記載の予測モデル作成装置により作成された学習済みクラスタリングモデルと、
　特定された前記クラスターｐに対応し、予測用データを入力として予測値を求める、前項７に記載の予測モデル作成装置により作成された学習済み予測モデルＭｐと、
　求められた予測値を出力する出力部と、を有することを特徴とする材料特性の予測装置。
［９］材料特性の予測モデル作成プログラムであって、
　学習用データセットを取得する工程と、
　前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類する工程と、
　前記各クラスターの重心間の距離を算出する工程と、
　前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータを用いて、前記クラスター間の重みを算出する工程と、
　前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル｛Ｍｉ｝１≦ｉ≦Ｎを生成する工程と、をコンピュータに実行させるための予測モデル作成プログラム。
［1０］材料特性の予測プログラムであって、
　予測用データを取得する工程と、
　前項９に記載の予測モデル作成プログラムにより作成された学習済みクラスタリングモデルを用いて、前記予測用データがＮ個に分類された学習用データセットクラスターのうちクラスターｐに属することを特定する工程と、
　前記予測用データを入力として、特定された前記クラスターｐに対応し、前項９に記載の予測モデルＭｐを用いて予測値を求める工程と、をコンピュータに実行させるための予測プログラム。
　本開示の予測モデル作成方法を用いて作成された予測モデルは、訓練データを余すことなく用いることによりデータ数の不足による過学習を抑えるとともに、データの傾向を反映した重みを導入することで、予測精度を向上させることができる。
学習フェーズにおける予測モデル作成装置及び予測フェーズにおける予測装置の機能構成の一例を示す図である。 予測モデル作成装置及び予測装置のハードウェア構成の一例を示す図である。 学習処理の流れを示すフローチャートである。 予測処理の流れを示すフローチャートである。 本実施形態に係る予測モデル作成方法における要件設定画面の一例のイメージ図である。 比較例のうち通常のランダムフォレストの学習処理の流れを示すフローチャートである。 比較例のうち通常のランダムフォレストの予測処理の流れを示すフローチャートである。 予測精度の一例を示す図である。
　以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
　＜予測モデル作成装置及び予測装置の機能構成＞
　はじめに、予測モデル作成装置及び予測装置の機能構成について説明する。予測モデル作成装置は、試作時の設計条件と、試作した材料の特性値とを含む学習用データセットを用いて予測モデルの生成を行う予測モデル作成装置を例に説明する。また、予測装置は、予測モデル作成装置において作成された学習済み予測モデルを用いて新たな設計条件のもとで試作する材料の特性値を予測する予測装置を例に説明する。
　ただし、実施形態に係る予測モデル作成装置及び予測装置は、上記用途に限定されず、材料の設計以外に用いられてもよい。
　図１は、学習フェーズにおける予測モデル作成装置及び予測フェーズにおける予測装置の機能構成の一例を示す図である。予測モデル作成装置１２０には、学習プログラムがインストールされており、当該プログラムが実行されることで、予測モデル作成装置１２０は、
・クラスタリングモデル１２１、
・重み定義部１２２、
・予測モデル１２３、
として機能する（図１（ａ）参照）。
　予測モデル作成装置１２０は、材料データ格納部１１０に格納された学習用データセット１１１を用いて、クラスタリングモデル１２１、予測モデル１２３の学習を行い、学習済みクラスタリングモデル１３１及び学習済み予測モデル１３２を生成する。
　図１（ａ）に示すように、学習用データセット１１１には、情報の項目として、"入力データ"と"正解データ"とが含まれる。なお、図１（ａ）の例は、"入力データ"として、「設計条件１」～「設計条件ｎ」が格納され、"正解データ"として、「特性値１」～「特性値ｎ」が格納された場合を示している。
　クラスタリングモデル１２１は、学習用データセット１１１の"入力データ"に格納された「設計条件１」～「設計条件ｎ」が入力されることで、出力データとして学習用データセットクラスターを出力する。つまり、学習用データセット１１１が入力されることで学習済みクラスタリングモデル１３１およびクラスターｉに分類された学習用データセット１１１が生成される。
　なお、クラスタリングモデル１２１で生成されるクラスターの数はＮと設定する。
　なお、予測モデル作成装置１２０が学習を行うクラスタリングモデル１２１は、学習手法として、たとえば、"Ｋ－ｍｅａｎｓ法、Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ法、階層的クラスタリング法、混合ガウス法、ＤＢＳＣＡＮ法、ｔ－ＳＮＥ法、自己組織化マップ法"、
のうちのいずれか１つまたは複数の学習手法のもとで学習が行われるモデルであるとする。
　より具体的には、クラスタリングモデル１２１は、学習用データセット１１１の"入力データ"に格納された「設計条件１」～「設計条件ｎ」をいずれかのクラスターｉ（１≦ｉ≦Ｎ）に分類するとともに、クラスターｉの重心座標を出力する。
　重み定義部１２２は、分類されたクラスター間の距離と学習用データセット１１１の特徴を表すパラメータを用いて予測モデル１２３で用いる重み｛Ｗｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦Ｎを算出する。
　分類されたクラスター間の距離｛ｌｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦Ｎは、前述した重心座標間の距離で表され、Ｎ（Ｎ－１）／２通り算出される。
　なお、重み定義部１２２で用いる各クラスター間の距離を算出する手法として、たとえば、"ユークリッド距離法、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ｗａｒｄ法、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンス、Ｊｅｎｓｅｎ―Ｓｈａｎｎｏｎダイバージェンス、Ｄｙｎａｍｉｃ　ｔｉｍｅ　ｗａｒｐｉｎｇ、Ｅａｒｔｈ　ｍｏｖｅｒ'ｓ　ｄｉｓｔａｎｃｅ"、
のうちのいずれか1つまたは複数の組合せを用いて距離を算出することができる。
　重み定義部１２２で用いる学習用データセット１１１の特徴を表すパラメータとしては、"正解データ"に格納されている「特性値１」～「特性値ｎ」の"系統誤差、標準偏差、分散、変動係数、分位数、尖度、歪度"、のうちのいずれか１つまたは複数のパラメータを用いて定義することができる。
　分類されたクラスター間の距離と学習用データセット１１１の特徴を表すパラメータを用いて算出される重みは重み関数で表され、重み関数としては、たとえば、"指数関数型、逆数型、逆数の累乗型"、
のうちいずれか１つまたは複数を用いて定義される。
　たとえば、重み関数Ｗｉｊとしては、
Figure JPOXMLDOC01-appb-M000001
 　式（１）で表されるボルツマン型のような指数関数で定義することができる。
　ここで、ｌｉｊは各クラスター間の距離であり、τは学習用データセットの特徴を表すパラメータであり、αは任意定数である。
　予測モデル１２３は、クラスタリングモデル１２１で出力される学習用データセットクラスターが含む説明変数と重み定義部１２２で算出された重みを乗じた値が入力され、入力に用いた説明変数（設計条件）に対応する目的変数（特性値）を出力データとして特性値を出力するように学習することで生成される。
　なお、予測モデル作成装置１２０が学習を行う予測モデルは、学習手法として、
"ランダムフォレスト、決定木、勾配ブースティング、アダブースト、バギング、線形、部分最小二乗、ラッソ、線形リッジ、エラスティックネット"、
のうちのいずれか１つまたは複数の組合せを用いることができる。
　なお、予測モデル作成装置１２０が予測モデル１２３の学習を行うにあたり、クラスタリングモデル１２１で分類されたＮ個のクラスターに対して、予測モデル１２３｛Ｍｉ｝１≦ｉ≦Ｎが学習するものとする。つまり、クラスターｉに対して、重みＷｉｊを適用した学習が行われ、学習済み予測モデル１３２｛Ｍｉ｝１≦ｉ≦Ｎがそれぞれ生成される。
　重みを適用した学習の方法としては、一例として、例えば、ｓｃｉｋｉｔ－ｌｅａｒｎに格納されているランダムフォレスト回帰アルゴリズムのｆｉｔ関数内のパラメータとして重みを入力する方法を挙げることができる。
　これにより、予測モデル作成装置１２０は、学習済みクラスタリングモデル１３１および学習済み予測モデル１３２を生成する。また、予測モデル作成装置１２０は、生成した学習済みクラスタリングモデル１３１および学習済み予測モデル１３２を予測装置１３０に適用する。
　一方、予測装置１３０には、予測プログラムがインストールされており、当該プログラムが実行されることで、予測装置１３０は、
・学習済みクラスタリングモデル１３１、
・学習済み予測モデル１３２、
・出力部１３３、
として機能する（図１（ｂ）参照）。
　学習済みクラスタリングモデル１３１は、予測モデル作成装置１２０が、学習用データセット１１１の"入力データ"に格納された「設計条件１」～「設計条件ｎ」を用いてクラスタリングモデル１２１の学習を行うことで生成される。
　また、学習済みクラスタリングモデル１３１は、予測用データ（設計条件ｘ）が入力されることで、学習用データセット１１１が分類されたＮ個のクラスターのうち、クラスターｐに属することを特定する。
　学習済み予測モデル１３２は、予測モデル作成装置１２０が、学習用データセット１１１が分類されたＮ個のクラスター、および重み定義部１２２で算出した重みを用いて予測モデル１２３の学習を行うことで生成される。
　また、学習済み予測モデル１３２は、設計条件ｘおよび学習済みクラスタリングモデルが出力するクラスターの所属区分ｐが入力されることで、所属区分ｐに対応した学習済み予測モデル１３２Ｍｐを用いて特性値ｙを予測し、出力部１３３は、予測された特性値を予測データとして、出力する。
　これにより、予測装置１３０によれば、設計条件ｘが属するクラスター及びそのクラスターに応じた重みを用いて学習した学習済みモデルを用いて特性値の予測を行うことで、十分な予測精度を得ることができるようになる。つまり、本実施形態によれば、学習済み予測モデルを用いた予測装置において予測精度を向上させることができる。
＜予測モデル作成装置及び予測装置のハードウェア構成＞
　次に、予測モデル作成装置１２０及び予測装置１３０のハードウェア構成について説明する。なお、予測モデル作成装置１２０及び予測装置１３０は、同様のハードウェア構成を有するため、ここでは、図２を用いて、予測モデル作成装置１２０及び予測装置１３０のハードウェア構成をまとめて説明する。
　図２は、学習装置及び予測装置のハードウェア構成の一例を示す図である。図２に示すように、学習装置１２０及び予測装置１３０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、学習装置１２０及び予測装置１３０の各ハードウェアは、バス２０７を介して相互に接続されている。
　プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、学習プログラム、予測プログラム等）をメモリ２０２上に読み出して実行する。
　メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
　補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。
　Ｉ／Ｆ装置２０４は、不図示の外部装置と接続する接続デバイスである。通信装置２０５は、ネットワークを介して外部装置（例えば、材料データ格納部１１０）と通信するための通信デバイスである。
　ドライブ装置２０６は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
　なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０６にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。
　＜学習処理の流れ＞
　次に、学習処理の流れについて説明する。図３は、学習処理の流れを示すフローチャートである。
　ステップＳ３０１において、予測モデル作成装置１２０は、学習用データセット１１１を取得する。
　ステップＳ３０２において、予測モデル作成装置１２０は、取得した学習用データセット１１１を用いて、クラスタリングモデル１２１の学習を行い、学習済みクラスタリングモデル１３１を生成するとともに、各クラスター間の重心座標およびＮ個にクラスター分類された学習用データセットクラスターを得る。
　ステップＳ３０３において、重み定義部１２２は、学習用データセットクラスターｉについて、各クラスター間の重心間の距離｛ｌｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦Ｎを算出する。
　ステップＳ３０４において、重み定義部１２２は、クラスター間の距離と学習用データセット１１１の特徴を表すパラメータを用いて予測モデル１２３で用いる重み｛Ｗｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦Ｎを算出する。
　ステップＳ３０５において、予測モデル作成装置１２０は、Ｎ個にクラスター分類された学習用データセット１１１の全てのクラスターについて重みを算出したか否かを判定する。ステップＳ３０５において、重みを算出していないクラスターがあると判定した場合には（ステップＳ３０５においてＮＯの場合には）、ステップＳ３０４に戻る。
　一方、ステップＳ３０５において、重みを算出していないクラスターがないと判定した場合には（ステップＳ３０５においてＹＥＳの場合には）、ステップＳ３０６に進む。
　ステップＳ３０６において、予測モデル作成装置１２０は、前記生成された学習用データセットクラスターおよび対応した重みの組み合わせを用いて、予測モデル１２３の学習を行い、学習済み予測モデル１３２を生成する。
　ステップＳ３０７において、予測モデル作成装置１２０は、Ｎ個にクラスター分類された学習用データセット１１１の全てのクラスターについて予測モデル１２３の学習を行ったか否かを判定する。ステップＳ３０６において、学習済み予測モデル１３２を生成していないクラスターがあると判定した場合には（ステップＳ３０７においてＮＯの場合には）、ステップＳ３０６に戻る。
　一方、ステップＳ３０７において、学習済み予測モデル１３２を生成していない学習用データセットクラスターがないと判定した場合には（ステップＳ００７においてＹＥＳの場合には）、学習処理を終了する。
＜予測処理の流れ＞
　次に、予測処理の流れについて説明する。図４は、予測処理の流れを示すフローチャートである。
　ステップＳ４０１において、予測装置１３０は、予測用データ（設計条件ｘ）を取得する。
　ステップＳ４０２において、予測装置１３０は、取得した予測用データを学習済みクラスタリングモデル１３１に入力し、学習用データセットクラスターのうちクラスターｐに属することを特定する。
　ステップＳ４０３において、予測装置１３０は、特定されたクラスターｐに対応した学習済み予測モデル１３２Ｍｐを取得し、取得した予測用データを入力として、特性値を予測する
　ステップＳ４０４において、予測装置１３０は、予測した特性値を、予測対象の入力データ（設計条件ｘ）に対する予測データとして、出力する。
　図５の画面５００は、クラスタリングモデル１２１の生成を行うにあたって、クラスター数Ｎの手動設定もしくはエルボー法による自動設定の選択、及び、学習用データセット１１１の特徴を表すパラメータの種類の選択を行うＧＵＩ（グラフィカルユーザインタフェース）を示している。ユーザーは画面から最適なクラスター数の設定を選択するとともに、系統誤差、標準偏差、分散、変動係数、四分位数、尖度、歪度などのパラメータを選択する。例えば、図５ではクラスター数の設定方法として、エルボー法による自動設定を選択し、学習用データセット１１１の特徴を表すパラメータとして系統誤差を選択している例を示している。図５の状態で「予測」ボタンが押下されると、予測モデル作成装置１２０のクラスタリングモデル１２１および重み定義部１２２、予測モデル１２３は、図３のフローチャートの手順に従い、学習済みクラスタリングモデル１３１および学習済み予測モデル１３２を生成する。
　＜まとめ＞
　以上の説明から明らかなように、実施形態に係る予測装置１３０は、
・入力データをクラスタリングするための学習済みクラスタリングモデル１３１と、クラスターｐに対応した学習済み予測モデル１３２を有する。
・適切な重みのもとで、学習済み予測モデル１３２により予測された特性値を予測データとして、出力する。
　これにより、実施形態に係る予測装置１３０によれば、学習済み予測モデル１３２を用いた予測装置１３０において、予測精度を向上させることができる。
　［実施例］
　本発明の予測方法の具体的な実施例を、公知のデータセットを用いて説明する。なお、本発明による特性予測は材料系分野に限らず適用が可能である。
　実施例の説明に際して、材料データ格納部１１０には、例えば、ｓｃｉｋｉｔ－ｌｅａｒｎのＴｏｙ　ｄａｔａｓｅｔｓ（https://scikit-learn.org/stable/datasets/toy_dataset.html）で公開されている５０６データのボストン住宅価格に関するデータセットが格納されているものとする。
　当該ボストン住宅価格データセットを用いて予測モデル作成処理及び予測処理を行う場合、例えば、以下の手順により処理が行われる。
　［学習手順］
（１）手順１
　以下で学習手順の説明を行う。
　ボストン住宅価格データセットを、学習用データセット／予測用データセットに、７５％／２５％の割合でランダムに分割した。なお、ボストン住宅価格データセットのうち、説明変数として、ＣＲＩＭ（町別の「犯罪率」）、ＺＮ（「広い家の割合」）、ＩＮＤＵＳ（町別の「非小売業の割合」）、ＣＨＡＳ（「川の隣か」）、ＮＯＸ（「ＮＯｘ濃度（０．１ｐｐｍ単位）」）、ＲＭ（１戸当たりの「平均部屋数」）、ＡＧＥ（「古い家の割合」）、ＤＩＳ（「主要施設への距離」）、ＲＡＤ（「主要高速道路へのアクセス性」）、ＴＡＸ（「固定資産税率」）、ＰＴＲＡＴＩＯ（町別の「生徒と先生の比率」）、Ｂ（「町ごとの黒人の割合」）、ＬＳＴＡＴ（「低所得者人口の割合」）を用い、目的変数としてＭＥＤＶ（「住宅価格」（１０００ドル単位）の中央値）を用いた。
（２）手順２
　手順１で得た学習用データセットを用いて、ｓｃｉｋｉｔ－ｌｅａｒｎに格納されているクラスタリングアルゴリズムであるＫ―Ｍｅａｎｓ法を用いて学習を行い、学習済みクラスタリングモデルを得た。
（３）手順３
　手順２で学習した学習済みクラスタリングモデルを用い、学習用データセットを入力することで、Ｎ個にクラスター分類された学習用データセットクラスターを得た。ここでは、エルボー法で行った結果として、２個のクラスターを得た。
（４）手順４
　手順３でクラスター分類された学習用データセットクラスターに対し、各クラスター間の重心間の距離｛ｌｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦ＮをＮ（Ｎ－１）／２通り算出した。ここでは、各クラスター間の重心間の距離として、ユークリッド距離を用いた。
（５）手順５
　手順４で算出したクラスター間の距離｛ｌｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦Ｎと、学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重み｛Ｗｉｊ｝1≦ｉ≦Ｎ，1≦ｊ≦Ｎを算出した。ここでは、学習用データセットの特徴を表すパラメータとして、学習用データセットのＭＥＤＶの標準偏差を用いた。また、クラスター間の重みとして下記式（１）で表される重み関数を用いた。なお、任意定数として、α＝１．０を用いた。
Figure JPOXMLDOC01-appb-M000002
（６）手順６
　手順２で生成した学習用データセットクラスターと手順５で生成した各クラスターごとの重みとを、ｓｃｉｋｉｔ－ｌｅａｒｎに格納されているランダムフォレスト回帰アルゴリズムを予測モデルとして用い、各クラスターに対して予測モデルＭｉに学習させ、２つの学習済み予測モデルを得た。なお、ここでは、重みを適用した学習の方法として、ｓｃｉｋｉｔ－ｌｅａｒｎに格納されているランダムフォレスト回帰アルゴリズムのｆｉｔ関数内のパラメータに重みを入力した。
　［予測手順］
（７）手順７
　以下で予測手順の説明を行う。
　手順１で得た予測用データセットから予測用データを取得した。次いで、手順２で学習した学習済みクラスタリングモデルを用い、予測用データが手順３に記載のクラスターのうち、クラスターｐに属するかを特定した。
（８）手順８
　予測用データを入力として、手順６で作成した、予測用データの属するクラスターｐに対応する学習済み予測モデルＭｐを用いて特性値を予測し、予測された特性値を予測データとして出力した。
　予測用データセットの残りの各予測用データについても同様にして予測データを出力した。
（９）手順９
　本発明の予測方法の予測精度を求めた。予測精度は、下記式（２）によって定義されるＲ２値を評価指標とした。Ｒ２値は、１に近いほど予測精度が高い。
Figure JPOXMLDOC01-appb-M000003
［比較例］
　一方、比較例として、手順２のクラスタリングを行わず、手順５にある重みを用いないことを除いて、図６および図７のフローチャートに示すように、実施例と同様に予測モデルの作成の予測を行い、Ｒ２値を算出した。
　実施例の予測精度としてＲ２＝０．８７９を得た。一方、比較例の予測精度として、Ｒ２＝０．８６８を得た。
　図８に示すように、通常のランダムフォレスト回帰モデルの場合よりも、本実施例のようにクラスター分類を行い、適切な重みを考慮したランダムフォレスト回帰モデルの予測精度の方が、比較例の予測精度よりも高くなっていることがわかる。
　このように、予測用データを適切なクラスターに分類し、各クラスターごとに適切な重みを考慮したモデルを構築したことで比較例よりも、より精度良く予測することができる。
　［その他の実施形態］
　上記各実施形態において、予測モデル作成装置と予測装置とは別体の装置として説明した。しかしながら、予測モデル作成装置と予測装置とは一体の装置により構成されてもよい。
　なお、上記の実施形態では、重心間の距離の算出方法はユークリッド距離を用いて行い、他の具体例については言及しなかった。しかしながら、重心間の距離の算出方法は、例えば、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ｗａｒｄ法、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンス、Ｊｅｎｓｅｎ―Ｓｈａｎｎｏｎダイバージェンス、Ｄｙｎａｍｉｃ　ｔｉｍｅ　ｗａｒｐｉｎｇ、Ｅａｒｔｈ　ｍｏｖｅｒ'ｓ　ｄｉｓｔａｎｃｅなどであっても良い。
　また、上記の実施形態では、Ｋ―Ｍｅａｎｓ法とランダムフォレスト回帰アルゴリズムを用いて行い、他の学習手法の具体例について言及しなかった。しかしながら、クラスタリングモデルの学習を行う際に用いられる学習手法は、例えば、Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ法、階層的クラスタリング法、混合ガウス法、ＤＢＳＣＡＮ法、ｔ－ＳＮＥ法、自己組織化マップ法などであっても良い。
　一方、予測モデルの学習を行う際に用いられる学習手法は、例えば、決定木、勾配ブースティング、アダブースト、バギング、線形、部分最小二乗、ラッソ、線形リッジ、エラスティックネットなどであっても良い。
　本発明の一実施形態では、本発明の予測方法により特性を予測された材料の設計条件を製造に用いることもできる。例えば、材料を製造する装置は、予測装置１３０が特性を予測した材料の設計条件の情報を予測装置１３０から取得し、当該取得した設計条件の情報を用いて、材料を製造することができる。
　なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
　１１１　　　　　：学習用データセット
　１２０　　　　　：予測モデル作成装置
　１２１　　　　　：クラスタリングモデル
　１２２　　　　　：重み定義部
　１２３　　　　　：予測モデル
　１３０　　　　　：予測装置
　１３１　　　　　：学習済みクラスタリングモデル
　１３２　　　　　：学習済み予測モデル
　１３３　　　　　：出力部

Claims (10)

  1. 　材料特性の予測モデル作成方法であって、
    　学習用データセットを取得するステップと、
    　前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類するステップと、
    　前記各クラスターの重心間の距離を算出するステップと、
    前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記クラスター間の重みを算出するステップと、
    　前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル｛Ｍｉ｝１≦ｉ≦Ｎを生成するステップと、を有することを特徴とする材料特性の予測モデル作成方法。
  2. 　請求項1に記載の予測モデル作成方法に引き続いて行う材料特性の予測方法であって、
    　予測用データを取得するステップと、
    　前記学習済みクラスタリングモデルを用いて、前記予測用データがＮ個に分類された学習用データセットクラスターのうちクラスターｐに属することを特定するステップと、
    　前記予測用データを入力として、前記クラスターｐに対応する学習済み予測モデルＭｐを用いて予測値を求めるステップと、を有することを特徴とする材料特性の予測方法。
  3. 　請求項1に記載の材料特性の予測モデル作成方法であって、
    　請求項1に記載のクラスタリングモデルを構築するステップにおいて、Ｋ－ｍｅａｎｓ法、Ｎｅａｒｅｓｔ　Ｎｅｉｇｈｂｏｒ法、階層的クラスタリング法、混合ガウス法、ＤＢＳＣＡＮ法、ｔ－ＳＮＥ法、自己組織化マップ法のうち、いずれか1つまたは複数のクラスタリング手法を用いることを特徴とする材料特性の予測モデル作成方法。
  4. 　請求項1に記載の材料特性の予測モデル作成方法であって、
    　請求項1に記載のクラスターの重心間の距離を算出するステップにおいて、ユークリッド距離法、マンハッタン距離法、マハラノビス距離法、ミンコフスキー距離法、コサイン距離法、最短距離法、最長距離法、重心法、群平均法、ｗａｒｄ法、Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒダイバージェンス、Ｊｅｎｓｅｎ―Ｓｈａｎｎｏｎダイバージェンス、Ｄｙｎａｍｉｃ　ｔｉｍｅ　ｗａｒｐｉｎｇ、Ｅａｒｔｈ　ｍｏｖｅｒ'ｓ　ｄｉｓｔａｎｃｅのうち、いずれか1つまたは複数の組合せを用いて距離を算出することを特徴とする材料特性の予測モデル作成方法。
  5. 　請求項1に記載の材料特性の予測モデル作成方法であって、
    　前記学習用データセットの特徴を表すパラメータとして、前記学習用データセットの特性値に係る系統誤差、標準偏差、分散、変動係数、分位数、尖度、歪度のうち、いずれか1つまたは複数のパラメータを用いることを特徴とする材料特性の予測モデル作成方法。
  6. 　請求項1に記載の材料特性の予測モデル作成方法であって、
    　前記重みを算出するステップにおいて、指数関数型、逆数型、逆数の累乗型のうち、いずれか1つまたは複数の重み関数を用いることを特徴とする材料特性の予測モデル作成方法。
  7. 　材料特性の予測モデル作成装置であって、
    　学習用データセットが入力されることで、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類するクラスタリングモデルと、
    　分類された前記各クラスターの重心間の距離を算出し、算出された各クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータとを用いて、前記各クラスター間の重みを算出する重み定義部と、
    　前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデルを生成する予測モデル｛Ｍｉ｝１≦ｉ≦Ｎと、を有することを特徴とする予測モデル作成装置。
  8. 　材料特性の予測装置であって、
    　予測用データが入力されることで、前記予測用データがＮ個に分類されたクラスターのうちクラスターｐに属することを特定する、請求項７に記載の予測モデル作成装置により作成された学習済みクラスタリングモデルと、
    　特定された前記クラスターｐに対応し、予測用データを入力として予測値を求める、請求項７に記載の予測モデル作成装置により作成された学習済み予測モデルＭｐと、
    　求められた予測値を出力する出力部と、を有することを特徴とする材料特性の予測装置。
  9. 　材料特性の予測モデル作成プログラムであって、
    　学習用データセットを取得する工程と、
    　前記学習用データセットとクラスタリングモデルを用いて、学習済みクラスタリングモデルを生成するとともに、前記学習用データセットをＮ個のクラスターに分類する工程と、
    　前記各クラスターの重心間の距離を算出する工程と、
    前記クラスターの重心間の距離と前記学習用データセットの特徴を表すパラメータを用いて、前記クラスター間の重みを算出する工程と、
    　前記クラスターごとに、クラスターと前記重みを用いて学習済み予測モデル｛Ｍｉ｝１≦ｉ≦Ｎを生成する工程と、をコンピュータに実行させるための予測モデル作成プログラム。
  10. 　材料特性の予測プログラムであって、
    　予測用データを取得する工程と、
    　請求項９に記載の予測モデル作成プログラムにより作成された学習済みクラスタリングモデルを用いて、前記予測用データがＮ個に分類された学習用データセットクラスターのうちクラスターｐに属することを特定する工程と、
    　前記予測用データを入力として、特定された前記クラスターｐに対応し、請求項９に記載の予測モデルＭｐを用いて予測値を求める工程と、をコンピュータに実行させるための予測プログラム。
PCT/JP2022/034047 2021-09-29 2022-09-12 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム WO2023053918A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP22875790.2A EP4411602A1 (en) 2021-09-29 2022-09-12 Prediction model creation method, prediction method, prediction model creation device, prediction device, prediction model creation program, and prediction program
CN202280065867.8A CN118043826A (zh) 2021-09-29 2022-09-12 预测模型制作方法、预测方法、预测模型制作装置、预测装置、预测模型制作程序、预测程序
JP2023524840A JP7384322B2 (ja) 2021-09-29 2022-09-12 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム
JP2023178718A JP2023182783A (ja) 2021-09-29 2023-10-17 材料製造方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021159474 2021-09-29
JP2021-159474 2021-09-29

Publications (1)

Publication Number Publication Date
WO2023053918A1 true WO2023053918A1 (ja) 2023-04-06

Family

ID=85782400

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/034047 WO2023053918A1 (ja) 2021-09-29 2022-09-12 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム

Country Status (4)

Country Link
EP (1) EP4411602A1 (ja)
JP (2) JP7384322B2 (ja)
CN (1) CN118043826A (ja)
WO (1) WO2023053918A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086896A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd 適応的予測モデル構築方法及び適応的予測モデル構築システム
JP2020187417A (ja) 2019-05-10 2020-11-19 株式会社日立製作所 物性予測装置及び物性予測方法
JP2020533700A (ja) * 2017-09-29 2020-11-19 日本電気株式会社 回帰装置、回帰方法、及びプログラム
WO2020261449A1 (ja) * 2019-06-26 2020-12-30 日本電信電話株式会社 学習装置、予測装置、学習方法、予測方法、学習プログラム、及び予測プログラム
JP2021159474A (ja) 2020-04-01 2021-10-11 株式会社大一商会 遊技機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086896A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd 適応的予測モデル構築方法及び適応的予測モデル構築システム
JP2020533700A (ja) * 2017-09-29 2020-11-19 日本電気株式会社 回帰装置、回帰方法、及びプログラム
JP2020187417A (ja) 2019-05-10 2020-11-19 株式会社日立製作所 物性予測装置及び物性予測方法
WO2020261449A1 (ja) * 2019-06-26 2020-12-30 日本電信電話株式会社 学習装置、予測装置、学習方法、予測方法、学習プログラム、及び予測プログラム
JP2021159474A (ja) 2020-04-01 2021-10-11 株式会社大一商会 遊技機

Also Published As

Publication number Publication date
JP7384322B2 (ja) 2023-11-21
JP2023182783A (ja) 2023-12-26
JPWO2023053918A1 (ja) 2023-04-06
EP4411602A1 (en) 2024-08-07
CN118043826A (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
JP7276757B2 (ja) モデル公平性のためのシステムおよび方法
Nyathi et al. Comparison of a genetic algorithm to grammatical evolution for automated design of genetic programming classification algorithms
US7792353B2 (en) Retraining a machine-learning classifier using re-labeled training samples
CN111241992B (zh) 人脸识别模型构建方法、识别方法、装置、设备及存储介质
CN113011529B (zh) 文本分类模型的训练方法、装置、设备及可读存储介质
US11663492B2 (en) Alife machine learning system and method
Liou et al. Applying data mining for the analysis of breast cancer data
CN113033090B (zh) 推送模型训练方法、数据推送方法、装置及存储介质
KR20200046189A (ko) 생성적 적대 신경망에 기반한 협업 필터링을 위한 방법 및 시스템
JP2023546021A (ja) 機械学習モデルにおける反実仮想説明のためのシステム及び方法
CN111783873A (zh) 基于增量朴素贝叶斯模型的用户画像方法及装置
CN113609337A (zh) 图神经网络的预训练方法、训练方法、装置、设备及介质
CN110334720A (zh) 业务数据的特征提取方法、装置、服务器和存储介质
JP4987282B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN115689443A (zh) 基于波动性聚类和区块链的供应链管理方法及系统
CN116249994A (zh) 具有被配置为生成可解释结果的可分解分层的预测模型
US11620550B2 (en) Automated data table discovery for automated machine learning
WO2023053918A1 (ja) 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム
CN111860556A (zh) 一种模型的处理方法、装置及存储介质
JPWO2016132683A1 (ja) クラスタリングシステム、方法およびプログラム
CN113191527A (zh) 一种基于预测模型进行人口预测的预测方法及装置
JP7224263B2 (ja) モデル生成方法、モデル生成装置及びプログラム
Dzemyda et al. Data science: new issues, challenges and applications
JP7465497B2 (ja) 学習装置、学習方法及びプログラム
JP7186200B2 (ja) データ管理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023524840

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22875790

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18695515

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280065867.8

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022875790

Country of ref document: EP

Effective date: 20240429