WO2022124065A1 - 予測器作成装置、および予測器作成方法 - Google Patents

予測器作成装置、および予測器作成方法 Download PDF

Info

Publication number
WO2022124065A1
WO2022124065A1 PCT/JP2021/042858 JP2021042858W WO2022124065A1 WO 2022124065 A1 WO2022124065 A1 WO 2022124065A1 JP 2021042858 W JP2021042858 W JP 2021042858W WO 2022124065 A1 WO2022124065 A1 WO 2022124065A1
Authority
WO
WIPO (PCT)
Prior art keywords
predictor
characteristic
feature amount
expected
prediction basis
Prior art date
Application number
PCT/JP2021/042858
Other languages
English (en)
French (fr)
Inventor
真生 濱本
正史 恵木
正和 高橋
博之 難波
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US18/036,212 priority Critical patent/US20230410488A1/en
Publication of WO2022124065A1 publication Critical patent/WO2022124065A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher

Definitions

  • the present invention relates to a predictor creating device for creating a predictor and a predictor creating method.
  • predictors also called predictive models or AI (Artificial Intelligence)
  • machine learning methods such as deep neural networks and gradient boosting
  • the validity (or convincingness) of the prediction basis is important in addition to the high prediction accuracy of the predictor.
  • a method for visualizing the degree of influence of each input value (also referred to as a feature amount) on the prediction result on the prediction result (hereinafter referred to as an explanatory score) is common.
  • the explanation score includes the Shapley value.
  • the prediction accuracy of the predictor is evaluated, and the prediction basis is evaluated after confirming that the accuracy achieves the desired performance.
  • the prediction basis does not have the desired characteristics, a means for improving (or calibrating) the prediction basis characteristics is required.
  • Non-Patent Document 1 describes a neural network in which the characteristics of the prediction basis (or explanatory score) are taken into consideration by setting a normalization term (also referred to as a penalty term) for the prediction basis in the objective function at the time of model learning. Disclose a technique for determining coefficient parameters.
  • Non-Patent Document 1 Since the technique of Non-Patent Document 1 adds a normalization term to the objective function at the time of model learning, it can be applied only to a differentiable machine learning model such as a neural network. Further, for the same reason, the technique of Non-Patent Document 1 can be applied only to a differentiable explanatory score, and therefore cannot be applied to a main explanatory score such as a Shapley value. There are various types of explanatory scores, and it is up to the purchaser of the predictor, not the developer of the predictor, to decide which one to use, so limiting the available explanatory scores is a major practical issue. .. As described above, the conventional technique for calibrating the prediction basis has a problem in its versatility.
  • the predictor making device is a predictor making device having a processor for executing a program and a storage device for storing the program, and the processor is a training data.
  • the first acquisition process for acquiring a calibration target ensemble predictor that combines multiple predictors based on a training data set that is a combination with correct answer data, and the prediction basis for the feature amount of the training data for each of the plurality of predictors.
  • the second acquisition for acquiring the expected prediction basis characteristics for the feature amount based on the prediction basis characteristics for the feature amount.
  • FIG. 1 is a block diagram showing a hardware configuration example of the predictor creating device according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration example of the predictor creating device shown in FIG.
  • FIG. 3 is an explanatory diagram showing an example of management information according to the first embodiment.
  • FIG. 4 is an explanatory diagram showing an example of the calibration parameter information table according to the first embodiment.
  • FIG. 5 is an explanatory diagram showing an example of a setting screen according to the first embodiment.
  • FIG. 6 is a flowchart showing an example of a predictor creation processing procedure by the predictor creation device according to the first embodiment.
  • FIG. 7 is an explanatory diagram showing an example of a screen for presenting analysis result information according to the first embodiment.
  • FIG. 1 is a block diagram showing a hardware configuration example of the predictor creating device according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional configuration example of the predictor creating device shown in FIG.
  • FIG. 3 is an explanatory
  • FIG. 8 is an explanatory diagram showing an example of the quantitative expected characteristic setting screen according to the first embodiment.
  • FIG. 9 is an explanatory diagram showing an example of the qualitative expectation characteristic setting screen according to the first embodiment.
  • FIG. 10 is an explanatory diagram showing an example of the data expectation characteristic setting screen according to the first embodiment.
  • FIG. 11 is an explanatory diagram showing an example of a screen for presenting analysis result information according to the second embodiment.
  • FIG. 12 is an explanatory diagram showing an example of the quantitative expected characteristic setting screen according to the second embodiment.
  • FIG. 13 is an explanatory diagram showing an example of the qualitative expectation characteristic setting screen according to the second embodiment.
  • the predictor creating device There is a phenomenon that there are many predictors with the same prediction value but different prediction grounds. This is because each predictor is a small part of the whole event because the quantity and quality of the data that can be observed is not enough for the complexity of the real world and the complexity of the learning model is not enough to predict an event. This is due to the fact that only the viewpoint of can be grasped.
  • the predictor creation device positively utilizes this phenomenon to improve the prediction basis of the model. That is, the predictor creator gives the objective function a normalization term for the prediction basis so that the ensemble of two or more predictor groups approaches the desired prediction basis characteristic, and determines the coupling coefficient of the ensemble. That is, in predicting the correct answer value, it means that the predictor creation device creates a predictor that more appropriately captures the entire event by combining predictors that capture different viewpoints inherent in the training data.
  • the predictor creating device does not differentiate the objective function for each feature quantity, but differentiates the objective function for each coupling coefficient of the ensemble.
  • the predictor creator can treat the explanation score and the function of the machine learning model as constants. Therefore, they do not have to be differentiable. That is, by applying the predictor creation device according to the first embodiment, it becomes possible to calibrate the prediction basis of the predictor for any explanatory score and any machine learning model.
  • FIG. 1 is a block diagram showing a hardware configuration example of the predictor creating device according to the first embodiment.
  • the predictor creation device 100 includes a processor 101, a storage device 102, an input device 103, an output device 104, and a communication interface (communication IF) 105.
  • the processor 101, the storage device 102, the input device 103, the output device 104, and the communication IF 105 are connected by the bus 106.
  • the processor 101 controls the predictor creation device 100.
  • the storage device 102 serves as a work area for the processor 101. Further, the storage device 102 is a non-temporary or temporary recording medium for storing various programs and data.
  • Examples of the storage device 102 include a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), and a flash memory.
  • the input device 103 inputs data.
  • the input device 103 includes, for example, a keyboard, a mouse, a touch panel, a numeric keypad, a scanner, and a microphone.
  • the output device 104 outputs data.
  • the output device 104 includes, for example, a display, a printer, and a speaker.
  • the communication IF 105 connects to the network and transmits / receives data.
  • FIG. 2 is a block diagram showing a functional configuration example of the predictor creating device 100 shown in FIG.
  • the predictor creation device includes a data acquisition unit 210, a predictor acquisition unit 220, a predictor analysis unit 230, a data management unit 240, a parameter extraction unit 250, and a predictor calibration unit 260. Specifically, these are realized, for example, by causing the processor 101 to execute a program stored in the storage device 102 shown in FIG.
  • the data acquisition unit 210 acquires input data 201 from outside the predictor creation device 100, inputs the input data into the predictor creation device 100, acquires data from the inside of the predictor creation device 100, and outputs the output device of the predictor creation device 100. It is output as output data 205 via 104 or communication IF 105.
  • the data acquisition unit 210 takes in the input data 201 given by the user, and outputs the result processed by the predictor creation device 100 based on the input data 201 as the output data 205.
  • the input data 201 includes generation setting information 212 regarding generation of the predictor and calibration setting information 213 regarding calibration of the predictor.
  • the generation setting information 212 is output to the predictor acquisition unit 220.
  • the calibration setting information 213 is output to the parameter extraction unit 250.
  • the output data 205 includes information on the state of the predictor and information on the analysis result, which are generated based on the management information 241 sent from the data management unit 240.
  • the predictor acquisition unit 220 determines the machine learning parameters for generating the predictor based on the generation setting information 212 from the data acquisition unit 210, and generates a plurality of predictors using the training data set 202.
  • the predictor acquisition unit 220 may read a plurality of predictors from the outside via the communication IF 105.
  • the predictor is, for example, a neural network or decision tree with machine learning parameters set. In order to distinguish it from the ensemble predictor described later, a predictor that is not an ensemble may be referred to as a "single predictor".
  • the predictor acquisition unit 220 generates an ensemble predictor that averages a plurality of single predictors.
  • the predictor acquisition unit 220 may read the ensemble predictor from the outside via the communication IF 105. Since this ensemble predictor has not been calibrated by the predictor calibration unit 260, it is referred to as a basic ensemble predictor.
  • the basic ensemble predictor is an ensemble predictor in which each output layer of a plurality of single predictors is connected, and the coupling coefficient of each single predictor has the same value. For example, if the number of a plurality of single predictors is 100, the coupling coefficient of each single predictor is 0.01. Multiple single predictors and basic ensemble predictors are collectively referred to as a group of predictors.
  • the predictor acquisition unit 220 predicts the combination of the machine learning parameters (including the coupling coefficient for the basic ensemble predictor) and the neural network (or decision tree) for each predictor of the predictor group as the predictor information 221. It is output to the instrument analysis unit 230 and the data management unit 240. Further, the predictor acquisition unit 220 stores the training data set 202 in the data management unit 240.
  • the predictor analysis unit 230 analyzes the prediction accuracy characteristics and the prediction basis characteristics of the predictor using the training data set 202 and the test data set 203.
  • the training data set 202 is a combination of training data (composed of a plurality of feature quantities) input to the predictor and correct answer data corresponding to the training data for each sample.
  • the test data set 203 is a combination of the test data input to the predictor and the correct answer data corresponding to the test data for each sample.
  • the predictor to be analyzed by the predictor analysis unit 230 is acquired as the predictor information 221 from the predictor acquisition unit 220 or the post-calibration predictor information 261 from the predictor calibration unit 260.
  • the prediction accuracy characteristic of the predictor is, for example, an accuracy score by comparing the predicted value output from the predictor when the test data is applied to the predictor and the correct answer data corresponding to the test data. More specifically, for example, the accuracy score is the root mean square error (also called RMSE) in the case of a regression problem and the correct answer rate in the case of a classification problem.
  • the predictor analysis unit 230 may create a scatter plot in which the predicted value by the predictor and the correct answer data are set on the vertical axis and the horizontal axis, respectively, and analyze the prediction accuracy characteristic.
  • the prediction basis characteristic of the predictor is, for example, the explanatory score (also called the contribution) of each feature for the predicted value output from the predictor when the training data is applied to the predictor, and is plotted from various viewpoints. Is analyzed by creating.
  • the explanation score is the Shapley value.
  • the plot for analyzing the prediction basis characteristics how much the explanatory score (contribution) of each feature of the sample is relative to the predicted value obtained when the training data of the sample is applied to the predictor.
  • There is a plot (referred to as an explanatory graph in Example 1; see FIG. 10) that displays the data as a bar graph. Explanatory graphs are called local explanations for predictions.
  • PDP Partial Analysis Plot
  • an arbitrary feature amount is set on the horizontal axis
  • the explanation score (contribution degree) of the feature amount is set on the vertical axis
  • the relationship between the feature amount and the explanation score set for all samples of training data is plotted. It can be obtained by.
  • PDPs are called global explanations for forecasts.
  • the predictor analysis unit 230 stores the analysis result information 231 that analyzed the predictor in the data management unit 240. Further, the predictor analysis unit 230 refers to the permissible prediction error and the permissible explanation error included in the extraction parameter information 251 sent from the parameter extraction unit 250, and refers to the post-calibration predictor included in the post-calibration predictor information 261. Evaluate whether the accuracy score and the explanatory score each achieve the desired characteristics.
  • the evaluation result regarding the accuracy score is included in the analysis result information 231 as a part of the analysis result regarding the prediction accuracy characteristic. Further, the evaluation result regarding the explanatory score is included in the analysis result information 231 as a part of the analysis result regarding the prediction basis characteristic.
  • the data management unit 240 includes training data set 202, predictor information 221 from the predictor acquisition unit 220, analysis result information 231 from the predictor analysis unit 230, extraction parameter information 251 from the parameter extraction unit 250, and predictor calibration unit 260. After calibration, the predictor information 261 is acquired, and the necessary information is output to the data acquisition unit 210 as management information 241. Further, the data management unit 240 outputs the management target predictor information 242 to the predictor calibration unit 260.
  • the parameter extraction unit 250 extracts parameters related to predictor calibration such as constraint information on the prediction basis characteristics from the calibration setting information 213 sent from the data acquisition unit 210.
  • the extracted parameters are output as extraction parameter information 251 to the predictor analysis unit 230, the data management unit 240, and the predictor calibration unit 260.
  • the predictor calibration unit 260 has a plurality of predictors so as to approach a desired prediction basis characteristic based on the parameter information 251 extracted from the parameter extraction unit 250 and the managed target predictor information 242 from the data management unit 160. Determine the coupling parameters for and create a new predictor that linearly combines them.
  • the method of combining a plurality of such predictors to create a new predictor is called an ensemble method.
  • the predictor calibration unit 260 uses a combination of machine learning parameters, a neural network (or decision tree), and a coupling coefficient that compose a predictor (referred to as an ensemble predictor) created by the ensemble method as post-calibration predictor information 261. It is output to the predictor analysis unit 230 and the data management unit 240. Further, the post-calibration predictor information 261 can be output to the outside of the predictor creation device 100 as a calibrated predictor.
  • FIG. 3 is an explanatory diagram showing an example of the management information 241 according to the first embodiment.
  • the management information 241 is held by the data management unit 240.
  • the management information 241 associates the predictor information 221 possessed by the data management unit 240 with the analysis result information 231, the extraction parameter information 251 and the post-calibration predictor information 261.
  • the management information 241 has a predictor management information 310 and an ensemble management information 320.
  • the predictor management information 310 is information that associates the predictor information 221 with the analysis result information 231.
  • the ensemble management information 320 is information that associates the extraction parameter information 251 with the post-calibration predictor information 261.
  • the predictor management information 310 has a predictor ID311, a prediction basis characteristic ID 312, a prediction accuracy characteristic ID 313, and a binding group ID 314 as fields.
  • the combination of the values of each field in the same row is the entry that defines the characteristics of the predictor.
  • the predictor ID 311 is a single predictor (hereinafter, also referred to as a single predictor) acquired by the predictor acquisition unit 220, or a post-calibration predictor (that is, an ensemble predictor) created by the predictor calibration unit 260. Identification information that is uniquely identified.
  • the values of the predictor ID311 of the single predictor are "p1", “p2”, ..., And the values of the predictor ID311 of the ensemble predictor are "ep1", "ep2”, ....
  • the values of the predictor ID311 of the ensemble predictor are "ep1", "ep2”, ....
  • the value of the predictor ID311 of the ensemble predictor not only the value of the predictor ID311 of the ensemble predictor but also the information about the ensemble predictor shall be prefixed with "e”.
  • the prediction basis characteristic ID 312 is identification information that uniquely identifies the analysis result regarding the prediction basis characteristic of each predictor input as the analysis result information 231.
  • the prediction basis characteristic ID 312 of the prediction basis characteristic (for example, the explanatory score for each feature amount) of the single predictor and the ensemble predictor is set to "r1", “r2”, ..., And “er1", “er2”, respectively. ", ...
  • the prediction accuracy characteristic ID 313 is identification information that uniquely identifies the analysis result regarding the prediction accuracy characteristic of each predictor input as the analysis result information 231.
  • the prediction accuracy characteristic ID 313 of the prediction accuracy characteristic (for example, accuracy score) of the single predictor and the ensemble predictor is set to "a1", "a2", ..., And "ea1", “ea2", ... do.
  • the join group ID 314 is identification information that uniquely identifies the join group, which is a group of predictors joined as an ensemble predictor.
  • the join group ID 314 is assigned to the predictor ID 311 of the ensemble predictor.
  • the ensemble management information 320 has a join group ID 314, a join predictor number 321, a join predictor ID 322, a constraint ID 323, an allowable prediction error 324, and a join coefficient 325 as fields.
  • the combination of the values of each field in the same row is the entry that defines the characteristics of the ensemble predictor.
  • the number of combined predictors 321 is the number of single predictors combined by the ensemble.
  • the binding predictor ID 322 is a list of values of the predictor ID 311 of the single predictor coupled by the ensemble.
  • the constraint ID 323 is identification information that uniquely identifies the constraint.
  • the constraint is a condition set so that the predictive basis characteristic of the ensemble predictor approaches the predictive basis characteristic (also referred to as the expected predictive basis characteristic) expected by the user.
  • the constraint ID 323 is included in the calibration parameter information table 400 (described later in FIG. 4).
  • the allowable prediction error 324 is information indicating the accuracy score that the ensemble predictor should achieve. For regression problems, the root mean square error (RMSE) is applied, and for classification problems, the accuracy rate is applied as the accuracy score.
  • the coupling coefficient 325 is a coefficient assigned to each of the predictors used in the ensemble.
  • FIG. 4 is an explanatory diagram showing an example of the calibration parameter information table according to the first embodiment.
  • the calibration parameter information table 400 is constraint information for calibrating the predictor, and is registered in the data management unit 240 by screen input of FIGS. 8 and 9 described later.
  • the calibration parameter information table 400 is composed of, for example, a quantitative constraint information table 410, a qualitative constraint information table 420, and a constraint parameter information table 430.
  • the quantitative constraint information table 410 has quantitative constraint information for calibrating the basis characteristics of the predictor, and has, for example, quantitative constraint ID 411, sample ID 412, and expected explanatory score information 413 as fields.
  • the quantitative constraint ID 411 is identification information that uniquely identifies the quantitative constraint information 401, 402, 403, .... That is, each column of each value "c1", “c2", “c3", ... Of the quantitative constraint ID 411 arranged in the row direction indicates the quantitative constraint information 401, 402, 403, ...
  • the sample ID 412 is identification information that uniquely identifies each sample of the training data set 202, and in the first embodiment, “s1”, “s2”, ... Shown in the column of the sample ID 412 are the values of the sample ID 412.
  • the expected explanation score information 413 is a feature amount group (for example, if the sample is a subject, the feature amount 1 is the height, the feature amount 2 is the weight, the feature amount 3 is the blood glucose level, ... ), which is a column of desirable explanatory scores (that is, expected explanatory scores) of the features for the prediction result of the ensemble predictor of each sample specified by the sample ID 412, arranged in the column direction of each feature.
  • Each score of the expected explanation score information 413 is given as a real value or without setting (indicated as "-" in this embodiment).
  • the quantitative constraint information 401 specified by the value "c1" of the quantitative constraint ID 411 is information having an expected value score sequence (0.0, 7.2, ...) For each sample for "feature amount 1". ..
  • the quantitative constraint information 402 specified by the value “c2" of the quantitative constraint ID 411 is information having an expected value score sequence (-(not set), -2.2, ...) For each sample for "feature amount 2". be.
  • the quantitative constraint information 403 specified by the value "c3" of the quantitative constraint ID 411 is information having an expected value score sequence (-(not set),-(not set), ...) For each sample for "feature amount 3". Is.
  • Quantitative constraint information 401, 402, 403, ... are specifically set by user operation on, for example, the quantitative expected characteristic setting screen 800 of FIG. 8 described later.
  • the qualitative constraint information table 420 has qualitative constraint information for calibrating the basis characteristics of the predictor, and has, for example, qualitative constraint ID 421, sample ID 412, and expected qualitative characteristic information 422 as fields.
  • the qualitative constraint ID 421 is identification information that uniquely identifies the qualitative constraint information 441 to 444. That is, each column of each value "d1", “d2", “d3", and "d4" of the qualitative constraint ID 421 arranged in the row direction indicates the qualitative constraint information 441 to 444.
  • the expected qualitative characteristic information 422 is information indicating the expected characteristic (that is, the expected qualitative characteristic) for each of the qualitative constraint information 441 to 444, and specifically, for example, in the row direction, as the value of the expected qualitative characteristic information 422, " "Maximum explanation score”, “Minimum explanation score”, “Monotonicity +”, and “Monotonicity-” are arranged, and “Maximum explanation score”, “Minimum explanation score”, “Monotonicity +", and “Monotonicity-” are arranged. In the column direction, the feature amount that is the value of the expected characteristic for each sample is specified.
  • the qualitative constraint information 441 is an expected qualitative characteristic indicating a qualitative constraint on the "maximum explanatory score" of the prediction basis characteristic.
  • the explanation score of "feature amount 2" is the maximum for the training data in which the sample ID 412 is "s1", and the training data in which the sample ID 412 is "s2" is ". It is a qualitative constraint that the explanation score of "feature amount 1" is maximized.
  • the qualitative constraint information 442 is an expected qualitative characteristic indicating a qualitative constraint on the "minimum explanatory score" of the prediction basis characteristic.
  • the explanation score of "feature amount 3" is the minimum for the training data in which the sample ID 412 is "s1", and the constraint is restricted for the training data in which the sample ID 412 is "s2". It is a qualitative restriction not to set.
  • the qualitative constraint information 443 is an expected qualitative characteristic indicating a qualitative constraint on the prediction basis characteristic "monotonicity +" (meaning positive monotonicity). Specifically, for example, the qualitative constraint information 443 is a qualitative constraint that the larger the value of the "feature amount 1" is, the larger the explanatory score is for the training data of the sample ID 412 of "s1" and "s2". ..
  • the qualitative constraint information 444 is an expected qualitative characteristic indicating a qualitative constraint on the prediction basis characteristic "monotonicity-" (meaning negative monotonicity). Specifically, for example, the qualitative constraint information 444 does not set a constraint for the training data in which the sample ID 412 is "s1", and the value of the "feature amount 4" is small for the training data in which the sample ID 412 is "s2". It is a qualitative constraint that the explanation score becomes smaller.
  • the qualitative constraint information 441 to 444 is set by a user operation on the qualitative expectation characteristic setting screen 900 of FIG. 9, which will be described later.
  • the constraint parameter information table 430 has information indicating auxiliary parameters for each constraint, and has, for example, a constraint ID 323, a weight 432, and an allowable explanation error 433 as fields.
  • Constraint ID 323 includes quantitative constraint ID 411 and qualitative constraint ID 421.
  • the weight 432 indicates the importance for each constraint information specified by the constraint ID 431. The larger the value of the weight 432, the easier it is to satisfy the constraint information in the ensemble predictor, which is the predictor after calibration.
  • the permissible explanatory error 433 is information indicating the characteristics of the explanatory score that the ensemble predictor should achieve.
  • the root mean square error (RMSE) of the explanation score and the expected explanation score for the training data of the predictor is applied as an index.
  • the qualitative constraint information the number of samples whose qualitative characteristics of the explanation score of the predictor do not satisfy the expected qualitative characteristics is applied as an index for the training data.
  • the weight 432 and the permissible explanation error 433 are set by user operation on the qualitative expectation characteristic setting screen 900 of FIG. 9, which will be described later.
  • FIG. 5 is an explanatory diagram showing an example of a setting screen according to the first embodiment.
  • the setting screen 500 is displayed on the display which is the output device 104.
  • the setting screen 500 is a screen for the user to set the generated setting information 212.
  • the setting screen 500 has a data setting area 510, a feature amount setting area 520, a model setting area 530, a random parameter setting area 540, an output setting area 550, and a generation start button 560.
  • the data setting area 510 is an area for designating either the training data set 202 or the test data set 203 used by the predictor creation device 100 to create the predictor with a radio button.
  • the file read as the training data set 202 may be the same file as the file read as the test data set 203, or may be a different file. Further, in the case of the same file, when the training data set 202 is specified, the predictor creation device 100, for example, 80% of the data in the file is read as the training data set 202, and when the test data set 203 is specified, the said. The remaining 20% of the data in the file may be read as the test dataset 203.
  • the feature amount setting area 520 is an area for designating the feature amount input to the predictor as training data or test data and the objective variable (that is, correct answer data) to be predicted with a radio button. For example, when "use all” is specified, all the features in the training data or the test data in the data set specified in the data setting area 510 are read. When “partially used” is specified, a part of the feature amount in the training data or the test data is read from the data set specified in the data setting area 510. Some features are preset and can be changed by the user.
  • the model setting area 530 is an area for selecting the type of machine learning model that is the base of the predictor to be created with a radio button.
  • one or more types can be selected from "Neural Network” and "XGBoost".
  • the random parameter setting area 540 is an area for setting parameters that give perturbations in order to create predictors with different characteristics.
  • FIG. 5 shows an example of perturbing both the training dataset 202 and the hyperparameters of the machine learning model.
  • the predictor creation device 100 creates a different training data set 202 for each predictor to be created by random sampling that allows duplication for the training data set 202, and the machine Apply to the training model.
  • the predictor creation device 100 sets the initial state of hyperparameter search to a random value. In this example, "1" indicating a specific random number generation pattern is set as the random number seed.
  • the output setting area 550 is an area for setting the output parameters of the predictor acquired by the predictor acquisition unit 220. In the example of FIG. 5, it is set to create 100 predictors. Further, when a plurality of machine learning models are selected in the model setting area 530, the “number of created predictors” can be set for each machine learning model.
  • the predictor creation device 100 When the generation start button 560 is pressed by the user, the predictor creation device 100 is set in the data setting area 510, the feature amount setting area 520, the model setting area 530, the random parameter setting area 540, and the output setting area 550. The generation of the predictor is started according to the generation setting information 212.
  • FIG. 6 is a flowchart showing an example of a predictor creation processing procedure by the predictor creation device 100 according to the first embodiment.
  • the predictor creation device 100 acquires the generation setting information 212 set on the setting screen 500 shown in FIG. 5 by pressing the generation start button 560 (step S601).
  • the predictor creation device 100 acquires a plurality of predictors (100 in the example of the output setting area 550) by the predictor acquisition unit 220 based on the generation setting information 212 (step S602). Further, in step S602, the predictor creation device 100 is a basic ensemble predictor (the value of the predictor ID 311 is "ep1") obtained by averaging a plurality of created predictors (100 in the example of the output setting area 550). , The value of the coupling group ID 314 is "eg1", and the coupling coefficient 325 is "0.01", respectively) as the ensemble predictor to be calibrated.
  • the predictor acquisition unit 220 obtains predictor information 221 (including a coupling coefficient 325 for the basic ensemble predictor) about the acquired plurality of single predictors and the predictor group which is the basic ensemble predictor, and the predictor analysis unit 230. And output to the data management unit 240.
  • the predictor creation device 100 executes a characteristic analysis process for each predictor of the predictor group created in step S602 by the predictor analysis unit 230 (step S603).
  • the predictor analysis unit 230 provides accuracy scores such as root mean square error (RMSE) for the test data set 203 and training data for each predictor (including the basic ensemble predictor) of the predictor group.
  • the explanatory score for each feature amount such as the shear play value for the set 202 is calculated as the analysis result information 231.
  • the predictor analysis unit 230 may acquire the analysis result information 231 from the outside.
  • the predictor analysis unit 230 stores the analysis result information 231 in the data management unit 240.
  • the data management unit 240 stores the accuracy score for each predictor ID 311 in association with the prediction accuracy characteristic ID 313 and the explanatory score for each feature amount in association with the prediction basis characteristic ID 312 as the prediction basis characteristic. Store in device 102.
  • the predictor creation device 100 presents the analysis result information 231 in step S603 to the user via the data acquisition unit 210 (step S604).
  • the data acquisition unit 210 acquires the predictor management information 310 and the ensemble management information 320 as the management information 241 from the data management unit 240, and outputs a display screen showing the prediction accuracy characteristics and the prediction basis characteristics of the predictor so as to be displayable. ..
  • FIG. 7 is an explanatory diagram showing an example of a presentation screen of the analysis result information 231 according to the first embodiment.
  • the presentation screen 700 is displayed on the display which is the output device 104.
  • the presentation screen 700 has a predictor characteristic presentation area 710, an attribute information selection area 720, an ensemble search setting area 730, an expected characteristic setting area 740, an expected characteristic setting button 750, a calibration start button 760, and an end button 770.
  • the predictor characteristic presentation area 710 is an area for presenting the characteristics of the predictor to the user.
  • the PDP 711, the predictor “prediction error (RMSE)” and the “number of combined models” are used as the prediction accuracy characteristics.
  • RMSE prediction error
  • PDP711 shown in FIG. 7 is a graph that visualizes the tendency of the explanatory score for "feature amount 1" as the prediction basis characteristic. Which feature amount to display PDP711 can be selected in the attribute information selection area 720.
  • the attribute information selection area 720 is an area in which the predictor presented in the predictor characteristic presentation area 710 and its attribute information can be selected.
  • FIG. 7 shows an example in which a basic ensemble predictor (the value of the binding group ID 314 is “eg1”) and its feature amount 1 are selected.
  • the "overall characteristic” is a selection item for presenting the characteristic of the ensemble predictor itself.
  • the "individual characteristic” is a selection item for presenting the characteristic of the single predictor included in the ensemble predictor.
  • the predictor ID311 in the "individual characteristic” By specifying the predictor ID311 in the "individual characteristic”, the characteristic of the desired single predictor is presented, and when multiple predictor ID311s are specified in the "individual characteristic", the coupling coefficient for the specified single predictor is set. The characteristics of the ensemble predictor considered are presented.
  • each explanatory score plotted in the PDP711 of the predictor characteristic presentation area 710 is ,
  • the value of the prediction basis characteristic specified by the prediction basis characteristic ID 312 (r1, r2, ..., R100) of the 100 predictors (p1, p2, ..., P100) constituting the basic ensemble predictor (eg1) (Explanation). Score).
  • the ensemble search setting area 730 is an area for setting parameters for searching for a better ensemble predictor.
  • the "maximum number of searches" means that when the ensemble predictor created by the predictor calibration unit 260 does not satisfy the desired characteristics, the predictor acquisition unit 220 additionally creates a predictor. It is a parameter to set the maximum number of times to repeat. In FIG. 7, it is set to N times (N is an integer of 1 or more).
  • the number of single predictors increases each time an additional predictor is created. It is possible to use all predictors, but there are cases where you want to limit the number of predictors used in an ensemble.
  • the "predictor selection" of the ensemble search setting area 730 is a setting item for selecting the sampling method of the predictor in such a case. In FIG. 7, "random” is selected as the "predictor selection”, but various sampling methods such as "in descending order of accuracy of the single predictor" or "use of all predictors" can be set. be.
  • the "number of combined predictors" is an item for setting the number of predictors to be extracted by the sampling method set in the "predictor selection”. It is not necessary to enter when "Use all predictors" is selected in "Predictor selection". In FIG. 7, it is set to M (M is an integer of 1 or more).
  • the "allowable prediction error” is an accuracy score that the ensemble predictor should achieve, and can also be expressed as a lower limit value or a target value of the accuracy score.
  • the value of the "allowable prediction error” input here is later managed by the data management unit 240 as the allowable prediction error 324.
  • the “allowable prediction error” is expressed and set as the “threshold value 1” is shown.
  • the expected characteristic setting area 740 is an area for setting the expected prediction basis characteristic in the predictor created (or calibrated) by the predictor calibration unit 260. In the expected characteristic setting area 740, either a quantitative expected characteristic (quantitative characteristic) or a qualitative expected characteristic (qualitative characteristic) can be selected.
  • the expected characteristic setting button 750 is a button for setting the expected characteristic. When the expected characteristic setting button 750 is pressed, the data expected characteristic setting screen shown in FIG. 10 is displayed.
  • the calibration start button 760 is a button for starting calibration with the contents set on the presentation screen 700.
  • the end button 770 is a button for ending the predictor creation process and outputting predictor information 221 (or machine learning parameter) about the predictor group.
  • the predictor creation device 100 presents the presentation screen 700 to the user in step S604 by the data acquisition unit 210, and as a result, returns to the presentation screen 700 as to whether or not the prediction basis characteristic (explanatory score) is appropriate. Waits for the input of (step S610).
  • step S610 When the data acquisition unit 210 acquires an input from the presentation screen 700 that the prediction basis characteristic (explanatory score) is appropriate (step S610: Yes), for example, when the end button 770 is pressed, the predictor creation device 100 , Predictor information 221 (or machine learning parameter) about the predictor group is output, and a series of processing is completed.
  • step S610 when the data acquisition unit 210 acquires an input from the presentation screen that the prediction basis characteristic (explanatory score) is not appropriate (step S610: No), for example, when the calibration start button 760 is pressed, the process proceeds to step S611. .. In this case, the predictor creation device 100 sets parameters for calibrating the current predictor to the desired prediction basis characteristics.
  • the user can select either the quantitative expected characteristic setting or the qualitative expected characteristic setting from the presentation screen 700 on the presentation screen 700. Therefore, when the "quantitative expected characteristic" is selected in the expected characteristic setting area 740, the quantitative expected characteristic setting screen 800 shown in FIG. 8 is displayed in step S611, and the "qualitative expected characteristic” is selected. In step S611, the qualitative expected characteristic setting screen 900 shown in FIG. 9 is displayed.
  • FIG. 8 is an explanatory diagram showing an example of the quantitative expected characteristic setting screen 800 according to the first embodiment.
  • the quantitative expected characteristic setting screen 800 includes a predictor characteristic presentation area 810, an attribute information selection area 720, an ensemble search setting area 730, an expected characteristic setting area 740, a quantitative expected characteristic setting area 820, a calibration start button 860, and an end button 870. Have.
  • the predictor characteristic presentation area 810 is an area for presenting a graph showing quantitative predictor characteristics.
  • the curves 811 and 812 and the effective section 813 are displayed on the PDP 711 in the predictor characteristic presentation area 810.
  • the quantitative expected characteristic setting area 820 is an area for setting the quantitative expected characteristic for the prediction basis characteristic.
  • "handwriting input”, “line segment input”, or “function input” can be selected.
  • FIG. 8 shows an example in which "handwriting input” is selected.
  • the user can directly input the curve 811 of the expected prediction basis characteristic to the PDP 711 in the predictor characteristic presentation area 810 via the input device 103 such as a mouse or a stylus.
  • the “approximate function” template in the quantitative expectation characteristic setting area 820 By selecting the "approximate function” template in the quantitative expectation characteristic setting area 820, a curve 812 function-approximate to fit the input curve 811 is obtained, and on the PDP711 in the predictor characteristic presentation area 810. Is displayed.
  • line segment input when “line segment input” is selected, it can be reflected and displayed on the PDP711 in the predictor characteristic presentation area 810 by setting the start point and end point of the line segment.
  • the data acquisition unit 210 may directly set the start point and the end point as real numbers in the quantitative expectation characteristic setting area 820 by the user operation, or specify the points on the PDP 711 in the predictor characteristic presentation area 810 with a mouse or a stylus. You may take it in. Further, the data acquisition unit 210 can input a plurality of line segments by user operation, and can give expected prediction basis characteristics as a curve composed of a plurality of line segments.
  • the "effective interval” indicates an interval (effective interval 813) in which the expected prediction basis characteristic is effective.
  • the "weight” is a parameter indicating how strongly the quantitative characteristic set here is considered, and is usually given as a real value larger than zero. In FIG. 8, it is shown as ⁇ .
  • the "weight” input here is managed as the weight 432 of the data management unit 240.
  • the "allowable explanatory error” is a characteristic of the explanatory score that the ensemble predictor should achieve.
  • the index of "allowable explanation error” is given by calculating the RMSE etc. within the "effective interval" for the expected explanation score obtained from the curve of the expected prediction basis characteristic and the explanation score of the ensemble predictor after calibration. ..
  • the expected explanation score is obtained by calculating the explanation score on the curve 812 of the expected prediction basis characteristic corresponding to the value of each feature amount of each sample included in the training data in the parameter extraction unit 250.
  • the “threshold value 2” is set as the permissible explanatory error 433.
  • the "allowable explanation error” input here is managed as the allowable explanation error 433 of the data management unit 240.
  • the calibration start button 860 is a button for starting calibration with the input data 201 set on the quantitative expectation characteristic setting screen 800 by pressing. That is, the quantitative constraint information 401, 402, 403, ... Which is the input data 201 is registered in the quantitative constraint information table 410 as the quantitative expected prediction basis characteristic regarding the feature quantity, and the weight 432 and the allowable explanation error 433 are constraints. It is registered in the parameter information table 430 and the calibration is started.
  • the end button 870 is a button for ending the setting on the quantitative expectation characteristic setting screen 800 by pressing.
  • FIG. 9 is an explanatory diagram showing an example of the qualitative expected characteristic setting screen 900 according to the first embodiment.
  • the qualitative expected characteristic setting screen 900 includes a predictor characteristic presentation area 910, an attribute information selection area 720, an ensemble search setting area 730, an expected characteristic setting area 740, an expected qualitative characteristic setting area 920, a calibration start button 960, and an end button 970. Have.
  • the predictor characteristic presentation area 910 is an area for presenting a graph showing qualitative predictor characteristics.
  • the PDP 711 in the predictor characteristic presentation area 910 displays qualitative characteristics such as the constraint type (for example, monotonicity +) 911 and the effective interval 912.
  • the expected qualitative characteristic setting area 920 is an area in which qualitative expected characteristics can be set for the prediction basis characteristics.
  • Constraint type indicates the type of qualitative characteristic to be set.
  • the tendency of the expected prediction basis characteristic such as positive monotonicity (monotonicity +) or negative monotonicity (monotonicity-) with respect to the specified feature amount for the explanatory score.
  • FIG. 9 shows an example in which positive monotonicity is set as the constraint type 911.
  • the "allowable explanatory error” is a characteristic of the explanatory score that the ensemble predictor should achieve. Since the index of allowable explanatory error in qualitative characteristics is represented by the number of samples that do not meet the set qualitative expected characteristics, the number of samples that do not meet the expected characteristics within the set “effective interval” is calculated. It can be obtained by.
  • the "effective interval” and the “weight” are the same as the items in the quantitative expected characteristic setting area 820, so the description thereof will be omitted. Items set in the expected qualitative characteristic setting area 920 such as “constraint type” and “effective interval” are reflected and visualized on the PDP 711 in the predictor characteristic presentation area 910. This enables the user to visually understand the contents of the set expected characteristics.
  • the calibration start button 960 is a button for starting calibration with the input data 201 set on the qualitative expectation characteristic setting screen 900 by pressing. That is, the qualitative constraint information 441 to 444, which is the input data 201, is registered in the qualitative constraint information table 420 as the qualitative expected prediction basis characteristic regarding the feature amount, and the weight 432 and the allowable explanation error 433 are set in the constraint parameter information table 430. It is registered in and the calibration is started.
  • the end button 970 is a button for ending the setting on the qualitative expectation characteristic setting screen 900 by pressing.
  • the parameter extraction unit 250 receives the calibration setting information 213. It is converted into a data format for storage in the data management unit 240 and output as extraction parameter information 251.
  • the means for setting the expected characteristics in the predictor described so far was the means for setting the global tendency of the prediction basis characteristics, that is, the means for calibrating the prediction basis characteristics for the global explanation.
  • the means for calibrating the prediction basis characteristics for the global explanation there are cases where it is desired to set the expected prediction basis characteristics individually for each sample.
  • the predictor generator 100 has means for setting expected characteristics for individual samples. This corresponds to a means of proofreading predictive basis characteristics for local explanations. The user can set the expected characteristics for each data through the data expected characteristics setting screen shown in FIG.
  • FIG. 10 is an explanatory diagram showing an example of the data expected characteristic setting screen according to the first embodiment.
  • the data expected characteristic setting screen 1000 is displayed when the expected characteristic setting button 750 shown in FIG. 7 is pressed in step S604, and the expected characteristic for each data can be set for the predictor in step S611.
  • the data expected characteristic setting screen 1000 has an overall expected characteristic setting area 1010, a data unit expected characteristic setting area 1020, a calibration start button 1060, and a cancel button 1070.
  • the overall expected characteristic setting area 1010 is an area in which the expected characteristic can be set by directly editing the calibration parameter information table 400 shown in FIG.
  • the calibration parameter information table 400 is managed by the data management unit 240 as constraint information rather than the expected prediction basis characteristic. This is because the information regarding the expected prediction basis characteristic for the user appears as the constraint information to be satisfied for the predictor creation device 100, and there is no difference between the information regarding the expected prediction basis characteristic and the constraint information.
  • the expected prediction basis for the overall characteristics of the same ensemble predictor (that is, the value of the binding group ID 314 is “eg1”) as the predictor used in the description of the quantitative expectation characteristic setting screen 800 and the qualitative expectation characteristic setting screen 900.
  • An example of setting the characteristics is shown.
  • the overall expected characteristic setting area 1010 has a quantitative characteristic setting area 1011, a qualitative characteristic setting area 1012, and a constraint parameter setting area 1013.
  • the quantitative characteristic setting area 1011 is an area in which the quantitative constraint information table 410 can be directly edited and quantitative expected characteristics can be set.
  • the qualitative characteristic setting area 1012 is an area in which the qualitative constraint information table 420 can be directly edited and qualitative expected characteristics can be set.
  • the constraint parameter setting area 1013 is an area in which the constraint parameter information table 430 can be directly edited and auxiliary parameters such as a weight 432 and an allowable explanation error 433 for each constraint can be set.
  • the data unit expected characteristic setting area 1020 is an area that can be set by directly editing the expected prediction basis characteristic for each sample, and the expected prediction basis characteristic for a desired sample can be set by designating the sample ID 412.
  • the expected prediction basis characteristic for the sample in which the value of the sample ID 412 is “s1” is shown.
  • the explanatory graph 1021 is an area that can be presented as a graph (bar graph in FIG. 10) that visually represents the explanatory score (score 1022) of each feature amount in the sample specified by the sample ID 412.
  • the score 1022 is an area in which the explanatory score of each feature amount in the sample specified by the sample ID 412 can be presented numerically.
  • Quantitative 1023 is a region in which quantitative expected characteristics can be set.
  • the expected explanation score for "feature amount 1" is set as "0", and "feature amount 2" and “feature amount 3" are set.
  • An example is shown in which the expected explanation score is set to "-" (not set).
  • the column of the quantification 1023 corresponds to the setting of the expected characteristic for the row in which the value of the sample ID 412 is "s1" in the quantification constraint information table 410 of the quantification characteristic setting area 1011.
  • the qualitative 1024 is an area in which qualitative expected characteristics can be set.
  • expected characteristics are set in which the scores 1022 are "maximum” and “minimum” for “feature amount 2" and “feature amount 3", respectively.
  • An example is shown.
  • the maximum explanatory score is “feature amount 2”
  • the minimum explanatory score is “feature amount 3” for the row in which the value of sample ID 412 is "s1" in the qualitative constraint information table 420 of the qualitative characteristic setting area 1012. Corresponds to setting.
  • the calibration start button 1060 is a button for starting calibration with the contents set on the data expectation characteristic setting screen 1000 by pressing.
  • the cancel button 1070 is a button for canceling the setting on the qualitative expectation characteristic setting screen 900 and returning to the presentation screen 700 of FIG. 7 by pressing the button.
  • the calibration parameter setting (step S611) is executed by using the quantitative expected characteristic setting screen 800 of FIG. 8, the qualitative expected characteristic setting screen 900 of FIG. 9, or the data expected characteristic setting screen 1000 of FIG.
  • the expected prediction basis characteristics for the feature quantity are acquired.
  • the predictor creation device 100 determines the coupling coefficient for each single predictor by the predictor calibration unit 260 (step S612). Specifically, for example, the predictor creation device 100 includes extraction parameter information 251 output by the parameter extraction unit 250 in the calibration parameter setting (step S611) and management target predictor information 242 from the data management unit 240. Based on this, the coupling coefficient for each single predictor is determined. For example, the coupling coefficient for each simple substance predictor is determined based on the following equations (1) to (7).
  • M (x i ) ⁇ k ⁇ k M k (x i ) ... (1)
  • k is an integer from 1 to 100.
  • the above equation (1) shows the relationship between the predicted value M of the ensemble predictor to be created, the predicted value M k of the kth simple substance predictor, and the coupling coefficient ⁇ k .
  • xi is the i-th training data in the training data set 202, and is managed in association with the sample ID 412. That is, M (x i ) is the predicted value of the ensemble predictor for the training data x i , and M k (x i ) is the predicted value of the kth single predictor for the training data x i .
  • R (x i ) ⁇ k ⁇ k R k (x i ) ... (2)
  • k is an integer from 1 to 100.
  • the above equation (2) shows the relationship between the vector (that is, the explanatory vector) R based on the explanatory score of the ensemble predictor to be created, the explanatory vector R k of the kth simple substance predictor, and its coupling coefficient ⁇ k .
  • R (x i ) is an explanatory vector of the ensemble predictor for the training data x i
  • R k (x i ) is an explanatory vector of the kth single predictor for the training data x i
  • the explanatory vector R has the same number of dimensions as the number of features of the predictor.
  • J 1 which is an objective function (also called a loss function) regarding the prediction error of the ensemble predictor.
  • M i is a predicted value of the ensemble predictor for the i-th training data x i , and is equivalent to M (x i ).
  • Y i is the correct answer value for the i-th training data x i .
  • L is a function for calculating the norm, and an L2 norm or the like can be used. That is, L (Mi i -Y i ) indicates the norm for the difference between the predicted value and the correct answer value for the i-th training data x i .
  • the above equation ( 4 ) shows the loss function (or normalization term) J2 regarding the quantitative prediction basis characteristics of the ensemble predictor.
  • R i and f are explanatory scores for the f-th feature quantity of the ensemble predictor in the i-th training data x i .
  • the ensemble predictor is a basic ensemble predictor (eg1)
  • Ri and f predict the 100 predictors (p1, p2, ..., P100) constituting the basic ensemble predictor (eg1).
  • the explanation score is for the f-th feature amount in the i-th training data x i .
  • Z is an expected explanation score managed as the expected explanation score information 413 in the quantitative constraint information table 410, and Z i and f are expected explanation scores for the f-th feature amount in the i-th training data x i .
  • Z i, f. Is "7.2".
  • ⁇ is a weight 432 for the constraint managed as the constraint parameter information table 430
  • ⁇ i and f are weights 432 for the explanation error of the f-th feature amount in the i-th training data x i .
  • the explanation error is a norm of the difference between the current explanation score and the expected explanation score, and is expressed as L (R i, f ⁇ Z i, f ).
  • the above equation ( 5 ) shows the loss function (or normalization term) J3 regarding the constraint between the maximum explanation score and the minimum explanation score, which is a qualitative prediction basis characteristic of the ensemble predictor.
  • C 1 is a function that returns a non-zero value when the set maximum or minimum explanation score constraint is not met.
  • the expected prediction basis characteristic that the explanation score R i, f'for the f'th feature quantity is the maximum or the minimum for the i-th training data x i is given, it is compared with R i, f . It is assumed that it is a simple function that returns "0" if the characteristic is satisfied and "1" if the characteristic is not satisfied. Of course, it may be a function that returns the difference between Ri , f and Ri, f'when it is not satisfied. Information about the f'th feature amount to be restricted is managed as expected qualitative characteristic information 422 in the qualitative constraint information table 420.
  • the expected qualitative characteristic information 422 is the "maximum explanatory score" (the qualitative constraint ID 421 is “d1")
  • the i-th training data x i is the sample ID 412 is "s2”. If so, the f'th feature amount is "feature amount 1", and Ri and f'are the explanatory scores for "feature amount 1" in which the sample ID 412 is “s1" and are compared with Ri and f . ..
  • the above equation ( 6 ) shows the loss function (or normalization term) J4 relating to the constraint of monotonicity, which is a qualitative prediction basis characteristic of the ensemble predictor.
  • C 2 is a function that returns a non-zero value when the set positive or negative monotonic constraint is not met.
  • the f-th feature of the i-th training data x i and the f-th feature of the j-th training data x j are Fi, f , F j, and f , respectively. be.
  • F i, f is smaller than F j, f
  • R i, f is larger than R j, f
  • the constraint is not satisfied, so C 2 (R i, f , R j, f ) is “1”.
  • R i, f is smaller than R j, f
  • C 2 (R i, f , R j, f ) returns “0”.
  • other functions may be used for C 2 .
  • the constraint information of the prediction basis characteristic regarding the monotonicity is managed as the qualitative constraint information table 420.
  • the above equation (7) shows an equation for calculating the coupling coefficient vector ⁇ .
  • ⁇ is a vector having the same number of dimensions as the number of coupling predictors (that is, 100 from ⁇ 1 to ⁇ 100 ).
  • ⁇ is an effective coefficient included in the extraction parameter information 251, and is set to “1” when the constraint of the target loss function is set and “0” when the constraint is not set.
  • ⁇ 1 is a prediction error
  • ⁇ 2 is a quantitative prediction basis characteristic
  • ⁇ 3 is a constraint between the maximum explanation score and the minimum explanation score, which are qualitative prediction basis characteristics
  • ⁇ 4 is monotonous, which is a qualitative prediction basis characteristic.
  • ⁇ is the effective coefficient of the loss function for sexual constraints. That is, ⁇ is given as a coupling coefficient vector that minimizes the right side of the above equation (7), and the coupling coefficient ⁇ k can be calculated easily and at high speed by a partial differential solution method for the coupling coefficient ⁇ k . In this way, the coupling coefficient ⁇ k of the new ensemble predictor created by the predictor calibration unit 260 is determined.
  • the predictor creation device 100 generates a new ensemble predictor by setting the determined coupling coefficient ⁇ k for each predictor of the basic ensemble predictor by the predictor calibration unit 260 (step S613).
  • the created ensemble predictor information is output to the predictor analysis unit 230 and the data management unit 240 as post-calibration predictor information 261.
  • the predictor creation device 100 executes the predictor characteristic analysis of the ensemble predictor created in step S613 by the predictor analysis unit 230 (step S614). Specifically, for example, the predictor creation device 100 calculates an accuracy score for the test data set 203 and an explanatory score for the training data set 202, as in step S603.
  • the predictor creation device 100 calculates a prediction error (accuracy score) and an explanatory error for the ensemble predictor, and the allowable prediction error 324 and the allowable explanatory error included in the extraction parameter information 251 sent from the parameter extraction unit 250. With reference to 433, it is evaluated whether the accuracy score and the explanatory score of the created ensemble predictor each achieve the desired characteristics.
  • the predictor creation device 100 stores these analysis results (analysis result information 231) in the data management unit 240 as prediction accuracy characteristic information and prediction basis characteristic information, respectively.
  • the predictor creation device 100 refers to the analysis result information 231 obtained in step S613, and determines whether the accuracy score and the explanatory score of the created ensemble predictor have each achieved the desired characteristics (step S620). If the desired characteristic is achieved or the set maximum number of searches is reached, the predictor generator 100 presents the analysis result to the user, assuming that the termination condition is satisfied (step S620: Yes). And output one or more ensemble predictors (or their parameters) created at the same time to end the process.
  • step S620 determines whether the desired characteristics have not been achieved and the set maximum number of searches has not been reached.
  • the predictor creation device 100 is based on a method of perturbing a random parameter (at least one of a user-specified training data set 202 and a machine learning model hyperparameter) set in the random parameter setting area 540 in step S601. , Update the value of the random parameter (step S621).
  • the predictor creation device 100 reconfigures the ensemble predictor (step S622). Specifically, for example, the predictor creation device 100 creates an additional number of predictors based on the updated random parameters whose values have been updated in step S621. Next, the predictor creation device 100 adds a new single predictor group used for the ensemble predictor from a plurality of predictors based on the predictor selection method set in the ensemble search setting area 730 in step S611. Extract. Then, the predictor creation device 100 adds the extracted new single predictor group to the existing ensemble predictor. This reconstructs the ensemble predictor. The reconstructed ensemble predictor is set as a new calibration target ensemble predictor.
  • the predictor creation device 100 sends the extracted information on the new single predictor group as the predictor information 221 to the predictor analysis unit 230 and the data management unit 240, and returns to step S612.
  • the coupling coefficient of the new calibration target ensemble predictor is recalculated in step S612 and reset in step S613.
  • the predictor creation device in predicting the correct answer value, the predictor creation device combines the predictors that capture the different viewpoints inherent in the training data, so that the ensemble that more appropriately captures the entire event. You can create a predictor. Further, since the predictor creation device 100 differentiates the objective function for each connection coefficient of the ensemble predictor, the explanatory score and the function of the machine learning model can be treated as constants. Therefore, the explanatory scores and the functions of the machine learning model do not have to be differentiable. That is, according to the first embodiment, it is possible to calibrate the prediction basis of the predictor for any explanatory score and any machine learning model.
  • Example 2 shows a predictor creation device 100 using input data (training data, test data) in a data format different from that of Example 1.
  • the input data used in Example 1 is structured data such as table data, and in Example 1, expected prediction basis characteristics are set for a predictor whose input data is structured data.
  • some predictors use unstructured data such as image data instead of structured data as input data.
  • FIGS. 11 to 13 means for setting expected prediction basis characteristics for a predictor having unstructured data as input data will be described with reference to FIGS. 11 to 13.
  • Example 2 since the difference from Example 1 is explained, the same content as Example 1 will be omitted.
  • FIG. 11 is an explanatory diagram showing an example of a presentation screen of the analysis result information 231 according to the second embodiment.
  • the presentation screen 1100 has a predictor characteristic presentation area 1110, an attribute information selection area 1120, an ensemble search setting area 730, an expected characteristic setting area 740, an expected characteristic setting button 750, a calibration start button 760, and an end button 770.
  • the predictor characteristic presentation area 1110 is an area for presenting the characteristics of the predictor to the user, and here, as an example, the characteristics of the predictor for determining that the soccer ball 1112 is in the image data 1111 are shown. That is, the predictor outputs "1" when it is determined that there is a soccer ball 1112, and outputs "0" when it is determined that there is no soccer ball 1112.
  • the feature amount corresponds to each pixel in the image data 1111.
  • the expected prediction basis characteristic is set for each pixel. It is also inefficient to do. Therefore, here, a method is used in which the image data 1111 is divided into areas for each object by segmentation processing, and the expected prediction basis characteristics are set for each area.
  • the "explanatory score” is represented by a heat map using colors, shades, brightness, transparency, etc. on the image data 1111.
  • a positive explanatory score is assigned to the volleyball 1113 (referred to as the area ID 1) and the soccer ball 1112 (referred to as the area ID 2).
  • Prediction accuracy indicates the prediction accuracy of the specified predictor
  • number of join models indicates the number of single predictors included in the ensemble predictor of the designated join group ID 314.
  • the attribute information selection area 1120 is an area in which the predictor presented in the predictor characteristic presentation area 1110 and its attribute information can be selected.
  • the "sample ID” is a setting item for designating the image data 1111 presented in the predictor characteristic presentation area 1110. Here, the image data 1111 having the value of the sample ID 412 of "s10" is set.
  • the presentation screen 1100 is a user interface presented in step S604 for a predictor having image data 1111 as an input.
  • FIG. 12 is an explanatory diagram showing an example of the quantitative expected characteristic setting screen according to the second embodiment.
  • the quantitative expected characteristic setting screen 1200 is a user interface for setting the quantitative expected characteristic of the predictor that inputs the image data 1111.
  • the quantitative expected characteristic setting screen 1200 has a predictor characteristic presentation area 1110, an expected characteristic presentation area 1210, an attribute information selection area 1120, an ensemble search setting area 730, an expected characteristic setting area 740, and a quantitative expected characteristic setting area 1220. ..
  • the expected characteristic presentation area 1210 is an area for visually presenting the expected prediction basis characteristic set in the quantitative expected characteristic setting area 1220.
  • the quantitative expected characteristic setting area 1220 is displayed in FIG. 11 when the quantitative characteristic is selected in the expected characteristic setting area 740.
  • the quantitative expected characteristic setting area 1220 is an area for setting a quantitative expected characteristic (that is, a quantitative characteristic) for the prediction basis characteristic of the image data 1111.
  • the "target area” is an area for setting the quantitative characteristic on the image data 1111
  • the predictor characteristic presentation area 1110 can be used by inputting an area ID or using an input device 103 such as a mouse. It is set by specifying the position on the image data 1111 with the cursor.
  • an example in which "region ID 1" (that is, volleyball 1113) is set is shown.
  • the "expected explanation score” is an explanation score assigned to the "target area” as the expected prediction basis characteristic, and is given as a real number.
  • the "expected explanation score” is set as "0" (that is, irrelevant to the judgment). Shows.
  • the "weight” is a parameter indicating how strongly the set quantitative characteristic is considered, and is usually given as a real value larger than zero.
  • " ⁇ " is used as an example.
  • the "allowable explanatory error” is a characteristic of the explanatory score that the ensemble predictor should achieve.
  • the index of the explanatory error can be given by calculating the RMSE or the like in the "target area” for the set expected explanatory score and the explanatory score of the ensemble predictor after calibration.
  • the quantitative expectation characteristic setting screen 1200 is a user interface presented in step S611 for a predictor having image data 1111 as an input.
  • FIG. 13 is an explanatory diagram showing an example of the qualitative expected characteristic setting screen according to the second embodiment.
  • the qualitative expected characteristic setting screen 1300 is a user interface for setting the qualitative expected characteristic of the predictor that inputs the image data 1111.
  • the qualitative expected characteristic setting screen 1300 has a predictor characteristic presentation area 1110, an expected characteristic presentation area 1210, an attribute information selection area 1120, an ensemble search setting area 730, an expected characteristic setting area 740, and an expected qualitative characteristic setting area 1310.
  • the expected qualitative characteristic setting area 1310 is displayed in FIG. 11 when the qualitative characteristic is selected in the expected characteristic setting area 740.
  • the area ID 2 that is, the soccer ball 1112
  • the target area is set as the “target area”.
  • the "constraint type” indicates the type of qualitative characteristic to be set.
  • the explanatory score of the area of the soccer ball 1112 should be higher than that of the other areas. Therefore, here, an example in which the "maximum explanatory score" (expected characteristic (or constraint)) is set in the “constraint type” is shown.
  • the setting result here is reflected and presented in the expected characteristic presentation area 1210 including the setting result of the quantitative expected characteristic setting area 1220. This facilitates the user to visually understand the setting status of the expected prediction basis characteristic.
  • the qualitative expectation characteristic setting screen 1300 is a user interface presented in step S611 for a predictor having image data 1111 as an input.
  • the expected prediction basis characteristic can be set even for a predictor having unstructured data as input data such as image data 1111.
  • predictor creating device 100 can be configured as described in (1) to (13) below.
  • the predictor creation device 100 includes a processor 101 that executes a program and a storage device 102 that stores the program, and the processor 101 is a training data set that is a combination of training data and correct answer data.
  • the first acquisition process (step S602) for acquiring a calibration target ensemble predictor (basic ensemble predictor) in which a plurality of predictors based on 202 are combined, and prediction regarding the feature amount of the training data for each of the plurality of predictors.
  • the calculation process (step S603) for calculating the basis characteristic and the result of outputting the prediction basis characteristic (specified by the prediction basis characteristic ID 312) regarding the feature amount calculated by the calculation process (quantitative expected characteristic setting screen 800, qualitative).
  • Expected characteristic setting screen 900 the second acquisition process (step S604, step S610, step S611) for acquiring the expected prediction basis characteristic for the feature amount based on the prediction basis characteristic for the feature amount, and the prediction basis characteristic for the feature amount.
  • the plurality of predictors of the plurality of predictors are executed. do.
  • the processor 101 performs the calibration based on the prediction basis characteristic regarding the feature amount and the expected prediction basis characteristic regarding the feature amount.
  • a loss function (J 2 , J 3 or J 4 ) relating to the prediction basis characteristics of the target ensemble predictor is calculated, and the coupling coefficient of the plurality of predictors is calculated based on the loss function (J 2 , J 3 or J 4 ). Determine ⁇ k .
  • the processor 101 has a quantitative expected prediction basis characteristic (quantitative constraint information 401, 402, 403, ...) With respect to the feature quantity.
  • the processor 101 quantitatively determines the calibration target ensemble predictor based on the prediction basis characteristic regarding the feature amount and the quantitative expected prediction basis characteristic regarding the feature amount.
  • the loss function J 2 related to the prediction basis characteristic is calculated, and the coupling coefficient ⁇ k of the plurality of predictors is determined based on the loss function J 2 .
  • the processor 101 acquires a quantitative expected prediction basis characteristic regarding the feature amount input (handwritten input) by a user operation. do.
  • the processor 101 in the second acquisition process, has an effective range of the feature amount set by a user operation, a prediction basis characteristic related to the feature amount, and a prediction basis characteristic. Based on the above, the quantitative expected prediction basis characteristics regarding the feature amount are acquired.
  • the processor 101 outputs a quantitative expected prediction basis characteristic regarding the feature amount (data expected characteristic setting screen 1000).
  • the modified quantitative expected prediction basis characteristic regarding the feature amount is acquired, and in the determination process, the processor 101 has the prediction basis characteristic regarding the feature amount and the quantitative expected prediction basis characteristic regarding the feature amount.
  • the loss function J 2 is calculated, and the coupling coefficient ⁇ k of the plurality of predictors is determined based on the loss function J 2 .
  • the processor 101 acquires qualitative expected prediction basis characteristics (qualitative constraint information 441 to 444) regarding the feature amount.
  • the processor 101 relates to the qualitative prediction basis characteristic of the calibration target ensemble predictor based on the prediction basis characteristic regarding the feature amount and the qualitative expected prediction basis characteristic regarding the feature amount.
  • a loss function (J 3 or J 4 ) is calculated, and the coupling coefficient ⁇ k of the plurality of predictors is determined based on the loss function (J 3 or J 4 ).
  • the loss function relating to the qualitative prediction basis characteristic relates to the constraint of the maximum value (maximum explanation score) and the minimum value (minimum explanation score) of the prediction basis characteristic.
  • the loss function J3 .
  • the loss function relating to the qualitative prediction basis characteristic is the loss function J4 relating to the monotonic constraint of the prediction basis characteristic.
  • the processor 101 outputs the qualitative expected prediction basis characteristic regarding the feature amount (data expected characteristic setting screen 1000), and the corrected feature amount.
  • the processor 101 acquires the qualitative expected prediction basis characteristic with respect to the feature amount, and the processor 101 has the loss function based on the prediction basis characteristic regarding the feature amount and the qualitative expected prediction basis characteristic with respect to the feature amount.
  • J 3 or J 4 is calculated, and the coupling coefficient ⁇ k of the plurality of predictors is determined based on the loss function (J 3 or J 4 ).
  • the training data is unstructured data (image data 1111), and in the acquisition process, the processor 101 is calculated by the calculation process.
  • the prediction basis characteristics related to the feature amount and the unstructured data quantitative expected characteristic setting screen 1200
  • a specific area sacer ball 1112, volleyball 1113
  • Quantitative expected prediction basis characteristics for the feature amount based on the prediction basis characteristics for the feature amount are acquired.
  • the processor 101 is set as the calibration target ensemble predictor by adding one or more predictors to the ensemble predictor calibrated by the calibration process.
  • the processor 101 executes the setting process (step S622) to be performed, and the processor 101 is based on the prediction basis characteristics of each of the plurality of predictors included in the calibration target ensemble predictor set by the setting process.
  • the coupling coefficient of each of the plurality of predictors is determined, and in the calibration process, the processor 101 determines the calibrated target ensemble predictor based on the coupling coefficient of each of the plurality of predictors determined by the determination process. To calibrate.
  • the processor 101 uses the calibrated ensemble predictor until the calibrated ensemble predictor satisfies a predetermined condition (step S620). Set to.
  • the present invention is not limited to the above-mentioned embodiment, but includes various modifications and equivalent configurations within the scope of the attached claims.
  • the above-mentioned examples have been described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described configurations.
  • a part of the configuration of one embodiment may be replaced with the configuration of another embodiment.
  • the configuration of another embodiment may be added to the configuration of one embodiment.
  • other configurations may be added, deleted, or replaced with respect to a part of the configurations of each embodiment.
  • each configuration, function, processing unit, processing means, etc. described above may be realized by hardware by designing a part or all of them by, for example, an integrated circuit, and the processor 101 performs each function. It may be realized by software by interpreting and executing the program to be realized.
  • Information such as programs, tables, and files that realize each function is recorded in a memory, hard disk, storage device such as SSD (Solid State Drive), or IC (Integrated Circuit) card, SD card, DVD (Digital Versaille Disc). It can be stored in a medium.
  • SSD Solid State Drive
  • IC Integrated Circuit
  • SD card Digital Card
  • DVD Digital Versaille Disc
  • control lines and information lines show what is considered necessary for explanation, and do not necessarily show all the control lines and information lines necessary for mounting. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

プログラムを実行するプロセッサと、プログラムを記憶する記憶デバイスと、を有する予測器作成装置は、訓練データと正解データとの組み合わせである訓練データセットに基づく複数の予測器を結合した校正対象アンサンブル予測器を取得し、複数の予測器の各々について訓練データの特徴量に関する予測根拠特性を算出し、算出された特徴量に関する予測根拠特性を出力した結果、特徴量に関する予測根拠特性に基づく特徴量に関する期待予測根拠特性を取得し、特徴量に関する予測根拠特性と、特徴量に関する期待予測根拠特性と、に基づいて、複数の予測器の各々の結合係数を決定し、結合係数に基づいて校正対象アンサンブル予測器を校正する。

Description

予測器作成装置、および予測器作成方法 参照による取り込み
　本出願は、令和２年（２０２０年）１２月９日に出願された日本出願である特願２０２０－２０４０２８の優先権を主張し、その内容を参照することにより、本出願に取り込む。
　本発明は、予測器を作成する予測器作成装置、および予測器作成方法に関する。
　近年、深層ニューラルネット、勾配ブースティングなどの機械学習手法により作成した予測器（予測モデルまたはＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）とも呼ばれる）が社会の様々な業務に適用される動向がある。特に社会的影響が大きい業務にこれら技術を適用するには、予測器の高い予測精度に加え、予測根拠の妥当性（または納得性とも呼ばれる）が重要である。
　画像データから皮膚がんの良性と悪性を判定する予測器を例に挙げる。この予測器にテストデータを与えた場合の精度は非常に高かったとする。その予測に最も影響を与えている要素が腫瘍のそばに絆創膏が映っているか否かであることを分かった時、その予測器を信頼して実応用に適用することは困難である。このように、予測根拠の妥当性は、訓練データやテストデータの範囲を超えた現実世界においても、その予測器の予測結果を信頼できるか否かを判断するための極めて重要な要素である。
　予測根拠の妥当性を評価する手法としては、予測器への各入力値（特徴量とも称する）が予測結果へ与えた影響の度合い（以下、説明スコアと称する）を可視化する手法が一般的である。説明スコアにはシャープレイ値などがある。
　通常、予測器の予測精度を評価し、精度が所望の性能を達成していることを確認した後に予測根拠が評価される。ここで、予測根拠が所望の特性になっていないとき、予測根拠特性を改善（または校正）する手段が必要になる。
　予測根拠を校正する技術として、下記非特許文献１がある。非特許文献１は、ニューラルネットについて、モデル学習時の目的関数に予測根拠に対する正規化項（ペナルティ項とも称する）を設定することで、予測根拠（または説明スコア）の特性を考慮したニューラルネットの係数パラメータを決定する技術を開示する。
Ｍｏｒｉｔｚ　Ｈａｒｄｔ　ｈｏｋａ，「ＩＮＴＥＲＰＲＥＴＡＴＩＯＮＳ　ＡＲＥ　ＵＳＥＦＵＬ　ＰＥＮＡＬＩＺＩＮＧ　ＥＸＰＬＡＮＡＴＩＯＮＳ　ＴＯ　ＡＬＩＧＮ　ＮＥＵＲＡＬ　ＮＥＴＷＯＲＫＳ　ＷＩＴＨ　ＰＲＩＯＲ　ＫＮＯＷＬＥＤＧＥ」，３７ｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ　（ＩＣＭＬ２０２０），２０２０年７月.
　非特許文献１の技術は、モデル学習時の目的関数に正規化項を加えるため、ニューラルネットなど微分可能な機械学習モデルにしか適用できない。また、同様の理由により、非特許文献１の技術は、微分可能な説明スコアしか適用できないため、シャープレイ値など主要な説明スコアへは適用できない。説明スコアには様々な種類があり、どれを用いるかは予測器の開発者ではなく予測器の購入者が決める事項であるため、使用できる説明スコアに制限があることは実用上大きな課題となる。このように、従来の予測根拠を校正する技術にはその汎用性に課題がある。
　本発明は、予測器の予測根拠特性の改善を図ることを目的とする。
　本願において開示される発明の一側面となる予測器作成装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する予測器作成装置であって、前記プロセッサは、訓練データと正解データとの組み合わせである訓練データセットに基づく複数の予測器を結合した校正対象アンサンブル予測器を取得する第１取得処理と、前記複数の予測器の各々について前記訓練データの特徴量に関する予測根拠特性を算出する算出処理と、前記算出処理によって算出された前記特徴量に関する予測根拠特性を出力した結果、前記特徴量に関する予測根拠特性に基づく前記特徴量に関する期待予測根拠特性を取得する第２取得処理と、前記特徴量に関する予測根拠特性と、前記第２取得処理によって取得された前記特徴量に関する期待予測根拠特性と、に基づいて、前記複数の予測器の各々の結合係数を決定する決定処理と、前記決定処理によって決定された結合係数に基づいて前記校正対象アンサンブル予測器を校正する校正処理と、を実行することを特徴とする。
　本発明の代表的な実施の形態によれば、予測器の予測根拠特性の改善を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図１は、実施例１にかかる予測器作成装置のハードウェア構成例を示すブロック図である。 図２は、図１に示した予測器作成装置の機能的構成例を示すブロック図である。 図３は、実施例１にかかる管理情報の一例を示す説明図である。 図４は、実施例１にかかる校正パラメータ情報テーブルの一例を示す説明図である。 図５は、実施例１にかかる設定画面例を示す説明図である。 図６は、実施例１にかかる予測器作成装置による予測器作成処理手順例を示すフローチャートである。 図７は、実施例１にかかる分析結果情報の提示画面例を示す説明図である。 図８は、実施例１にかかる定量期待特性設定画面の一例を示す説明図である。 図９は、実施例１にかかる定性期待特性設定画面の一例を示す説明図である。 図１０は、実施例１にかかるデータ期待特性設定画面の一例を示す説明図である。 図１１は、実施例２にかかる分析結果情報の提示画面例を示す説明図である。 図１２は、実施例２にかかる定量期待特性設定画面の一例を示す説明図である。 図１３は、実施例２にかかる定性期待特性設定画面の一例を示す説明図である。
　以下、実施例１にかかる予測器作成装置について説明する。同じ予測値でも予測根拠が異なる予測器が沢山存在するという現象がある。これはある事象を予測するにあたり、現実世界の複雑さに対して観測できるデータの量と質が十分でなく、また学習モデルの複雑さも十分でないために、各予測器は事象全体のごく一部の観点しか捉えることができないことに起因する。
　この現象は一般的には次元の呪いなど困った問題として扱われるが、本実施例にかかる予測器作成装置は、この現象を積極的に利用してモデルの予測根拠を改善する。すなわち、予測器作成装置は、２つ以上の予測器群のアンサンブルが所望の予測根拠特性に近づくように、目的関数へ予測根拠に対する正規化項を与え、そのアンサンブルの結合係数を決定する。すなわち、正解値を予測するにあたり、予測器作成装置が、訓練データに内在する異なる観点を捉えた予測器を組み合わせることで、より事象全体を適切に捉えた予測器を作成することを意味する。
　実施例１にかかる予測器作成装置は、目的関数を各特徴量について微分するのではなく、目的関数をアンサンブルの各結合係数について微分する。これにより、予測器作成装置は、説明スコアや機械学習モデルの関数を定数として扱うことができる。そのため、これらは微分可能である必要はない。すなわち、実施例１にかかる予測器作成装置を適用することによって、任意の説明スコアと任意の機械学習モデルについて、予測器の予測根拠を校正することが可能になる。以下、添付図面を用いて詳細に説明する。
　＜予測器作成装置のハードウェア構成例＞
　図１は、実施例１にかかる予測器作成装置のハードウェア構成例を示すブロック図である。予測器作成装置１００は、プロセッサ１０１と、記憶デバイス１０２と、入力デバイス１０３と、出力デバイス１０４と、通信インタフェース（通信ＩＦ）１０５と、を有する。プロセッサ１０１、記憶デバイス１０２、入力デバイス１０３、出力デバイス１０４、および通信ＩＦ１０５は、バス１０６により接続される。プロセッサ１０１は、予測器作成装置１００を制御する。記憶デバイス１０２は、プロセッサ１０１の作業エリアとなる。また、記憶デバイス１０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス１０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス１０３は、データを入力する。入力デバイス１０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナ、マイクがある。出力デバイス１０４は、データを出力する。出力デバイス１０４としては、たとえば、ディスプレイ、プリンタ、スピーカがある。通信ＩＦ１０５は、ネットワークと接続し、データを送受信する。
　＜予測器作成装置の機能的構成例＞
　図２は、図１に示した予測器作成装置１００の機能的構成例を示すブロック図である。予測器作成装置は、データ取得部２１０と、予測器取得部２２０と、予測器分析部２３０と、データ管理部２４０と、パラメータ抽出部２５０と、予測器校正部２６０と、を有する。これらは、具体的には、たとえば、図１に示した記憶デバイス１０２に記憶されたプログラムを、プロセッサ１０１に実行させることにより実現される。
　データ取得部２１０は、予測器作成装置１００外から入力データ２０１を取得し、予測器作成装置１００内に入力し、予測器作成装置１００内からデータを取得し、予測器作成装置１００の出力デバイス１０４または通信ＩＦ１０５を介して出力データ２０５として出力する。
　データ取得部２１０は、ユーザが与えた入力データ２０１を取り込み、入力データ２０１に基づいて予測器作成装置１００が処理した結果を出力データ２０５として出力する。入力データ２０１には、予測器の生成に関する生成設定情報２１２と予測器の校正に関する校正設定情報２１３とが含まれる。生成設定情報２１２は、予測器取得部２２０に出力される。校正設定情報２１３は、パラメータ抽出部２５０に出力される。出力データ２０５には、予測器の状態に関する情報と分析結果に関する情報が含まれ、これらはデータ管理部２４０から送られる管理情報２４１に基づいて生成される。
　予測器取得部２２０は、データ取得部２１０からの生成設定情報２１２に基づいて、予測器を生成するための機械学習パラメータを決定し、訓練データセット２０２を用いて複数の予測器を生成する。予測器取得部２２０は、複数の予測器を、通信ＩＦ１０５を介して外部から読み込んでもよい。予測器は、たとえば、機械学習パラメータが設定されたニューラルネットワークまたは決定木である。なお、後述するアンサンブル予測器と区別するために、アンサンブルではない予測器を、「単体予測器」と称することがある。
　予測器取得部２２０は、複数の単体予測器を平均化したアンサンブル予測器を生成する。予測器取得部２２０は、アンサンブル予測器を、通信ＩＦ１０５を介して外部から読み込んでもよい。このアンサンブル予測器は、予測器校正部２６０により校正されていないため、基本アンサンブル予測器と称す。基本アンサンブル予測器は、複数の単体予測器の各出力層を結合したアンサンブル予測器であり、各単体予測器の結合係数は同一の値とする。たとえば、複数の単体予測器の数が１００個であれば、各単体予測器の結合係数は、０．０１である。複数の単体予測器および基本アンサンブル予測器をまとめて、予測器群と称す。
　予測器取得部２２０は、予測器群の予測器ごとの機械学習パラメータ（基本アンサンブル予測器についての結合係数も含む）とニューラルネットワーク（または決定木）との組み合わせを、予測器情報２２１として、予測器分析部２３０とデータ管理部２４０に出力する。また、予測器取得部２２０は、訓練データセット２０２をデータ管理部２４０へ格納する。
　予測器分析部２３０は、訓練データセット２０２とテストデータセット２０３を用いて、予測器の予測精度特性と予測根拠特性とを分析する。訓練データセット２０２とは、サンプルごとの、予測器に入力される訓練データ（複数の特徴量で構成される）と、訓練データに対応する正解データと、の組み合わせである。テストデータセット２０３は、サンプルごとの、予測器に入力されるテストデータと、テストデータに対応する正解データと、の組み合わせである。予測器分析部２３０の分析対象となる予測器は、予測器取得部２２０からの予測器情報２２１、または予測器校正部２６０からの校正後予測器情報２６１として取得される。
　予測器の予測精度特性は、たとえば、予測器にテストデータを適用した場合に予測器から出力される予測値と、テストデータに対応する正解データと、を比較して精度スコアである。より具体的には、たとえば、精度スコアは、回帰問題の場合は二乗平均平方根誤差（ＲＭＳＥとも呼ばれる）で、分類問題の場合は正解率である。その他、予測器分析部２３０は、予測器による予測値と正解データとをそれぞれ縦軸と横軸に設定した散布図を作成して、予測精度特性を分析してもよい。
　予測器の予測根拠特性は、たとえば、予測器に訓練データを適用した場合に予測器から出力される予測値に対する各特徴量の説明スコア（寄与度とも呼ばれる）であり、様々な観点でのプロットを作成することにより分析される。
　より具体的には、たとえば、説明スコアは、シャープレイ値である。予測根拠特性を分析するためのプロットには、予測器に、あるサンプルの訓練データを適用した場合に得られる予測値に対して、当該サンプルの各特徴量の説明スコア（寄与度）がどれだけかを棒グラフで表示するプロット（実施例１では説明グラフと称する。図１０を参照）がある。説明グラフは、予測に対するローカル説明と呼ばれる。
　また、その他のプロットとして、予測器に全サンプルの訓練データを適用した場合に得られる予測値群に対して、全サンプルの各特徴量がどのように寄与しているかの傾向を分析するためのＰａｒｔｉａｌ　Ｄｅｐｅｎｄｅｎｃｅ　Ｐｌｏｔ（以下、ＰＤＰ）がある。ＰＤＰは、任意の特徴量を横軸に設定し、その特徴量の説明スコア（寄与度）を縦軸に設定して、訓練データの全サンプルについて設定した特徴量と説明スコアの関係をプロットすることで得られる。ＰＤＰは、予測に対するグローバル説明と呼ばれる。
　予測器分析部２３０は、予測器を分析した分析結果情報２３１を、データ管理部２４０に格納する。また、予測器分析部２３０は、パラメータ抽出部２５０から送られた抽出パラメータ情報２５１に含まれる許容予測誤差と許容説明誤差とを参照し、校正後予測器情報２６１に含まれる校正後予測器の精度スコアと説明スコアとがそれぞれ所望の特性を達成しているか評価する。ここで、精度スコアに関する評価結果は、予測精度特性に関する分析結果の一部として、分析結果情報２３１に含まれる。また、説明スコアに関する評価結果は、予測根拠特性に関する分析結果の一部として、分析結果情報２３１に含まれる。
　データ管理部２４０は、訓練データセット２０２、予測器取得部２２０から予測器情報２２１、予測器分析部２３０から分析結果情報２３１、パラメータ抽出部２５０から抽出パラメータ情報２５１、および予測器校正部２６０から校正後予測器情報２６１を取得し、必要な情報を管理情報２４１としてデータ取得部２１０に出力する。また、データ管理部２４０は、管理対象予測器情報２４２を予測器校正部２６０に出力する。
　パラメータ抽出部２５０は、データ取得部２１０から送られた校正設定情報２１３から予測根拠特性に対する制約情報など予測器校正に関するパラメータを抽出する。抽出されたパラメータは、抽出パラメータ情報２５１として、予測器分析部２３０、データ管理部２４０と予測器校正部２６０に出力される。
　予測器校正部２６０は、パラメータ抽出部２５０からの抽出パラメータ情報２５１と、データ管理部１６０からの管理対象予測器情報２４２と、に基づいて、所望の予測根拠特性に近づくように複数の予測器に対する結合係数を決定し、それらを線形結合した新たな予測器を作成する。
　なお、このような複数の予測器を結合して新たな予測器を作成する手法はアンサンブル法と呼ばれる。予測器校正部２６０は、アンサンブル法によって作成した予測器（アンサンブル予測器と称す）を構成する機械学習パラメータ、ニューラルネットワーク（または決定木）、および結合係数の組み合わせを校正後予測器情報２６１として、予測器分析部２３０とデータ管理部２４０に出力する。また、校正後予測器情報２６１は、校正された予測器として予測器作成装置１００外へも出力可能である。
　＜管理情報＞
　つぎに、データ管理部２４０が管理する管理情報２４１について、図３および図４を用いて説明する。
　図３は、実施例１にかかる管理情報２４１の一例を示す説明図である。管理情報２４１は、データ管理部２４０によって保持される。管理情報２４１は、データ管理部２４０が有する予測器情報２２１と、分析結果情報２３１と、抽出パラメータ情報２５１と、校正後予測器情報２６１と、を関連づける。
　具体的には、たとえば、管理情報２４１は、予測器管理情報３１０と、アンサンブル管理情報３２０と、を有する。予測器管理情報３１０は、予測器情報２２１と分析結果情報２３１とを関連付ける情報である。アンサンブル管理情報３２０は、抽出パラメータ情報２５１と校正後予測器情報２６１とを関連づける情報である。
　予測器管理情報３１０は、フィールドとして、予測器ＩＤ３１１、予測根拠特性ＩＤ３１２、予測精度特性ＩＤ３１３、および結合グループＩＤ３１４を有する。同一行の各フィールドの値の組み合わせが、予測器の特性を規定するエントリとなる。
　予測器ＩＤ３１１は、予測器取得部２２０で取得された単体の予測器（以下、単体予測器とも称する）、または予測器校正部２６０で作成された校正後予測器（すなわち、アンサンブル予測器）を一意に特定する識別情報である。
　実施例１では、単体予測器の予測器ＩＤ３１１の値を「ｐ１」、「ｐ２」、…とし、アンサンブル予測器の予測器ＩＤ３１１の値を「ｅｐ１」、「ｅｐ２」、…とする。以降、アンサンブル予測器の予測器ＩＤ３１１の値に限らず、アンサンブル予測器に関する情報には「ｅ」が先頭に付与されるものとする。
　予測根拠特性ＩＤ３１２は、分析結果情報２３１として入力された各予測器の予測根拠特性に関する分析結果を一意に特定する識別情報である。実施例１では、単体予測器およびアンサンブル予測器の予測根拠特性（たとえば、特徴量ごとの説明スコア）の予測根拠特性ＩＤ３１２をそれぞれ、「ｒ１」、「ｒ２」、…および「ｅｒ１」、「ｅｒ２」、…とする。
　予測精度特性ＩＤ３１３は、分析結果情報２３１として入力された各予測器の予測精度特性に関する分析結果を一意に特定する識別情報である。本実施例では、単体予測器およびアンサンブル予測器の予測精度特性（たとえば、精度スコア）の予測精度特性ＩＤ３１３をそれぞれ、「ａ１」、「ａ２」、…および「ｅａ１」、「ｅａ２」、…とする。
　結合グループＩＤ３１４は、アンサンブル予測器として結合した予測器群である結合グループを一意に特定する識別情報である。結合グループＩＤ３１４は、アンサンブル予測器の予測器ＩＤ３１１に対して割り振られる。
　アンサンブル管理情報３２０は、フィールドとして、結合グループＩＤ３１４、結合予測器数３２１、結合予測器ＩＤ３２２、制約ＩＤ３２３、許容予測誤差３２４、および結合係数３２５を有する。同一行の各フィールドの値の組み合わせが、アンサンブル予測器の特徴を規定するエントリとなる。
　結合予測器数３２１は、アンサンブルによって結合された単体予測器の個数である。結合予測器ＩＤ３２２は、アンサンブルによって結合された単体予測器の予測器ＩＤ３１１の値の一覧である。
　制約ＩＤ３２３は、制約を一意に特定する識別情報である。制約とは、アンサンブル予測器の予測根拠特性が、ユーザが期待する予測根拠特性（期待予測根拠特性とも称する）に近づくように設定された条件である。制約ＩＤ３２３は、校正パラメータ情報テーブル４００（図４で後述）に含まれる。
　許容予測誤差３２４は、アンサンブル予測器が達成すべき精度スコアを示す情報である。回帰問題では二乗平均平方根誤差（ＲＭＳＥ）、分類問題では正解率が精度スコアとして適用される。結合係数３２５は、アンサンブルに用いられた予測器の各々に割り当てられた係数である。
　＜校正パラメータ情報テーブル＞
　図４は、実施例１にかかる校正パラメータ情報テーブルの一例を示す説明図である。校正パラメータ情報テーブル４００は、予測器を校正するための制約情報であり、後述する図８および図９の画面入力により、データ管理部２４０に登録される。校正パラメータ情報テーブル４００は、具体的には、たとえば、定量制約情報テーブル４１０、定性制約情報テーブル４２０、および制約パラメータ情報テーブル４３０により構成される。
　定量制約情報テーブル４１０は、予測器の根拠特性を校正するための定量的な制約情報を有し、たとえば、フィールドとして、定量制約ＩＤ４１１、サンプルＩＤ４１２、期待説明スコア情報４１３を有する。
　定量制約ＩＤ４１１は、定量制約情報４０１、４０２、４０３、…を一意に特定する識別情報である。すなわち、行方向に配列した定量制約ＩＤ４１１の各値「ｃ１」、「ｃ２」、「ｃ３」、…の各列が、定量制約情報４０１、４０２、４０３、…を示す。
　サンプルＩＤ４１２は、訓練データセット２０２の個々のサンプルを一意に特定する識別情報であり、実施例１では、サンプルＩＤ４１２の列に示す「ｓ１」、「ｓ２」、…がサンプルＩＤ４１２の値である。
　期待説明スコア情報４１３は、行方向に配列された訓練データが有する特徴量群（たとえば、サンプルが被験者であれば、特徴量１が身長、特徴量２が体重、特徴量３が血糖値、…）の各特徴量の列方向に配列された、サンプルＩＤ４１２で特定される各サンプルのアンサンブル予測器の予測結果に対する特徴量の望ましい説明スコア（すなわち、期待説明スコア）の列である。期待説明スコア情報４１３の各スコアは、実数値または設定なし（本実施例では“―”と表記）で与えられる。
　たとえば、定量制約ＩＤ４１１の値「ｃ１」で特定される定量制約情報４０１は、「特徴量１」についての各サンプルの期待値スコア列（０．０，７．２，…）を有する情報である。定量制約ＩＤ４１１の値「ｃ２」で特定される定量制約情報４０２は、「特徴量２」についての各サンプルの期待値スコア列（―（設定なし），－２．２，…）を有する情報である。定量制約ＩＤ４１１の値「ｃ３」で特定される定量制約情報４０３は、「特徴量３」についての各サンプルの期待値スコア列（―（設定なし），―（設定なし），…）を有する情報である。
　定量制約情報４０１、４０２、４０３、…は、具体的には、たとえば、後述する図８の定量期待特性設定画面８００において、ユーザ操作により設定される。
　定性制約情報テーブル４２０は、予測器の根拠特性を校正するための定性的な制約情報を有し、たとえば、フィールドとして、定性制約ＩＤ４２１、サンプルＩＤ４１２、期待定性特性情報４２２を有する。定性制約ＩＤ４２１は、定性制約情報４４１～４４４を一意に特定する識別情報である。すなわち、行方向に配列した定性制約ＩＤ４２１の各値「ｄ１」、「ｄ２」、「ｄ３」、「ｄ４」の各列が、定性制約情報４４１～４４４を示す。
　期待定性特性情報４２２は、それぞれ定性制約情報４４１～４４４ごとの期待特性（すなわち期待定性特性）を示す情報であり、具体的には、たとえば、行方向に、期待定性特性情報４２２の値として「最大説明スコア」、「最小説明スコア」、「単調性＋」、および「単調性－」が配列され、「最大説明スコア」、「最小説明スコア」、「単調性＋」、および「単調性－」の列方向に、サンプルごとの期待特性の値となる特徴量が規定されている。
　定性制約情報４４１は、予測根拠特性の「最大説明スコア」に対する定性的な制約を示す期待定性特性である。具体的には、たとえば、定性制約情報４４１は、サンプルＩＤ４１２が「ｓ１」の訓練データについては、「特徴量２」の説明スコアが最大となり、サンプルＩＤ４１２が「ｓ２」の訓練データについては、「特徴量１」の説明スコアが最大となるという定性的な制約である。
　同様に、定性制約情報４４２は、予測根拠特性の「最小説明スコア」に対する定性的な制約を示す期待定性特性である。具体的には、たとえば、定性制約情報４４２は、サンプルＩＤ４１２が「ｓ１」の訓練データについては、「特徴量３」の説明スコアが最小となり、サンプルＩＤ４１２が「ｓ２」の訓練データについては制約を設定しないという定性的な制約である。
　また、定性制約情報４４３は、予測根拠特性の「単調性＋」（正の単調性を意味する）に対する定性的な制約を示す期待定性特性である。具体的には、たとえば、定性制約情報４４３は、サンプルＩＤ４１２が「ｓ１」および「ｓ２」の訓練データについて、「特徴量１」の値が大きいほど説明スコアが大きくなるという定性的な制約である。
　同様に、定性制約情報４４４は、予測根拠特性の「単調性－」（負の単調性を意味する）に対する定性的な制約を示す期待定性特性である。具体的には、たとえば、定性制約情報４４４は、サンプルＩＤ４１２が「ｓ１」の訓練データについて制約を設定せず、サンプルＩＤ４１２が「ｓ２」の訓練データについては、「特徴量４」の値が小さいほど説明スコアが小さくなるという定性的な制約である。
　定性制約情報４４１～４４４は、具体的には、たとえば、後述する図９の定性期待特性設定画面９００において、ユーザ操作により設定される。
　制約パラメータ情報テーブル４３０は、各制約に対する補助パラメータを示す情報を有し、たとえば、フィールドとして、制約ＩＤ３２３、重み４３２、許容説明誤差４３３を有する。
　制約ＩＤ３２３は、定量制約ＩＤ４１１および定性制約ＩＤ４２１を含む。重み４３２は、制約ＩＤ４３１で特定される各制約情報に対する重要度を示す。重み４３２の値が大きいほど、校正後の予測器であるアンサンブル予測器において当該制約情報を満たしやすくなる。
　許容説明誤差４３３は、アンサンブル予測器が達成すべき説明スコアの特性を示す情報である。定量的制約情報では予測器の訓練データに対する説明スコアとその期待説明スコアの二乗平均平方根誤差（ＲＭＳＥ）が指標として適用される。また、定性的制約情報では、訓練データについて予測器の説明スコアの定性的特性がその期待定性特性を満たさなかったサンプル数が指標として適用される。
　重み４３２および許容説明誤差４３３は、具体的には、たとえば、後述する図９の定性期待特性設定画面９００において、ユーザ操作により設定される。
　＜設定画面例＞
　図５は、実施例１にかかる設定画面例を示す説明図である。設定画面５００は、出力デバイス１０４であるディスプレイに表示される。設定画面５００は、ユーザが生成設定情報２１２を設定するための画面である。設定画面５００は、データ設定領域５１０、特徴量設定領域５２０、モデル設定領域５３０、ランダムパラメータ設定領域５４０、出力設定領域５５０、および生成開始ボタン５６０を有する。
　データ設定領域５１０は、予測器を作成するために予測器作成装置１００が使用する訓練データセット２０２またはテストデータセット２０３のいずれかをラジオボタンで指定する領域である。訓練データセット２０２として読み込まれるファイルは、テストデータセット２０３として読み込まれるファイルと同一ファイルでもよく、異なるファイルでもよい。また、同一ファイルである場合、訓練データセット２０２が指定されると、予測器作成装置１００たとえば、ファイル内の８０％のデータを訓練データセット２０２として読み込み、テストデータセット２０３が指定されると当該ファイル内の残余の２０％のデータをテストデータセット２０３として読み込んでもよい。
　特徴量設定領域５２０は、訓練データまたはテストデータとして予測器に入力される特徴量と予測対象となる目的変数（すなわち、正解データ）とをラジオボタンで指定する領域である。たとえば、「全部使用」が指定された場合、データ設定領域５１０で指定したデータセットのうち、訓練データまたはテストデータ内のすべての特徴量が読み込まれる。「一部使用」が指定された場合、データ設定領域５１０で指定したデータセットのうち、訓練データまたはテストデータ内の一部の特徴量が読み込まれる。一部の特徴量は、あらかじめ設定されており、ユーザが任意に変更可能である。
　モデル設定領域５３０は、作成する予測器のベースとなる機械学習モデルのタイプをラジオボタンで選択する領域である。図５では、例として、「Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ」と「ＸＧＢｏｏｓｔ」から１以上のタイプが選択可能である。
　ランダムパラメータ設定領域５４０は、異なる特性の予測器を作成するために摂動を与えるパラメータを設定する領域である。図５では、訓練データセット２０２と機械学習モデルのハイパーパラメータの両方について、摂動を与える例を示している。摂動を与える手法の例として、予測器作成装置１００は、訓練データセット２０２に対しては重複を許したランダムなサンプリングによって、作成対象となる予測器ごとに異なる訓練データセット２０２を作成し、機械学習モデルに適用する。ハイパーパラメータに対しては、予測器作成装置１００は、ハイパーパラメータ探索の初期状態をランダムな値にする。本例では乱数シードとして特定の乱数発生パターンを示す「１」が設定されている。
　出力設定領域５５０は、予測器取得部２２０で取得する予測器の出力パラメータを設定する領域である。図５の例では、１００個の予測器を作成するように設定されている。また、モデル設定領域５３０で複数の機械学習モデルを選択した場合は、機械学習モデルごとに、「作成予測器数」を設定することができる。
　生成開始ボタン５６０が、ユーザにより押下されると、予測器作成装置１００は、データ設定領域５１０、特徴量設定領域５２０、モデル設定領域５３０、ランダムパラメータ設定領域５４０、および出力設定領域５５０で設定された生成設定情報２１２に従って、予測器の生成を開始する。
　＜予測器作成処理手順例＞
　図６は、実施例１にかかる予測器作成装置１００による予測器作成処理手順例を示すフローチャートである。予測器作成装置１００は、図５に示した設定画面５００に設定された生成設定情報２１２を、生成開始ボタン５６０の押下により取得する（ステップＳ６０１）。
　つぎに、予測器作成装置１００は、生成設定情報２１２に基づいて、予測器取得部２２０により複数（出力設定領域５５０の例では、１００個）の予測器を取得する（ステップＳ６０２）。また、ステップＳ６０２において、予測器作成装置１００は、作成された複数（出力設定領域５５０の例では、１００個）の予測器を平均化した基本アンサンブル予測器（予測器ＩＤ３１１の値は「ｅｐ１」、結合グループＩＤ３１４の値は「ｅｇ１」、結合係数３２５はそれぞれ「０．０１」）を、校正対象アンサンブル予測器として取得する。予測器取得部２２０は、取得した複数の単体予測器および基本アンサンブル予測器である予測器群についての予測器情報２２１（基本アンサンブル予測器についての結合係数３２５も含む）を、予測器分析部２３０とデータ管理部２４０とに出力する。
　つぎに、予測器作成装置１００は、予測器分析部２３０により、ステップＳ６０２で作成した予測器群の各予測器について特性分析処理を実行する（ステップＳ６０３）。具体的には、たとえば、予測器分析部２３０は、予測器群の予測器（基本アンサンブル予測器含む）ごとに、テストデータセット２０３に対する二乗平均平方根誤差（ＲＭＳＥ）などの精度スコアと、訓練データセット２０２に対するシャープレイ値などの特徴量ごとの説明スコアとを、分析結果情報２３１として算出する。なお、予測器分析部２３０は、分析結果情報２３１を外部から取得してもよい。
　予測器分析部２３０は、分析結果情報２３１をデータ管理部２４０に格納する。これにより、データ管理部２４０は、予測器ＩＤ３１１ごとに、精度スコアを予測精度特性として予測精度特性ＩＤ３１３に関連付けて、特徴量ごとの説明スコアを予測根拠特性として予測根拠特性ＩＤ３１２に関連付けて、記憶デバイス１０２に格納する。
　つぎに、予測器作成装置１００は、ステップＳ６０３での分析結果情報２３１を、データ取得部２１０を介してユーザへ提示する（ステップＳ６０４）。データ取得部２１０は、データ管理部２４０から予測器管理情報３１０およびアンサンブル管理情報３２０を管理情報２４１として取得し、予測器の予測精度特性と予測根拠特性とを示す提示画面を表示可能に出力する。
　図７は、実施例１にかかる分析結果情報２３１の提示画面例を示す説明図である。提示画面７００は、出力デバイス１０４であるディスプレイに表示される。提示画面７００は、予測器特性提示領域７１０、属性情報選択領域７２０、アンサンブル探索設定領域７３０、期待特性設定領域７４０、期待特性設定ボタン７５０、校正開始ボタン７６０、および終了ボタン７７０を有する。
　予測器特性提示領域７１０は、予測器の特性をユーザへ提示する領域であり、図７では、ＰＤＰ７１１と、予測精度特性として予測器の「予測誤差（ＲＭＳＥ）」と、「結合モデル数」と、を提示する例を示す。図７に示したＰＤＰ７１１は、予測根拠特性として「特徴量１」に対する説明スコアの傾向を可視化したグラフである。どの特徴量についてＰＤＰ７１１を表示するかは、属性情報選択領域７２０で選択可能である。
　属性情報選択領域７２０は、予測器特性提示領域７１０で提示する予測器とその属性情報とを選択可能な領域である。図７では、基本アンサンブル予測器（結合グループＩＤ３１４の値が「ｅｇ１」）と、その特徴量１が選択されている例を示す。属性情報選択領域７２０において、「全体特性」とは、アンサンブル予測器そのものの特性を提示するための選択項目である。
　属性情報選択領域７２０において、「個別特性」とは、アンサンブル予測器に含まれる単体予測器の特性を提示するための選択項目である。「個別特性」に予測器ＩＤ３１１を指定することで所望の単体予測器の特性が提示され、「個別特性」に複数の予測器ＩＤ３１１を指定した場合には指定された単体予測器に対する結合係数を考慮したアンサンブル予測器の特性が提示される。
　図７では、属性情報選択領域７２０において、「結合グループＩＤ」が「ｅｇ１」で、「全体特性」が選択されているため、予測器特性提示領域７１０のＰＤＰ７１１でプロットされている各説明スコアは、基本アンサンブル予測器（ｅｇ１）を構成する１００個の予測器（ｐ１，ｐ２，…，ｐ１００）の予測根拠特性ＩＤ３１２（ｒ１，ｒ２，…，ｒ１００）で特定される予測根拠特性の値（説明スコア）である。
　アンサンブル探索設定領域７３０は、より良いアンサンブル予測器を探索するためのパラメータを設定する領域である。アンサンブル探索設定領域７３０において、「最大探索回数」は、予測器校正部２６０で作成されるアンサンブル予測器が所望の特性を満たさなかったときに、予測器取得部２２０での予測器の追加作成を最大何回繰り返すかを設定するパラメータである。図７ではＮ回（Ｎは１以上の整数）に設定されている。
　予測器を追加作成する度に単体予測器の個数が増加する。すべての予測器を用いることは可能であるが、アンサンブルに用いる予測器の数を制限したいケースがある。アンサンブル探索設定領域７３０の「予測器選択」は、そのようなケースでの予測器のサンプリング方法を選択する設定項目である。図７では、「予測器選択」として「ランダム」が選択されているが、「単体予測器の精度が高い順」、または「すべての予測器の使用」など、様々なサンプリング方法が設定可能である。
　アンサンブル探索設定領域７３０において、「結合予測器数」は、「予測器選択」で設定したサンプリング方法で取り出す予測器の個数を設定する項目である。「予測器選択」で「すべての予測器の使用」を選択した場合には入力する必要はない。図７ではＭ個（Ｍは１以上の整数）に設定されている。
　アンサンブル探索設定領域７３０において、「許容予測誤差」は、アンサンブル予測器が達成すべき精度スコアであり、精度スコアの下限値または目標値とも表現できる。ここで入力した「許容予測誤差」の値は、のちに許容予測誤差３２４としてデータ管理部２４０で管理される。実施例１では、「許容予測誤差」を「閾値１」と表現して設定する例を示している。
　期待特性設定領域７４０は、予測器校正部２６０で作成（または校正）する予測器に期待予測根拠特性を設定する領域である。期待特性設定領域７４０では、定量的な期待特性（定量特性）と定性的な期待特性（定性特性）とのいずれかを選択可能である。
　期待特性設定ボタン７５０は、期待特性を設定するためのボタンである。期待特性設定ボタン７５０が押下されると、図１０に示すデータ期待特性設定画面が表示される。校正開始ボタン７６０は、提示画面７００で設定した内容で校正を開始するボタンである。終了ボタン７７０は、予測器作成処理を終了して、予測器群についての予測器情報２２１（または機械学習パラメータ）を出力するためのボタンである。
　図６に戻り、予測器作成装置１００は、データ取得部２１０により、ステップＳ６０４で提示画面７００をユーザに提示した結果、予測根拠特性（説明スコア）が適切であるか否かの提示画面７００への入力を待ち受ける（ステップＳ６１０）。データ取得部２１０が予測根拠特性（説明スコア）は適切であるという入力を提示画面７００から取得した場合（ステップＳ６１０：Ｙｅｓ）、たとえば、終了ボタン７７０が押下された場合、予測器作成装置１００は、予測器群についての予測器情報２２１（または機械学習パラメータ）を出力して、一連の処理を終了する。
　一方、データ取得部２１０が予測根拠特性（説明スコア）は適切でないという入力を提示画面から取得した場合（ステップＳ６１０：Ｎｏ）、たとえば、校正開始ボタン７６０が押下された場合、ステップＳ６１１に移行する。この場合、予測器作成装置１００は、現在の予測器を所望の予測根拠特性に校正するためのパラメータ設定を行う。
　実施例１では予測根拠特性を校正する手段として、ユーザは、提示画面７００において、定量的な期待特性の設定と定性的な期待特性の設定のいずれかを提示画面７００から選択することができる。したがって、期待特性設定領域７４０において「定量期待特性」が選択されている場合は、ステップＳ６１１において、図８に示す定量期待特性設定画面８００が表示され、「定性期待特性」が選択されている場合は、ステップＳ６１１において、図９に示す定性期待特性設定画面９００が表示される。
　図８は、実施例１にかかる定量期待特性設定画面８００の一例を示す説明図である。定量期待特性設定画面８００は、予測器特性提示領域８１０、属性情報選択領域７２０、アンサンブル探索設定領域７３０、期待特性設定領域７４０、定量期待特性設定領域８２０、校正開始ボタン８６０、および終了ボタン８７０を有する。
　予測器特性提示領域８１０は、定量的な予測器特性を示すグラフを提示する領域である。図８では、予測器特性提示領域８１０内のＰＤＰ７１１に、曲線８１１，８１２、有効区間８１３が表示されている。
　定量期待特性設定領域８２０は、予測根拠特性について定量的な期待特性を設定する領域である。定量特性を与える手段として、「手書き入力」、「線分入力」、または「関数入力」が選択可能である。図８では、「手書き入力」が選択された例を示す。「手書き入力」が選択された場合、ユーザはマウスやタッチペンなどの入力デバイス１０３を介して直接的に予測器特性提示領域８１０内のＰＤＰ７１１に期待予測根拠特性の曲線８１１を入力することができる。定量期待特性設定領域８２０で「近似関数」のひな型を選択することで、入力された曲線８１１にフィットするように関数近似された曲線８１２が得られ、予測器特性提示領域８１０内のＰＤＰ７１１上に表示される。
　また、「線分入力」が選択された場合、線分の始点と終点を設定することで予測器特性提示領域８１０内のＰＤＰ７１１に反映して表示することができる。データ取得部２１０は、ユーザ操作により、始点および終点を、定量期待特性設定領域８２０で実数として直接設定してもよいし、予測器特性提示領域８１０内のＰＤＰ７１１上の点をマウスやタッチペンで指定して取り込んでもよい。また、データ取得部２１０は、ユーザ操作により、線分を複数入力でき、複数の線分からなる曲線として期待予測根拠特性を与えることもできる。
　また、「関数入力」が選択された場合、定量期待特性設定領域８２０で「近似関数」のひな型を選択することで、予測器特性提示領域８１０内のＰＤＰ７１１上に表示されているデータにフィットするように関数近似された曲線が得られ、予測器特性提示領域８１０内のＰＤＰ７１１上に表示される。「近似関数」のひな型として、例えば一次関数や二次関数などを選択できる。
　定量期待特性設定領域８２０において、「有効区間」は、期待予測根拠特性が有効となる区間（有効区間８１３）を示している。対象となる特徴量とその説明スコアの特性について、有識者が有するドメイン知識を自信のある領域区間についてのみ設定することで、不確かな領域区間での誤った予測根拠特性を設定することを回避できる。したがって、アンサンブル予測器の予測精度特性と予測根拠特性の改善を促進することができる。定量期待特性設定領域８２０では、「有効区間」の始点を「ｘ１」、終点を「ｘ２」として示す。
　定量期待特性設定領域８２０において、「重み」は、ここで設定した定量特性をどれだけ強く考慮するかを示すパラメータであり、通常はゼロより大きな実数値で与えられる。図８では、λとして示す。ここで入力した「重み」は、データ管理部２４０の重み４３２として管理される。
　定量期待特性設定領域８２０において、「許容説明誤差」は、アンサンブル予測器が達成すべき説明スコアの特性である。「許容説明誤差」の指標は、期待予測根拠特性の曲線から得られる期待説明スコアと校正後のアンサンブル予測器の説明スコアとについて、「有効区間」内でのＲＭＳＥなどを算出することによって与えられる。
　ここで、期待説明スコアは、パラメータ抽出部２５０にて、訓練データに含まれる各サンプルの各特徴量の値に対応する期待予測根拠特性の曲線８１２上の説明スコアを算出することで得られる。図８では、許容説明誤差４３３として「閾値２」が設定されている。ここで入力した「許容説明誤差」は、データ管理部２４０の許容説明誤差４３３として管理される。
　校正開始ボタン８６０は、押下により、定量期待特性設定画面８００で設定された入力データ２０１で校正を開始するためのボタンである。すなわち、入力データ２０１である定量制約情報４０１、４０２、４０３、…が特徴量に関する定量的な期待予測根拠特性として、定量制約情報テーブル４１０に登録されて、重み４３２および許容説明誤差４３３が、制約パラメータ情報テーブル４３０に登録されて、校正が開始される。終了ボタン８７０は、押下により、定量期待特性設定画面８００での設定を終了するためのボタンである。
　図９は、実施例１にかかる定性期待特性設定画面９００の一例を示す説明図である。定性期待特性設定画面９００は、予測器特性提示領域９１０、属性情報選択領域７２０、アンサンブル探索設定領域７３０、期待特性設定領域７４０、期待定性特性設定領域９２０、校正開始ボタン９６０、および終了ボタン９７０を有する。
　予測器特性提示領域９１０は、定性的な予測器特性を示すグラフを提示する領域である。図９では、予測器特性提示領域９１０内のＰＤＰ７１１に、制約タイプ（例として、単調性＋）９１１や有効区間９１２のような定性特性が表示されている。
　期待定性特性設定領域９２０は、予測根拠特性について定性的な期待特性を設定可能な領域である。「制約タイプ」は、設定する定性的な特性のタイプを示す。ここでは、説明スコアについて指定した特徴量に対する正の単調性（単調性＋）や負の単調性（単調性－）など、期待予測根拠特性の傾向の設定が可能である。図９では、制約タイプ９１１として、正の単調性が設定された例を示す。
　期待定性特性設定領域９２０において、「許容説明誤差」は、アンサンブル予測器が達成すべき説明スコアの特性である。定性特性における許容説明誤差の指標は、設定された定性的な期待特性を満たさないサンプルの数などで表されるため、設定された「有効区間」内における期待特性を満たさないサンプル数を算出することで得られる。
　期待定性特性設定領域９２０において、「有効区間」および「重み」は、定量期待特性設定領域８２０の項目と同一であるためその説明を省略する。「制約タイプ」や「有効区間」など期待定性特性設定領域９２０で設定した項目は、予測器特性提示領域９１０内のＰＤＰ７１１上に反映されて可視化される。これにより、設定した期待特性の内容をユーザが視覚的に理解することが可能になる。
　校正開始ボタン９６０は、押下により、定性期待特性設定画面９００で設定された入力データ２０１で校正を開始するためのボタンである。すなわち、入力データ２０１である定性制約情報４４１～４４４が特徴量に関する定性的な期待予測根拠特性として、定性制約情報テーブル４２０に登録されて、重み４３２および許容説明誤差４３３が、制約パラメータ情報テーブル４３０に登録されて、校正が開始される。終了ボタン９７０は、押下により、定性期待特性設定画面９００での設定を終了するためのボタンである。
　図８または図９により、データ取得部２１０が定量期待特性設定画面８００または定性期待特性設定画面９００への入力データ２０１を校正設定情報２１３として受け付けると、パラメータ抽出部２５０は、校正設定情報２１３をデータ管理部２４０に格納するためデータ形式に変換し、抽出パラメータ情報２５１として出力する。
　これまで説明した予測器へ期待特性を設定する手段は、予測根拠特性の大局的な傾向を設定する手段、すなわちグローバル説明に対する予測根拠特性の校正手段であった。これに対し、個々のサンプルについて個別に期待予測根拠特性を設定したいケースがある。
　たとえば、全体の予測根拠特性の傾向は不明だが、「この入力値を入れたとき、この特徴量の説明スコアはこれくらいになるはずである。」、または、「この特徴量の説明スコアが他の特徴量の説明スコアよりも大きくなっているはずである。」ということが、有識者が持つドメイン知識として分かっているケースである。そのようなケースに対応するために、予測器作成装置１００は個々のサンプルに対して期待特性を設定する手段を有している。これは、ローカル説明に対する予測根拠特性の校正手段に該当する。ユーザは、図１０に示すデータ期待特性設定画面を通じて、データごとの期待特性を設定することができる。
　図１０は、実施例１にかかるデータ期待特性設定画面の一例を示す説明図である。データ期待特性設定画面１０００は、ステップＳ６０４において、図７に示した期待特性設定ボタン７５０が押下されると表示され、ステップＳ６１１において予測器に対するデータごとの期待特性の設定が可能になる。データ期待特性設定画面１０００は、全体期待特性設定領域１０１０、データ単位期待特性設定領域１０２０、校正開始ボタン１０６０、およびキャンセルボタン１０７０を有する。
　全体期待特性設定領域１０１０は、図４に示した校正パラメータ情報テーブル４００を直接編集することで期待特性を設定可能な領域である。ここで、校正パラメータ情報テーブル４００は、期待予測根拠特性ではなく制約情報としてデータ管理部２４０で管理されている。これは、ユーザにとっての期待する予測根拠特性に関する情報は、予測器作成装置１００にとっては満たすべき制約情報として見えるためであり、期待予測根拠特性に関する情報と制約情報との間に違いはない。
　また、ここで、定量期待特性設定画面８００および定性期待特性設定画面９００の説明で用いた予測器と同じアンサンブル予測器（すなわち、結合グループＩＤ３１４の値が「ｅｇ１」）の全体特性について期待予測根拠特性を設定する例を示す。全体期待特性設定領域１０１０は、定量特性設定領域１０１１と、定性特性設定領域１０１２と、制約パラメータ設定領域１０１３と、を有する。
　定量特性設定領域１０１１は、定量制約情報テーブル４１０を直接編集し、定量的な期待特性を設定可能な領域である。定性特性設定領域１０１２は、定性制約情報テーブル４２０を直接編集し、定性的な期待特性を設定可能な領域である。制約パラメータ設定領域１０１３は、制約パラメータ情報テーブル４３０を直接編集し、各制約に対する重み４３２と許容説明誤差４３３などの補助パラメータを設定可能な領域である。
　データ単位期待特性設定領域１０２０は、サンプルごとに期待予測根拠特性を直接編集することで設定可能な領域であり、サンプルＩＤ４１２を指定することで所望のサンプルに対する期待予測根拠特性を設定できる。ここでは、サンプルＩＤ４１２の値が「ｓ１」のサンプルについて期待予測根拠特性を設定する例を示している。
　説明グラフ１０２１は、サンプルＩＤ４１２で指定したサンプルでの各特徴量の説明スコア（スコア１０２２）を視覚的に表現したグラフ（図１０では棒グラフ）で提示可能な領域である。スコア１０２２は、サンプルＩＤ４１２で指定したサンプルでの各特徴量の説明スコアを数値で提示可能な領域である。
　定量１０２３は、定量的な期待特性を設定可能な領域であり、ここでは、「特徴量１」についての期待説明スコアを“０”として設定し、「特徴量２」および「特徴量３」について期待説明スコアを“―”（未設定）としている例を示している。定量１０２３の列は、定量特性設定領域１０１１の定量制約情報テーブル４１０においてサンプルＩＤ４１２の値が「ｓ１」の行に対する期待特性の設定に対応する。
　定性１０２４は、定性的な期待特性を設定可能な領域であり、ここでは、「特徴量２」と「特徴量３」についてそれぞれスコア１０２２が「最大」、「最小」となる期待特性を設定している例を示している。定性１０２４の列は、定性特性設定領域１０１２の定性制約情報テーブル４２０においてサンプルＩＤ４１２の値が「ｓ１」の行について、最大説明スコアを「特徴量２」、最小説明スコアを「特徴量３」として設定することに対応する。
　校正開始ボタン１０６０は、押下により、データ期待特性設定画面１０００で設定された内容で校正を開始するためのボタンである。キャンセルボタン１０７０は、押下により、定性期待特性設定画面９００での設定をキャンセルして、図７の提示画面７００に戻るためのボタンである。
　以上のように、図８の定量期待特性設定画面８００、図９の定性期待特性設定画面９００または図１０のデータ期待特性設定画面１０００を用いることにより、校正パラメータ設定（ステップＳ６１１）が実行され、特徴量に関する期待予測根拠特性が取得される。
　図６に戻り、予測器作成装置１００は、予測器校正部２６０により、個々の単体予測器に対する結合係数を決定する（ステップＳ６１２）。具体的には、たとえば、予測器作成装置１００は、校正パラメータ設定（ステップＳ６１１）においてパラメータ抽出部２５０が出力した抽出パラメータ情報２５１と、データ管理部２４０からの管理対象予測器情報２４２と、に基づいて、個々の単体予測器に対する結合係数を決定する。たとえば、下記式（１）～（７）に基づいて、個々の単体予測器に対する結合係数が決定される。
　Ｍ（ｘｉ）＝ΣｋαｋＭｋ（ｘｉ）・・・・・（１）
　ただし、ｋは１から１００までの整数
　上記式（１）は、作成するアンサンブル予測器の予測値Ｍとｋ番目の単体予測器の予測値Ｍｋとその結合係数αｋの関係を示している。ｘｉは、訓練データセット２０２中のｉ番目の訓練データであり、サンプルＩＤ４１２と関連づけて管理される。すなわち、Ｍ（ｘｉ）は訓練データｘｉに対するアンサンブル予測器の予測値であり、Ｍｋ（ｘｉ）は訓練データｘｉに対するｋ番目の単体予測器の予測値である。
　Ｒ（ｘｉ）＝ΣｋαｋＲｋ（ｘｉ）・・・・・（２）
　ただし、ｋは１から１００までの整数
　上記式（２）は、作成するアンサンブル予測器の説明スコアによるベクトル（すなわち説明ベクトル）Ｒと、ｋ番目の単体予測器の説明ベクトルＲｋと、その結合係数αｋと、の関係を示している。すなわち、Ｒ（ｘｉ）は、訓練データｘｉに対するアンサンブル予測器の説明ベクトルであり、Ｒｋ（ｘｉ）は訓練データｘｉに対するｋ番目の単体予測器の説明ベクトルである。なお、説明ベクトルＲは、予測器の特徴量の数と同じ数の次元を有する。
　Ｊ１＝ΣｉＬ（Ｍｉ－Ｙｉ）・・・・・（３）
　上記式（３）は、アンサンブル予測器の予測誤差に関する目的関数（または損失関数とも呼ばれる）Ｊ１を示している。Ｍｉはｉ番目の訓練データｘｉに対するアンサンブル予測器の予測値であり、Ｍ（ｘｉ）と等価である。Ｙｉはｉ番目の訓練データｘｉに対する正解値である。Ｌはノルムを算出する関数であり、Ｌ２ノルムなどを用いることができる。すなわち、Ｌ（Ｍｉ－Ｙｉ）はｉ番目の訓練データｘｉに対する予測値と正解値の差分に対するノルムを示している。
　Ｊ２＝ΣｉΣｆλｉ，ｆＬ（Ｒｉ，ｆ－Ｚｉ，ｆ）・・・・・（４）
　上記式（４）は、アンサンブル予測器の定量的な予測根拠特性に関する損失関数（または正規化項）Ｊ２を示している。Ｒｉ，ｆはｉ番目の訓練データｘｉでのアンサンブル予測器のｆ番目の特徴量に対する説明スコアである。たとえば、アンサンブル予測器が基本アンサンブル予測器（ｅｇ１）であるとすると、Ｒｉ，ｆは、基本アンサンブル予測器（ｅｇ１）を構成する１００個の予測器（ｐ１，ｐ２，…，ｐ１００）の予測根拠特性ＩＤ３１２（ｒ１，ｒ２，…，ｒ１００）で特定される予測根拠特性の値（説明スコア）のうち、ｉ番目の訓練データｘｉ内のｆ番目の特徴量についての説明スコアとなる。
　Ｚは、定量制約情報テーブル４１０において期待説明スコア情報４１３として管理される期待説明スコアであり、Ｚｉ，ｆはｉ番目の訓練データｘｉでのｆ番目の特徴量に対する期待説明スコアである。たとえば、図４に示したように、ｉ番目の訓練データｘｉがサンプルＩＤ４１２を「ｓ２」とするサンプルで、かつ、ｆ番目の特徴量が「特徴量１」であれば、Ｚｉ，ｆは「７．２」である。
　λは、制約パラメータ情報テーブル４３０として管理される制約に対する重み４３２であり、λｉ，ｆは、ｉ番目の訓練データｘｉでのｆ番目の特徴量の説明誤差に対する重み４３２である。上記の例のＺｉ，ｆ＝７．２の場合、定量制約ＩＤ４１１は「ｃ１」であるため、制約ＩＤ３２３が「ｃ１」である重み４３２は、λｉ，ｆ＝０．７となる。ここで、説明誤差は、現在の説明スコアと期待説明スコアとの差分のノルムであり、Ｌ（Ｒｉ，ｆ－Ｚｉ，ｆ）として表現される。
　Ｊ３＝ΣｉΣｆλｉ，ｆＬ（Ｃ１（Ｒｉ，ｆ，Ｒｉ，ｆ’））・・・・・（５）
　上記式（５）は、アンサンブル予測器の定性的な予測根拠特性である最大説明スコアと最小説明スコアとの制約に関する損失関数（または正規化項）Ｊ３を示している。Ｃ１は、設定された最大説明スコアまたは最小説明スコアの制約が満たされていないときに０ではない値を返す関数である。
　ここでは、ｉ番目の訓練データｘｉについてｆ’番目の特徴量に対する説明スコアＲｉ，ｆ’が最大または最小であるという期待予測根拠特性が与えられた時に、Ｒｉ，ｆと比較してその特性が満たされていれば“０”、満たされていなければ“１”を返す単純な関数であるとする。もちろん、満たされていないときにＲｉ，ｆとＲｉ，ｆ’の差分を返す関数などでもよい。なお、この制約対象となるｆ’番目の特徴量に関する情報は、定性制約情報テーブル４２０において期待定性特性情報４２２として管理されている。
　たとえば、図４に示したように、期待定性特性情報４２２が「最大説明スコア」（定性制約ＩＤ４２１が「ｄ１」）である場合、ｉ番目の訓練データｘｉがサンプルＩＤ４１２が「ｓ２」のサンプルであれば、ｆ’番目の特徴量は「特徴量１」となり、Ｒｉ，ｆ’は、サンプルＩＤ４１２が「ｓ１」の「特徴量１」に対する説明スコアとなり、Ｒｉ，ｆと比較される。
　Ｊ４＝ΣｆΣｉλｉ，ｆＬ（Ｃ２（Ｒｉ，ｆ，Ｒ＊，ｆ））・・・・・（６）
　上記式（６）は、アンサンブル予測器の定性的な予測根拠特性である単調性の制約に関する損失関数（または正規化項）Ｊ４を示している。Ｃ２は、設定された正または負の単調性の制約が満たされていないときに０ではない値を返す関数である。ここでは、ｆ番目の特徴量ついてｉ番目の訓練データｘｉに着目した時に、そのｉ番目の訓練データｘｉに対する説明スコア（すなわちＲｉ，ｆ）とその他すべての訓練データ（ｘ＊と表現する）に対する説明スコア（すなわちＲ＊，ｆ）を比較して、そのｆ番目の特徴量の説明スコアに設定した単調性の制約が満たされていないサンプル個数を返す単純な関数であるとする。
　たとえば、正の単調性制約であれば、ｉ番目の訓練データｘｉのｆ番目の特徴量とｊ番目の訓練データｘｊのｆ番目の特徴量はそれぞれＦｉ，ｆとＦｊ，ｆである。Ｆｉ，ｆがＦｊ，ｆより小さいとき、Ｒｉ，ｆがＲｊ，ｆより大きければその制約は満たされていないため、Ｃ２（Ｒｉ，ｆ，Ｒｊ，ｆ）は“１”を返し、Ｒｉ，ｆがＲｊ，ｆより小さければＣ２（Ｒｉ，ｆ，Ｒｊ，ｆ）は“０”を返す。もちろん、Ｃ２にはその他の関数を用いてもよい。なお、この単調性に関する予測根拠特性の制約情報は、定性制約情報テーブル４２０として管理されている。
　α＝ａｒｇ　ｍｉｎ（β１Ｊ１＋β２Ｊ２＋β３Ｊ３＋β４Ｊ４）・・・・・（７）
　上記式（７）は、結合係数ベクトルαを算出する式を示している。ここでαは、結合予測器数と同じ数（すなわち、α１～α１００までの１００個）の次元を持つベクトルである。βは、抽出パラメータ情報２５１に含まれる有効係数であり、対象損失関数の制約が設定されている場合には“１”、設定されていない場合は“０”が設定される。
　β１は予測誤差、β２は定量的な予測根拠特性、β３は定性的な予測根拠特性である最大説明スコアと最小説明スコアとの制約、β４は定性的な予測根拠特性である単調性の制約に関する損失関数の有効係数である。すなわち、αは、上記式（７）の右辺を最小化する結合係数ベクトルとして与えられ、結合係数αｋについての偏微分による解法で、結合係数αｋが容易かつ高速に算出可能である。このようにして、予測器校正部２６０で作成する新しいアンサンブル予測器の結合係数αｋが決定される。
　予測器作成装置１００は、予測器校正部２６０により、基本アンサンブル予測器の各予測器に対し、決定された結合係数αｋを設定することにより、新しいアンサンブル予測器を生成する（ステップＳ６１３）。作成されたアンサンブル予測器の情報は、校正後予測器情報２６１として予測器分析部２３０とデータ管理部２４０とに出力される。
　つぎに、予測器作成装置１００は、予測器分析部２３０により、ステップＳ６１３で作成されたアンサンブル予測器の予測器特性分析を実行する（ステップＳ６１４）。具体的には、たとえば、予測器作成装置１００は、ステップＳ６０３と同じく、テストデータセット２０３に対する精度スコアと、訓練データセット２０２に対する説明スコアと、を算出する。
　また、予測器作成装置１００は、アンサンブル予測器に対する予測誤差（精度スコア）と説明誤差とを算出し、パラメータ抽出部２５０から送られた抽出パラメータ情報２５１に含まれる許容予測誤差３２４と許容説明誤差４３３とを参照して、作成されたアンサンブル予測器の精度スコアと説明スコアがそれぞれ所望の特性を達成しているか評価する。予測器作成装置１００は、これら分析結果（分析結果情報２３１）をそれぞれ予測精度特性情報、予測根拠特性情報としてデータ管理部２４０へ格納する。
　予測器作成装置１００は、ステップＳ６１３で得られた分析結果情報２３１を参照し、作成されたアンサンブル予測器の精度スコアと説明スコアがそれぞれ所望の特性を達成したかを判断する（ステップＳ６２０）。所望の特性が達成されている、または設定された最大探索回数に到達しているならば、終了条件を満たしたとして（ステップＳ６２０：Ｙｅｓ）、予測器作成装置１００は、ユーザに分析結果を提示するとともに作成された１以上のアンサンブル予測器（またはそのパラメータ）を出力して処理を終了する。
　一方、所望の特性が達成されておらず、かつ設定された最大探索回数に到達していないときは（ステップＳ６２０：Ｎｏ）、ステップＳ６２１に移行する。
　予測器作成装置１００は、ステップＳ６０１においてランダムパラメータ設定領域５４０で設定されたランダムパラメータ（ユーザ指定による訓練データセット２０２と機械学習モデルのハイパーパラメータとのうち少なくとも一方）に摂動を与える方法に基づいて、ランダムパラメータの値を更新する（ステップＳ６２１）。
　予測器作成装置１００は、アンサンブル予測器を再構成する（ステップＳ６２２）。具体的には、たとえば、予測器作成装置１００は、ステップＳ６２１で値が更新された更新後のランダムパラメータに基づいて、追加分の複数の予測器を作成する。つぎに、予測器作成装置１００は、ステップＳ６１１においてアンサンブル探索設定領域７３０で設定された予測器選択方法に基づいて、アンサンブル予測器に用いる新たな単体予測器群を追加分の複数の予測器から抽出する。そして、予測器作成装置１００は、抽出した新たな単体予測器群を、既存のアンサンブル予測器に追加する。これにより、アンサンブル予測器が再構成される。再構成されたアンサンブル予測器は、あらたな校正対象アンサンブル予測器として設定される。
　その後、予測器作成装置１００は、抽出した新たな単体予測器群に関する情報を予測器情報２２１として予測器分析部２３０とデータ管理部２４０とに送り、ステップＳ６１２に戻る。あらたな校正対象アンサンブル予測器の結合係数は、ステップＳ６１２で再計算され、ステップＳ６１３で再設定される。
　このように、実施例１によれば、正解値を予測するにあたり、予測器作成装置が、訓練データに内在する異なる観点を捉えた予測器を組み合わせることで、より事象全体を適切に捉えたアンサンブル予測器を作成することができる。また、予測器作成装置１００は、目的関数をアンサンブル予測器の各結合係数について微分するため説明スコアや機械学習モデルの関数は定数として扱うことができる。そのため、説明スコアや機械学習モデルの関数は微分可能である必要はない。すなわち、実施例１によれば、任意の説明スコアと任意の機械学習モデルについて、予測器の予測根拠を校正することが可能になる。
　実施例２は、実施例１とは異なるデータ形式の入力データ（訓練データ、テストデータ）による予測器作成装置１００を示す。実施例１で用いた入力データは、表データのような構造化データであり、実施例１では、構造化データを入力データとする予測器に対して期待予測根拠特性を設定した。しかしながら、入力データとして、構造化データではなく画像データのような非構造化データを用いる予測器もある。以下、非構造化データを入力データとする予測器に対して期待予測根拠特性を設定する手段について、図１１～図１３を用いて説明する。なお、実施例２では、実施例１との相違点について説明するため、実施例１と同一内容については説明を省略する。
　図１１は、実施例２にかかる分析結果情報２３１の提示画面例を示す説明図である。提示画面１１００は、予測器特性提示領域１１１０、属性情報選択領域１１２０、アンサンブル探索設定領域７３０、期待特性設定領域７４０、期待特性設定ボタン７５０、校正開始ボタン７６０、および終了ボタン７７０を有する。
　予測器特性提示領域１１１０は、予測器の特性をユーザへ提示する領域であり、ここでは、例として、画像データ１１１１内にサッカーボール１１１２があることを判定する予測器の特性を示している。すなわち、予測器は、サッカーボール１１１２があると判定した時には“１”を出力し、ないと判定した時には“０”を出力する。
　入力データが画像データ１１１１の場合、特徴量は画像データ１１１１内の各ピクセルに相当するが、ピクセルごとの説明スコアについて意味を理解することは困難であり、またピクセル単位で期待予測根拠特性を設定することも非効率である。そこで、ここでは、セグメンテーション処理によって画像データ１１１１をオブジェクト単位に領域分割し、その領域単位で期待予測根拠特性を設定する手法を用いる。
　また、予測器特性提示領域１１１０において、「説明スコア」は、画像データ１１１１上の色、濃淡、明るさ、透明度などを用いたヒートマップで表現される。予測器特性提示領域１１１０では、バレーボール１１１３（領域ＩＤ１とする）とサッカーボール１１１２（領域ＩＤ２とする）に正の説明スコアが割り当てられているものとする。「予測精度」は、指定された予測器の予測精度を示し、「結合モデル数」は、指定された結合グループＩＤ３１４のアンサンブル予測器に含まれる単体予測器の数を示す。
　属性情報選択領域１１２０は、予測器特性提示領域１１１０で提示する予測器とその属性情報とを選択可能な領域である。「サンプルＩＤ」は、予測器特性提示領域１１１０で提示する画像データ１１１１を指定する設定項目である。ここでは、サンプルＩＤ４１２の値が「ｓ１０」の画像データ１１１１が設定されている。
　その他、「結合グループＩＤ」、「全体特性」、および「個別特性」については、実施例１の属性情報選択領域７２０で説明済みであるためその説明を省略する。このように、提示画面１１００は、画像データ１１１１を入力とする予測器について、ステップＳ６０４で提示されるユーザインタフェースである。
　図１２は、実施例２にかかる定量期待特性設定画面の一例を示す説明図である。定量期待特性設定画面１２００は、画像データ１１１１を入力とする予測器の定量的な期待特性を設定するユーザインタフェースである。定量期待特性設定画面１２００は、予測器特性提示領域１１１０、期待特性提示領域１２１０、属性情報選択領域１１２０、アンサンブル探索設定領域７３０、期待特性設定領域７４０、定量期待特性設定領域１２２０を有している。
　期待特性提示領域１２１０は、定量期待特性設定領域１２２０で設定した期待予測根拠特性を視覚的に提示する領域である。定量期待特性設定領域１２２０は、図１１において、期待特性設定領域７４０で定量特性が選択されると表示される。定量期待特性設定領域１２２０は、画像データ１１１１の予測根拠特性について定量的な期待特性（すなわち定量特性）を設定する領域である。
　定量期待特性設定領域１２２０において、「対象領域」は、画像データ１１１１上の定量特性を設定する領域であり、領域ＩＤを入力したり、マウスなど入力デバイス１０３を用いて予測器特性提示領域１１１０の画像データ１１１１上の位置をカーソルで指定したりすることで設定される。ここでは、「領域ＩＤ１」（すなわち、バレーボール１１１３）が設定されている例を示している。
　定量期待特性設定領域１２２０において、「期待説明スコア」は、「対象領域」に期待予測根拠特性として割り当てる説明スコアであり、実数で与えられる。ここでは、一般にサッカーボール１１１２の有無を判定するにあたり、バレーボール１１１３の有無が影響することは考えにくいことから、「期待説明スコア」を“０”（すなわち判定に対して無関係）として設定する例を示している。
　定量期待特性設定領域１２２０において、「重み」は、設定した定量特性をどれだけ強く考慮するかを示すパラメータであり、通常はゼロより大きな実数値で与えられる。ここでは例として「λ」とする。
　定量期待特性設定領域１２２０において、「許容説明誤差」は、アンサンブル予測器が達成すべき説明スコアの特性である。説明誤差の指標は、設定した期待説明スコアと校正後のアンサンブル予測器の説明スコアについて、「対象領域」内でのＲＭＳＥなどを算出ことによって与えることができる。このように、定量期待特性設定画面１２００は、画像データ１１１１を入力とする予測器について、ステップＳ６１１で提示されるユーザインタフェースである。
　図１３は、実施例２にかかる定性期待特性設定画面の一例を示す説明図である。定性期待特性設定画面１３００は、画像データ１１１１を入力とする予測器の定性的な期待特性を設定するユーザインタフェースである。定性期待特性設定画面１３００は、予測器特性提示領域１１１０、期待特性提示領域１２１０、属性情報選択領域１１２０、アンサンブル探索設定領域７３０、期待特性設定領域７４０、期待定性特性設定領域１３１０を有する。
　期待定性特性設定領域１３１０は、図１１において、期待特性設定領域７４０で定性特性が選択されると表示される。ここでは「対象領域」として領域ＩＤ２（すなわちサッカーボール１１１２）が設定されている例を示している。
　期待定性特性設定領域１３１０において、「制約タイプ」は、設定する定性的な特性のタイプを示す。サッカーボール１１１２の有無を判定するにあたり、サッカーボール１１１２の領域の説明スコアが他の領域に比べて大きくなっているべきである。したがって、ここでは、「制約タイプ」に、「最大説明スコア」（の期待特性（または制約））が設定された例を示している。ここでの設定結果は定量期待特性設定領域１２２０の設定結果も含めて期待特性提示領域１２１０に反映され、提示される。これにより、ユーザが期待予測根拠特性の設定状況を視覚的に理解することを促進する。このように、定性期待特性設定画面１３００は、画像データ１１１１を入力とする予測器について、ステップＳ６１１で提示されるユーザインタフェースである。
　このように、実施例２によれば、画像データ１１１１のような非構造化データを入力データとする予測器に対しても期待予測根拠特性を設定することができる。
　また、上述した実施例１および実施例２にかかる予測器作成装置１００は、下記（１）～（１３）のように構成することもできる。
（１）予測器作成装置１００は、プログラムを実行するプロセッサ１０１と、前記プログラムを記憶する記憶デバイス１０２と、を有し、前記プロセッサ１０１は、訓練データと正解データとの組み合わせである訓練データセット２０２に基づく複数の予測器を結合した校正対象アンサンブル予測器（基本アンサンブル予測器）を取得する第１取得処理（ステップＳ６０２）と、前記複数の予測器の各々について前記訓練データの特徴量に関する予測根拠特性を算出する算出処理（ステップＳ６０３）と、前記算出処理によって算出された前記特徴量に関する予測根拠特性（予測根拠特性ＩＤ３１２で特定される）を出力した結果（定量期待特性設定画面８００、定性期待特性設定画面９００）、前記特徴量に関する予測根拠特性に基づく前記特徴量に関する期待予測根拠特性を取得する第２取得処理（ステップＳ６０４、ステップＳ６１０、ステップＳ６１１）と、前記特徴量に関する予測根拠特性と、前記第２取得処理によって取得された前記特徴量に関する期待予測根拠特性（定量期待特性設定画面８００、定性期待特性設定画面９００で設定される）と、に基づいて、前記複数の予測器の各々の結合係数αｋを決定する決定処理（ステップＳ６１２）と、前記決定処理によって決定された結合係数αｋに基づいて前記校正対象アンサンブル予測器を校正する校正処理（ステップＳ６１３）と、を実行する。
（２）上記（１）の予測器作成装置１００において、前記決定処理では、前記プロセッサ１０１は、前記特徴量に関する予測根拠特性と、前記特徴量に関する期待予測根拠特性と、に基づいて、前記校正対象アンサンブル予測器の予測根拠特性に関する損失関数（Ｊ２，Ｊ３またはＪ４）を算出し、当該損失関数（Ｊ２，Ｊ３またはＪ４）に基づいて、前記複数の予測器の結合係数αｋを決定する。
（３）上記（２）の予測器作成装置１００において、前記第２取得処理では、前記プロセッサ１０１は、前記特徴量に関する定量的な期待予測根拠特性（定量制約情報４０１、４０２、４０３、…）を取得し、前記決定処理では、前記プロセッサ１０１は、前記特徴量に関する予測根拠特性と、前記特徴量に関する定量的な期待予測根拠特性と、に基づいて、前記校正対象アンサンブル予測器の定量的な予測根拠特性に関する損失関数Ｊ２を算出し、当該損失関数Ｊ２に基づいて、前記複数の予測器の結合係数αｋを決定する。
（４）上記（３）の予測器作成装置１００において、前記第２取得処理では、前記プロセッサ１０１は、ユーザ操作によって入力（手書き入力）された前記特徴量に関する定量的な期待予測根拠特性を取得する。
（５）上記（３）の予測器作成装置１００において、前記第２取得処理では、前記プロセッサ１０１は、ユーザ操作によって設定された前記特徴量の有効範囲と、前記特徴量に関する予測根拠特性と、に基づいて、前記特徴量に関する定量的な期待予測根拠特性を取得する。
（６）上記（３）の予測器作成装置１００において、前記第２取得処理では、前記プロセッサ１０１は、前記特徴量に関する定量的な期待予測根拠特性を出力した結果（データ期待特性設定画面１０００）、修正後の前記特徴量に関する定量的な期待予測根拠特性を取得し、前記決定処理では、前記プロセッサ１０１は、前記特徴量に関する予測根拠特性と、前記特徴量に関する定量的な期待予測根拠特性と、に基づいて前記損失関数Ｊ２を算出し、当該損失関数Ｊ２に基づいて、前記複数の予測器の結合係数αｋを決定する。
（７）上記（２）の予測器作成装置１００において、前記第２取得処理では、前記プロセッサ１０１は、前記特徴量に関する定性的な期待予測根拠特性（定性制約情報４４１～４４４）を取得し、前記決定処理では、前記プロセッサ１０１は、前記特徴量に関する予測根拠特性と、前記特徴量に関する定性的な期待予測根拠特性と、に基づいて、前記校正対象アンサンブル予測器の定性的な予測根拠特性に関する損失関数（Ｊ３またはＪ４）を算出し、当該損失関数（Ｊ３またはＪ４）に基づいて、前記複数の予測器の結合係数αｋを決定する。
（８）上記（７）の予測器作成装置１００において、前記定性的な予測根拠特性に関する損失関数は、前記予測根拠特性の最大値（最大説明スコア）および最小値（最小説明スコア）の制約に関する損失関数Ｊ３である。
（９）上記（７）の予測器作成装置１００において、前記定性的な予測根拠特性に関する損失関数は、前記予測根拠特性の単調性の制約に関する損失関数Ｊ４である。
（１０）上記（７）の予測器作成装置１００において、前記プロセッサ１０１は、前記特徴量に関する定性的な期待予測根拠特性を出力した結果（データ期待特性設定画面１０００）、修正後の前記特徴量に関する定性的な期待予測根拠特性を取得し、前記決定処理では、前記プロセッサ１０１は、前記特徴量に関する予測根拠特性と、前記特徴量に関する定性的な期待予測根拠特性と、に基づいて前記損失関数（Ｊ３またはＪ４）を算出し、当該損失関数（Ｊ３またはＪ４）に基づいて、前記複数の予測器の結合係数αｋを決定する。
（１１）上記（２）の予測器作成装置１００において、前記訓練データは、非構造化データ（画像データ１１１１）であり、前記取得処理では、前記プロセッサ１０１は、前記算出処理によって算出された前記特徴量に関する予測根拠特性と、前記非構造化データと、を出力した結果（定量期待特性設定画面１２００）、前記非構造化データ内の特定領域（サッカーボール１１１２、バレーボール１１１３）から選択された、前記特徴量に関する予測根拠特性に基づく前記特徴量に関する定量的な期待予測根拠特性を取得する。
（１２）上記（１）の予測器作成装置１００において、前記プロセッサ１０１は、前記校正処理による校正済みのアンサンブル予測器に１以上の予測器を追加することにより、前記校正対象アンサンブル予測器に設定する設定処理（ステップＳ６２２）を実行し、前記決定処理では、前記プロセッサ１０１は、前記設定処理によって設定された校正対象アンサンブル予測器に含まれる複数の予測器の各々の予測根拠特性に基づいて、前記複数の予測器の各々の結合係数を決定し、前記校正処理では、前記プロセッサ１０１は、前記決定処理によって決定された前記複数の予測器の各々の結合係数に基づいて前記校正対象アンサンブル予測器を校正する。
（１３）上記（１２）の予測器作成装置１００において、前記設定処理では、前記プロセッサ１０１は、前記校正済みのアンサンブル予測器が所定の条件を満たすまで（ステップＳ６２０）、前記校正対象アンサンブル予測器に設定する。
　なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。たとえば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
　また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、たとえば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサ１０１がそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
　各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置、又は、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）カード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）の記録媒体に格納することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (14)

  1. 　プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する予測器作成装置であって、
    　前記プロセッサは、
    　訓練データと正解データとの組み合わせである訓練データセットに基づく複数の予測器を結合した校正対象アンサンブル予測器を取得する第１取得処理と、
    　前記複数の予測器の各々について前記訓練データの特徴量に関する予測根拠特性を算出する算出処理と、
    　前記算出処理によって算出された前記特徴量に関する予測根拠特性を出力した結果、前記特徴量に関する予測根拠特性に基づく前記特徴量に関する期待予測根拠特性を取得する第２取得処理と、
    　前記特徴量に関する予測根拠特性と、前記第２取得処理によって取得された前記特徴量に関する期待予測根拠特性と、に基づいて、前記複数の予測器の各々の結合係数を決定する決定処理と、
    　前記決定処理によって決定された結合係数に基づいて、前記校正対象アンサンブル予測器を校正する校正処理と、
    　を実行することを特徴とする予測器作成装置。
  2. 　請求項１に記載の予測器作成装置であって、
    　前記決定処理では、前記プロセッサは、前記特徴量に関する予測根拠特性と、前記特徴量に関する期待予測根拠特性と、に基づいて、前記校正対象アンサンブル予測器の予測根拠特性に関する損失関数を算出し、当該損失関数に基づいて、前記複数の予測器の結合係数を決定する、
    　ことを特徴とする予測器作成装置。
  3. 　請求項２に記載の予測器作成装置であって、
    　前記第２取得処理では、前記プロセッサは、前記特徴量に関する定量的な期待予測根拠特性を取得し、
    　前記決定処理では、前記プロセッサは、前記特徴量に関する予測根拠特性と、前記特徴量に関する定量的な期待予測根拠特性と、に基づいて、前記校正対象アンサンブル予測器の定量的な予測根拠特性に関する損失関数を算出し、当該損失関数に基づいて、前記複数の予測器の結合係数を決定する、
    　ことを特徴とする予測器作成装置。
  4. 　請求項３に記載の予測器作成装置であって、
    　前記第２取得処理では、前記プロセッサは、ユーザ操作によって入力された前記特徴量に関する定量的な期待予測根拠特性を取得する、
    　ことを特徴とする予測器作成装置。
  5. 　請求項３に記載の予測器作成装置であって、
    　前記第２取得処理では、前記プロセッサは、ユーザ操作によって設定された前記特徴量の有効範囲と、前記特徴量に関する予測根拠特性と、に基づいて、前記特徴量に関する定量的な期待予測根拠特性を取得する、
    　ことを特徴とする予測器作成装置。
  6. 　請求項３に記載の予測器作成装置であって、
    　前記第２取得処理では、前記プロセッサは、前記特徴量に関する定量的な期待予測根拠特性を出力した結果、修正後の前記特徴量に関する定量的な期待予測根拠特性を取得し、
    　前記決定処理では、前記プロセッサは、前記特徴量に関する予測根拠特性と、前記特徴量に関する定量的な期待予測根拠特性と、に基づいて前記損失関数を算出し、当該損失関数に基づいて、前記複数の予測器の結合係数を決定する、
    　ことを特徴とする予測器作成装置。
  7. 　請求項２に記載の予測器作成装置であって、
    　前記第２取得処理では、前記プロセッサは、前記特徴量に関する定性的な期待予測根拠特性を取得し、
    　前記決定処理では、前記プロセッサは、前記特徴量に関する予測根拠特性と、前記特徴量に関する定性的な期待予測根拠特性と、に基づいて、前記校正対象アンサンブル予測器の定性的な予測根拠特性に関する損失関数を算出し、当該損失関数に基づいて、前記複数の予測器の結合係数を決定する、
    　ことを特徴とする予測器作成装置。
  8. 　請求項７に記載の予測器作成装置であって、
    　前記定性的な予測根拠特性に関する損失関数は、前記予測根拠特性の最大値および最小値の制約に関する損失関数である、
    　ことを特徴とする予測器作成装置。
  9. 　請求項７に記載の予測器作成装置であって、
    　前記定性的な予測根拠特性に関する損失関数は、前記予測根拠特性の単調性の制約に関する損失関数である、
    　ことを特徴とする予測器作成装置。
  10. 　請求項７に記載の予測器作成装置であって、
    　前記第２取得処理では、前記プロセッサは、前記特徴量に関する定性的な期待予測根拠特性を出力した結果、修正後の前記特徴量に関する定性的な期待予測根拠特性を取得し、
    　前記決定処理では、前記プロセッサは、前記特徴量に関する予測根拠特性と、前記特徴量に関する定性的な期待予測根拠特性と、に基づいて前記損失関数を算出し、当該損失関数に基づいて、前記複数の予測器の結合係数を決定する、
    　ことを特徴とする予測器作成装置。
  11. 　請求項２に記載の予測器作成装置であって、
    　前記訓練データは、非構造化データであり、
    　前記第２取得処理では、前記プロセッサは、前記算出処理によって算出された前記特徴量に関する予測根拠特性と、前記非構造化データと、を出力した結果、前記非構造化データ内の特定領域から選択された、前記特徴量に関する予測根拠特性に基づく前記特徴量に関する期待予測根拠特性を取得する、
    　ことを特徴とする予測器作成装置。
  12. 　請求項１に記載の予測器作成装置であって、
    　前記プロセッサは、
    　前記校正処理による校正済みのアンサンブル予測器に１以上の予測器を追加することにより、前記校正対象アンサンブル予測器に設定する設定処理を実行し、
    　前記決定処理では、前記プロセッサは、前記設定処理によって設定された校正対象アンサンブル予測器に含まれる複数の予測器の各々の予測根拠特性に基づいて、前記複数の予測器の各々の結合係数を決定し、
    　前記校正処理では、前記プロセッサは、前記決定処理によって決定された前記複数の予測器の各々の結合係数に基づいて前記校正対象アンサンブル予測器を校正する、
    　を実行することを特徴とする予測器作成装置。
  13. 　請求項１２に記載の予測器作成装置であって、
    　前記設定処理では、前記プロセッサは、前記校正済みのアンサンブル予測器が所定の条件を満たすまで、前記校正対象アンサンブル予測器に設定する、
    　ことを特徴とする予測器作成装置。
  14. 　プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、を有する予測器作成装置が実行する予測器作成方法であって、
    　前記予測器作成方法は、
    　前記プロセッサが、
    　訓練データと正解データとの組み合わせである訓練データセットに基づく複数の予測器を結合した校正対象アンサンブル予測器を取得する第１取得処理と、
    　前記複数の予測器の各々について前記訓練データの特徴量に関する予測根拠特性を算出する算出処理と、
    　前記算出処理によって算出された前記特徴量に関する予測根拠特性を出力した結果、前記特徴量に関する予測根拠特性に基づく前記特徴量に関する期待予測根拠特性を取得する第２取得処理と、
    　前記特徴量に関する予測根拠特性と、前記第２取得処理によって取得された前記特徴量に関する期待予測根拠特性と、に基づいて、前記複数の予測器の各々の結合係数を決定する決定処理と、
    　前記決定処理によって決定された結合係数に基づいて前記校正対象アンサンブル予測器を校正する校正処理と、
    　を実行することを特徴とする予測器作成方法。
PCT/JP2021/042858 2020-12-09 2021-11-22 予測器作成装置、および予測器作成方法 WO2022124065A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/036,212 US20230410488A1 (en) 2020-12-09 2021-11-22 Predictor creation device and predictor creation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-204028 2020-12-09
JP2020204028A JP7504783B2 (ja) 2020-12-09 2020-12-09 予測器作成装置、および予測器作成方法

Publications (1)

Publication Number Publication Date
WO2022124065A1 true WO2022124065A1 (ja) 2022-06-16

Family

ID=81974426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042858 WO2022124065A1 (ja) 2020-12-09 2021-11-22 予測器作成装置、および予測器作成方法

Country Status (3)

Country Link
US (1) US20230410488A1 (ja)
JP (1) JP7504783B2 (ja)
WO (1) WO2022124065A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512086A (ja) * 2015-02-12 2018-05-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 堅牢な分類器

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7125358B2 (ja) 2019-01-30 2022-08-24 株式会社日立製作所 計算機システム及び入力データに対する予測結果の根拠に関する情報の提示方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512086A (ja) * 2015-02-12 2018-05-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 堅牢な分類器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RODRIGUEZ-PÉREZ RAQUEL; BAJORATH JÜRGEN: "Interpretation of machine learning models using shapley values: application to compound potency and multi-target activity predictions", JOURNAL OF COMPUTER-AIDED MOLECULAR DESIGN, SPRINGER NETHERLANDS, NL, vol. 34, no. 10, 2 May 2020 (2020-05-02), NL , pages 1013 - 1026, XP037228335, ISSN: 0920-654X, DOI: 10.1007/s10822-020-00314-0 *

Also Published As

Publication number Publication date
US20230410488A1 (en) 2023-12-21
JP7504783B2 (ja) 2024-06-24
JP2022091283A (ja) 2022-06-21

Similar Documents

Publication Publication Date Title
Szomszor et al. Interpreting bibliometric data
JP4480508B2 (ja) 診断支援プログラムおよび診断支援装置
JP6954003B2 (ja) データベースのための畳み込みニューラルネットワークモデルの決定装置及び決定方法
US6191792B1 (en) Scheme for automatic data conversion definition generation according to data feature in visual multidimensional data analysis tool
CN113935434A (zh) 一种数据分析处理系统及自动建模方法
EP3428856A1 (en) Information processing method and information processing device
Wadoux et al. Perspectives on data‐driven soil research
US10019681B2 (en) Multidimensional recursive learning process and system used to discover complex dyadic or multiple counterparty relationships
JP2016200435A (ja) マススペクトル解析システム，方法およびプログラム
CN110866836B (zh) 计算机执行的医疗保险立案审核方法和装置
CN111143981B (zh) 虚拟试验模型验证系统及方法
KR101588027B1 (ko) 소프트웨어 현지화를 위한 테스트 케이스 생성 장치 및 방법
Guruler et al. Modeling student performance in higher education using data mining
Izquierdo-García et al. A novel R-package graphic user interface for the analysis of metabonomic profiles
JP5945365B2 (ja) Ｎｍｒスペクトルから物質を同定するための方法
KR20030081416A (ko) 투자 대상의 선택을 쉽게하는 시스템
CN109460474B (zh) 用户偏好趋势挖掘方法
WO2022124065A1 (ja) 予測器作成装置、および予測器作成方法
Khoshnevis et al. Prioritizing ground‐motion validation metrics using semisupervised and supervised learning
Taylor et al. Interactive multiobjective optimisation: Preference changes and algorithm responsiveness
KR102136604B1 (ko) 대화형 인터페이스를 이용한 통계 분석 시스템과 통계분석 방법
JP5045240B2 (ja) データ分割プログラム、該プログラムを記録した記録媒体、データ分割装置、およびデータ分割方法
JP6622938B1 (ja) 相関性抽出方法および相関性抽出プログラム
JP2021022051A (ja) 機械学習プログラム、機械学習方法および機械学習装置
KR102375668B1 (ko) 그래프 표현 학습 모델의 생성 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903169

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18036212

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903169

Country of ref document: EP

Kind code of ref document: A1