WO2023181230A1 - モデル分析装置、モデル分析方法、及び、記録媒体 - Google Patents

モデル分析装置、モデル分析方法、及び、記録媒体 Download PDF

Info

Publication number
WO2023181230A1
WO2023181230A1 PCT/JP2022/013813 JP2022013813W WO2023181230A1 WO 2023181230 A1 WO2023181230 A1 WO 2023181230A1 JP 2022013813 W JP2022013813 W JP 2022013813W WO 2023181230 A1 WO2023181230 A1 WO 2023181230A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
prediction error
prediction
distribution
factor
Prior art date
Application number
PCT/JP2022/013813
Other languages
English (en)
French (fr)
Inventor
啓太 佐久間
智哉 坂井
竜太 松野
義男 亀田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/013813 priority Critical patent/WO2023181230A1/ja
Publication of WO2023181230A1 publication Critical patent/WO2023181230A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to analysis of machine learning models.
  • Patent Document 1 describes a method of predicting power demand using a prediction model.
  • the predictive model will need to be retrained.
  • a prediction error occurs in a prediction model, it is necessary to analyze the causes of the prediction error and take countermeasures.
  • One objective of the present disclosure is to provide a model analysis device that can analyze and visualize the causes of prediction errors in a prediction model.
  • the model analysis device includes: an acquisition means for acquiring prediction results of the model for input data; determining means for determining a prediction error factor of the model using the input data and the prediction result; Extracting means for extracting a plurality of comparison periods from the period covered by the prediction by the model, based on at least one of the input data and the prediction error factor; factor output means for outputting the distribution of the prediction error factors in the plurality of extracted comparison periods; Equipped with
  • the model analysis method includes: Obtain the prediction results of the model for the input data, determining a prediction error factor of the model using the input data and the prediction result, extracting a plurality of comparison periods from the period covered by the prediction by the model based on at least one of the input data and the prediction error factor; A distribution of the prediction error factors in the plurality of extracted comparison periods is output.
  • the recording medium includes: Obtain the prediction results of the model for the input data, determining a prediction error factor of the model using the input data and the prediction result, extracting a plurality of comparison periods from the period covered by the prediction by the model based on at least one of the input data and the prediction error factor; A program is recorded that causes a computer to execute a process of outputting the distribution of the prediction error factors in the plurality of extracted comparison periods.
  • FIG. 1 is a block diagram showing the overall configuration of a model generation system according to a first embodiment.
  • FIG. 2 is a block diagram showing the hardware configuration of a model generation device.
  • 1 is a block diagram showing a functional configuration of a model generation device according to a first embodiment;
  • FIG. A first display example of evaluation information is shown.
  • a second display example of evaluation information is shown.
  • a third display example of evaluation information is shown.
  • a fourth display example of evaluation information is shown.
  • It is a flowchart of model analysis processing.
  • FIG. 2 is a block diagram showing the functional configuration of a prediction error analysis section. An example of factor determination rules used by the factor identification unit is shown.
  • FIG. 7 is a diagram conceptually illustrating a method of modification 1.
  • FIG. 1 is a block diagram showing a functional configuration of a model generation device according to a first embodiment
  • FIG. A first display example of evaluation information is shown.
  • a second display example of evaluation information is shown.
  • a third display example of evaluation information
  • FIG. 1 is a block diagram showing a schematic configuration of a model generation system using a server and a terminal device.
  • FIG. 2 is a block diagram showing the functional configuration of a model analysis device according to a second embodiment. It is a flowchart of processing by a model analysis device of a 2nd embodiment.
  • FIG. 1 is a block diagram showing the overall configuration of a model generation system according to a first embodiment.
  • the model generation system 1 includes a model generation device 100, a display device 2, and an input device 3.
  • the model generation device 100 is an application of the model analysis device of the present disclosure, and is configured by, for example, a computer such as a personal computer (PC).
  • the display device 2 is, for example, a liquid crystal display device, and displays the evaluation information generated by the model generation device 100.
  • the input device 3 is, for example, a mouse, a keyboard, etc., and is used by the user to give instructions and input necessary when modifying a model or displaying evaluation information.
  • the model generation device 100 generates a machine learning model (hereinafter simply referred to as a "model") using training data prepared in advance.
  • the model generation device 100 also evaluates the generated model. Specifically, the model makes predictions using evaluation data and the like, and the factors behind the model's prediction errors are analyzed based on the prediction results. Then, the model generation device 100 extracts a plurality of comparison periods from the forecast target period based on the obtained prediction error factors, creates a distribution of prediction error factors for each comparison period, and displays it on the display device 2 as evaluation information. Display to.
  • the user can see the distribution of prediction error factors for each period extracted based on the characteristics of the prediction error factors, and can consider countermeasures against prediction errors.
  • the user may operate the input device 3 to specify a comparison period for displaying the distribution of prediction error factors.
  • the user also operates the input device 3 to input modification information for modifying the model.
  • model is information representing the relationship between explanatory variables and objective variables.
  • a model is, for example, a component for estimating a target result by calculating a target variable based on explanatory variables.
  • a model is generated by executing a learning algorithm using as input learning data for which values of objective variables have already been obtained and arbitrary parameters.
  • the model may be represented, for example, by a function c that maps an input x to a ground answer y.
  • the model may be one that estimates a numerical value to be estimated, or may be one that estimates a label to be estimated.
  • the model may output variables that describe the probability distribution of the target variable.
  • a model is sometimes described as a "learning model,” “analytical model,” “AI (Artificial Intelligence) model,” or "prediction formula.”
  • FIG. 2 is a block diagram showing the hardware configuration of the model generation device 100.
  • the model generation device 100 includes an interface (I/F) 111, a processor 112, a memory 113, a recording medium 114, and a database (DB) 115.
  • I/F interface
  • processor 112 processor 112
  • memory 113 memory
  • recording medium 114 recording medium
  • DB database
  • the I/F 111 inputs and outputs data to and from external devices. Specifically, training data, evaluation data, and instructions and inputs input by the user using the input device 3 are input to the model generation device 100 through the I/F 111. Furthermore, evaluation information of the model generated by the model generation device 100 is output to the display device 2 through the I/F 111.
  • the processor 112 is a computer such as a CPU (Central Processing Unit), and controls the entire model generation device 100 by executing a program prepared in advance.
  • the processor 112 may be a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array).
  • the processor 112 executes model analysis processing, which will be described later.
  • the memory 113 is composed of ROM (Read Only Memory), RAM (Random Access Memory), and the like. Memory 113 is also used as a working memory while processor 112 executes various processes.
  • the recording medium 114 is a non-volatile, non-temporary recording medium such as a disk-shaped recording medium or a semiconductor memory, and is configured to be detachable from the model generation device 100.
  • the recording medium 114 records various programs executed by the processor 112. When the model generation device 100 executes various processes, a program recorded on the recording medium 114 is loaded into the memory 113 and executed by the processor 112.
  • the DB 115 stores information regarding the model generated by the model generation device 100 (hereinafter referred to as "existing model”) and the model after modification by retraining (hereinafter referred to as "modified model”). Further, the DB 115 stores training data input through the I/F 111, evaluation data, correction information input by the user, evaluation information regarding prediction error factors, and the like, as necessary.
  • FIG. 3 is a block diagram showing the functional configuration of the model generation device 100 of the first embodiment.
  • the model generation device 100 functionally includes a training data DB 121, a model training section 122, a model DB 123, an evaluation data DB 124, a prediction error analysis section 125, and an evaluation information output section 126.
  • the training data DB 121 stores training data used for model generation.
  • Training data D1 is input to model training section 122.
  • the training data D1 is composed of a plurality of combinations of input data and correct labels (teacher labels) for the input data.
  • the model training unit 122 trains a model using the training data D1 and generates a model.
  • the model training unit 122 outputs model data M corresponding to the generated model to the model DB 123 and the prediction error analysis unit 125.
  • the model data M includes a plurality of parameter information constituting the model.
  • the parameter information includes, for example, information on explanatory variables (or feature amounts) used as inputs of the model, information on weights for each explanatory variable, information on weights for each sample constituting input data, and the like.
  • the model training unit 122 retrains the existing model to generate a modified model.
  • the model training unit 122 corrects the parameters constituting the model based on the correction information D3 input by the user using the input device 3, and uses training data for retraining as necessary to improve the model. Perform retraining.
  • the model training unit 122 stores the model data M of the corrected model obtained through retraining in the model DB 123 and outputs it to the prediction error analysis unit 125.
  • the evaluation data DB 124 stores evaluation data used to evaluate the generated model.
  • the evaluation data includes various types of data that can be used to evaluate the model.
  • the evaluation data is basically composed of a plurality of combinations of input data and correct labels (teacher labels) for the input data. Examples of evaluation data include the following. (1) “Data not used for model generation” called validation data or test data In this case, the evaluation data is basically a set of input data and correct answer labels. (2) “Newly collected data after model generation” such as operational data Note that if labeling is not performed immediately, the evaluation data may be input-only data.
  • the prediction error analysis unit 125 analyzes prediction errors of the existing model using the evaluation data. Specifically, the prediction error analysis unit 125 inputs the input data of the evaluation data into the existing model, performs prediction, and obtains the prediction result. Then, the prediction error analysis unit 125 analyzes the factors of prediction errors caused by the existing model (hereinafter referred to as "prediction error factors") based on the used evaluation data and the prediction results. Specifically, the prediction error analysis unit 125 estimates the extent to which the existing model corresponds to a plurality of predetermined prediction error factors, and outputs it to the evaluation information output unit 126 as an analysis result of the prediction error factors. Note that a method for analyzing prediction error factors will be explained in detail later.
  • the prediction error analysis unit 125 is an example of an acquisition means and a determination means.
  • the evaluation information output unit 126 generates evaluation information D2 for evaluating the existing model based on the analysis results of prediction error factors.
  • the evaluation information D2 includes the relationship between the prediction result (prediction value) by the existing model and the actual measurement value, and the distribution of prediction error factors in a predetermined comparison period. Then, the evaluation information output unit 126 outputs the generated evaluation information D2 to the display device 2.
  • the evaluation information output unit 126 is an example of an extraction means and a factor output means.
  • the display device 2 displays the evaluation information D2 output by the evaluation information output unit 126. Thereby, the user can evaluate the performance of the existing model by referring to the relationship between the predicted value and the actual measured value by the existing model and the distribution of prediction error factors in the comparison period. Further, the user inputs correction information D3 into the input device 3 as necessary.
  • the model training unit 122 corrects the model by retraining the model using the input correction information D3.
  • FIG. 4 shows a first display example of evaluation information.
  • the first display example 40 includes a graph G and distribution charts R1 and R2 of prediction error factors (hereinafter also simply referred to as "factors").
  • Graph G is a graph showing the relationship between predicted values by the existing model and actual measured values.
  • the existing model is a model that predicts product sales.
  • the horizontal axis of graph G indicates the number of days since a predetermined reference date, and the vertical axis indicates sales.
  • Graph G shows actual measured sales values and predicted values based on existing models.
  • graph G is displayed first.
  • the user specifies a predetermined period in graph G as a comparison period.
  • the "comparison period” is a period in which the distribution of prediction error factors is displayed for comparison by the user.
  • the user operates the input device 3 to specify comparison periods T1 and T2.
  • the user's designation of the comparison period is sent from the input device 3 to the evaluation information output unit 126.
  • the prediction error analysis unit 125 analyzes the prediction error factors in the comparison period T1 specified by the user, and outputs the analysis result to the evaluation information output unit 126.
  • the evaluation information output unit 126 creates a distribution map R1 of prediction error factors based on the analysis results, and displays it on the display device 2.
  • Distribution map R1 shows the distribution of six prediction error factors A to F.
  • the distribution map R1 includes a bar graph 51 indicating the degree of prediction error factors A to F, and a radar chart 52. The user can compare the magnitude of each prediction error factor using the bar graph 51, and can see the balance of multiple prediction error factors using the radar chart 52.
  • the prediction error analysis unit 125 analyzes prediction error factors in the comparison period T2 specified by the user, and outputs the analysis result to the evaluation information output unit 126.
  • the evaluation information output unit 126 creates a distribution map R2 of prediction error factors based on the analysis results, and displays it on the display device 2.
  • the user can display distribution charts R1 and R2 of arbitrary comparison periods T1 and T2 specified by the user side by side.
  • FIG. 5 shows a second display example of evaluation information.
  • the second display example 41 includes a graph G and distribution charts R3 and R4 of prediction error factors. Similar to the first display example, graph G is a graph showing the relationship between the predicted value by the existing model and the actual measured value.
  • the evaluation information output unit 126 detects a change point in the distribution of prediction error factors, sets a comparison period using the change point as a boundary, and displays the comparison period. Specifically, the evaluation information output unit 126 detects a point where a change occurs in the distribution of factors A to F as a change point. In the example of FIG. 5, the evaluation information output unit 126 detects a point at which the distribution of prediction error factors A to F changes as a change point P1, and sets and displays comparison periods T3 and T4. Specifically, the evaluation information output unit 126 sets the period in which the distribution of prediction error factors is common before the change point P1 as the comparison period T3, and the period in which the distribution of prediction error factors is common after the change point P1. The period is set as comparison period T4.
  • the evaluation information output unit 126 creates a distribution chart showing the distribution of prediction error factors for each set comparison period.
  • the evaluation information output unit 126 creates a distribution diagram R3 of prediction error factors for the comparison period T3, and also creates a distribution diagram R4 of prediction error factors for the comparison period T4.
  • the distribution maps R3 and R4 include a bar graph 51 and a radar chart 52, similar to the first display example. Then, the evaluation information output unit 126 displays evaluation information including the graph G including the comparison periods T3 and T4 and the distribution charts R3 and R4 on the display device 2.
  • the user can view the distribution of prediction error factors for the comparison period before and after the change, with the change point in the distribution of prediction error factors as a boundary.
  • FIG. 6 shows a third display example of evaluation information.
  • the third display example 42 includes a graph G and distribution charts R5 to R7 of prediction error factors. Similar to the first display example, graph G is a graph showing the relationship between the predicted value by the existing model and the actual measured value.
  • the evaluation information output unit 126 detects a change point of a major prediction error factor, sets and displays a comparison period using the change point as a boundary. Specifically, the evaluation information output unit 126 detects the point at which the largest factor among factors A to F changes as the point of change. In the example of FIG. 6, the evaluation information output unit 126 detects the point at which the largest factor changes from factor A to factor C among prediction error factors A to F as a change point P2, and the largest factor changes from factor C to factor C. The point at which the value changes to E is detected as a change point P3.
  • the evaluation information output unit 126 sets a comparison period T5 before the change point P2, sets a comparison period T6 between the change points P2 and P3, and sets a comparison period T7 after the change point P. Note that instead of the point at which the largest factor has changed, the point at which the combination of multiple factors that account for most (for example, 80% or more) of all the factors has changed may be used as the point of change.
  • the evaluation information output unit 126 creates a distribution chart showing the distribution of prediction error factors for each set comparison period.
  • the evaluation information output unit 126 creates distribution charts R5 to R7 of prediction error factors for the comparison periods T5 to T7. That is, the distribution map R5 corresponds to the comparison period T5 in which the factor A is large, the distribution map R6 corresponds to the comparison period T6 in which the factor C is large, and the distribution chart R7 corresponds to the comparison period T7 in which the factor E is large.
  • the distribution maps R5 to R7 include a bar graph 51 and a radar chart 52, similar to the first display example. Then, the evaluation information output unit 126 displays evaluation information including a graph G including comparison periods T5 to T7 and distribution charts R5 to R7 on the display device 2.
  • the user can view the distribution of prediction error factors for the comparison period before and after the change, starting from the point at which the main prediction error factor changes.
  • FIG. 7 shows a fourth display example of evaluation information.
  • the fourth display example 43 includes a graph G and distribution charts R8 and R9 of prediction error factors. Similar to the first display example, graph G is a graph showing the relationship between the predicted value by the existing model and the actual measured value.
  • the evaluation information output unit 126 detects a change point in the input data input to the existing model, specifically, a change point in the distribution of explanatory variables, and compares the data using the change point as a boundary. Set the period. Specifically, the evaluation information output unit 126 analyzes the distribution of a plurality of explanatory variables included in the input data, and detects a point at which the distribution of explanatory variables changes as a point of change. In the example of FIG. 7, the evaluation information output unit 126 detects that the distribution of multiple explanatory variables included in the input data has changed at a change point P4, and sets comparison periods T8 and T9 before and after the change point P4. ing.
  • the evaluation information output unit 126 analyzes the gender distribution of the guests, that is, the ratio of men and women, and finds that up to a certain point there were more female guests, but after that point there were more male guests. In such a case, that point in time is detected as a change point.
  • the evaluation information output unit 126 creates a distribution chart showing the distribution of prediction error factors for each set comparison period.
  • the evaluation information output unit 126 creates prediction error factor distribution charts R8 and R9 for comparison periods T8 and T9.
  • the distribution maps R8 and R9 include a bar graph 51 and a radar chart 52, similar to the first display example.
  • the evaluation information output unit 126 displays evaluation information including the graph G including the comparison periods T8 and T9 and the distribution charts R8 and R9 on the display device 2.
  • the user can view the distribution of prediction error factors for the comparison period before and after the change, starting from the time when the distribution of the explanatory variables, that is, the trend of the input data changes.
  • the evaluation information output unit 126 sets the comparison period using the change point of the distribution of the explanatory variables in the input data, but instead, the evaluation information output unit 126 sets the comparison period using the change point of the objective variable.
  • a comparison period may be set.
  • the evaluation information output unit 126 may set a day when the actual value of sales suddenly doubles as a change point, and set a comparison period before and after that day.
  • the evaluation information output unit 126 may detect a change point based on both the explanatory variable and the objective variable. In the above example, for example, a day on which the ratio of men and women among visitors changes as an explanatory variable and sales change by more than a predetermined value may be detected as a change point.
  • the graph G showing the relationship between predicted values and actual measured values by existing models, and the distribution charts R1 to R9 including bar graphs and radar charts are just examples;
  • the evaluation information may be illustrated using various graphs and charts.
  • FIG. 8 is a flowchart of model analysis processing by the model generation device 100.
  • the model analysis process is a process of analyzing prediction error factors of the existing model generated by the model training unit 122 and displaying the results on the display device 2. This processing is realized by the processor 112 shown in FIG. 2 executing a program prepared in advance and operating as the element shown in FIG. 3.
  • the prediction error analysis unit 125 inputs the evaluation data into the existing model and obtains the predicted value by the existing model (step S10). Next, the prediction error analysis unit 125 analyzes the factors of prediction errors in the existing model using the actual measured values included in the evaluation data and the predicted values by the existing model (step S11). The prediction error analysis unit 125 outputs the analysis result of prediction error factors to the evaluation information output unit 126.
  • the evaluation information output unit 126 sets a comparison period (step S13). Specifically, in the case of the first display example described above, the evaluation information output unit 126 sets the comparison period according to the user's input. On the other hand, in the case of the second to fourth display examples, the evaluation information output unit 126 outputs information based on the change point in the distribution of prediction error factors, the change point in the maximum prediction error factor, or the change point in the distribution of input data. , set the comparison period.
  • the evaluation information output unit 126 creates a distribution map of prediction error factors for each set comparison period (step S13). As a result, distribution maps R1 to R8 illustrated in FIGS. 4 to 7 are created. Then, the evaluation information output unit 126 generates evaluation information including a graph showing the relationship between the actual measured value and the predicted value of the existing model and a distribution diagram of prediction error factors for each comparison period (step S14), and displays it on the display device. 2 (step S15). In this way, the evaluation information is displayed on the display device 2, as illustrated in FIGS. 4 to 7. Then, the process ends.
  • FIG. 9 shows the functional configuration of the prediction error analysis section 125.
  • the prediction error analysis section 125 includes an index evaluation section 131 and a factor identification section 132.
  • the index evaluation unit 131 calculates a plurality of types of indicators for a prediction model, explanatory variable data used in the prediction model, or objective variable data used in the prediction model. Next, the index evaluation unit 131 evaluates each of the plurality of calculated indexes. Then, the factor identifying unit 132 identifies the cause of the prediction error by the prediction model according to the combination of evaluation results of the plurality of types of indicators by the index evaluating unit 131.
  • the factor specifying unit 132 specifies a factor using, for example, a predetermined rule that associates a combination of evaluation results with a factor.
  • the index evaluation unit 131 calculates indexes and makes judgments on the calculation results of the indexes for a plurality of indexes necessary for analyzing prediction error factors. For example, the index evaluation unit 131 calculates the degree of abnormality of the explanatory variable of the prediction error sample with respect to the training data or the evaluation data, and evaluates the calculated degree of abnormality. In this case, the index evaluation unit 131 evaluates the index by determining whether the calculated abnormality degree value is a value that indicates that the prediction error sample is an abnormal sample. That is, in this case, the index evaluation unit 131 uses the calculated degree of abnormality to determine whether the prediction error sample is an abnormal sample.
  • the index evaluation unit 131 calculates the inter-distribution distance (hereinafter also referred to as "data distribution change amount") between the training data and the operational data, and evaluates the calculated inter-distribution distance.
  • the index evaluation unit 131 evaluates the index by determining whether the calculated inter-distribution distance value is a value that indicates that there is a change in the data distribution between the training time and the operation time. do. That is, in this case, the index evaluation unit 131 uses the calculated inter-distribution distance to determine whether a change in data distribution occurs between the training time and the operation time. Note that these are just examples, and the index evaluation unit 131 can perform calculations and evaluations for various types of indexes.
  • the index evaluation unit 131 performs a predetermined determination on the index as an evaluation of the index.
  • the determination for each index is performed using, for example, a predetermined and stored threshold value. Note that instead of the threshold value itself, a parameter for specifying the threshold value may be stored.
  • the factor identification unit 132 identifies a prediction error factor according to the combination of evaluation results of each of the plurality of types of indicators by the indicator evaluation unit 131.
  • the factor identifying unit 132 identifies a prediction error factor according to a combination of determination results of predetermined determinations for each index. Specifically, the factor identifying unit 132 identifies a prediction error factor by using a predetermined rule (hereinafter referred to as a "factor determination rule”) that associates a prediction error factor with a combination of a plurality of determination results.
  • a predetermined rule hereinafter referred to as a "factor determination rule”
  • the content of the factor determination rule used by the factor identification unit 132 is arbitrary. Further, the factor determination rules are stored in advance in a storage unit or the like.
  • FIG. 10 shows an example of a table-format factor determination rule used by the factor identification unit 132.
  • the indicator evaluation unit 131 generates Yes or No determination results for three questions Q1, Q2, and Q3 corresponding to three different types of indicators.
  • question Q1 it is determined whether the prediction error sample 25 is a normal sample based on the degree of abnormality of the explanatory variable of the prediction error sample with respect to the training data.
  • question Q2 the goodness of fit of the existing model to the training data in the neighborhood region is determined by calculating evaluation indicators such as mean squared error using neighborhood training samples and the prediction model.
  • the neighborhood training sample refers to a sample in the training data located within the neighborhood region.
  • the neighborhood region refers to a range of values of an explanatory variable that is determined to be close to the value of an explanatory variable of a prediction error sample.
  • the specific method of defining the neighborhood region is arbitrary; for example, the neighborhood region is defined as a region whose distance (Euclidean distance, etc.) from the prediction error sample calculated using the value of the explanatory variable is less than or equal to a predetermined distance.
  • You can also use it as Question Q3 uses the data distribution change amount between the distribution of explanatory variables in the training data and the distribution of explanatory variables in the operational data to determine whether the data distribution has changed between the training time and the operation time.
  • the factor identification unit 132 identifies the prediction error factor using the determination result by the index evaluation unit 131 and the factor determination rule in FIG.
  • eight types of combinations are assigned to four types of prediction error factors.
  • "errors other than prediction model and data” "local errors", “changes in data distribution”, and "abnormalities in explanatory variables" are obtained as prediction error factors.
  • the evaluation information output unit 126 outputs evaluation information including a graph showing the relationship between actual measured values and predicted values of the existing model, and a distribution diagram of prediction error factors for each comparison period. In addition to this, the evaluation information output unit 126 may output countermeasures against the causes of prediction errors.
  • FIG. 11 is a diagram conceptually showing the method of modification 1.
  • the user considers countermeasures against the prediction error factor. For example, suppose that when "label bias in a dataset" is determined to be a cause of a prediction error, the user performs "undersampling" as a countermeasure, and the prediction error is improved. In this case, the cause of prediction errors, ⁇ label bias in the data set,'' and the countermeasure, ⁇ undersampling,'' are associated and accumulated as historical data.
  • correction information input by the user using the input device 3 may be used as the countermeasure information.
  • a countermeasure prediction model that predicts effective countermeasures based on the causes of prediction errors.
  • the countermeasure prediction model may initially be rule-based, or may be created as a learning model after a certain amount of data has been accumulated.
  • the evaluation information output unit 126 predicts countermeasures for the prediction error factors included in the evaluation information using the countermeasure prediction model, and outputs evaluation information including recommended countermeasures. Thereby, the user can be presented with recommended countermeasures for the prediction error factors in addition to the prediction error factors for each comparison period.
  • FIG. 12 is a block diagram showing a schematic configuration of a model generation system 1x using a server and a terminal device.
  • a server 100x includes the configuration of the model generation device 100 shown in FIG.
  • the display device 2x and input device 3x of the terminal device 7 used by the user are used as the display device 2 and input device 3 shown in FIG. With this configuration, countermeasures input by multiple users can be easily collected on the server 100x and shared.
  • FIG. 13 is a block diagram showing the functional configuration of the model analysis device according to the second embodiment.
  • the model analysis device 70 includes an acquisition means 71, a determination means 72, an extraction means 73, and a factor output means 74.
  • FIG. 14 is a flowchart of processing by the model analysis device of the second embodiment.
  • the acquisition means 71 acquires the prediction result of the model for input data (step S71).
  • the determining means 72 determines the cause of the model's prediction error using the input data and the prediction result (step S72).
  • the extraction means 73 extracts a plurality of comparison periods from the period covered by the prediction by the model, based on at least one of the input data and the prediction error factor (step S73).
  • the factor output means 74 outputs the distribution of prediction error factors in the plurality of extracted comparison periods (step S74).
  • model analysis device 70 of the second embodiment it is possible to analyze the causes of prediction errors in the prediction model and visualize them for each of a plurality of periods.
  • a model analysis device comprising:
  • Appendix 7 The model analysis device according to appendix 6, wherein the factor output means outputs the countermeasure using a countermeasure prediction model that has learned a relationship between a plurality of prediction error factors and countermeasures for each prediction error factor.
  • Appendix 8 The model analysis device according to appendix 6, further comprising a storage means for storing a plurality of prediction error factors and countermeasures for each prediction error factor in association with each other.
  • a recording medium storing a program that causes a computer to execute a process of outputting a distribution of the prediction error factors in a plurality of extracted comparison periods.
  • Model generation device 112 Processor 121 Training data DB 122 Model training department 123 Model DB 124 Evaluation data DB 125 Prediction error analysis section 126 Evaluation information output section

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

モデル分析装置において、取得手段は、入力データに対するモデルの予測結果を取得する。判定手段は、入力データ及び予測結果を用いて、モデルの予測ミス要因を判定する。抽出手段は、入力データ及び予測ミス要因の少なくとも一方に基づいて、モデルによる予測の対象期間から複数の比較期間を抽出する。要因出力手段は、抽出された複数の比較期間における予測ミス要因の分布を出力する。

Description

モデル分析装置、モデル分析方法、及び、記録媒体
　本開示は、機械学習モデルの分析に関する。
　近年、様々な分野において、機械学習により得られた予測モデルが利用されている。特許文献１は、予測モデルを用いて電力需要の予測を行う手法を記載している。
特開２０１９－０３２８０７号公報
　作成した予測モデルの精度が十分でない場合や、当初のモデル作成から時間が経過し、使用するデータの傾向が変化した場合などは、予測モデルの再学習が必要となる。予測モデルに予測のミスが生じた場合、予測ミスの要因を分析し、対策を講じることが必要となる。
　本開示の１つの目的は、予測モデルの予測ミス要因を分析し、可視化することが可能なモデル分析装置を提供することにある。
　本開示の一つの観点では、モデル分析装置は、
　入力データに対するモデルの予測結果を取得する取得手段と、
　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定する判定手段と、
　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出する抽出手段と、
　抽出された複数の比較期間における前記予測ミス要因の分布を出力する要因出力手段と、
　を備える。
　本開示の他の観点では、モデル分析方法は、
　入力データに対するモデルの予測結果を取得し、
　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定し、
　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出し、
　抽出された複数の比較期間における前記予測ミス要因の分布を出力する。
　本開示のさらに他の観点では、記録媒体は、
　入力データに対するモデルの予測結果を取得し、
　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定し、
　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出し、
　抽出された複数の比較期間における前記予測ミス要因の分布を出力する処理をコンピュータに実行させるプログラムを記録する。
　本開示によれば、予測モデルの予測ミス要因を分析し、可視化することが可能となる。
第１実施形態に係るモデル生成システムの全体構成を示すブロック図である。 モデル生成装置のハードウェア構成を示すブロック図である。 第１実施形態のモデル生成装置の機能構成を示すブロック図である。 評価情報の第１の表示例を示す。 評価情報の第２の表示例を示す。 評価情報の第３の表示例を示す。 評価情報の第４の表示例を示す。 モデル分析処理のフローチャートである。 予測ミス分析部の機能構成を示すブロック図である。 要因特定部が用いる要因決定規則の一例を示す。 変形例１の手法を概念的に示す図である。 サーバと端末装置を用いたモデル生成システムの概略構成を示すブロック図である。 第２実施形態のモデル分析装置の機能構成を示すブロック図である。 第２実施形態のモデル分析装置による処理のフローチャートである。
　以下、図面を参照して、本開示の好適な実施形態について説明する。
　＜第１実施形態＞
　［全体構成］
　図１は、第１実施形態に係るモデル生成システムの全体構成を示すブロック図である。モデル生成システム１は、モデル生成装置１００と、表示装置２と、入力装置３とを備える。モデル生成装置１００は、本開示のモデル分析装置を適用したものであり、例えばパーソナルコンピュータ（ＰＣ）などのコンピュータにより構成される。表示装置２は、例えば液晶表示装置などであり、モデル生成装置１００が生成した評価情報を表示する。入力装置３は、例えばマウス、キーボードなどであり、ユーザがモデルの修正時や評価情報の表示時に必要な指示、入力を行うために使用される。
　まず、モデル生成システム１の動作を概略的に説明する。モデル生成装置１００は、予め用意された訓練データを用いて、機械学習モデル（以下、単に「モデル」と呼ぶ。）を生成する。また、モデル生成装置１００は、生成したモデルの評価を行う。具体的には、評価用データなどを用いてモデルによる予測を行い、予測結果に基づいてモデルの予測ミス要因を分析する。そして、モデル生成装置１００は、得られた予測ミス要因に基づいて、予測の対象期間から複数の比較期間を抽出し、比較期間毎に予測ミス要因の分布を作成し、評価情報として表示装置２へ表示する。これにより、ユーザは、予測ミス要因の特徴に基づいて抽出された期間毎に予測ミス要因の分布を見ることができ、予測ミスに対する対策を検討することができる。なお、ユーザは、入力装置３を操作して、予測ミス要因の分布を表示するための比較期間を指定してもよい。また、ユーザは、入力装置３を操作してモデルの修正のための修正情報を入力する。
　ここで、「モデル」とは、説明変数と目的変数の関係を表す情報である。モデルは、例えば、説明変数に基づいて目的とする変数を算出することにより推定対象の結果を推定するためのコンポーネントである。モデルは、既に目的変数の値が得られている学習用データと任意のパラメータとを入力として、学習アルゴリズムを実行することにより生成される。モデルは例えば、入力ｘを正解ｙに写像する関数ｃにより表されてもよい。モデルは、推定対象の数値を推定するものであってもよいし、推定対象のラベルを推定するものであってもよい。モデルは、目的変数の確率分布を記述する変数を出力してもよい。モデルは、「学習モデル」、「分析モデル」、「ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）モデル」または「予測式」などと記載されることもある。
　［ハードウェア構成］
　図２は、モデル生成装置１００のハードウェア構成を示すブロック図である。図示のように、モデル生成装置１００は、インタフェース（Ｉ／Ｆ）１１１と、プロセッサ１１２と、メモリ１１３と、記録媒体１１４と、データベース（ＤＢ）１１５と、を備える。
　Ｉ／Ｆ１１１は、外部装置との間でデータの入出力を行う。具体的に、モデルの生成に使用する訓練データ、評価用データ、及び、ユーザが入力装置３を用いて入力した指示や入力は、Ｉ／Ｆ１１１を通じてモデル生成装置１００に入力される。また、モデル生成装置１００が生成したモデルの評価情報は、Ｉ／Ｆ１１１を通じて表示装置２へ出力される。
　プロセッサ１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することによりモデル生成装置１００の全体を制御する。なお、プロセッサ１１２は、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）であってもよい。プロセッサ１１２は、後述するモデル分析処理を実行する。
　メモリ１１３は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などにより構成される。メモリ１１３は、プロセッサ１１２による各種の処理の実行中に作業メモリとしても使用される。
　記録媒体１１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、モデル生成装置１００に対して着脱可能に構成される。記録媒体１１４は、プロセッサ１１２が実行する各種のプログラムを記録している。モデル生成装置１００が各種の処理を実行する際には、記録媒体１１４に記録されているプログラムがメモリ１１３にロードされ、プロセッサ１１２により実行される。
　ＤＢ１１５は、モデル生成装置１００が生成したモデル（以下、「既存モデル」と呼ぶ。）、及び、再訓練による修正後のモデル（以下、「修正後モデル」と呼ぶ。）に関する情報を記憶する。また、ＤＢ１１５は、必要に応じて、Ｉ／Ｆ１１１を通じて入力された訓練データ、評価用データ、ユーザが入力した修正情報、予測ミス要因に関する評価情報などを記憶する。
　（機能構成）
　図３は、第１実施形態のモデル生成装置１００の機能構成を示すブロック図である。モデル生成装置１００は、機能的には、訓練データＤＢ１２１と、モデル訓練部１２２と、モデルＤＢ１２３と、評価用データＤＢ１２４と、予測ミス分析部１２５と、評価情報出力部１２６とを備える。
　訓練データＤＢ１２１は、モデルの生成に用いられる訓練データを記憶する。訓練データＤ１は、モデル訓練部１２２に入力される。なお、訓練データＤ１は、入力データと、その入力データに対する正解ラベル（教師ラベル）との複数の組み合わせにより構成される。
　モデル訓練部１２２は、訓練データＤ１を用いてモデルの訓練を行い、モデルを生成する。モデル訓練部１２２は、生成したモデルに対応するモデルデータＭをモデルＤＢ１２３及び予測ミス分析部１２５へ出力する。なお、モデルデータＭは、モデルを構成する複数のパラメータ情報を含む。パラメータ情報は、例えば、モデルの入力として用いられる説明変数（または、特徴量）の情報、各説明変数に対する重みの情報、入力データを構成する各サンプルに対する重みの情報などを含む。
　また、モデル訓練部１２２は、既存モデルを再訓練して修正後モデルを生成する。この場合、モデル訓練部１２２は、ユーザが入力装置３を用いて入力した修正情報Ｄ３に基づいて、モデルを構成するパラメータを修正し、必要に応じて再訓練用の訓練データを用いてモデルの再訓練を行う。モデル訓練部１２２は、再訓練により得られた修正後モデルのモデルデータＭをモデルＤＢ１２３へ記憶するとともに、予測ミス分析部１２５へ出力する。
　評価用データＤＢ１２４は、生成されたモデルの評価に使用する評価用データを記憶する。評価用データは、モデルの評価に使用できる各種のデータを含む。評価用データは、基本的には入力データと、その入力データに対する正解ラベル（教師ラベル）との複数の組み合わせにより構成される。評価用データの例としては、以下のようなものが挙げられる。
（１）バリデーションデータやテストデータと呼ばれる「モデルの生成に使用しなかったデータ」
　この場合、評価用データは、基本に入力データと正解ラベルのセットとなる。
（２）運用データなどの「モデルの生成後に新たに収集されたデータ」
　なお、ラベリングが即時で行われない場合、評価用データは入力のみのデータとなる可能性もある。
（３）「何らかの方法で生成された、モデルにとって未知のデータ」
　例えば、入力データ内の特徴量が、（曜日、祝日、天気）だった場合、カレンダー情報や天気予報を用いて疑似的に未来のデータを作ることができる。
（４）「訓練データと同一のデータ」
　モデルの生成に使用した訓練データを、評価用データとして使用することができる。この場合、訓練データと同一のデータを評価用データとして評価用データＤＢ１２４に記憶しておけばよい。
　予測ミス分析部１２５は、評価用データを用いて既存モデルの予測ミスを分析する。具体的に、予測ミス分析部１２５は、評価用データの入力データを既存モデルに入力して予測を行い、予測結果を取得する。そして、予測ミス分析部１２５は、使用した評価用データと予測結果とに基づいて、既存モデルが起こした予測ミスの要因（以下、「予測ミス要因」と呼ぶ。）を分析する。具体的に、予測ミス分析部１２５は、既存モデルが予め決められた複数の予測ミス要因に該当する程度を推定し、予測ミス要因の分析結果として評価情報出力部１２６へ出力する。なお、予測ミス要因の分析方法については、後に詳しく説明する。予測ミス分析部１２５は、取得手段及び判定手段の一例である。
　評価情報出力部１２６は、予測ミス要因の分析結果に基づいて、既存モデルを評価するための評価情報Ｄ２を生成する。評価情報Ｄ２は、既存モデルによる予測結果（予測値）と実測値との関係と、所定の比較期間における予測ミス要因の分布とを含む。そして、評価情報出力部１２６は、生成した評価情報Ｄ２を表示装置２へ出力する。評価情報出力部１２６は、抽出手段及び要因出力手段の一例である。
　表示装置２は、評価情報出力部１２６が出力した評価情報Ｄ２を表示装置２に表示する。これにより、ユーザは、既存モデルによる予測値と実測値との関係、及び、比較期間における予測ミス要因の分布を参照し、既存モデルの性能を評価することができる。また、ユーザは、必要に応じて、修正情報Ｄ３を入力装置３に入力する。モデル訓練部１２２は、入力された修正情報Ｄ３を用いてモデルの再訓練を行うことにより、モデルの修正を行う。
　［評価情報の表示例］
　次に、表示装置２に表示される評価情報の表示例を説明する。
　（第１の表示例）
　図４は、評価情報の第１の表示例を示す。第１の表示例４０は、グラフＧと、予測ミス要因（以下、単に「要因」とも呼ぶ。）の分布図Ｒ１、Ｒ２とを含む。グラフＧは、既存モデルによる予測値と、実測値との関係を示すグラフである。図４の例では、既存モデルは、商品の売り上げを予測するモデルとする。グラフＧの横軸は所定の基準日からの日数を示し、縦軸は売り上げを示す。グラフＧは、売り上げの実測値と、既存モデルによる予測値とを示している。
　評価情報としては、最初にグラフＧが表示される。ユーザは、グラフＧにおける所定の期間を比較期間として指定する。「比較期間」とは、ユーザによる比較のために、予測ミス要因の分布を表示させる期間である。図４の例では、ユーザは、入力装置３を操作して、比較期間Ｔ１とＴ２を指定している。ユーザによる比較期間の指定は、入力装置３から評価情報出力部１２６へ送られる。これに対し、予測ミス分析部１２５は、ユーザが指定した比較期間Ｔ１における予測ミス要因を分析し、分析結果を評価情報出力部１２６へ出力する。評価情報出力部１２６は、分析結果に基づき、予測ミス要因の分布図Ｒ１を作成し、表示装置２に表示する。分布図Ｒ１は、６個の予測ミス要因Ａ～Ｆの分布を示す。具体的に、分布図Ｒ１は、予測ミス要因Ａ～Ｆの程度を示す棒グラフ５１と、レーダーチャート５２とを含む。ユーザは、棒グラフ５１により各予測ミス要因の大きさを比べることができ、レーダーチャート５２により複数の予測ミス要因のバランスを見ることができる。
　同様に、予測ミス分析部１２５は、ユーザが指定した比較期間Ｔ２における予測ミス要因を分析し、分析結果を評価情報出力部１２６へ出力する。評価情報出力部１２６は、分析結果に基づいて予測ミス要因の分布図Ｒ２を作成し、表示装置２に表示する。第１の表示例では、ユーザは、自分で指定した任意の比較期間Ｔ１とＴ２の分布図Ｒ１とＲ２を並べて表示させることができる。
　（第２の表示例）
　図５は、評価情報の第２の表示例を示す。第２の表示例４１は、グラフＧと、予測ミス要因の分布図Ｒ３、Ｒ４を含む。第１の表示例と同様に、グラフＧは、既存モデルによる予測値と、実測値との関係を示すグラフである。
　第１の表示例では、比較期間をユーザが指定している。これに対して、第２の表示例では、評価情報出力部１２６は、予測ミス要因の分布の変化点を検出し、その変化点を境にして比較期間を設定し、表示する。具体的には、評価情報出力部１２６は、要因Ａ～Ｆの分布に変化が生じた点を変化点として検出する。図５の例では、評価情報出力部１２６は、予測ミス要因Ａ～Ｆの分布が変化した点を変化点Ｐ１として検出し、比較期間Ｔ３とＴ４を設定して表示している。具体的に、評価情報出力部１２６は、変化点Ｐ１より前において予測ミス要因の分布が共通している期間を比較期間Ｔ３とし、変化点Ｐ１より後において予測ミス要因の分布が共通している期間を比較期間Ｔ４と設定している。
　さらに、評価情報出力部１２６は、設定した比較期間毎に、予測ミス要因の分布を示す分布図を作成する。図５の例では、評価情報出力部１２６は、比較期間Ｔ３について予測ミス要因の分布図Ｒ３を作成するとともに、比較期間Ｔ４について予測ミス要因の分布図Ｒ４を作成している。なお、分布図Ｒ３、Ｒ４が、棒グラフ５１とレーダーチャート５２を含む点は、第１の表示例と同様である。そして、評価情報出力部１２６は、比較期間Ｔ３及びＴ４を含むグラフＧと、分布図Ｒ３及びＲ４とを含む評価情報を表示装置２に表示する。
　第２の表示例では、ユーザは、予測ミス要因の分布の変化点を境に、変化前後の比較期間について予測ミス要因の分布を見ることができる。
　（第３の表示例）
　図６は、評価情報の第３の表示例を示す。第３の表示例４２は、グラフＧと、予測ミス要因の分布図Ｒ５～Ｒ７を含む。第１の表示例と同様に、グラフＧは、既存モデルによる予測値と、実測値との関係を示すグラフである。
　第３の表示例では、評価情報出力部１２６は、主要な予測ミス要因の変化点を検出し、その変化点を境にして比較期間を設定し、表示する。具体的には、評価情報出力部１２６は、要因Ａ～Ｆのうち最大の要因が変化した点を変化点として検出する。図６の例では、評価情報出力部１２６は、予測ミス要因Ａ～Ｆのうち最大の要因が要因Ａから要因Ｃに変化した点を変化点Ｐ２として検出し、最大の要因が要因Ｃから要因Ｅに変化した点を変化点Ｐ３として検出している。そして、評価情報出力部１２６は、変化点Ｐ２より前に比較期間Ｔ５を設定し、変化点Ｐ２とＰ３の間を比較期間Ｔ６とし、変化点Ｐより後に比較期間Ｔ７を設定している。なお、最大の要因が変化した点の代わりに、全要因のうちの大部分（例えば８割以上）を占める複数の要因の組み合わせが変化した点などを変化点としてもよい。
　さらに、評価情報出力部１２６は、設定した比較期間毎に、予測ミス要因の分布を示す分布図を作成する。図６の例では、評価情報出力部１２６は、比較期間Ｔ５～Ｔ７について、予測ミス要因の分布図Ｒ５～Ｒ７を作成している。即ち、分布図Ｒ５は要因Ａが多い比較期間Ｔ５に対応し、分布図Ｒ６は要因Ｃが多い比較期間Ｔ６に対応し、分布図Ｒ７は要因Ｅが多い比較期間Ｔ７に対応している。なお、分布図Ｒ５～Ｒ７が、棒グラフ５１とレーダーチャート５２を含む点は、第１の表示例と同様である。そして、評価情報出力部１２６は、比較期間Ｔ５～Ｔ７を含むグラフＧと、分布図Ｒ５～７とを含む評価情報を表示装置２に表示する。
　第３の表示例では、ユーザは、主要な予測ミス要因が変化した点を境に、変化前後の比較期間について予測ミス要因の分布を見ることができる。
　（第４の表示例）
　図７は、評価情報の第４の表示例を示す。第４の表示例４３は、グラフＧと、予測ミス要因の分布図Ｒ８、Ｒ９を含む。第１の表示例と同様に、グラフＧは、既存モデルによる予測値と、実測値との関係を示すグラフである。
　第４の表示例では、評価情報出力部１２６は、既存モデルに入力された入力データの変化点、具体的には、説明変数の分布の変化点を検出し、その変化点を境にして比較期間を設定する。具体的には、評価情報出力部１２６は、入力データに含まれる複数の説明変数の分布を分析し、説明変数の分布が変化した点を変化点として検出する。図７の例では、評価情報出力部１２６は、入力データに含まれる複数の説明変数の分布が変化点Ｐ４で変化したことを検出し、変化点Ｐ４の前後に比較期間Ｔ８、Ｔ９を設定している。例えば、既存モデルが来客の性別を説明変数として売り上げを予測するものと仮定する。この場合、評価情報出力部１２６は、来客の性別の分布、即ち、男女の割合を分析し、ある時点までは女性客の方が多かったのに、その時点より後は男性客の方が多くなったというような場合、その時点を変化点として検出する。
　さらに、評価情報出力部１２６は、設定した比較期間毎に、予測ミス要因の分布を示す分布図を作成する。図７の例では、評価情報出力部１２６は、比較期間Ｔ８、Ｔ９について、予測ミス要因の分布図Ｒ８、Ｒ９を作成している。なお、分布図Ｒ８、Ｒ９が、棒グラフ５１とレーダーチャート５２を含む点は、第１の表示例と同様である。そして、評価情報出力部１２６は、比較期間Ｔ８、Ｔ９を含むグラフＧと、分布図Ｒ８、Ｒ９とを含む評価情報を表示装置２に表示する。
　第４の表示例では、ユーザは、説明変数の分布、即ち、入力データの傾向が変化した時点を境に、変化前後の比較期間について予測ミス要因の分布を見ることができる。なお、上記の例では、評価情報出力部１２６は、入力データのうちの説明変数の分布の変化点を用いて比較期間を設定しているが、その代わりに、目的変数の変化点を用いて比較期間を設定してもよい。例えば、評価情報出力部１２６は、売り上げの実測値が急に倍増した日を変化点とし、その前後に比較期間を設定してもよい。また、評価情報出力部１２６は、説明変数と目的変数の両方に基づいて変化点を検出してもよい。上記の例では、例えば説明変数として来客の男女割合が変化し、かつ、売り上げが所定値以上変化した日を変化点として検出してもよい。
　なお、上記の第１～第４の表示例において、既存モデルによる予測値と実測値の関係を示すグラフＧや、棒グラフ及びレーダーチャートを含む分布図Ｒ１～Ｒ９などはいずれも一例であり、他の各種のグラフやチャートなどを用いて評価情報を図示してもよい。
　［モデル分析処理］
　次に、モデル生成装置１００によるモデル分析処理について説明する。図８は、モデル生成装置１００によるモデル分析処理のフローチャートである。モデル分析処理は、モデル訓練部１２２により生成された既存モデルの予測ミス要因を分析し、表示装置２に表示する処理である。この処理は、図２に示すプロセッサ１１２が予め用意されたプログラムを実行し、図３に示す要素として動作することにより実現される。
　まず、予測ミス分析部１２５は、評価用データを既存モデルに入力し、既存モデルによる予測値を取得する（ステップＳ１０）。次に、予測ミス分析部１２５は、評価用データに含まれる実測値と、既存モデルによる予測値とを用いて、既存モデルの予測ミス要因を分析する（ステップＳ１１）。予測ミス分析部１２５は、予測ミス要因の分析結果を評価情報出力部１２６へ出力する。
　次に、評価情報出力部１２６は、比較期間を設定する（ステップＳ１３）。具体的に、上記の第１の表示例の場合には、評価情報出力部１２６はユーザの入力に従って比較期間を設定する。一方、第２～第４の表示例の場合、評価情報出力部１２６は、予測ミス要因の分布の変化点、最大の予測ミス要因の変化点、又は、入力データの分布の変化点に基づいて、比較期間を設定する。
　次に、評価情報出力部１２６は、設定された比較期間毎に、予測ミス要因の分布図を作成する（ステップＳ１３）。これにより、図４～７に例示する分布図Ｒ１～Ｒ８などが作成される。そして、評価情報出力部１２６は、実測値と既存モデルの予測値との関係を示すグラフ、及び、比較期間毎の予測ミス要因の分布図を含む評価情報を生成し（ステップＳ１４）、表示装置２へ出力する（ステップＳ１５）。こうして、図４～７に例示するように、評価情報が表示装置２に表示される。そして、処理は終了する。
　［予測ミス要因の分析方法］
　次に、予測ミス要因の分析方法について詳しく説明する。図９は、予測ミス分析部１２５の機能構成を示す。図示のように、予測ミス分析部１２５は、指標評価部１３１と、要因特定部１３２とを備える。
　概略的には、指標評価部１３１は、予測モデル、予測モデルで用いられる説明変数のデータ、又は、予測モデルで用いられる目的変数のデータについての指標を複数種類算出する。次に、指標評価部１３１は、算出した複数種類の指標のそれぞれを評価する。そして、要因特定部１３２は、複数種類の指標のそれぞれの指標評価部１３１による評価結果の組み合わせに応じて、予測モデルによる予測のミスの要因を特定する。要因特定部１３２は、例えば、評価結果の組み合わせと要因とを対応付ける予め定められた規則を用いて、要因を特定する。
　具体的に、指標評価部１３１は、予測ミス要因の分析に必要な複数の指標について、指標の計算と、指標の計算結果に対する判定を行う。例えば、指標評価部１３１は、訓練データ又は評価用データに対する予測ミスサンプルの説明変数の異常度を計算し、計算された異常度を評価する。この場合、指標評価部１３１は、計算された異常度の値が、予測ミスサンプルが異常なサンプルであると認定される値であるかを判定することにより、指標を評価する。すなわち、この場合、指標評価部１３１は、計算された異常度を用いて、予測ミスサンプルが異常なサンプルであるかを判定する。別の例として、指標評価部１３１は、訓練データと運用データとの間の分布間距離（以下、「データ分布変化量」とも呼ぶ。）を計算し、計算された分布間距離を評価する。この場合、指標評価部１３１は、計算された分布間距離の値が、訓練時と運用時とでデータの分布に変化があると認定される値であるかを判定することにより、指標を評価する。すなわち、この場合、指標評価部１３１は、計算された分布間距離を用いて、訓練時と運用時とでデータの分布の変化が発生しているか否かを判定する。なお、これらは、例に過ぎず、指標評価部１３１は、様々な種類の指標について算出及び評価を実行することができる。このように、指標評価部１３１は、指標に対する評価として、指標に対して所定の判定を行う。それぞれの指標に対する判定は、例えば、予め決められ、記憶された閾値を用いて行われる。なお、閾値自体の代わりに、閾値を特定するためのパラメータが記憶されていてもよい。
　要因特定部１３２は、指標評価部１３１による複数種類の指標のそれぞれの評価結果の組み合わせに応じて、予測ミス要因を特定する。要因特定部１３２は、指標毎の所定の判定の判定結果の組み合わせに応じて、予測ミス要因を特定する。具体的には、要因特定部１３２は、複数の判定結果の組み合わせに予測ミス要因を対応させる所定の規則（以下、「要因決定規則」と呼ぶ。）を用いることで予測ミス要因を特定する。なお、要因特定部１３２が用いる要因決定規則の内容は任意である。また、要因決定規則は、予め記憶部などに記憶されている。
　図１０は、要因特定部１３２が用いる表形式の要因決定規則の一例を示す。この例では、指標評価部１３１は、３種類の異なる指標に対応する３つの問Ｑ１、Ｑ２、Ｑ３についてＹｅｓまたはＮｏの判定結果を生成する。問Ｑ１では、訓練データに対する予測ミスサンプルの説明変数の異常度から、予測ミスサンプル２５が正常なサンプルであるかを判定している。問Ｑ２では、近傍訓練サンプルと、予測モデルとを用いて平均二乗誤差などの評価指標を計算することで、訓練データに対する既存モデルの近傍領域での当てはまりの良さを判定している。ここで、近傍訓練サンプルとは、近傍領域内に位置する、訓練データにおけるサンプルをいう。また、近傍領域とは、予測ミスサンプルの説明変数の値に近いと判断される説明変数の値の範囲をいう。このとき、近傍領域の具体的な定義方法は任意であり、例えば、説明変数の値を用いて計算される予測ミスサンプルからの距離（ユークリッド距離等）が所定の距離以下である領域を近傍領域としてもよい。問Ｑ３では、訓練データの説明変数の分布と運用データの説明変数の分布とのデータ分布変化量を用いて、訓練時と運用時でデータの分布が変化しているかを判定している。
　要因特定部１３２は、指標評価部１３１による判定結果と図１０の要因決定規則を用いて予測ミス要因を特定する。３種類の判定結果の組み合わせは８種類あり、表形式の要因決定規則では、この８種類のそれぞれに対して予測ミス要因を割り当てている。図１０の場合、８種類の組み合わせを４種類の予測ミス要因に割り当てている。図１０の例では、予測ミス要因として、「予測モデル及びデータ以外のエラー」、「局所的なエラー」、「データ分布の変化」、「説明変数の異常」が得られている。
　以上の予測ミス要因の分析方法は、国際出願ＰＣＴ／ＪＰ２０２１／００７１９１に記載されており、その全記載をここに参照により取り込む。なお、本実施形態における予測ミス要因の分析方法は、上記のものには限定されず、他の方法を採用することもできる。
　［変形例］
　（変形例１）
　上記の実施形態では、評価情報出力部１２６は、実測値と既存モデルの予測値との関係を示すグラフ、及び、比較期間毎の予測ミス要因の分布図を含む評価情報を出力している。これに加えて、評価情報出力部１２６は、予測ミス要因に対する対策案を出力してもよい。
　図１１は、変形例１の手法を概念的に示す図である。上記のように、比較期間毎に予測ミス要因が提示されると、ユーザは、その予測ミス要因に対する対策を検討することになる。例えば、「データセットにおけるラベルの偏り」が予測ミス要因と判定された場合に、ユーザが対策として「アンダーサンプリング」を行い、予測ミスが改善されたとする。この場合、予測ミス要因「データセットにおけるラベルの偏り」と、その対策「アンダーサンプリング」とを対応付けて履歴データとして蓄積してゆく。多数のユーザが各種の予測ミス要因に対して行った対策を収集することにより、各種の予測ミス要因に対して有効な対策の情報が得られる。なお、対策の情報としては、ユーザが入力装置３を用いて入力した修正情報を用いてもよい。
　そして、収集された履歴データを用いて、予測ミス要因から、それに対して有効な対策を予測する対策予測モデルを作成する。なお、対策予測モデルは、当初はルールベースでもよく、ある程度のデータ数が蓄積された状態で学習モデルとして作成してもよい。
　そして、評価情報出力部１２６は、評価情報に含まれる予測ミス要因について、対策予測モデルを用いて対策を予測し、推奨対策を含む評価情報を出力する。これにより、ユーザは、比較期間毎の予測ミス要因に加えて、その予測ミス要因に対する推奨対策の提示を受けることができる。
　（変形例２）
　上記の実施形態では、モデル生成装置１００をＰＣなどの独立した装置として構成しているが、その代わりに、モデル生成装置をサーバと端末装置により構成してもよい。図１２は、サーバと端末装置を用いたモデル生成システム１ｘの概略構成を示すブロック図である。図１２において、サーバ１００ｘは、図３に示すモデル生成装置１００の構成を備える。また、ユーザが使用する端末装置７の表示装置２ｘ及び入力装置３ｘを、図３に示す表示装置２及び入力装置３として使用する。この構成では、複数のユーザが入力した対策などを容易にサーバ１００ｘに集め、共有することが可能となる。
　＜第２実施形態＞
　図１３は、第２実施形態のモデル分析装置の機能構成を示すブロック図である。モデル分析装置７０は、取得手段７１と、判定手段７２と、抽出手段７３と、要因出力手段７４と、を備える。
　図１４は、第２実施形態のモデル分析装置による処理のフローチャートである。まず、取得手段７１は、入力データに対するモデルの予測結果を取得する（ステップＳ７１）。判定手段７２は、入力データ及び予測結果を用いて、モデルの予測ミス要因を判定する（ステップＳ７２）。抽出手段７３は、入力データ及び予測ミス要因の少なくとも一方に基づいて、モデルによる予測の対象期間から複数の比較期間を抽出する（ステップＳ７３）。要因出力手段７４は、抽出された複数の比較期間における予測ミス要因の分布を出力する（ステップＳ７４）。
　第２実施形態のモデル分析装置７０によれば、予測モデルの予測ミス要因を分析し、複数の期間毎に可視化することが可能となる。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　入力データに対するモデルの予測結果を取得する取得手段と、
　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定する判定手段と、
　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出する抽出手段と、
　抽出された複数の比較期間における前記予測ミス要因の分布を出力する要因出力手段と、
　を備えるモデル分析装置。
　（付記２）
　前記抽出手段は、複数の予測ミス要因の分布に基づいて前記比較期間を抽出する付記１に記載のモデル分析装置。
　（付記３）
　前記抽出手段は、前記複数の予測ミス要因の分布の変化点に基づいて、前記比較期間を抽出する付記２に記載のモデル分析装置。
　（付記４）
　前記抽出手段は、前記複数の予測ミス要因のうち、主要な予測ミス要因の変化点に基づいて、前記比較期間を抽出する付記２に記載のモデル分析装置。
　（付記５）
　前記抽出手段は、前記入力データの分布の変化点に基づいて、前記比較期間を抽出する付記１に記載のモデル分析装置。
　（付記６）
　前記要因出力手段は、前記予測ミス要因に対する対策を出力する付記１乃至５に記載のモデル分析装置。
　（付記７）
　前記要因出力手段は、複数の予測ミス要因と、各予測ミス要因に対する対策との関係を学習した対策予測モデルを用いて前記対策を出力する付記６に記載のモデル分析装置。
　（付記８）
　複数の予測ミス要因と、各予測ミス要因に対する対策とを関連付けて記憶する記憶手段を備える付記６に記載のモデル分析装置。
　（付記９）
　入力データに対するモデルの予測結果を取得し、
　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定し、
　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出し、
　抽出された複数の比較期間における前記予測ミス要因の分布を出力するモデル分析方法。
　（付記１０）
　入力データに対するモデルの予測結果を取得し、
　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定し、
　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出し、
　抽出された複数の比較期間における前記予測ミス要因の分布を出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
　以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１、１ｘ　モデル生成システム
　２、２ｘ　表示装置
　３、３ｘ　入力装置
　７　端末装置
　１００　モデル生成装置
　１１２　プロセッサ
　１２１　訓練データＤＢ
　１２２　モデル訓練部
　１２３　モデルＤＢ
　１２４　評価用データＤＢ
　１２５　予測ミス分析部
　１２６　評価情報出力部

Claims (10)

  1. 　入力データに対するモデルの予測結果を取得する取得手段と、
    　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定する判定手段と、
    　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出する抽出手段と、
    　抽出された複数の比較期間における前記予測ミス要因の分布を出力する要因出力手段と、
    　を備えるモデル分析装置。
  2. 　前記抽出手段は、複数の予測ミス要因の分布に基づいて前記比較期間を抽出する請求項１に記載のモデル分析装置。
  3. 　前記抽出手段は、前記複数の予測ミス要因の分布の変化点に基づいて、前記比較期間を抽出する請求項２に記載のモデル分析装置。
  4. 　前記抽出手段は、前記複数の予測ミス要因のうち、主要な予測ミス要因の変化点に基づいて、前記比較期間を抽出する請求項２に記載のモデル分析装置。
  5. 　前記抽出手段は、前記入力データの分布の変化点に基づいて、前記比較期間を抽出する請求項１に記載のモデル分析装置。
  6. 　前記要因出力手段は、前記予測ミス要因に対する対策を出力する請求項１乃至５のいずれか一項に記載のモデル分析装置。
  7. 　前記要因出力手段は、複数の予測ミス要因と、各予測ミス要因に対する対策との関係を学習した対策予測モデルを用いて前記対策を出力する請求項６に記載のモデル分析装置。
  8. 　複数の予測ミス要因と、各予測ミス要因に対する対策とを関連付けて記憶する記憶手段を備える請求項６に記載のモデル分析装置。
  9. 　入力データに対するモデルの予測結果を取得し、
    　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定し、
    　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出し、
    　抽出された複数の比較期間における前記予測ミス要因の分布を出力するモデル分析方法。
  10. 　入力データに対するモデルの予測結果を取得し、
    　前記入力データ及び前記予測結果を用いて、前記モデルの予測ミス要因を判定し、
    　前記入力データ及び前記予測ミス要因の少なくとも一方に基づいて、前記モデルによる予測の対象期間から複数の比較期間を抽出し、
    　抽出された複数の比較期間における前記予測ミス要因の分布を出力する処理をコンピュータに実行させるプログラムを記録した記録媒体。
PCT/JP2022/013813 2022-03-24 2022-03-24 モデル分析装置、モデル分析方法、及び、記録媒体 WO2023181230A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/013813 WO2023181230A1 (ja) 2022-03-24 2022-03-24 モデル分析装置、モデル分析方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/013813 WO2023181230A1 (ja) 2022-03-24 2022-03-24 モデル分析装置、モデル分析方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2023181230A1 true WO2023181230A1 (ja) 2023-09-28

Family

ID=88100609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/013813 WO2023181230A1 (ja) 2022-03-24 2022-03-24 モデル分析装置、モデル分析方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2023181230A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179850A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd 需要予測モデル評価方法
WO2020255414A1 (ja) * 2019-06-21 2020-12-24 日本電気株式会社 学習支援装置、学習支援方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09179850A (ja) * 1995-12-25 1997-07-11 Hitachi Ltd 需要予測モデル評価方法
WO2020255414A1 (ja) * 2019-06-21 2020-12-24 日本電気株式会社 学習支援装置、学習支援方法、及びコンピュータ読み取り可能な記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SAKUMA KEITA, SAKAI TOMOYA, YOSHIO KAMEDA: "A Method of Identifying Causes of Prediction Errors to Accelerate MLOps", THE 35TH ANNUAL CONFERENCE OF THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, 1 January 2021 (2021-01-01), XP093095491, DOI: 10.11517/pjsai.JSAI2021.0_2G3GS2e04 *

Similar Documents

Publication Publication Date Title
Cheah et al. Multigroup analysis using SmartPLS: Step-by-step guidelines for business research
CN106951984B (zh) 一种系统健康度动态分析预测方法及装置
US20120084251A1 (en) Probabilistic data mining model comparison
Andersen et al. Time-varying periodicity in intraday volatility
US20150088606A1 (en) Computer Implemented Tool and Method for Automating the Forecasting Process
Zarandi et al. A general fuzzy-statistical clustering approach for estimating the time of change in variable sampling control charts
US20140379310A1 (en) Methods and Systems for Evaluating Predictive Models
Nicholson et al. Optimal network flow: A predictive analytics perspective on the fixed-charge network flow problem
CN116416884A (zh) 一种显示器模组的测试装置及其测试方法
CN114819777A (zh) 一种基于数字孪生技术的企业销售业务分析管理系统
CN116703455B (zh) 基于时间序列的混合模型的医药数据销售预测方法及系统
WO2023181230A1 (ja) モデル分析装置、モデル分析方法、及び、記録媒体
Goyal Development of a survival based framework for bridge deterioration modeling with large-scale application to the North Carolina bridge management system
WO2023175921A1 (ja) モデル分析装置、モデル分析方法、及び、記録媒体
US11775512B2 (en) Data analysis apparatus, method and system
KR20190088395A (ko) 전력 사용량 기반의 매출 예측 시스템 및 그 방법
JP2019032807A (ja) 要因分析システム、要因分析方法およびプログラム
CN112184037B (zh) 一种基于加权svdd的多模态过程故障检测方法
KR20220097822A (ko) 비정형 기업 데이터를 이용한 기업성장 예측 시스템
JP2022068690A (ja) 意思決定支援装置
Stepashko et al. A technique for integral evaluation and forecast of the performance of a complex economic system
WO2023181244A1 (ja) モデル分析装置、モデル分析方法、及び、記録媒体
Maggino et al. New tools for the construction of ranking and evaluation indicators in multidimensional systems of ordinal variables
Gray Comparison of trend detection methods
WO2023181322A1 (ja) モデル分析装置、モデル分析方法、及び、記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22933371

Country of ref document: EP

Kind code of ref document: A1