WO2016152053A1 - 精度推定モデル生成システムおよび精度推定システム - Google Patents

精度推定モデル生成システムおよび精度推定システム Download PDF

Info

Publication number
WO2016152053A1
WO2016152053A1 PCT/JP2016/001253 JP2016001253W WO2016152053A1 WO 2016152053 A1 WO2016152053 A1 WO 2016152053A1 JP 2016001253 W JP2016001253 W JP 2016001253W WO 2016152053 A1 WO2016152053 A1 WO 2016152053A1
Authority
WO
WIPO (PCT)
Prior art keywords
accuracy
prediction model
point
interest
model
Prior art date
Application number
PCT/JP2016/001253
Other languages
English (en)
French (fr)
Inventor
啓 谷本
純平 小宮山
洋介 本橋
遼平 藤巻
泰弘 十河
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US15/560,085 priority Critical patent/US20180075360A1/en
Priority to JP2017507372A priority patent/JP6708204B2/ja
Publication of WO2016152053A1 publication Critical patent/WO2016152053A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to an accuracy estimation model generation system that generates an accuracy estimation model for estimating the accuracy of a prediction model, an accuracy estimation model generation method and an accuracy estimation model generation program, and an accuracy estimation system that estimates the accuracy of a prediction model,
  • the present invention relates to an accuracy estimation method and an accuracy estimation program.
  • the prediction model is known to deteriorate in prediction accuracy over time due to environmental changes. Therefore, relearning is performed for a prediction model that is determined to improve accuracy by updating, and the prediction model generated by relearning is updated as a new prediction model. For example, a prediction model in which a difference between an actual measurement value and a prediction value becomes large is selected, and relearning is also performed on the prediction model.
  • Patent Document 1 describes an apparatus for predicting energy demand of various facilities.
  • the apparatus described in Patent Document 1 uses the data acquired on the previous day, the data acquired on the previous day, the data acquired on the previous minute, and the data acquired on the previous minute each time a predetermined period elapses. Update the model.
  • the prediction accuracy of the prediction model in which the difference between the actual measurement value and the prediction value becomes large does not necessarily deteriorate as it is.
  • a prediction model in which a difference between an actual measurement value and a prediction value temporarily increases does not necessarily need to be updated.
  • a prediction model that is not actually deteriorated becomes an update target.
  • the present invention can appropriately estimate the accuracy of an accuracy estimation model generation system, an accuracy estimation model generation method and an accuracy estimation model generation program that can generate an accuracy estimation model that appropriately estimates the accuracy of a prediction model, and a prediction model.
  • An object is to provide an accuracy estimation system, an accuracy estimation method, and an accuracy estimation program.
  • the accuracy estimation model generation system provides a feature value representing an operational state at a first point of interest, which is a point of time in the past of the prediction model, for each prediction model learned using data in a set learning period.
  • a context calculation unit that calculates the accuracy index of the prediction model using the time series data of the error index in the period after the first point of interest, the learning period, and the prediction model
  • a data set creation unit that creates a data set that uses some or all of the parameters and context used for learning as explanatory variables and the accuracy index as an objective variable, and a prediction model using the created data set as learning data
  • a model generation unit that generates an accuracy estimation model for estimating the accuracy of.
  • the accuracy estimation system includes one or more contexts that indicate the operational amount of each first point of interest, which is a point of time in the past of the prediction model, the learning period of the prediction model, and the prediction model.
  • the accuracy estimation model learned by setting some or all of the parameters used for learning as explanatory variables and the accuracy index for the period after the first point of interest as the objective variable An accuracy estimation unit for estimating accuracy is provided, and the accuracy estimation unit calculates a context at the second point of interest that is later than the first point of interest, and applies the calculated context to the accuracy estimation model for the second attention. The accuracy after the point is estimated.
  • the accuracy estimation model generation method is characterized in that, for each prediction model learned using data in a set learning period, a feature amount representing an operational status at a first point of interest that is a point of time in the past of the prediction model. Is calculated as a context, and the accuracy index of the prediction model is calculated using the time-series data of the error index in the period after the first point of interest, and the learning period, parameters used for learning the prediction model, and the context Create a data set that uses some or all of them as explanatory variables and the accuracy index as the target variable, and generate the accuracy estimation model for estimating the accuracy of the prediction model using the created data set as the training data It is characterized by.
  • the accuracy estimation method includes at least one context indicating a feature value representing an operation status for each first target point, which is a point of time in the past of the prediction model, a learning period of the prediction model, and a prediction model.
  • the accuracy estimation model learned by setting some or all of the parameters used for learning as explanatory variables and the accuracy index for the period after the first point of interest as the objective variable The accuracy is estimated, and when estimating the accuracy, the context at the second point of interest, which is later than the first point of interest, is calculated, and the calculated context is applied to the accuracy estimation model to obtain the accuracy after the second point of interest. Is estimated.
  • the accuracy estimation model generation program stores, for each prediction model learned using data in a set learning period, the operation status at the first point of interest that is a point of time when the prediction model is focused on in the past.
  • Context calculation processing for calculating the feature quantity to be represented as a context accuracy index calculation processing for calculating an accuracy index of a prediction model using time series data of an error index in a period after the first point of interest, a learning period, a prediction model
  • the data set creation process to create a data set with the parameters and context used for learning as an explanatory variable and the accuracy index as a target variable, and the created data set as learning data,
  • a model generation process that generates an accuracy estimation model for estimating the accuracy of the prediction model can be executed.
  • the features are described by a model.
  • the accuracy estimation program includes, in a computer, one or more contexts indicating a feature amount representing an operation state for each first target point, which is a point of time in the past of the prediction model, a learning period of the prediction model, Using the accuracy estimation model learned by using some or all of the parameters used for learning the prediction model as explanatory variables and the accuracy index of the period after the first point of interest as the objective variable, Execute the accuracy estimation process to estimate the accuracy of the prediction model, calculate the context at the second point of interest after the first point of interest in the accuracy estimation process, and apply the calculated context to the accuracy estimation model Then, the accuracy after the second point of interest is estimated.
  • FIG. 1 is a block diagram showing an embodiment of a model operation system according to the present invention.
  • the model operation system of this embodiment includes a prediction model storage unit 10, a performance result storage unit 20, an accuracy estimation model generation unit 30, an accuracy estimation model storage unit 40, an accuracy degradation estimation unit 50, and an update determination unit 60. And the accuracy display part 70 is provided.
  • the prediction model storage unit 10 stores a combination of a period of data used for learning of the prediction model (hereinafter referred to as learning period) and a parameter used for learning of the prediction model (hereinafter referred to as various learning engine parameters).
  • the prediction model storage unit 10 may store a prediction model learned based on the learning period and various learning engine parameters in association with each other. In the present embodiment, it is assumed that the prediction model learned in this way is also stored in the prediction model storage unit 10.
  • the learning period and various learning engine parameter selection methods are arbitrary. In the case of the learning period, for example, one month unit (January, February, ..., December), three months unit (January-March, February-April, ... October-December), half year unit (1- (June,..., July to December)).
  • various kinds of learning engine parameters are set with a plurality of parameters from a predetermined viewpoint. By combining the set learning period and the various learning engine parameters, a prediction model based on the various learning engine parameters using the learning period data can be generated.
  • the performance result storage unit 20 stores the prediction results by the prediction model group stored in the prediction model storage unit 10 in time series.
  • a prediction result is memorize
  • the accuracy estimation model generation unit 30 acquires, in time series, results obtained by associating the prediction results of the prediction model group stored in the prediction model storage unit 10 with the actual measurement results acquired in actual operation. Is stored in the performance result storage unit 20. Further, the accuracy estimation model generation unit 30 calculates an error index in time series based on the prediction result and the actual measurement result, and stores the error index in the performance result storage unit 20.
  • the accuracy estimation model generation unit 30 may calculate an absolute value of a difference between the prediction result and the actual measurement result, or may calculate an average absolute error rate for a predetermined period.
  • the average absolute error rate may be calculated by ⁇
  • the calculated error index is not limited to the above content.
  • the type of error index calculated is not limited to one, and may be two or more.
  • the accuracy estimation model generation unit 30 calculates a feature amount (hereinafter referred to as a context) that represents the operation state of the prediction model. Specifically, the accuracy estimation model generation unit 30 represents, for each prediction model learned using data in a set period (learning period), a feature amount that represents an operation state at the time when the prediction model is focused on in the past. Is calculated as a context. In the following description, the past time point of interest is referred to as the past update try time.
  • the content of the context is a feature amount representing the operational status of the prediction model
  • the content and type are not limited.
  • the accuracy change status of the prediction model, the period after learning the prediction model, and learning the prediction model The similarity with the time of operation, the maximum error in the operation period, etc. can be mentioned.
  • the context may be represented by a multidimensional vector having these feature quantities as elements.
  • the accuracy estimation model generation unit 30 uses the time series data of the error index and the index related to the date and time, at least one of the time series data and the index up to the past update try time, and the learning period and the past update. Calculate the context associated with the try time.
  • the index related to the date and time is an index indicating a temporal relationship with the learning period, and examples thereof include time, period itself, season, and the like.
  • the accuracy estimation model generation unit 30 calculates the number of days elapsed from the average value of the learning period date and time to the past update try time, the average absolute error rate for two months immediately after learning, and the average absolute error rate for the most recent month.
  • the context may be calculated by combining the difference (%) and the maximum error sample.
  • the context calculated in this way represents the operational status, and in what circumstances the prediction model is re-learned and updated to determine how much it has been improved compared to the case where it was not updated It is a quantity, and can be said to be an element that expresses “the degree of relearning”.
  • the selection method is arbitrary as long as it is an appropriate timing for calculating the above-described feature amount.
  • the accuracy estimation model generation unit 30 calculates an accuracy index of the prediction model using an error index in a period after the past update try time.
  • the period of the error index used for calculation is referred to as an optimization target period.
  • the end period of the optimization target period may be determined or may not be determined.
  • the accuracy estimation model generation unit 30 may calculate the accuracy index for all error indexes after the update try time, and the accuracy for the error index for a predetermined period (for example, three months). An index may be calculated.
  • This optimization target period is essentially a period until the next update of the prediction model.
  • the accuracy estimation model generation unit 30 uses a part or all of the learning period, the various learning engine parameters, and the context among the information included in this set as an explanatory variable, and sets a data set having an accuracy index as a target variable. create.
  • the accuracy estimation model generation unit 30 stores the generated data set in the performance result storage unit 20.
  • the accuracy estimation model generation unit 30 generates an accuracy estimation model for predicting accuracy degradation by machine learning, for example, using the created data set as learning data.
  • the method for generating the accuracy estimation model is not limited to a specific method, and any generally known method is used.
  • the accuracy estimation model generation unit 30 stores the generated accuracy estimation model in the accuracy estimation model storage unit 40.
  • the accuracy estimation model storage unit 40 stores an accuracy estimation model.
  • the accuracy estimation model storage unit 40 may store the accuracy estimation model generated by the accuracy estimation model generation unit 30.
  • the accuracy deterioration estimation unit 50 sets the time point (hereinafter referred to as the current update try time) for determining the accuracy of the target prediction model and the optimization target period.
  • the current update try time is a time corresponding to the past update try time in the accuracy estimation model, and a time later than the past update try time is set.
  • the optimization target period is preferably matched with the error index period used by the accuracy estimation model generation unit 30 to calculate the accuracy index. For example, when the period of the error index used for calculation of the accuracy index is 3 months, the accuracy degradation estimation unit 50 may set the optimization target period to 3 months.
  • the end period of the optimization target period may be determined or may not be determined. For example, when the period until the next model replacement is set as the optimization target period, the accuracy degradation estimation unit 50 does not need to explicitly set the optimization target period.
  • the accuracy deterioration estimation unit 50 calculates the context at the current update try time of the prediction model (specifically, the prediction model currently in operation) that is the accuracy deterioration estimation target.
  • the context calculation method is the same as the context calculation method performed by the accuracy estimation model generation unit 30.
  • the accuracy deterioration estimation unit 50 applies the calculated context to the accuracy estimation model, and calculates an accuracy index for the optimization target period of the prediction model (specifically, the currently operating prediction model) that is the accuracy deterioration estimation target. .
  • the accuracy degradation estimation unit 50 may use, for example, past data in which the calculated context is similar (for example, the Euclidean distance is short). May be extracted, and the average of the accuracy indices at that time may be used as the final accuracy index.
  • the update determination unit 60 determines whether or not to relearn the prediction model.
  • the determination method is arbitrary, and the update determination unit 60 may determine, for example, that the prediction model is relearned when the calculated accuracy index does not satisfy a predetermined accuracy index requirement.
  • the update determination unit 60 performs relearning of the target prediction model. First, the update determination unit 60 determines a learning period and various learning engine parameters used when re-learning based on a predetermined method.
  • the update determination unit 60 may determine, for example, the learning period and various learning engine parameters by a method similar to the method selected when storing the prediction model storage unit 10 in the prediction model storage unit 10. In addition, the update determination unit 60 may select one or more pairs of learning periods and various learning engine parameters for which it is determined that the performance is good in the processing up to the accuracy deterioration estimation unit 50. The update determination unit 60 may determine the learning period and various learning engine parameters using any method other than the above method.
  • the update determination unit 60 re-learns the prediction model using the determined learning period and various learning engine parameters.
  • the update determination unit 60 may relearn the prediction model by a method similar to the method learned previously. Further, the update determination unit 60 may perform relearning so that the re-learned prediction model is close to the original prediction model.
  • the update determination unit 60 calculates the context at the current update try time of the prediction model after re-learning. Then, the update determination unit 60 calculates an accuracy index in the optimization target period of the prediction model after relearning based on the accuracy estimation model.
  • the calculation method of the accuracy index is the same as the method by which the accuracy degradation estimation unit 50 calculates the accuracy index.
  • the update determination unit 60 determines whether or not to update the original prediction model with the re-learning prediction model. For the update determination, the accuracy index and context of the original prediction model calculated by the accuracy degradation estimation unit 50, the accuracy index and context of the prediction model after re-learning calculated by the update determination unit 60, the prediction model itself and the prediction result A part or all of is used. The update determination unit 60 uses these pieces of information to determine whether or not update is possible based on a predetermined method.
  • the update determination unit 60 may, for example, calculate an error index for the validation period, and determine whether or not the update is possible depending on whether or not the error index satisfies a predetermined requirement for updating. Note that the validation period is generally the last few weeks and is not covered by the learning period.
  • the update determination unit 60 may determine whether or not update is possible according to the proximity of the original prediction model and the prediction model after relearning. To determine the proximity of both prediction models, for example, the degree of agreement of variables used in the prediction model, similarity of conditional branches, similarity of coefficients, proximity of prediction results calculated from each model, etc. Used.
  • the update determination unit 60 may determine whether to update any prediction model from the created prediction models. For example, the update determination unit 60 may more positively select a prediction model that is close to the original prediction model (in-use model), or more actively select a prediction model with a small maximum error in the validation period. May be.
  • the update determination unit 60 updates the original prediction model stored in the prediction model storage unit 10 with the prediction model after re-learning.
  • the accuracy display unit 70 displays the accuracy status of each prediction model. Specifically, the accuracy display unit 70 visualizes information specified by at least one of the accuracy of the prediction model before update and the accuracy of the prediction model after update. For example, the accuracy display unit 70 may visualize the transition of the accuracy index of each prediction model, or may visualize the accuracy index of each prediction model estimated by the accuracy degradation estimation unit 50. In addition, the accuracy display unit 70 changes the accuracy index of the prediction model re-learned by the update determination unit 60 (hereinafter referred to as accuracy improvement degree) with respect to the accuracy index of each prediction model estimated by the accuracy degradation estimation unit 50. May be visualized). As described above, the accuracy display unit 70 may display information specified by the accuracy estimated by the accuracy estimation model.
  • FIG. 2 is an explanatory diagram showing an example of displaying the accuracy status.
  • FIG. 2 is an example in which the accuracy index of the sales prediction model created for each product of each retail store is represented by a heat map.
  • retail stores are arranged on the horizontal axis, and products are arranged on the vertical axis, and the accuracy index of the sales prediction model is represented by shaded shades at positions corresponding to the respective coordinates.
  • the accuracy display unit 70 may display the heat map using the above-described accuracy improvement degree instead of the accuracy index.
  • the number of dimensions of the heat map is not limited to two dimensions, and may be three dimensions.
  • any attribute that can classify the prediction model can be set for each axis of the heat map.
  • the accuracy display unit 70 may accept an instruction to rearrange the attributes set for each axis according to the characteristics. For example, when a retail store is set as an attribute on the axis, the accuracy display unit 70 receives instructions such as the retail store area and type, the retail store size, and a demographic index, and sorts the retail stores based on the instructions. May be. According to such a configuration, since related attributes can be collected, it becomes easy to grasp the situation of accuracy at a glance.
  • FIG. 3 is an explanatory diagram showing another example of displaying the accuracy status.
  • FIG. 3 is an example in which the transition of the accuracy index of the model is represented by a line graph.
  • the transition of the accuracy index up to the present is shown, and for the future accuracy index, the transition of a plurality of estimated accuracy indexes is shown by a line graph.
  • ⁇ represents an estimated average value
  • ⁇ represents an estimated variance
  • k represents an arbitrary positive number.
  • the accuracy display unit 70 may display a plurality of accuracy index transitions on one screen, and according to a user instruction (for example, an instruction for a value of k or a case of a good estimate or a bad estimate). The transition of the corresponding accuracy index from among a plurality of accuracy indexes may be changed and displayed.
  • a user instruction for example, an instruction for a value of k or a case of a good estimate or a bad estimate.
  • the accuracy display unit 70 may quote a prediction model having a similar context from past data, and display a time series change in accuracy of the prediction model and an error index in the optimization target period.
  • the accuracy estimation model generation unit 30 is realized by a CPU of a computer that operates according to a program (accuracy estimation model generation program). Moreover, the accuracy degradation estimation part 50, the update determination part 60, and the precision display part 70 are implement
  • the program is stored in a storage unit (not shown) of the model operation system, for example, and the CPU reads the program, and the accuracy estimation model generation unit 30, the accuracy degradation estimation unit 50, and the update determination unit 60 according to the program. And it may operate as the accuracy display unit 70.
  • the control unit 1a, the accuracy estimation model generation unit 30, the accuracy degradation estimation unit 50, the update determination unit 60, and the accuracy display unit 70 may each be realized by dedicated hardware.
  • each of the accuracy estimation model generation unit 30, the accuracy degradation estimation unit 50, the update determination unit 60, and the accuracy display unit 70 may be realized by dedicated hardware.
  • the prediction model storage unit 10, the performance result storage unit 20, and the accuracy estimation model storage unit 40 are realized by, for example, a magnetic disk device.
  • the model operation system according to the present invention may be configured by connecting two or more physically separated devices by wire or wireless.
  • FIG. 4 is a flowchart illustrating an example of an operation for generating an accuracy estimation model.
  • the accuracy estimation model generation unit 30 calculates an error index of the prediction model in time series based on the prediction result and the actual measurement result, and stores it in the performance result storage unit 20 (step S11). Next, the accuracy estimation model generation unit 30 calculates a context at a past update try time (step S12). Further, the accuracy estimation model generation unit 30 calculates an accuracy index of the prediction model using an error index in a period after the past update try time (step S13).
  • the accuracy estimation model generation unit 30 creates a data set in which part or all of the learning period, various learning engine parameters, and the context are explanatory variables, and the accuracy index is an objective variable (step S14). Then, the accuracy estimation model generation unit 30 generates an accuracy estimation model for predicting accuracy degradation using the created data set as learning data (step S15).
  • FIG. 5 is a flowchart illustrating an example of an operation until it is determined whether accuracy prediction is estimated and the prediction model is updated.
  • the accuracy deterioration estimation unit 50 calculates the context at the current update try time of the prediction model targeted for accuracy deterioration estimation (step S21). Then, the accuracy deterioration estimation unit 50 applies the calculated context to the accuracy estimation model, and calculates an accuracy index in the optimization target period of the prediction model that is the accuracy deterioration estimation target (step S22).
  • the update determination unit 60 re-learns the prediction model (step S23). Then, the update determining unit 60 estimates the accuracy of the prediction model after relearning using the accuracy estimation model (step S24). The update determination unit 60 compares at least the accuracy of the prediction model before relearning with the accuracy of the prediction model after relearning, and determines whether or not to update the prediction model before relearning with the prediction model after relearning. (Step S25).
  • step S25 If it is determined to be updated (Yes in step S25), the update determining unit 60 updates the prediction model before re-learning with the prediction model after re-learning (step S26). On the other hand, when it is determined not to update (No in step S25), the update determination unit 60 does not update the prediction model.
  • the accuracy estimation model generation unit 30 calculates the context at the past update try time for each prediction model learned using the data of the set learning period, and the optimization target The accuracy index of the prediction model is calculated using the time series data of the period error index.
  • the accuracy estimation model generation unit 30 creates a data set in which part or all of the learning period, various learning engine parameters, and the context are explanatory variables and the accuracy index is an objective variable, and learns the created data set Generate an accuracy estimation model as data. Therefore, an accuracy estimation model that appropriately estimates the accuracy of the prediction model can be generated.
  • the accuracy degradation estimation unit 50 uses one or more contexts, the learning period of the prediction model, and some or all of the various learning engine parameters as explanatory variables, and the accuracy index of the optimization target period.
  • the accuracy of the prediction model is estimated using the accuracy estimation model learned by using as the objective variable.
  • the accuracy deterioration estimation unit 50 calculates a context at the current update try time, and applies the calculated context to the accuracy estimation model to estimate subsequent accuracy. Therefore, the accuracy of the prediction model can be estimated appropriately.
  • FIG. 6 is a block diagram showing an outline of the accuracy estimation model generation system according to the present invention.
  • the accuracy estimation model generation system according to the present invention for each prediction model learned using data in a set learning period, a first point of interest (for example, past update trie) that is a point of time in the past of the prediction model.
  • a first point of interest for example, past update trie
  • Context calculation unit 81 (for example, accuracy estimation model generation unit 30) that calculates a feature value representing the operational status at the time) as a context, and an error index for a period after the first point of interest (for example, an optimization target period)
  • the accuracy index calculation unit 82 (for example, the accuracy estimation model generation unit 30) that calculates the accuracy index of the prediction model using the time-series data, the learning period, and parameters used for learning the prediction model (for example, various learnings) Engine parameters) and some or all of the contexts as explanatory variables, and a data set that creates accuracy indicators as target variables.
  • a model generation unit 84 (for example, accuracy estimation) that generates an accuracy estimation model for estimating the accuracy of the prediction model using the generated data set as learning data.
  • an accuracy estimation model that appropriately estimates the accuracy of the prediction model can be generated.
  • the context calculation unit 81 uses at least one of the time series data up to the first point of interest and the index among the time series data of the error index and the index related to the date and time (for example, time, period itself, season, etc.). Thus, the context associated with the learning period and the first point of interest may be calculated.
  • the accuracy estimation model generation system includes an error index calculation unit (for example, the accuracy estimation model generation unit 30) that calculates an error index of the prediction model in time series based on the prediction result of the prediction model and the actual measurement result. May be. Then, the accuracy index calculation unit 82 may calculate the accuracy index of the prediction model using the calculated error index.
  • an error index calculation unit for example, the accuracy estimation model generation unit 30
  • the accuracy index calculation unit 82 may calculate the accuracy index of the prediction model using the calculated error index.
  • FIG. 7 is a block diagram showing an outline of the accuracy estimation system according to the present invention.
  • the accuracy estimation system according to the present invention includes one or more contexts indicating feature quantities representing the operation status for each first point of interest (for example, past update try time) that is a point of time in the past of the prediction model, and the prediction model.
  • the learning period and some or all of the parameters (for example, various learning engine parameters) used for learning the prediction model are explanatory variables, and the period after the first point of interest (for example, the optimization target)
  • the accuracy estimation unit 91 (for example, the accuracy degradation estimation unit 50) that estimates the accuracy of the prediction model using the accuracy estimation model learned by using the accuracy index of the period as an objective variable is provided.
  • the accuracy estimation unit 91 calculates a context at the second target point (for example, the current update try time) that is later than the first target point, and applies the calculated context to the accuracy estimation model. Estimate the accuracy after the second point of interest. With such a configuration, the accuracy of the prediction model can be estimated appropriately.
  • the context is the first of the time series data of the error index calculated based on the prediction result by the prediction model and the actual measurement result, and the index related to the date and time (for example, time, period itself, season, etc.). It may be calculated using at least one of the time-series data up to the point of interest and the index, and may be associated with the learning period of the prediction model and the first point of interest.
  • the accuracy estimation system may include an update determination unit (for example, update determination unit 60) that determines whether or not the prediction model whose accuracy is estimated can be updated. Then, the update determination unit re-learns the prediction model, estimates the accuracy of the prediction model after re-learning using the accuracy estimation model, and at least the accuracy of the prediction model before re-learning and the accuracy of the prediction model after re-learning And may be determined whether to update the prediction model before relearning with the prediction model after relearning.
  • update determination unit for example, update determination unit 60
  • the update determination unit re-learns the prediction model, estimates the accuracy of the prediction model after re-learning using the accuracy estimation model, and at least the accuracy of the prediction model before re-learning and the accuracy of the prediction model after re-learning And may be determined whether to update the prediction model before relearning with the prediction model after relearning.
  • the accuracy estimation system may include an accuracy display unit (for example, the accuracy display unit 70) that displays the accuracy status of each prediction model.
  • the accuracy display unit may display information specified by at least one of the accuracy of the prediction model before update and the accuracy of the prediction model after update.
  • the accuracy display unit may display information specified by the accuracy estimated by the accuracy estimation model.

Abstract

　精度推定部９１は、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する。精度推定部９１は、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定する。

Description

精度推定モデル生成システムおよび精度推定システム
　本発明は、予測モデルの精度を推定するための精度推定モデルを生成する精度推定モデル生成システム、精度推定モデル生成方法および精度推定モデル生成プログラム、並びに、予測モデルの精度を推定する精度推定システム、精度推定方法および精度推定プログラムに関する。
　予測モデルは、環境の変化などが原因で、時間の経過とともに予測精度が劣化することが知られている。そのため、更新することによって精度が向上すると判断される予測モデルを対象として再学習が行われ、再学習により生成された予測モデルが新たな予測モデルとして更新される。例えば、実測値と予測値との差が大きくなった予測モデルが選択され、この予測モデルを対象に再学習することも行われている。
　また、特許文献１には、各種設備のエネルギー需要を予測する装置が記載されている。特許文献１に記載された装置は、所定期間経過するごとに、前日に取得されたデータ、１時間前に取得されたデータ、１分前に取得されたデータを用いて、逐次、エネルギー需要予測モデルを更新する。
特開２０１２－１９４７００号公報
　しかし、実測値と予測値の差が大きくなった予測モデルの予測精度が、そのまま劣化するとは限らない。例えば、実測値と予測値との差が一時的に大きくなった予測モデルは、必ずしも更新される必要はない。しかし、単純に実測値と予測値との差に基づいて判断する方法では、実際には劣化していない予測モデルも更新対象となってしまうという技術的課題がある。
　また、再学習により生成された予測モデルが、一時的には高い精度で予測できたとしても、その精度が必ずしも維持されるかどうかは不明である。そのため、再学習により生成された予測モデルの精度劣化が激しい場合、再度の更新に伴うコストを考慮すると、再学習された予測モデルの更新が必ずしも得策でない場合もある。
　また、一般に、予測モデルの更新にはリソースやコストが必要になるため、特許文献１に記載された装置のように、精度劣化の有無にかかわらず予測モデルを更新する方法では、実際の運用時に運用者の負担が大きくなってしまうと言う技術的課題がある。
　そこで、本発明は、予測モデルの精度を適切に推定する精度推定モデルを生成できる精度推定モデル生成システム、精度推定モデル生成方法および精度推定モデル生成プログラム、並びに、予測モデルの精度を適切に推定できる精度推定システム、精度推定方法および精度推定プログラムを提供することを目的とする。
　本発明による精度推定モデル生成システムは、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出部と、第一着目点よりも後の期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する精度指標算出部と、学習期間、予測モデルの学習に用いられたパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成するデータセット作成部と、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成部とを備えたことを特徴とする。
　本発明による精度推定システムは、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定部を備え、精度推定部が、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定することを特徴とする。
　本発明による精度推定モデル生成方法は、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出し、第一着目点よりも後の期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出し、学習期間、予測モデルの学習に用いられたパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成し、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成することを特徴とする。
　本発明による精度推定方法は、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定し、精度の推定の際、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定することを特徴とする。
　本発明による精度推定モデル生成プログラムは、コンピュータに、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出処理、第一着目点よりも後の期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する精度指標算出処理、学習期間、予測モデルの学習に用いられたパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成するデータセット作成処理、および、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成処理を実行させることを特徴とする。
　本発明による精度推定プログラムは、コンピュータに、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定処理を実行させ、精度推定処理で、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出させ、算出させたコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定させることを特徴とする。
　本発明によれば、上述した技術的手段により、予測モデルの精度を適切に推定できるという技術的効果を奏する。
本発明によるモデル運用システムの一実施形態を示すブロック図である。 精度状況を表示する例を示す説明図である。 精度状況を表示する他の例を示す説明図である。 精度推定モデルを生成する動作例を示すフローチャートである。 精度劣化を推定して予測モデルを更新するか否か判断するまでの動作例を示すフローチャートである。 本発明による精度推定モデル生成システムの概要を示すブロック図である。 本発明による精度推定システムの概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、本発明によるモデル運用システムの一実施形態を示すブロック図である。本実施形態のモデル運用システムは、予測モデル記憶部１０と、性能結果記憶部２０と、精度推定モデル生成部３０と、精度推定モデル記憶部４０と、精度劣化推定部５０と、更新判断部６０と、精度表示部７０を備えている。
　予測モデル記憶部１０は、予測モデルの学習に用いられるデータの期間（以下、学習期間）と、予測モデルの学習に用いられるパラメータ（以下、諸学習エンジンパラメータ）との組み合わせを記憶する。また、予測モデル記憶部１０は、学習期間および諸学習エンジンパラメータに基づいて学習された予測モデルを対応付けて記憶していてもよい。本実施形態では、このように学習された予測モデルも予測モデル記憶部１０に記憶されているものとする。
　学習期間と諸学習エンジンパラメータの選択方法は任意である。学習期間の場合、例えば、一ヶ月単位（１月、２月、…、１２月）、三ヶ月単位（１～３月、２～４月、…、１０～１２月）、半年単位（１～６月、…、７～１２月）などのように学習期間が設定される。また、諸学習エンジンパラメータも同様に、所定の観点で複数種のパラメータが設定される。設定された学習期間および諸学習エンジンパラメータを組み合わせることで、学習期間のデータを用いた諸学習エンジンパラメータに基づく予測モデルが生成可能になる。
　性能結果記憶部２０は、予測モデル記憶部１０に記憶された予測モデル群による予測結果を時系列に記憶する。予測結果は、後述する精度推定モデル生成部３０により記憶される。また、性能結果記憶部２０は、後述するデータセットを記憶してもよい。
　精度推定モデル生成部３０は、予測モデル記憶部１０に記憶された予測モデル群による予測結果と、実際の運用で取得された実測結果とを対応付けた結果を時系列に取得し、時系列データとして性能結果記憶部２０に記憶する。また、精度推定モデル生成部３０は、予測結果と実測結果に基づいて誤差指標を時系列に算出し、性能結果記憶部２０に記憶する。
　誤差指標は、予測結果と実測結果を用いて算出される指標であれば、その内容および算出方法は任意である。精度推定モデル生成部３０は、誤差指標として、例えば、予測結果と実測結果との差の絶対値を算出してもよいし、所定の期間の平均絶対誤差率を算出してもよい。平均絶対誤差率は、任意の期間（例えば、一か月など）の予測結果ｙおよび実測結果ｚに対し、Σ｜ｙ－ｚ｜／Σ｜ｚ｜で算出されるものを用いてもよい。ただし、算出される誤差指標は、上記内容に限定されない。また、算出される誤差指標の種類は１つに限定されず、２つ以上であってもよい。
　次に、精度推定モデル生成部３０は、予測モデルの運用状況を表わす特徴量（以下、コンテクストと記す。）を算出する。具体的には、精度推定モデル生成部３０は、設定された期間（学習期間）のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点における運用状況を表わす特徴量をコンテクストとして算出する。以下の説明では、過去の着目する時点のことを、過去の更新トライ時刻と記す。
　コンテクストの内容は、予測モデルの運用状況を表わす特徴量であれば、その内容および種類は限定されず、例えば、予測モデルの精度変化状況、予測モデルを学習してからの期間、予測モデルを学習した時期との類似性、運用期間における最大誤差などが挙げられる。コンテクストは、これらの特徴量を要素とする多次元ベクトルで表されていてもよい。
　そこで、精度推定モデル生成部３０は、誤差指標の時系列データ及び日時に関連する指標のうち、過去の更新トライ時刻までの時系列データと指標の少なくとも一方を用いて、学習期間及び過去の更新トライ時刻に関連付けられるコンテクストを算出する。ここで、日時に関連する指標とは、学習期間との時間的関連性を示す指標であり、例えば、時刻や期間そのもの、季節などが挙げられる。
　精度推定モデル生成部３０は、例えば、学習期間の日時の平均値から過去の更新トライ時刻までの経過日数、学習直後から二ヶ月間の平均絶対誤差率と直近一ヶ月の平均絶対誤差率との差（％）および最大誤差サンプルを組み合わせてコンテクストを算出してもよい。
　このように算出されるコンテクストは、運用状況を表わすとともに、どのような状況において予測モデルの再学習および更新をした場合、更新しなかった場合に比べてどの程度改善されたかを判断するための特徴量であり、「再学習すべき度」を表現する要素と言うことができる。また、過去の更新トライ時刻は、コンテクストを算出するための要件であるため、上述する特徴量を算出する適切なタイミングであれば、その選択方法は任意である。
　次に、精度推定モデル生成部３０は、過去の更新トライ時刻よりも後の期間の誤差指標を用いて、予測モデルの精度指標を算出する。以下、算出に用いられる誤差指標の期間のことを、最適化対象期間と記す。最適化対象期間は、終期が決められていてもよいし、決められていなくてもよい。精度推定モデル生成部３０は、例えば、更新トライ時刻以降の全ての誤差指標を対象として精度指標を算出してもよく、予め定められた期間（例えば、三ヶ月など）の誤差指標を対象として精度指標を算出してもよい。この最適化対象期間は、本質的には、次に予測モデルを更新するまでの期間である。
　ここまでの処理で、｛学習期間，諸学習エンジンパラメータ，過去の更新トライ時刻，コンテクスト，最適化対象期間，精度指標｝の組の集合が生成される。そこで、精度推定モデル生成部３０は、この組に含まれる情報のうち、学習期間、諸学習エンジンパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成する。精度推定モデル生成部３０は、生成したデータセットを性能結果記憶部２０に記憶する。
　そして、精度推定モデル生成部３０は、作成したデータセットを学習データとして、例えば機械学習により、精度劣化を予測するための精度推定モデルを生成する。精度推定モデルを生成する方法は特定の方法に限定されず、一般に知られた任意の方法が用いられる。精度推定モデル生成部３０は、生成した精度推定モデルを精度推定モデル記憶部４０に記憶する。
　精度推定モデル記憶部４０は、精度推定モデルを記憶する。精度推定モデル記憶部４０は、精度推定モデル生成部３０が生成した精度推定モデルを記憶してもよく、他の装置やシステムによって生成された精度推定モデル、ユーザ等により生成された精度推定モデルを記憶してもよい。
　精度劣化推定部５０は、対象の予測モデルの精度を判断する時点（以下、現在の更新トライ時刻と記す。）と、最適化対象期間を設定する。なお、現在の更新トライ時刻は、精度推定モデルにおける過去の更新トライ時刻に対応する時刻であり、過去の更新トライ時刻よりも後の時刻が設定される。
　最適化対象期間は、精度推定モデル生成部３０が精度指標の算出に用いた誤差指標の期間に一致させることが好ましい。例えば、精度指標の算出に用いられた誤差指標の期間が三ヶ月である場合、精度劣化推定部５０は、最適化対象期間を三ヶ月に設定してもよい。
　なお、精度推定モデル生成部３０が最適化対象期間を決定する場合と同様、最適化対象期間は、終期が決められていてもよいし、決められていなくてもよい。例えば、次にモデルが置き換わるまでの期間を最適化対象期間とする場合、精度劣化推定部５０は、明示的に最適化対象期間を設定しなくてもよい。
　精度劣化推定部５０は、精度劣化推定対象の予測モデル（具体的には、現在運用中の予測モデル）の現在の更新トライ時刻におけるコンテクストを算出する。コンテクストの算出方法は、精度推定モデル生成部３０によるコンテクストの算出方法と同様である。
　精度劣化推定部５０は、算出したコンテクストを精度推定モデルに適用して、精度劣化推定対象の予測モデル（具体的には、現在運用中の予測モデル）の最適化対象期間における精度指標を算出する。なお、過去のデータが精度予測モデル記憶部に全て保存されている場合もあることから、精度劣化推定部５０は、例えば、算出したコンテクストが似ている（例えば、ユークリッド距離が近い）過去のデータを抽出し、そのときの精度指標の平均を最終的な精度指標としてもよい。
　更新判断部６０は、予測モデルの再学習をするか否か判断する。判断方法は任意であり、更新判断部６０は、例えば、算出された精度指標が予め定めた精度指標の要件を満たさない場合に、予測モデルの再学習をすると判断してもよい。
　そして、更新判断部６０は、対象とする予測モデルの再学習を行う。更新判断部６０は、まず、再学習をする際に使用する学習期間および諸学習エンジンパラメータを予め定めた方法に基づいて決定する。
　更新判断部６０は、例えば、学習期間および諸学習エンジンパラメータを、予測モデル記憶部１０に記憶する際に選択する方法と同様の方法で決定してもよい。また、更新判断部６０は、精度劣化推定部５０までの処理で性能が良かったと判断される学習期間および諸学習エンジンパラメータの組を１つ以上選択してもよい。なお、更新判断部６０は、学習期間および諸学習エンジンパラメータを、上記の方法以外の任意の方法を用いて決定してもよい。
　更新判断部６０は、決定した学習期間および諸学習エンジンパラメータを用いて予測モデルを再学習する。更新判断部６０は、以前に学習した方法と同様の方法で予測モデルを再学習してもよい。また、更新判断部６０は、再学習後の予測モデルがもとの予測モデルに近くなるように再学習してもよい。
　また、更新判断部６０は、再学習後の予測モデルの現在の更新トライ時刻におけるコンテクストを算出する。そして、更新判断部６０は、精度推定モデルに基づいて、再学習後の予測モデルの最適化対象期間における精度指標を算出する。精度指標の算出方法は、精度劣化推定部５０が精度指標を算出する方法と同様である。
　更新判断部６０は、再学習後の予測モデルでもとの予測モデルを更新するか否か判断する。更新判断には、精度劣化推定部５０によって算出されたもとの予測モデルの精度指標およびコンテクストや、更新判断部６０によって算出された再学習後の予測モデルの精度指標およびコンテクスト、予測モデルそのものや予測結果の一部または全部が用いられる。更新判断部６０は、これらの情報を使用し、予め決められた方法に基づいて更新可否を判断する。
　更新判断部６０は、例えば、バリデーション期間の誤差指標を算出し、その誤差指標が更新するための所定の要件を満たすか否かで更新可否を判断してもよい。なお、バリデーション期間は、一般に直近の数週間などが採用され、学習期間との被りはない。
　他にも、更新判断部６０は、もとの予測モデルと再学習後の予測モデルの近さに応じて更新可否を判断してもよい。両予測モデルの近さの判断には、例えば、予測モデルに使用されている変数の一致度や条件分岐の類似性、係数の類似性、それぞれのモデルから計算される予測結果の近さなどが用いられる。
　また、再学習後の予測モデルが複数作成される場合、更新判断部６０は、作成された予測モデルの中から、どの予測モデルでもとの予測モデルを更新するか判断してもよい。更新判断部６０は、例えば、もとの予測モデル（運用中のモデル）と近い予測モデルをより積極的に選択してもよいし、バリデーション期間の最大誤差が小さい予測モデルをより積極的に選択してもよい。
　そして、更新判断部６０は、予測モデル記憶部１０に記憶されているもとの予測モデルを再学習後の予測モデルで更新する。
　精度表示部７０は、各予測モデルの精度状況を表示する。具体的には、精度表示部７０は、少なくとも更新前の予測モデルの精度と更新後の予測モデルの精度のいずれかにより特定される情報を可視化する。精度表示部７０は、例えば、各予測モデルの精度指標の推移を可視化してもよいし、精度劣化推定部５０によって推定された各予測モデルの精度指標を可視化してもよい。また、精度表示部７０は、精度劣化推定部５０によって推定された各予測モデルの精度指標に対し、更新判断部６０によって再学習された予測モデルの精度指標の変化（以下、精度良化度と記す。）を可視化してもよい。このように、精度表示部７０は、精度推定モデルによって推定された精度により特定される情報を表示してもよい。
　図２は、精度状況を表示する例を示す説明図である。図２は、各小売店の商品ごとに作成された売上予測モデルの精度指標をヒートマップで表した例である。図２に示す例では、横軸に小売店、縦軸に商品を配置し、それぞれの座標に対応する位置に売上予測モデルの精度指標が網掛けの濃さで表されている。なお、精度表示部７０は、精度指標の代わりに、上述する精度良化度を用いてヒートマップを表示してもよい。
　なお、図２では、２次元のヒートマップを例示しているが、ヒートマップの次元数は２次元に限られず、３次元であってもよい。また、ヒートマップの各軸には、予測モデルを分類可能な任意の属性を設定可能である。また、精度表示部７０は、各軸に設定する属性をその特性に応じて並び替える指示を受け付けてもよい。例えば、軸に属性として小売店を設定する場合、精度表示部７０は、小売店の地域や種類、小売店の大きさや人口統計指標などの指示を受け付け、その指示に基づいて小売店を並び替えてもよい。そのような構成によれば、関連する属性を纏めることができるため、その精度の状況を一見して把握しやすくなる。
　図３は、精度状況を表示する他の例を示す説明図である。図３は、モデルの精度指標の推移を線グラフで表した例である。図３に示す例では、現在までの精度指標の推移を示すとともに、未来の精度指標については、推定される複数の精度指標の推移を線グラフで示している。図３において、μは推定平均値、σは推定分散、ｋは任意の正数を表わす。
　精度表示部７０は、複数の精度指標の推移を１つの画面に表示してもよく、ユーザの指示（例えば、ｋの値や、良く見積もった場合、悪く見積もった場合などの指示）に応じて、複数の精度指標の中から該当する精度指標の推移を変化させて表示してもよい。
　他にも、精度表示部７０は、過去のデータから似たコンテクストを有する予測モデルを引用し、その予測モデルの精度の時系列変化と最適化対象期間における誤差指標を表示してもよい。
　精度推定モデル生成部３０は、プログラム（精度推定モデル生成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、精度劣化推定部５０と、更新判断部６０と、精度表示部７０とは、プログラム（精度推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。これらのプログラムは、１つにまとまっていてもよく、それぞれが別々であってもよい。
　また、プログラムは、例えば、モデル運用システムの記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、精度推定モデル生成部３０、精度劣化推定部５０、更新判断部６０および精度表示部７０として動作してもよい。また、制御部１ａと、精度推定モデル生成部３０と、精度劣化推定部５０と、更新判断部６０と、精度表示部７０とは、それぞれが専用のハードウェアで実現されていてもよい。
　また、精度推定モデル生成部３０と、精度劣化推定部５０と、更新判断部６０と、精度表示部７０とは、それぞれが専用のハードウェアで実現されていてもよい。また、予測モデル記憶部１０と、性能結果記憶部２０と、精度推定モデル記憶部４０とは、例えば、磁気ディスク装置等により実現される。また、本発明によるモデル運用システムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。
　次に、本実施形態のモデル運用システムの動作を説明する。まず、精度推定モデル生成部３０が精度推定モデルを生成する動作を説明する。図４は、精度推定モデルを生成する動作例を示すフローチャートである。
　まず、精度推定モデル生成部３０は、予測結果と実測結果に基づいて、予測モデルの誤差指標を時系列に算出し、性能結果記憶部２０に記憶する（ステップＳ１１）。次に、精度推定モデル生成部３０は、過去の更新トライ時刻におけるコンテクストを算出する（ステップＳ１２）。また、精度推定モデル生成部３０は、過去の更新トライ時刻よりも後の期間の誤差指標を用いて、予測モデルの精度指標を算出する（ステップＳ１３）。
　精度推定モデル生成部３０は、学習期間、諸学習エンジンパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成する（ステップＳ１４）。そして、精度推定モデル生成部３０は、作成したデータセットを学習データとして、精度劣化を予測するための精度推定モデルを生成する（ステップＳ１５）。
　次に、精度劣化推定部５０が予測モデルの精度を推定する動作および更新判断部６０が予測モデルを更新するか否か判断する動作を説明する。図５は、精度劣化を推定して予測モデルを更新するか否か判断するまでの動作例を示すフローチャートである。
　精度劣化推定部５０は、精度劣化推定対象の予測モデルの現在の更新トライ時刻におけるコンテクストを算出する（ステップＳ２１）。そして、精度劣化推定部５０は、算出したコンテクストを精度推定モデルに適用して、精度劣化推定対象の予測モデルの最適化対象期間における精度指標を算出する（ステップＳ２２）。
　更新判断部６０は、予測モデルを再学習する（ステップＳ２３）。そして、更新判断部６０は、再学習後の予測モデルの精度を精度推定モデルを用いて推定する（ステップＳ２４）。更新判断部６０は、少なくとも再学習前の予測モデルの精度と再学習後の予測モデルの精度とを比較して、再学習後の予測モデルで再学習前の予測モデルを更新するか否か判断する（ステップＳ２５）。
　更新すると判断した場合（ステップＳ２５におけるＹｅｓ）、更新判断部６０は、再学習後の予測モデルで再学習前の予測モデルを更新する（ステップＳ２６）。一方、更新しないと判断した場合（ステップＳ２５におけるＮｏ）、更新判断部６０は、予測モデルの更新を行わない。
　以上のように、本実施形態では、精度推定モデル生成部３０が、設定された学習期間のデータを用いて学習された予測モデルごとに、過去の更新トライ時刻におけるコンテクストを算出し、最適化対象期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する。また、精度推定モデル生成部３０は、学習期間、諸学習エンジンパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成し、作成したデータセットを学習データとして精度推定モデルを生成する。よって、予測モデルの精度を適切に推定する精度推定モデルを生成できる。
　また、本実施形態では、精度劣化推定部５０が、一以上のコンテクストと、予測モデルの学習期間と、諸学習エンジンパラメータのうちの一部または全部を説明変数とし、最適化対象期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する。具体的には、精度劣化推定部５０が、現在の更新トライ時刻におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して以降の精度を推定する。よって、予測モデルの精度を適切に推定できる。
　次に、本発明の概要を説明する。図６は、本発明による精度推定モデル生成システムの概要を示すブロック図である。本発明による精度推定モデル生成システムは、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点（例えば、過去の更新トライ時刻）における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出部８１（例えば、精度推定モデル生成部３０）と、第一着目点よりも後の期間（例えば、最適化対象期間）の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する精度指標算出部８２（例えば、精度推定モデル生成部３０）と、学習期間、予測モデルの学習に用いられたパラメータ（例えば、諸学習エンジンパラメータ）およびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成するデータセット作成部８３（例えば、精度推定モデル生成部３０）と、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成部８４（例えば、精度推定モデル生成部３０）とを備えている。
　そのような構成により、予測モデルの精度を適切に推定する精度推定モデルを生成できる。
　また、コンテクスト算出部８１は、誤差指標の時系列データ及び日時に関連する指標（例えば、時刻や期間そのもの、季節など）のうち、第一着目点までの時系列データと指標の少なくとも一方を用いて、学習期間及び第一着目点に関連付けられたコンテクストを算出してもよい。
　また、精度推定モデル生成システムは、予測モデルによる予測結果と実測結果とに基づいてその予測モデルの誤差指標を時系列に算出する誤差指標算出部（例えば、精度推定モデル生成部３０）を備えていてもよい。そして、精度指標算出部８２は、算出された誤差指標を用いて予測モデルの精度指標を算出してもよい。
　図７は、本発明による精度推定システムの概要を示すブロック図である。本発明による精度推定システムは、予測モデルの過去の着目する時点である第一着目点（例えば、過去の更新トライ時刻）ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータ（例えば、諸学習エンジンパラメータ）のうちの一部または全部を説明変数とし、第一着目点よりも後の期間（例えば、最適化対象期間）の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定部９１（例えば、精度劣化推定部５０）を備えている。
　そして、精度推定部９１は、第一着目点よりも後の時点である第二着目点（例えば、現在の更新トライ時刻）におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定する。そのような構成により、予測モデルの精度を適切に推定できる。
　ここで、コンテクストは、予測モデルによる予測結果と実測結果に基づいて算出される誤差指標の時系列データ、および、日時に関連する指標（例えば、時刻や期間そのもの、季節など）のうち、第一着目点までの時系列データと指標の少なくとも一方を用いて算出され、その予測モデルの学習期間及び第一着目点に関連付けられてもよい。
　また、精度推定システムは、精度が推定された予測モデルの更新可否を判断する更新判断部（例えば、更新判断部６０）を備えていてもよい。そして、更新判断部は、予測モデルを再学習し、再学習後の予測モデルの精度を精度推定モデルを用いて推定し、少なくとも再学習前の予測モデルの精度と再学習後の予測モデルの精度とを比較して、再学習後の予測モデルで再学習前の予測モデルを更新するか否か判断してもよい。
　また、精度推定システムは、各予測モデルの精度状況を表示する精度表示部（例えば、精度表示部７０）を備えていてもよい。そして、精度表示部は、少なくとも更新前の予測モデルの精度と更新後の予測モデルの精度のいずれかにより特定される情報を表示してもよい。
　このとき、精度表示部は、精度推定モデルによって推定された精度により特定される情報を表示してもよい。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年３月２３日に出願された米国仮出願第６２／１３６，８３２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１０　予測モデル記憶部
　２０　性能結果記憶部
　３０　精度推定モデル生成部
　４０　精度推定モデル記憶部
　５０　精度劣化推定部
　６０　更新判断部
　７０　精度表示部

Claims (16)

  1. 　設定された学習期間のデータを用いて学習された予測モデルごとに、当該予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出部と、
    　前記第一着目点よりも後の期間の誤差指標の時系列データを用いて、前記予測モデルの精度指標を算出する精度指標算出部と、
    　前記学習期間、前記予測モデルの学習に用いられたパラメータおよび前記コンテクストのうちの一部または全部を説明変数とし、前記精度指標を目的変数とするデータセットを作成するデータセット作成部と、
    　作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成部とを備えた
    　ことを特徴とする精度推定モデル生成システム。
  2. 　コンテクスト算出部は、誤差指標の時系列データ及び日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて、学習期間及び第一着目点に関連付けられたコンテクストを算出する
    　請求項１記載の精度推定モデル生成システム。
  3. 　予測モデルによる予測結果と実測結果とに基づいて当該予測モデルの誤差指標を時系列に算出する誤差指標算出部を備え、
    　精度指標算出部は、算出された誤差指標を用いて予測モデルの精度指標を算出する
    　請求項１または請求項２記載の精度推定モデル生成システム。
  4. 　予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、当該予測モデルの学習期間と、当該予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、前記第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定部を備え、
    　前記精度推定部は、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを前記精度推定モデルに適用して前記第二着目点以降の精度を推定する
    　ことを特徴とする精度推定システム。
  5. 　コンテクストは、予測モデルによる予測結果と実測結果に基づいて算出される誤差指標の時系列データ、および、日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて算出され、当該予測モデルの学習期間及び第一着目点に関連付けられる
    　請求項４記載の精度推定システム。
  6. 　精度が推定された予測モデルの更新可否を判断する更新判断部を備え、
    　前記更新判断部は、前記予測モデルを再学習し、再学習後の予測モデルの精度を精度推定モデルを用いて推定し、少なくとも再学習前の予測モデルの精度と再学習後の予測モデルの精度とを比較して、再学習後の予測モデルで再学習前の予測モデルを更新するか否か判断する
    　請求項４または請求項５記載の精度推定システム。
  7. 　各予測モデルの精度状況を表示する精度表示部を備え、
    　前記精度表示部は、少なくとも更新前の予測モデルの精度と更新後の予測モデルの精度のいずれかにより特定される情報を表示する
    　請求項４から請求項６のうちのいずれか１項に記載の予測モデル精度推定装置。
  8. 　精度表示部は、精度推定モデルによって推定された精度により特定される情報を表示する
    　請求項７記載の精度推定システム。
  9. 　設定された学習期間のデータを用いて学習された予測モデルごとに、当該予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出し、
    　前記第一着目点よりも後の期間の誤差指標の時系列データを用いて、前記予測モデルの精度指標を算出し、
    　前記学習期間、前記予測モデルの学習に用いられたパラメータおよび前記コンテクストのうちの一部または全部を説明変数とし、前記精度指標を目的変数とするデータセットを作成し、
    　作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成する
    　ことを特徴とする精度推定モデル生成方法。
  10. 　誤差指標の時系列データ及び日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて、学習期間及び第一着目点に関連付けられたコンテクストを算出する
    　請求項９記載の精度推定モデル生成方法。
  11. 　予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、当該予測モデルの学習期間と、当該予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、前記第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定し、
    　前記精度の推定の際、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを前記精度推定モデルに適用して前記第二着目点以降の精度を推定する
    　ことを特徴とする精度推定方法。
  12. 　コンテクストは、予測モデルによる予測結果と実測結果に基づいて算出される誤差指標の時系列データ、および、日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて算出され、当該予測モデルの学習期間及び第一着目点に関連付けられる
    　請求項１１記載の精度推定方法。
  13. 　コンピュータに、
    　設定された学習期間のデータを用いて学習された予測モデルごとに、当該予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出処理、
    　前記第一着目点よりも後の期間の誤差指標の時系列データを用いて、前記予測モデルの精度指標を算出する精度指標算出処理、
    　前記学習期間、前記予測モデルの学習に用いられたパラメータおよび前記コンテクストのうちの一部または全部を説明変数とし、前記精度指標を目的変数とするデータセットを作成するデータセット作成処理、および、
    　作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成処理
    　を実行させるための精度推定モデル生成プログラム。
  14. 　コンピュータに、
    　コンテクスト算出処理で、誤差指標の時系列データ及び日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて、学習期間及び第一着目点に関連付けられたコンテクストを算出させる
    　請求項１３記載の精度推定モデル生成プログラム。
  15. 　コンピュータに、
    　予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、当該予測モデルの学習期間と、当該予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、前記第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定処理を実行させ、
    　前記精度推定処理で、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出させ、算出させたコンテクストを前記精度推定モデルに適用して前記第二着目点以降の精度を推定させる
    　ための精度推定プログラム。
  16. 　コンテクストは、予測モデルによる予測結果と実測結果に基づいて算出される誤差指標の時系列データ、および、日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて算出され、当該予測モデルの学習期間及び第一着目点に関連付けられる
    　請求項１５記載の精度推定プログラム。
PCT/JP2016/001253 2015-03-23 2016-03-08 精度推定モデル生成システムおよび精度推定システム WO2016152053A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/560,085 US20180075360A1 (en) 2015-03-23 2016-03-08 Accuracy-estimating-model generating system and accuracy estimating system
JP2017507372A JP6708204B2 (ja) 2015-03-23 2016-03-08 精度推定モデル生成システムおよび精度推定システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562136832P 2015-03-23 2015-03-23
US62/136,832 2015-03-23

Publications (1)

Publication Number Publication Date
WO2016152053A1 true WO2016152053A1 (ja) 2016-09-29

Family

ID=56979063

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001253 WO2016152053A1 (ja) 2015-03-23 2016-03-08 精度推定モデル生成システムおよび精度推定システム

Country Status (3)

Country Link
US (1) US20180075360A1 (ja)
JP (1) JP6708204B2 (ja)
WO (1) WO2016152053A1 (ja)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体
JP6513314B1 (ja) * 2018-07-30 2019-05-15 楽天株式会社 判定システム、判定方法及びプログラム
JP2019109634A (ja) * 2017-12-15 2019-07-04 富士通株式会社 学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置
WO2019171443A1 (ja) * 2018-03-05 2019-09-12 株式会社ウフル 機械学習済みモデルアップデートシステム、エッジデバイス、機械学習済みモデルアップデート方法、及びプログラム
WO2020071233A1 (ja) * 2018-10-04 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020085114A1 (ja) * 2018-10-26 2020-04-30 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
WO2020250781A1 (ja) * 2019-06-10 2020-12-17 株式会社Ｎｔｔドコモ 推論装置
US20200402663A1 (en) * 2019-06-18 2020-12-24 Canon Medical Systems Corporation Medical information processing apparatus and medical information processing method
WO2021079460A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
JPWO2021079481A1 (ja) * 2019-10-24 2021-04-29
JPWO2021079478A1 (ja) * 2019-10-24 2021-04-29
WO2021079479A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 判定方法、判定プログラムおよび情報処理装置
JPWO2021079480A1 (ja) * 2019-10-24 2021-04-29
WO2021079459A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
JPWO2021079485A1 (ja) * 2019-10-24 2021-04-29
WO2021079458A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
JPWO2019215778A1 (ja) * 2018-05-07 2021-05-20 日本電気株式会社 データ提供システムおよびデータ収集システム
WO2021252734A1 (en) * 2020-06-11 2021-12-16 DataRobot, Inc. Systems and methods for managing machine learning models
WO2023181322A1 (ja) * 2022-03-25 2023-09-28 日本電気株式会社 モデル分析装置、モデル分析方法、及び、記録媒体
CN117610746A (zh) * 2024-01-23 2024-02-27 中航信移动科技有限公司 一种预测模型监测方法、存储介质及电子设备
JP7481902B2 (ja) 2020-05-21 2024-05-13 株式会社日立製作所 管理計算機、管理プログラム、及び管理方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616153B2 (en) * 2016-12-30 2020-04-07 Logmein, Inc. Real-time communications system with intelligent presence indication
US11475332B2 (en) 2020-07-12 2022-10-18 International Business Machines Corporation Selecting forecasting models by machine learning based on analysis of model robustness

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086896A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd 適応的予測モデル構築方法及び適応的予測モデル構築システム
JP2009237832A (ja) * 2008-03-26 2009-10-15 Tokyo Gas Co Ltd 可変的予測モデル構築方法、及び、可変的予測モデル構築システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7483868B2 (en) * 2002-04-19 2009-01-27 Computer Associates Think, Inc. Automatic neural-net model generation and maintenance
WO2004107264A2 (en) * 2003-05-23 2004-12-09 Computer Associates Think, Inc. Adaptive learning enhancement to auotmated model maintenance
US7694305B2 (en) * 2004-10-21 2010-04-06 Hewlett-Packard Development Company, L.P. Method of controlling access to computing resource within shared computing environment
US7444272B2 (en) * 2005-10-13 2008-10-28 International Business Machines Corporation Self-modulation in a model-based automated management framework
US9047559B2 (en) * 2011-07-22 2015-06-02 Sas Institute Inc. Computer-implemented systems and methods for testing large scale automatic forecast combinations
US9904540B2 (en) * 2014-06-05 2018-02-27 General Electric Company Method and system to automate the maintenance of data-driven analytic models
US9208209B1 (en) * 2014-10-02 2015-12-08 Sas Institute Inc. Techniques for monitoring transformation techniques using control charts

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004086896A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd 適応的予測モデル構築方法及び適応的予測モデル構築システム
JP2009237832A (ja) * 2008-03-26 2009-10-15 Tokyo Gas Co Ltd 可変的予測モデル構築方法、及び、可変的予測モデル構築システム

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018143019A1 (ja) * 2017-01-31 2018-08-09 日本電気株式会社 情報処理装置、情報処理方法およびプログラム記録媒体
JP7131393B2 (ja) 2017-01-31 2022-09-06 日本電気株式会社 情報処理装置、情報処理方法およびプログラム
JPWO2018143019A1 (ja) * 2017-01-31 2019-11-21 日本電気株式会社 情報処理装置、情報処理方法およびプログラム
JP2019109634A (ja) * 2017-12-15 2019-07-04 富士通株式会社 学習プログラム、予測プログラム、学習方法、予測方法、学習装置および予測装置
WO2019171443A1 (ja) * 2018-03-05 2019-09-12 株式会社ウフル 機械学習済みモデルアップデートシステム、エッジデバイス、機械学習済みモデルアップデート方法、及びプログラム
US11537814B2 (en) 2018-05-07 2022-12-27 Nec Corporation Data providing system and data collection system
JP7001149B2 (ja) 2018-05-07 2022-01-19 日本電気株式会社 データ提供システムおよびデータ収集システム
JPWO2019215778A1 (ja) * 2018-05-07 2021-05-20 日本電気株式会社 データ提供システムおよびデータ収集システム
WO2020026302A1 (ja) * 2018-07-30 2020-02-06 楽天株式会社 判定システム、判定方法及びプログラム
JP6513314B1 (ja) * 2018-07-30 2019-05-15 楽天株式会社 判定システム、判定方法及びプログラム
WO2020071233A1 (ja) * 2018-10-04 2020-04-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020085114A1 (ja) * 2018-10-26 2020-04-30 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
JPWO2020085114A1 (ja) * 2018-10-26 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
WO2020250781A1 (ja) * 2019-06-10 2020-12-17 株式会社Ｎｔｔドコモ 推論装置
JP7449933B2 (ja) 2019-06-10 2024-03-14 株式会社Ｎｔｔドコモ 推論装置
US20200402663A1 (en) * 2019-06-18 2020-12-24 Canon Medical Systems Corporation Medical information processing apparatus and medical information processing method
US11682491B2 (en) * 2019-06-18 2023-06-20 Canon Medical Systems Corporation Medical information processing apparatus and medical information processing method
JPWO2021079485A1 (ja) * 2019-10-24 2021-04-29
JP7205644B2 (ja) 2019-10-24 2023-01-17 富士通株式会社 判定方法、判定プログラムおよび情報処理装置
WO2021079478A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
JPWO2021079479A1 (ja) * 2019-10-24 2021-04-29
WO2021079458A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
WO2021079480A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
WO2021079481A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
WO2021079460A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
JPWO2021079480A1 (ja) * 2019-10-24 2021-04-29
WO2021079479A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 判定方法、判定プログラムおよび情報処理装置
JPWO2021079478A1 (ja) * 2019-10-24 2021-04-29
WO2021079459A1 (ja) * 2019-10-24 2021-04-29 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
JPWO2021079481A1 (ja) * 2019-10-24 2021-04-29
JP7322962B2 (ja) 2019-10-24 2023-08-08 富士通株式会社 生成方法、生成プログラムおよび情報処理装置
JP7400827B2 (ja) 2019-10-24 2023-12-19 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
JP7371695B2 (ja) 2019-10-24 2023-10-31 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
JP7371694B2 (ja) 2019-10-24 2023-10-31 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
JP7371696B2 (ja) 2019-10-24 2023-10-31 富士通株式会社 劣化検出方法、劣化検出プログラムおよび情報処理装置
JP7481902B2 (ja) 2020-05-21 2024-05-13 株式会社日立製作所 管理計算機、管理プログラム、及び管理方法
WO2021252734A1 (en) * 2020-06-11 2021-12-16 DataRobot, Inc. Systems and methods for managing machine learning models
WO2023181322A1 (ja) * 2022-03-25 2023-09-28 日本電気株式会社 モデル分析装置、モデル分析方法、及び、記録媒体
CN117610746A (zh) * 2024-01-23 2024-02-27 中航信移动科技有限公司 一种预测模型监测方法、存储介质及电子设备
CN117610746B (zh) * 2024-01-23 2024-04-19 中航信移动科技有限公司 一种预测模型监测方法、存储介质及电子设备

Also Published As

Publication number Publication date
JPWO2016152053A1 (ja) 2018-01-18
US20180075360A1 (en) 2018-03-15
JP6708204B2 (ja) 2020-06-10

Similar Documents

Publication Publication Date Title
WO2016152053A1 (ja) 精度推定モデル生成システムおよび精度推定システム
JP6529096B2 (ja) シミュレートシステム、シミュレート方法およびシミュレート用プログラム
JP2011511374A5 (ja)
JPWO2017094207A1 (ja) 情報処理システム、情報処理方法および情報処理用プログラム
EP3200038A1 (en) Model evaluation device, model evaluation method, and program recording medium
WO2016151618A1 (ja) 予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラム
TWI831893B (zh) 用於高度共線響應空間中的規範性分析的方法、系統與電腦可讀取媒體
US11455544B2 (en) Prediction model generation device, prediction model generation method, and recording medium
JPWO2017037881A1 (ja) オンライン予測システムおよび方法
JP2017084224A (ja) 設計支援装置、プログラムおよび設計支援方法
JP2018528511A (ja) 生産システムにおける出力効率の最適化
JP6558375B2 (ja) 説明変数表示優先順位決定システム、方法およびプログラム
JP2011008756A (ja) シミュレーション評価システム
JP7196935B2 (ja) 演算装置、アクション決定方法、及び制御プログラム
WO2019012740A1 (en) DEVICE, SYSTEM AND METHOD FOR EXTRACTING OPERATING RULE
JP6947029B2 (ja) 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム
JP6531820B2 (ja) 推定器可視化システム
JPWO2016151617A1 (ja) 推定器管理システム
CN108897818B (zh) 确定数据处理过程老化状态的方法、装置及可读存储介质
US20220027760A1 (en) Learning device and learning method
JP4419814B2 (ja) サービス品質評価支援装置
JPWO2021053815A5 (ja) 学習装置、学習方法、推論装置、推論方法、及び、プログラム
JP6708295B2 (ja) 特徴選択システム、特徴選択方法および特徴選択プログラム
JP7396478B2 (ja) モデル訓練プログラム、モデル訓練方法および情報処理装置
JP7457581B2 (ja) 時間変量予測装置、時間変量予測方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16767963

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507372

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15560085

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16767963

Country of ref document: EP

Kind code of ref document: A1