WO2016151620A1 - シミュレートシステム、シミュレート方法およびシミュレート用プログラム - Google Patents

シミュレートシステム、シミュレート方法およびシミュレート用プログラム Download PDF

Info

Publication number
WO2016151620A1
WO2016151620A1 PCT/JP2015/001628 JP2015001628W WO2016151620A1 WO 2016151620 A1 WO2016151620 A1 WO 2016151620A1 JP 2015001628 W JP2015001628 W JP 2015001628W WO 2016151620 A1 WO2016151620 A1 WO 2016151620A1
Authority
WO
WIPO (PCT)
Prior art keywords
estimator
update
simulation
evaluation index
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/001628
Other languages
English (en)
French (fr)
Inventor
啓 谷本
洋介 本橋
守 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
NEC Informatec Systems Ltd
Original Assignee
NEC Corp
NEC Informatec Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, NEC Informatec Systems Ltd filed Critical NEC Corp
Priority to PCT/JP2015/001628 priority Critical patent/WO2016151620A1/ja
Priority to US15/553,629 priority patent/US10635078B2/en
Priority to JP2017507101A priority patent/JP6529096B2/ja
Publication of WO2016151620A1 publication Critical patent/WO2016151620A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of program data in numerical form characterised by monitoring or safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2639—Energy management, use maximum of cheap power, keep peak load low

Definitions

  • the present invention relates to a simulation system, a simulation method, and a simulation program for simulating operation using an estimator.
  • the estimator is represented by, for example, a function indicating regularity established between the objective variable and the explanatory variable. Therefore, re-learning is performed for an estimator that is determined to improve accuracy by updating, and the estimator generated by re-learning is updated as a new estimator.
  • Patent Document 1 describes an apparatus for predicting energy demands of various facilities.
  • the apparatus described in Patent Document 1 uses the data acquired on the previous day, the data acquired on the previous day, the data acquired on the previous minute, and the data acquired on the previous minute each time a predetermined period elapses. Update the model.
  • an object of the present invention is to provide a simulation system, a simulation method, and a simulation program that can simulate the suitability of rules for updating an estimator.
  • the simulation system is based on an estimator learned using actual measurement data up to a past point in time, verification data that is actual measurement data after the temporary point, and whether or not the estimator needs to be updated based on an evaluation index.
  • An evaluation means for the predetermined period based on the reception means for receiving the update rule defined in the above, the estimation result calculated by applying the verification data for the predetermined period to the estimator in time series, and the update rule
  • simulating means for simulating at least one of the update result of the index and the estimator.
  • the computer evaluates the estimator learned using the actual measurement data up to one point in the past, the verification data that is the actual measurement data after the temporary point, and the necessity of updating the estimator.
  • An update rule defined based on the index is received, and the estimation for the predetermined period is performed based on the estimation result calculated by applying the verification data of the predetermined period to the estimator in time series and the update rule. Simulating at least one of the evaluation index of the estimator and the update result of the estimator.
  • the simulation program allows an estimator learned using actual measurement data up to one point in the past, verification data that is actual measurement data after the temporary point, and whether or not the estimator needs to be updated.
  • An acceptance process that accepts an update rule that is defined based on an evaluation index, an estimation result that is calculated by applying verification data of a predetermined period to an estimator in time series, and an update rule, and that predetermined period And executing a simulation process for simulating at least one of the evaluation index of the estimator and the update result of the estimator.
  • the technical effect that the suitability of the rule for updating the estimator can be simulated by the technical means described above.
  • FIG. FIG. 1 is an explanatory diagram showing a configuration example of a first embodiment of a simulation system according to the present invention.
  • the simulation system of the present embodiment includes a storage unit 11, an estimator generation unit 12, a simulation information input unit 13, a simulation unit 14, and a result output unit 15.
  • the storage unit 11 stores past actual measurement data used as learning data and data necessary for each process in the simulation system.
  • the storage unit 11 is realized by, for example, a magnetic disk device.
  • the estimator generation unit 12 uses actual measurement data stored in the storage unit 11 up to one point in the past as learning data, generates an estimator based on a predetermined algorithm, and inputs the estimator to the simulated information input unit 13.
  • the estimator generation unit 12 may use all the actual measurement data up to one point in the past as learning data, or only a part of the actual measurement data as learning data.
  • the estimator is represented by, for example, a function indicating regularity established between the objective variable and the explanatory variable.
  • the algorithm used when generating the estimator is arbitrary.
  • the estimator generation unit 12 may generate an estimator based on, for example, FAB (Factorized-asymptotic Bayesian), or may generate an estimator based on a kernel SVM (support vector ⁇ machine), a decision tree, or the like.
  • the algorithm used by the estimator generation unit 12 is not limited to one, and the estimator generation unit 12 may generate an estimator by combining a plurality of algorithms.
  • the simulated information input unit 13 receives the input of the estimator generated by the estimator generation unit 12.
  • the simulated information input unit 13 accepts input of actual measurement data after the learning data used for learning of the estimator.
  • the simulation information input unit 13 reads a part or all of the actual measurement data from the storage unit 11 after one past time point.
  • a part or all of the actual measurement data after one point in the past used for simulation is referred to as verification data.
  • the verification data period is a period during which the simulation unit 14 to be described later performs a simulation process, the period of verification data to be input can also be referred to as a simulation period.
  • the simulation information input unit 13 accepts input of update rules for the estimator.
  • the update rule is a rule that defines whether or not the estimator needs to be updated based on a predetermined evaluation index.
  • the update rule includes a rule for determining whether or not to re-learn the estimator as a pre-update stage, in addition to a rule for determining whether or not to actually update.
  • a rule for determining whether or not to re-learn is described as a re-learning rule, and a rule for determining whether or not to actually update the estimator after re-learning. Renewal evaluation rule.
  • the re-learning rule is a rule that prescribes whether or not the estimator needs to be re-learned based on a predetermined evaluation index, and the updated evaluation rule includes the evaluation index of the estimator before update and the evaluation index of the estimator after update. It can be said that the rules stipulate the change situation of In the following description, unless otherwise specified, the update rule includes both the relearning rule and the update evaluation rule.
  • the update rules include algorithms for re-learning, the period of learning data to be used, the contents of learning data, and the generation of data to be used for learning data The method etc. may be included.
  • the simulation unit 14 includes an evaluation index calculation unit 21, an estimator relearning unit 22, and an estimator update unit 23.
  • the evaluation index calculation unit 21 calculates a predetermined evaluation index. Specifically, the evaluation index calculation unit 21 calculates the estimation result by applying the verification data to the estimator in time series. Then, the evaluation index calculation unit 21 calculates an evaluation index based on the estimation result.
  • the evaluation index calculation unit 21 may calculate an evaluation index used in the update rule, or may calculate a predetermined arbitrary evaluation index.
  • the timing for calculating the evaluation index is also arbitrary, and the evaluation index calculation unit 21 may calculate the evaluation index at a timing determined by the update rule, and may calculate the evaluation index periodically or at a predetermined timing. May be.
  • the content of the evaluation index is arbitrary.
  • Examples of the evaluation index include a period after learning the previous estimator, a period after updating, an increase in learning data, a degree of accuracy deterioration over time, and the number of samples.
  • the contents of the evaluation index are not limited to these contents, and may be other contents as long as the index can be used for determining whether the estimator should be updated.
  • the evaluation index is not limited to the content calculated from the estimation result.
  • the estimator re-learning unit 22 determines whether to re-learn the estimator based on the update rule. Specifically, the estimator relearning unit 22 applies the verification data to the estimator in time series, and based on the estimation results up to the time point for determining whether or not to re-learn (hereinafter referred to as the determination time point). It is determined whether or not the calculated evaluation index meets the relearning rule. When the re-learning rule is satisfied, the estimator re-learning unit 22 re-learns the estimator based on the method specified by the re-learning rule.
  • the estimator re-learning unit 22 may re-learn all estimators that conform to the re-learning rules, and some of the estimators that conform to the re-learning rules are estimated based on a predetermined rule. Only the vessel may be relearned.
  • the estimator update unit 23 determines whether to update the estimator based on the update rule. Specifically, the estimator update unit 23 identifies a change state between the evaluation index of the estimator before the update and the evaluation index of the estimator after the update, and if the change state matches the update evaluation rule, the estimation The estimator update unit 23 updates the original estimator with the estimator after re-learning. Thereafter, the verification data after the determination time is applied to the updated estimator in time series, and the estimation result is calculated.
  • the content of the change situation specified by the update evaluation rule is also arbitrary.
  • Examples of the change state include a change in estimation accuracy and a change in the number of samples used in the estimator.
  • FIG. 2 is an explanatory diagram showing examples of the evaluation index, the relearning rule, and the update evaluation rule.
  • the “relearning determination” column illustrated in FIG. 2 is a component that defines the relearning rule, and the relearning rule indicates the condition of each evaluation index shown in the “evaluation index” column as the “logical structure” column. It shows that it is expressed as a condition combined with the operator shown in.
  • the “target selection” column indicates a rule for selecting a target to be re-learned from among estimators that match the re-learning rule.
  • the column “How to Create Re-learning Data” indicates a method for generating learning data used for re-learning.
  • the “shipping judgment after re-learning” column is a component that defines the update evaluation rule, and the update evaluation rule sets the conditions of each evaluation index shown in the “evaluation index” column to the “logical structure” column. It shows that it is expressed as a condition combined with the operator shown in.
  • the estimator update unit 23 holds the update cost of the estimator update count, the time required for the update, and machine resources as a simulation result. Further, the estimator update unit 23 displays, as a simulation result, the change status (for example, the rate of change of estimation accuracy, the number of sample changes, etc.) when the necessity of update is determined, and the evaluation index of the estimator after update. It may be held.
  • the simulating unit 14 as a whole is based on the estimation result calculated by applying the verification data of the predetermined period to the estimator in time series and the update rule, and the estimator of the predetermined period. Simulate evaluation index and estimator update results. Note that the simulation unit 14 may simulate only at least one of the evaluation index and the update result.
  • the estimator update unit 23 determines whether to update the re-learning estimator.
  • the estimator update unit 23 may update the estimator before re-learning as it is without determining whether to update the estimator after re-learning.
  • the estimator updating unit 23 can suppress inadvertent updating of the estimator by determining whether or not to update based on the change state of the estimator before relearning and the estimator after relearning, More preferred.
  • the result output unit 15 outputs a simulation result. Specifically, the result output unit 15 outputs at least one of the evaluation index of the simulation period and the update result as the simulation result of the update rule.
  • the output form of the simulation result is arbitrary.
  • the result output unit 15 includes, for example, an evaluation index (for example, an accuracy index such as an average error, an average error rate, and a maximum error rate), a re-learning count, an update count, and an update timing (specific date and time) during the simulation period. ) May be output for each update rule of the estimator. At this time, the result output unit 15 may sort and output the update rules according to the number of times and the value of the evaluation index.
  • the result output unit 15 may display a simulation result for each update rule.
  • a rule in which a variable threshold value used for the update rule is changed can be given. For example, N in the update rule that “the average error rate per day has deteriorated by N (%) between the last week and before” corresponds to a variable threshold (parameter).
  • the result output unit 15 may visualize the simulation result using a graph so that a human can grasp at a glance.
  • the result output unit 15 defines a multidimensional space in which either an evaluation index or an index indicating an update result is set for each dimension axis, and plots the simulation result at a corresponding position in the multidimensional space. May be.
  • FIG. 3 is an explanatory diagram showing an example of visualizing the simulation result.
  • the number of updates is set on the X axis in the two-dimensional space, and the average error rate is set on the Y axis.
  • the result output unit 15 may plot each simulation result executed by changing the parameter at a corresponding position on the graph. Further, as illustrated in FIG. 3, the result output unit 15 may output an average of the number of updates and an average of the average error rate when a plurality of simulations are performed with the parameter being variable.
  • the result output unit 15 may output simulation results of different learning algorithms.
  • the simulating unit 14 may simulate an estimator learned by different learning algorithms, and the result output unit 15 may output a simulation result (evaluation index or the like) for each learning algorithm.
  • the result output unit 15 may search not only the simulation result but also the optimum solution from the simulation result and output the search result. Specifically, the result output unit 15 may search for an optimal solution of the simulated evaluation index and the update result, and output an update rule for obtaining the optimal solution.
  • Estimator generation unit 12 simulated information input unit 13, simulation unit 14 (more specifically, evaluation index calculation unit 21, estimator relearning unit 22, estimator update unit 23), and results
  • the output unit 15 is realized by a CPU of a computer that operates according to a program (simulation program).
  • the program is stored in the storage unit 11, and the CPU reads the program, and according to the program, the estimator generation unit 12, the simulation information input unit 13, and the simulation unit 14 (more specifically, evaluation index calculation) Unit 21, estimator re-learning unit 22 and estimator update unit 23) and result output unit 15.
  • the result output unit 15 may be realized by dedicated hardware.
  • the simulation system according to the present invention may be configured by connecting two or more physically separated devices in a wired or wireless manner.
  • FIG. 4 is a flowchart showing an operation example of the simulation system of this embodiment.
  • the estimator generation unit 12 generates an estimator using the learning data up to one point in the past stored in the storage unit 11 (step S11) and inputs the estimator to the simulated information input unit 13.
  • the simulation information input unit 13 receives the generated estimator, update rule, and verification data, and inputs them to the simulation unit 14 (step S12).
  • the evaluation index calculation unit 21 calculates an evaluation index of the estimator (step S13).
  • the estimator relearning unit 22 determines whether or not to relearn the estimator based on the update rule (step S14). When it is determined that the estimator is not re-learned (No in step S14), the processing after step S13 is repeated for the next determination time point. On the other hand, when it is determined that the estimator is re-learned (Yes in step S14), the estimator re-learning unit 22 re-learns the estimator based on the method specified by the re-learning rule (step S15).
  • the estimator update unit 23 determines whether to update the estimator based on the update rule (step S16). When it is determined that the estimator is not updated (No in step S16), the processes after step S13 are repeated for the next determination time point. On the other hand, when it is determined that the estimator is to be updated (Yes in step S16), the estimator update unit 23 updates the original estimator with the estimator after re-learning (step S17).
  • the simulating unit 14 includes the estimator learned from the simulated information input unit 13 using the actual measurement data (learning data) up to one point in time, the verification data, Update rules (specifically, relearning rules and evaluation rules) are accepted. Then, based on the estimation result calculated by applying the verification data of the predetermined period to the estimator in time series and the update rule, the simulation unit 14 evaluates the estimator and the estimator for the predetermined period. Simulate at least one of the update results.
  • the simulation unit 14 is realized by the evaluation index calculation unit 21, the estimator re-learning unit 22, and the estimator update unit 23. Therefore, the suitability of the rule for updating the estimator can be simulated.
  • the storage unit 11 stores actually measured data from January 1, 2014 to December 31, 2014 as learning data for the past year. Assuming that the past point in time is January 31, 2014, the actual measurement data is the learning data from January 1, 2014 to January 31, 2014, and the data from February 1, 2014 to December 31, 2014. It is divided into verification data.
  • the estimator generation unit 12 generates an estimator based on the former learning data, and inputs the estimator to the simulated information input unit 13.
  • the simulation information input unit 13 receives an input of an update rule to be simulated from an administrator.
  • the simulated information input unit 13 may, for example, update rules (hereinafter referred to as update rule R1) that update the estimation formula when the error in the sales quantity exceeds 10% for three consecutive days (hereinafter referred to as update rule R1). When the error exceeds 15% for 3 consecutive days, the update formula is updated (hereinafter referred to as update rule R2), and when the error in the number of sales exceeds 30%, An update rule “update” (hereinafter referred to as update rule R3) is accepted.
  • update rule R1 update rules that update the estimation formula when the error in the sales quantity exceeds 10% for three consecutive days
  • update rule R2 An update rule “update”
  • the simulation unit 14 (more specifically, the evaluation index calculation unit 21, the estimator re-learning unit 22, or the estimator update unit 23) applies the verification data to the generated estimation formula, and follows the input update rule. Simulate. Then, the result output unit 15 outputs the update cost (number of updates) and the average estimation accuracy of the estimator as the simulation result for each update rule.
  • the result output unit 15 When the result output unit 15 outputs such a simulation result, what kind of operation result (specifically, update cost and estimation accuracy) can be obtained when the administrator sets what kind of update rule. Can be grasped in advance. Therefore, the administrator can appropriately and easily review the update rule to be set. For example, in the above-described example, the administrator can determine which of the update rules R1 to R3 is more appropriate.
  • the simulation information input part 13 demonstrated the case where the update rule prescribed
  • a plurality of conditions including variable threshold values (parameters) are described in the column of “evaluation index” in the “relearning determination” column illustrated in FIG.
  • the simulation information input unit 13 of the present modification automatically determines a parameter to be tried using a predetermined algorithm. That is, the simulation information input unit 13 specifies an optimum parameter using a predetermined algorithm from among a plurality of update rules including one or more variable threshold values (parameters) as a condition, and uses the specified parameter. Enter the update rule to be defined. *
  • the target to be optimized is arbitrary, and for example, the above-described evaluation index (accuracy index or the like) is used.
  • an algorithm for determining parameters for example, a genetic algorithm or Bayesian optimization (GaussianussProcess) is used. These algorithms can also be used when there are a plurality of optimization targets.
  • the simulation information input unit 13 simulates all variable threshold values (parameters) included in a plurality of conditions by inputting an update rule defined by an optimum parameter from a plurality of update rules. It is possible to simulate more efficiently than in the case of
  • Embodiment 2 a second embodiment of the simulation system of the present invention will be described.
  • the estimator relearning unit 22 re-learns the estimator based on the evaluation index calculated by the evaluation index calculation unit 21.
  • a method for reducing the relearning processing load will be described.
  • FIG. 5 is an explanatory diagram showing a configuration example of the second embodiment of the simulation system according to the present invention.
  • symbol same as FIG. 1 is attached
  • subjected and description is abbreviate
  • the simulation system of the present embodiment includes a storage unit 11, an estimator generation unit 12a, a simulation information input unit 13, a simulation unit 14a, and a result output unit 15. That is, the contents of the storage unit 11, the simulated information input unit 13, and the result output unit 15 of this embodiment are the same as those of the first embodiment.
  • the estimator generation unit 12a of the present embodiment uses a data group obtained by dividing the actually measured data stored in the storage unit 11 into predetermined sections (hereinafter referred to as section learning data) as learning data.
  • An estimator is generated based on the algorithm.
  • a plurality of section learning data are generated, and the granularity of the section is arbitrary.
  • this section is defined by a start time and a period, and is preferably set to a period used for relearning in actual operation. In addition, this area may overlap.
  • the estimator generation unit 12a calculates an evaluation index at each estimation timing (hereinafter referred to as a prediction target) while applying verification data to the generated estimator in time series.
  • a prediction target is set at the same granularity as the timing for performing the relearning determination in actual operation, for example, in units of one month.
  • the estimator generation unit 12a generates a data set in which the generated estimator and the evaluation result are combined, and stores the data set in the storage unit 11.
  • the estimator generation unit 12a may generate a data set including, for example, an estimator learning section, a prediction target, and an evaluation index.
  • FIG. 6 is an explanatory diagram showing an example of a data set to be generated.
  • the example shown in FIG. 6 indicates that an estimator is generated using the interval learning data of the learning interval w, and a plurality of evaluation indexes for the prediction target after a certain period l of the learning interval are created.
  • the simulation unit 14a includes an evaluation index calculation unit 21a, an estimator selection unit 24, and an estimator update unit 23.
  • the contents of the estimator update unit 23 are the same as those in the first embodiment.
  • the evaluation index calculation unit 21a calculates an evaluation index. Note that the evaluation index calculation unit 21a of the present embodiment extracts, from the storage unit 11, an evaluation index of a prediction target corresponding to the time when the evaluation index is calculated, instead of calculating the evaluation index. Note that, when the evaluation index of the corresponding prediction target is not stored in the storage unit 11, the evaluation index calculation unit 21a may actually calculate the evaluation index.
  • the method for calculating the evaluation index is the same as the method for calculating the evaluation index by the evaluation index calculating unit 21 of the first embodiment.
  • the estimator selection unit 24 determines whether or not to re-learn the estimator based on the update rule, similarly to the estimator relearning unit 22 of the first embodiment.
  • the estimator selection unit 24 extracts an estimator after re-learning from the storage unit 11 based on the update rule when the update rule (re-learning rule) is met.
  • the estimator selection unit 24 may extract, from the storage unit 11, an estimator with a matching learning section defined in the update rule, for example. When an appropriate estimator is not stored in the storage unit 11, the estimator selection unit 24 may relearn the estimator in the same manner as the estimator relearning unit 22 of the first embodiment.
  • the estimator update unit 23 determines whether to update the estimator based on the update rule, and updates the estimator before re-learning.
  • the method for determining whether or not to update the estimator is the same as in the first embodiment. Thereafter, whether or not to re-learn at each prediction target is determined using the evaluation index extracted together with the updated estimator.
  • Estimator generation unit 12a simulated information input unit 13, simulation unit 14a (more specifically, evaluation index calculation unit 21a, estimator selection unit 24, estimator update unit 23), and result output
  • the unit 15 is realized by a CPU of a computer that operates according to a program (simulation program).
  • each of the result output units 15 may be realized by dedicated hardware.
  • FIG. 7 is a flowchart showing an operation example of the simulation system of the present embodiment.
  • the estimator generation unit 12a generates an estimator using the interval learning data (step S21). In addition, the estimator generation unit 12a calculates an evaluation index in the prediction target of the generated estimator (step S22). And the estimator production
  • the evaluation index calculation unit 21a acquires the evaluation index in the prediction target of the estimator from the storage unit 11 (step S24).
  • the estimator selection unit 24 determines whether or not to relearn the estimator based on the update rule (step S25). When it is determined that the estimator is not re-learned (No in step S25), the processes after step S24 are repeated for the next prediction target. On the other hand, when it is determined that the estimator is to be re-learned (Yes in step S25), the estimator selection unit 24 acquires the re-learning estimator from the storage unit 11 based on the update rule (step S26).
  • the estimator update unit 23 determines whether or not to update the estimator based on the update rule (step S27). When it is determined that the estimator is not updated (No in step S27), the processes after step S24 are repeated for the next prediction target. On the other hand, when it is determined to update the estimator (Yes in step S27), the estimator update unit 23 updates the original estimator with the estimator after re-learning (step S28).
  • the estimator generation unit 12a generates an estimator using past measured data as learning data, and the storage unit 11 stores the generated estimator. Specifically, the estimator generation unit 12a generates an estimator by using, as learning data, a data group obtained by dividing measured data into predetermined intervals. Then, the estimator generation unit 12a calculates an evaluation index for each prediction target, generates a data set including the generated estimator and an evaluation index for each prediction target, and stores the data set in the storage unit 11.
  • the simulation unit 14a extracts an evaluation index of a prediction target corresponding to a time point at which the evaluation index is calculated from the storage unit 11, and after the re-learning based on the update rule when the extracted evaluation index matches the update rule Are extracted from the storage unit 11 and updated.
  • the simulation unit 14a is realized by the evaluation index calculation unit 21a, the estimator selection unit 24, and the estimator update unit 23. Therefore, in addition to the effects of the first embodiment, the cost of relearning can be reduced.
  • the estimator generation unit 12a does not store the estimator generated based on the interval learning data and the data set including the evaluation result, or stores only a part of the estimator and the data set. It shall be.
  • the evaluation index calculation unit 21a searches the storage unit 11 for a prediction target data set corresponding to the time point at which the evaluation index is calculated.
  • the evaluation index calculation unit 21a extracts the data set, and uses the extracted evaluation index as the prediction target evaluation index.
  • the evaluation index calculation unit 21a instructs the estimator generation unit 12a to generate a data set including the estimator and the prediction result. Note that the evaluation index calculation unit 21a itself may generate a data set.
  • the estimator generation unit 12a receives an instruction to generate a data set from the evaluation index calculation unit 21a, generates an estimator based on a predetermined algorithm, and stores the estimator in the storage unit 11. In addition, the estimator generation unit 12 a calculates an evaluation index of the prediction target using the generated estimator and stores it in the storage unit 11. That is, the process of this modification can be said to be a cache process in the simulation process. Therefore, the storage unit 11 of this modification may be realized by a cache memory, for example.
  • the process in which the estimator selection unit 24 determines whether or not to re-learn the estimator, and the estimator update unit 23 updates the original estimator with the estimator after the relearning is the same as in the second embodiment. It is the same.
  • the estimator generation unit 12a generates an estimator and an evaluation index when requested by the simulation by the evaluation index calculation unit 21a.
  • the time required for learning can be reduced compared to the method of preparing all the estimators and evaluation indices in advance. , Can reduce the required machine cost.
  • the estimator generation unit 12a generates all estimators based on the interval learning data, and the estimator generation unit 12a performs the prediction index when requested by simulation by the evaluation index calculation unit 21a. May be generated and stored in the storage unit 11. By doing so, it is possible to reduce the storage capacity for storing the evaluation index while increasing the simulation time.
  • the capacity for storing the estimator is not so large.
  • the estimation process does not take much time, but the capacity for storing the estimation result increases. Therefore, by selecting these processes according to the learning time and the storage capacity, the suitability of the rule for updating the estimator can be simulated according to the environment.
  • FIG. A third embodiment of the simulation system of the present invention will be described.
  • a method for evaluating an update rule will be described. That is, by using the simulation system of this embodiment, it is possible to evaluate how much the update rule determined to be optimal has reached the performance limit.
  • FIG. 8 is an explanatory diagram showing a configuration example of the third embodiment of the simulation system according to the present invention.
  • the simulation system of this embodiment includes a storage unit 11, an estimator generation unit 12, a simulation information input unit 13, a simulation unit 14, a result output unit 15, and a rule evaluation unit 16. . That is, the simulation system of the present embodiment is different from the first embodiment in that it further includes a rule evaluation unit 16. About another structure, it is the same as that of 1st Embodiment.
  • the rule evaluation unit 16 evaluates the update rule.
  • the rule evaluation unit 16 of the present embodiment evaluates the update rule based on the simulation result. Specifically, the rule evaluation unit 16 evaluates the update rule by comparing the maximum performance that can be obtained in the entire simulation period that is the prediction target section with the performance when the update rule to be evaluated is applied. To do.
  • the performance is determined based on an evaluation index of a predetermined estimator, and examples thereof include an accuracy index such as an error and an evaluation index including an index such as cost.
  • the setting contents of the performance are arbitrary, and for example, a standard that can be determined as a more suitable estimator from the viewpoint of cost and accuracy may be set.
  • the rule evaluation unit 16 calculates the maximum performance that can be obtained in all prediction target sections.
  • the method for setting the learning section is arbitrary. For example, when the prediction target is divided for each month, the learning period is set as April, May, and so on.
  • the selection of the learning section that maximizes the performance is roughly divided into a case where no restriction is imposed on the update contents and a case where a restriction is placed on the update contents.
  • the rule evaluation unit 16 selects a learning section that maximizes performance. And the rule evaluation part 16 calculates the evaluation index which shows a performance for every selected learning area, and calculates the performance of all the learning areas.
  • the performance of all the learning sections is referred to as a comprehensive index.
  • the rule evaluation unit 16 may calculate, for example, an average performance value for each learning section as the performance of all learning sections. Further, the rule evaluation unit 16 may calculate the comprehensive index based on the data set generated in the second embodiment without calculating the evaluation index individually.
  • the rule evaluation unit 16 selects a combination that maximizes the performance within the restriction provided for the entire learning section, on the condition of the update timing, the learning section, and the learning parameter. .
  • the rule evaluation unit 16 searches for a combination of the learning interval and other learning parameters at which timing to select a minimum total error index in all the intervals. At this time, the rule evaluation unit 16 searches for a combination that maximizes performance using some combination optimization algorithm.
  • the rule evaluation unit 16 may use, for example, FoBa (Forward-Backward greedy algorithm) used for FAB coefficient selection or the like as the combination optimization algorithm.
  • FoBa Forward-Backward greedy algorithm
  • the update content is limited or not, but the rule evaluation unit 16 may calculate a comprehensive index based on whether or not the learning content is limited.
  • the rule evaluation unit 16 may visualize a plurality of evaluation results together. In general, the performance in all prediction target sections improves if conditions such as the update count limit are relaxed. Therefore, the rule evaluation unit 16 may plot the evaluation results on a two-dimensional graph having the number of updates and the comprehensive index as axes, for example. If such an evaluation result is visualized, an administrator can manually determine an appropriate result.
  • the visualization method is not limited to a two-dimensional graph.
  • the rule evaluation unit 16 may visualize the evaluation result in the (N ⁇ 1) -dimensional aspect on the Nth dimension.
  • the rule evaluation unit 16 compares the maximum performance that can be obtained in the entire prediction target section with the performance when the update rule to be evaluated is applied, and determines the update rule. evaluate. Therefore, it becomes possible for a human to determine the suitability of the update rule based on the objective evaluation result.
  • the rule evaluation unit 16 evaluates the update rule based on the output of the result output unit 15
  • the input to the rule evaluation unit 16 is performed by the result output unit 15. It is not limited to output.
  • the rule evaluation unit 16 of the present embodiment evaluates the update rule based on the result of a so-called offline strategy. Therefore, if the evaluation index of the prediction interval can be calculated, the rule evaluation unit 16 may be realized as a single rule evaluation device that inputs the update rule to be evaluated and evaluates the rule.
  • FIG. 9 is a block diagram showing an outline of a simulation system according to the present invention.
  • the simulation system according to the present invention includes an estimator that has been learned using actual measurement data (for example, learning data) up to a point in the past, verification data that is actual measurement data after the temporary point, and update of the estimator.
  • Accepting means 81 for example, the simulated information input unit 13 that accepts an update rule (for example, an update rule that includes a re-learning rule and an evaluation rule) that defines whether or not based on an evaluation index, and verification data for a predetermined period Based on the estimation result calculated by applying to the estimator in time series and the update rule, the estimator evaluation index (for example, accuracy index) and the estimator update result (for example, update) for the predetermined period Simulating means 82 (for example, simulating unit 14) for simulating at least one of the number of times and the cost required for updating.
  • an update rule for example, an update rule that includes a re-learning rule and an evaluation rule
  • Simulating means 82 for example, simulating unit 14 for simulating at least one of the number of times and the cost required for updating.
  • Such a configuration can simulate the suitability of rules for updating the estimator.
  • the simulation unit 82 may simulate the number of times that the estimator is updated in a predetermined period as the update result of the estimator.
  • the simulation unit 82 calculates the estimation result by applying the verification data to the estimator in time series, and when the evaluation index calculated based on the estimation result up to the determination time matches the update rule,
  • the estimation result may be calculated by updating the estimator based on the method defined by the update rule and applying the verification data after the determination time point to the updated estimator in time series.
  • the simulation system may include output means (for example, a result output unit 15) that outputs at least one of a simulated evaluation index and an update result as a simulation result. Then, the output means may set either an evaluation index or an index representing the update result for each dimension axis in the multidimensional space, and plot the simulation result at a corresponding position in the multidimensional space ( For example, see the graph shown in FIG. With such a configuration, it is possible to help the administrator evaluate the update rule.
  • output means for example, a result output unit 15
  • the output means may set either an evaluation index or an index representing the update result for each dimension axis in the multidimensional space, and plot the simulation result at a corresponding position in the multidimensional space ( For example, see the graph shown in FIG. With such a configuration, it is possible to help the administrator evaluate the update rule.
  • the simulation system may include search means (for example, the estimator update unit 23) for searching for the optimal solution of the simulated evaluation index and update result.
  • search means for example, the estimator update unit 23
  • the simulation system includes an estimator generation unit (for example, an estimator generation unit 12a) that generates an estimator using past measured data as learning data, and an estimator storage unit that stores the generated estimator.
  • an estimator generation unit for example, an estimator generation unit 12a
  • the estimator generation means generates an estimator using a data group obtained by dividing the measured data into predetermined intervals as learning data, and each estimation timing while applying the verification data to the generated estimator in time series May be calculated, and a data set including the generated estimator and the evaluation index for each prediction target may be generated and stored in the estimator storage unit.
  • the simulation unit 82 extracts a prediction target evaluation index corresponding to the time point at which the evaluation index is calculated from the estimator storage unit, and when the extracted evaluation index matches the update rule, the simulation unit 82
  • the re-learning estimator may be extracted from the estimator storage means and updated.
  • the simulation system may include rule evaluation means (for example, rule evaluation unit 16) for evaluating the update rule based on the simulation result. Then, the rule evaluation means compares the maximum performance (for example, the comprehensive index) that can be obtained in the entire prediction target section after a past point in time with the performance when the update rule to be evaluated is applied, and the update rule May be evaluated.
  • rule evaluation means for example, rule evaluation unit 16
  • the maximum performance for example, the comprehensive index
  • the accepting unit 81 may accept a plurality of estimators generated using different algorithms, and the simulating unit 82 may simulate each estimator generated using different algorithms.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Water Supply & Treatment (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Debugging And Monitoring (AREA)

Abstract

　受付手段８１は、過去の一時点までの実測データを用いて学習された推定器と、その一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付ける。シミュレート手段８２は、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートする。

Description

シミュレートシステム、シミュレート方法およびシミュレート用プログラム
　本発明は、推定器を用いた運用をシミュレートするシミュレートシステム、シミュレート方法およびシミュレート用プログラムに関する。
　推定器は、環境の変化などが原因で、時間の経過とともに推定精度が劣化することが知られている。推定器は、例えば、目的変数と説明変数との間で成り立つ規則性を示す関数で表される。そのため、更新することによって精度が向上すると判断される推定器を対象として再学習が行われ、再学習により生成された推定器が新たな推定器として更新される。
　例えば、特許文献１には、各種設備のエネルギー需要を予測する装置が記載されている。特許文献１に記載された装置は、所定期間経過するごとに、前日に取得されたデータ、１時間前に取得されたデータ、１分前に取得されたデータを用いて、逐次、エネルギー需要予測モデルを更新する。
特開２０１２－１９４７００号公報
　推定器の精度を人手で監視し、また、推定器の更新を人手で判断することは煩雑な作業である。そこで、推定器を更新するか否かを判断するためのルールを設定し、その設定に基づいて推定器を更新するか否かが自動的または半自動的に判断されることが好ましい。
　しかし、推定する状況は未来の状況であるため、管理者がどのようなルールを設定することが適切か判断することは容易ではという技術的課題がある。推定器を更新するか否かの判断は、推定器の精度だけでなく、更新に要するコストも考慮されるからである。
　すなわち、推定器を更新する際には、様々なコスト（マシンリソース、金銭的コスト、更新後の推定器の内容を人間が理解しなおすための人的コスト、など）が発生するため、推定器が頻繁に更新されることとは好ましくない。その一方で、推定器の更新頻度を下げすぎると推定器の精度が劣化してしまう可能性がある。さらに、推定器を更新したからと言って、必ずしも推定精度が向上するとは限らない。
　特許文献１に記載された装置のように、精度劣化の有無にかかわらず予測モデルを更新する方法では、推定器の更新に多くのリソースやコストが必要になるため、実際の運用時に運用者の負担が大きくなってしまうと言う技術的課題がある。そのため、更新に要するコストと更新による推定精度の向上とを考慮のうえ、推定器を更新する好適なルールを検討できることが好ましい。
　そこで、本発明は、推定器を更新するルールの好適性をシミュレートできるシミュレートシステム、シミュレート方法およびシミュレート用プログラムを提供することを目的とする。
　本発明によるシミュレートシステムは、過去の一時点までの実測データを用いて学習された推定器と、その一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付ける受付手段と、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートするシミュレート手段とを備えたことを特徴とする。
　本発明によるシミュレート方法は、コンピュータが、過去の一時点までの実測データを用いて学習された推定器と、その一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付け、コンピュータが、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートすることを特徴とする。
　本発明によるシミュレート用プログラムは、コンピュータに、過去の一時点までの実測データを用いて学習された推定器と、その一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付ける受付処理、および、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートするシミュレート処理を実行させることを特徴とする。
　本発明によれば、上述した技術的手段により、推定器を更新するルールの好適性をシミュレートできるという技術的効果を奏する。
本発明によるシミュレートシステムの第１の実施形態の構成例を示す説明図である。 評価指標、再学習ルールおよび更新評価ルールの例を示す説明図である。 シミュレート結果を可視化した例を示す説明図である。 第１の実施形態のシミュレートシステムの動作例を示すフローチャートである。 本発明によるシミュレートシステムの第２の実施形態の構成例を示す説明図である。 生成されるデータセットの例を示す説明図である。 第２の実施形態のシミュレートシステムの動作例を示すフローチャートである。 本発明によるシミュレートシステムの第３の実施形態の構成例を示す説明図である。 本発明によるシミュレートシステムの概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明によるシミュレートシステムの第１の実施形態の構成例を示す説明図である。本実施形態のシミュレートシステムは、記憶部１１と、推定器生成部１２と、シミュレート情報入力部１３と、シミュレート部１４と、結果出力部１５とを備えている。
　記憶部１１は、学習データとして用いられる過去の実測データやシミュレートシステムにおける各処理に必要なデータを記憶する。記憶部１１は、例えば、磁気ディスク装置等により実現される。
　推定器生成部１２は、記憶部１１に記憶された過去の一時点までの実測データを学習データとし、予め定めたアルゴリズムに基づいて推定器を生成し、シミュレート情報入力部１３に入力する。推定器生成部１２は、過去の一時点までの全ての実測データを学習データとしてもよく、一部の実測データのみを学習データとしてもよい。推定器は、上述するように、例えば、目的変数と説明変数との間で成り立つ規則性を示す関数で表される。
　推定器を生成する際に用いられるアルゴリズムは任意である。推定器生成部１２は、例えば、ＦＡＢ（Factorized-asymptotic Bayesian）に基づいて推定器を生成してもよく、カーネルＳＶＭ（support vector machine）や決定木などに基づいて推定器を生成してもよい。また、推定器生成部１２が用いるアルゴリズムは１つに限られず、推定器生成部１２は、複数のアルゴリズムを組み合わせて推定器を生成してもよい。
　シミュレート情報入力部１３は、推定器生成部１２が生成した推定器の入力を受け付ける。また、シミュレート情報入力部１３は、推定器の学習に用いられた学習データ以降の実測データの入力を受け付ける。具体的には、シミュレート情報入力部１３は、記憶部１１から過去の一時点以降の一部または全部の実測データを読み取る。以下の説明では、シミュレートに用いられる過去の一時点以降の一部または全部の実測データを検証データと記す。また、検証データの期間は、後述するシミュレート部１４がシミュレート処理を行う期間であることから、入力される検証データの期間をシミュレート期間と言うこともできる。
　さらに、シミュレート情報入力部１３は、推定器の更新ルールの入力を受け付ける。更新ルールは、推定器の更新要否を予め定めた評価指標に基づいて規定したルールである。ここで、更新ルールには、実際に更新を行うか否かを判断するためのルールのほか、更新する前段階として推定器を再学習するか否かを判断するためのルールも含む。
　以下の説明では、更新ルールのうち、再学習するか否かを判断するためのルールを再学習ルールと記し、再学習後の推定器を実際に更新するか否かを判断するためのルールを更新評価ルールと記す。再学習ルールは、推定器の再学習要否を予め定めた評価指標に基づいて規定したルールと言え、更新評価ルールは、更新前の推定器の評価指標と更新後の推定器の評価指標との変化状況を規定したルールと言える。以下の説明では、特に断りのない限り、更新ルールは、再学習ルールと更新評価ルールのいずれも含むものとする。
　更新ルールは、再学習の要否や更新の要否を判断するための条件のほか、再学習をする際のアルゴリズムや、用いる学習データの期間、学習データの内容や、学習データに用いるデータの生成方法などを含んでいてもよい。
　シミュレート部１４は、評価指標算出部２１と、推定器再学習部２２と、推定器更新部２３とを含む。
　評価指標算出部２１は、予め定めた評価指標を算出する。具体的には、評価指標算出部２１は、検証データを推定器へ時系列に適用して推定結果を算出する。そして、評価指標算出部２１は、推定結果に基づいて評価指標を算出する。評価指標算出部２１は、更新ルールで用いられる評価指標を算出してもよいし、予め定めた任意の評価指標を算出してもよい。また、評価指標を算出するタイミングも任意であり、評価指標算出部２１は、更新ルールで定められたタイミングで評価指標を算出してもよく、定期的に又は所定のタイミングで評価指標を算出してもよい。
　また、評価指標の内容は任意である。評価指標として、前回の推定器を学習してからの期間や更新してからの期間、学習データの増加量、時間の経過に対する精度劣化度合、サンプル数などの変化が挙げられる。ただし、評価指標の内容はこれらの内容に限定されず、推定器を更新すべきかの判断に利用することが可能な指標であれば、他の内容であってもよい。また、評価指標は、推定結果により算出される内容に限定されない。
　推定器再学習部２２は、更新ルールに基づいて、推定器を再学習するか否か判断する。具体的には、推定器再学習部２２は、検証データを推定器へ時系列に適用し、再学習するか否か判定する時点（以下、判定時点と記す。）までの推定結果に基づいて算出される評価指標が再学習ルールに適合するか否か判断する。再学習ルールに適合する場合、推定器再学習部２２は、再学習ルールで規定される方法に基づいて推定器を再学習する。
　なお、推定器再学習部２２は、再学習ルールに適合する全ての推定器を再学習してもよく、再学習ルールに適合する推定器のうち、予め定めた規則に基づいて一部の推定器のみ再学習してもよい。
　推定器更新部２３は、更新ルールに基づいて、推定器を更新するか否か判断する。具体的には、推定器更新部２３は、更新前の推定器の評価指標と更新後の推定器の評価指標との変化状況を特定し、その変化状況が更新評価ルールに適合する場合、推定器更新部２３は、再学習後の推定器で元の推定器を更新する。以降、判定時点以降の検証データが更新後の推定器へ時系列に適用され、推定結果が算出される。
　更新評価ルールで規定する変化状況の内容も任意である。変化状況として、例えば、推定精度の変化や、推定器で用いられるサンプル数の変化などが挙げられる。
　図２は、評価指標、再学習ルールおよび更新評価ルールの例を示す説明図である。図２に例示する「再学習判定」の欄は、再学習ルールを定義する構成要素であり、再学習ルールが、「評価指標」の列に示す各評価指標の条件を「論理構造」の欄に示す演算子で結合した条件として表されることを示す。また、「対象選択」の欄は、再学習ルールに適合する推定器のうち、再学習する対象を選択するルールを示す。また、「再学習データの作り方」の欄は、再学習に用いられる学習データの生成方法を示す。また、「再学習後の出荷判定」の欄は、更新評価ルールを定義する構成要素であり、更新評価ルールが、「評価指標」の列に示す各評価指標の条件を「論理構造」の欄に示す演算子で結合した条件として表されることを示す。
　また、推定器更新部２３は、シミュレート結果として、推定器の更新回数および更新に要した時間やマシンリソースなどの更新コストを保持する。さらに、推定器更新部２３は、シミュレート結果として、更新要否を判断した際の変化状況（例えば、推定精度の変化率、サンプルの変化数など）や、更新後の推定器の評価指標を保持してもよい。
　このように、シミュレート部１４は、全体として、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標および推定器の更新結果をシミュレートする。なお、シミュレート部１４は、評価指標と更新結果の少なくとも一方のみシミュレートしてもよい。
　なお、本実施形態では、推定器再学習部２２が推定器を再学習した後、推定器更新部２３が、再学習後の推定器を更新するか否か判断する。ただし、推定器更新部２３は、再学習後の推定器を更新するか否か判断することなく、そのまま再学習前の推定器を更新してもよい。ただし、推定器更新部２３が、再学習前の推定器と再学習後の推定器の変化状況に基づいて更新するか否か判断することにより、推定器の不用意な更新を抑制できるため、より好ましい。
　結果出力部１５は、シミュレート結果を出力する。具体的には、結果出力部１５は、更新ルールのシミュレート結果として、シミュレート期間の評価指標と更新結果の少なくとも一方を出力する。シミュレート結果の出力態様は任意である。結果出力部１５は、例えば、シミュレート期間の推定器の評価指標（例えば、平均誤差、平均誤差率、最大誤差率などの精度指標）、再学習回数、更新回数、更新タイミング（具体的な日時）を推定器の更新ルールごとに出力してもよい。このとき、結果出力部１５は、各回数や評価指標の値に応じて更新ルールをソートして出力してもよい。
　また、複数の更新ルールでシミュレートを行った場合、結果出力部１５は、更新ルールごとにシミュレート結果を表示してもよい。複数の更新ルールの例として、更新ルールに用いられる可変な閾値を変化させたルールが挙げられる。例えば、“直近一週間とそれ以前とで１日の平均誤差率がＮ（％）悪化した”という更新ルールにおけるＮが、可変な閾値（パラメタ）に該当する。
　結果出力部１５は、シミュレート結果を一見して人間が把握できるようにグラフを用いて可視化してもよい。具体的には、結果出力部１５は、各次元軸に評価指標と更新結果を表わす指標のいずれかを設定した多次元空間を定義し、多次元空間上の対応する位置にシミュレート結果をプロットしてもよい。
　図３は、シミュレート結果を可視化した例を示す説明図である。図３に示す例では、２次元空間上のＸ軸に更新回数が設定され、Ｙ軸に平均誤差率が設定されていることを示す。結果出力部１５は、グラフ上の対応する位置に、パラメタを可変にして実行した各シミュレート結果をプロットしてもよい。また、結果出力部１５は、図３に例示するように、パラメタを可変にして複数シミュレートした場合における更新回数の平均や平均誤差率の平均を出力してもよい。
　また、推定器の学習アルゴリズムが複数想定される場合、結果出力部１５は、異なる学習アルゴリズムのシミュレート結果を出力してもよい。具体的には、シミュレート部１４がそれぞれ異なる学習アルゴリズムで学習された推定器をシミュレートし、結果出力部１５が、学習アルゴリズムごとのシミュレート結果（評価指標など）を出力してもよい。
　このようにすることで、精度重視の学習アルゴリズムや解釈性の高い学習アルゴリズムとの比較を容易に行うことが可能になる。また、各学習アルゴリズムの評価指標を出力することで、例えば、評価指標を用いて規定される条件に応じて学習器を切り替える機能を実装することも可能になる。この場合、学習器に関しても最適性を保証できるため、学習器の良否を人間（分析者や管理者、顧客）が評価するコストを抑制できる。
　また、結果出力部１５は、シミュレート結果だけでなく、シミュレート結果から最適解を探索し、探索結果を出力してもよい。具体的には、結果出力部１５は、シミュレートされた評価指標および更新結果の最適解を探索し、その最適解が得られる更新ルールを出力してもよい。
　推定器生成部１２と、シミュレート情報入力部１３と、シミュレート部１４（より具体的には、評価指標算出部２１と、推定器再学習部２２と、推定器更新部２３）と、結果出力部１５とは、プログラム（シミュレート用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　例えば、プログラムは、記憶部１１に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、推定器生成部１２、シミュレート情報入力部１３、シミュレート部１４（より具体的には、評価指標算出部２１、推定器再学習部２２および推定器更新部２３）および結果出力部１５として動作してもよい。
　また、推定器生成部１２と、シミュレート情報入力部１３と、シミュレート部１４（より具体的には、評価指標算出部２１と、推定器再学習部２２と、推定器更新部２３）と、結果出力部１５とは、それぞれが専用のハードウェアで実現されていてもよい。また、本発明によるシミュレートシステムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。
　次に、本実施形態のシミュレートシステムの動作を説明する。図４は、本実施形態のシミュレートシステムの動作例を示すフローチャートである。
　推定器生成部１２は、記憶部１１に記憶された過去の一時点までの学習データを用いて推定器を生成し（ステップＳ１１）、シミュレート情報入力部１３に入力する。シミュレート情報入力部１３は、生成された推定器、更新ルールおよび検証データを受け付け、シミュレート部１４に入力する（ステップＳ１２）。
　シミュレート部１４において、評価指標算出部２１は、推定器の評価指標を算出する（ステップＳ１３）。推定器再学習部２２は、更新ルールに基づいて、推定器を再学習するか否か判断する（ステップＳ１４）。推定器を再学習しないと判断した場合（ステップＳ１４におけるＮｏ）、次の判定時点についてステップＳ１３以降の処理を繰り返す。一方、推定器を再学習すると判断した場合（ステップＳ１４におけるＹｅｓ）、推定器再学習部２２は、再学習ルールで規定される方法に基づいて推定器を再学習する（ステップＳ１５）。
　推定器更新部２３は、更新ルールに基づいて、推定器を更新するか否か判断する（ステップＳ１６）。推定器を更新しないと判断した場合（ステップＳ１６におけるＮｏ）、次の判定時点についてステップＳ１３以降の処理を繰り返す。一方、推定器を更新すると判断した場合（ステップＳ１６におけるＹｅｓ）、推定器更新部２３は、再学習後の推定器で元の推定器を更新する（ステップＳ１７）。
　以上のように、本実施形態では、シミュレート部１４が、シミュレート情報入力部１３から、過去の一時点までの実測データ（学習データ）を用いて学習された推定器と、検証データと、更新ルール（具体的には、再学習ルールと評価ルール）とを受け付ける。そして、シミュレート部１４が、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートする。なお、シミュレート部１４は、評価指標算出部２１、推定器再学習部２２および推定器更新部２３により実現される。よって、推定器を更新するルールの好適性をシミュレートできる。
　以下、具体的な実施例により本実施形態の動作を説明するが、本発明の範囲は以下に説明する内容に限定されない。本具体例では、シミュレートシステムが、過去１年分の学習データを利用して、ある更新ルールを仮に設定した場合における、１年間の推定器の更新コスト（更新回数）と、１年間の推定器の平均推定精度とをシミュレートするものとする。
　本具体例では、記憶部１１が、過去の１年分の学習データとして、２０１４年１月１日から２０１４年１２月３１日までの実測データを記憶している。過去の一時点を２０１４年１月３１日とすると、実測データは、２０１４年１月１日から２０１４年１月３１日までの学習データと、２０１４年２月１日から２０１４年１２月３１日までの検証データに分けられる。
　推定器生成部１２は、前者の学習データに基づいて推定器を生成し、シミュレート情報入力部１３に入力する。また、シミュレート情報入力部１３は、管理者からシミュレートする更新ルールの入力を受け付ける。シミュレート情報入力部１３は、例えば、「売上個数の誤差が３日連続で１０％を超えたらその推定式を更新する」という更新ルール（以下、更新ルールＲ１と記す。）、「売上個数の誤差が３日連続で１５％を超えたらその推定式を更新する」（以下、更新ルールＲ２と記す。）という更新ルール、および、「売上個数の誤差が３０％を超えたら即日その推定式を更新する」（以下、更新ルールＲ３と記す。）という更新ルールを受け付ける。
　シミュレート部１４（より具体的には、評価指標算出部２１、推定器再学習部２２または推定器更新部２３）は、生成された推定式に検証データを適用し、入力された更新ルールに従ってシミュレートする。そして、結果出力部１５は、更新ルールごとのシミュレート結果として、更新コスト（更新回数）と、推定器の平均推定精度を出力する。
　結果出力部１５がこのようなシミュレート結果を出力することにより、管理者が、どのような更新ルールを設定するとどのような運用結果（具体的には、更新コストおよび推定精度）が得られるのかを、事前に把握することが可能になる。そのため、管理者にとっては、設定すべき更新ルールを適切かつ容易に検討できる。例えば、上述する例では、管理者は、更新ルールＲ１～Ｒ３のうち、いずれの更新ルールがより適切かを判断することが可能になる。
　次に、本実施形態の変形例を説明する。第１の実施形態では、シミュレート情報入力部１３が、予め定めた評価指標に基づいて規定された更新ルールを受け付ける場合を説明した。例えば、図２に例示する「再学習判定」の欄の「評価指標」の列には、可変な閾値（パラメタ）を含む複数の条件が記載されている。
　そこで、本変形例のシミュレート情報入力部１３は、予め定めたアルゴリズムを用いて試行するパラメタを自動的に決定する。すなわち、シミュレート情報入力部１３は、１つ以上の可変な閾値（パラメタ）を条件に含む複数の更新ルールの中から、予め定めたアルゴリズムを用いて最適なパラメタを特定し、特定したパラメタで定義される更新ルールを入力する。　
　最適化する対象は任意であり、例えば、上述する評価指標（精度指標など）が用いられる。また、パラメタを決定する際のアルゴリズムとして、例えば、遺伝的アルゴリズムやベイズ最適化（Gaussian Process）が用いられる。これらのアルゴリズムは、最適化対象が複数の場合にも利用可能である。
　このように、シミュレート情報入力部１３が複数の更新ルールの中から、最適なパラメタにより定義される更新ルールを入力することで、複数の条件に含まれる可変な閾値（パラメタ）をすべてシミュレートする場合に比べ、より効率的にシミュレートできる。
実施形態２．
　次に、本発明のシミュレートシステムの第２の実施形態を説明する。第１の実施形態では、評価指標算出部２１により算出される評価指標をもとに、推定器再学習部２２が推定器を再学習していた。本実施形態では、再学習の処理負荷を軽減させる方法を説明する。
　図５は、本発明によるシミュレートシステムの第２の実施形態の構成例を示す説明図である。なお、第１の実施形態と同様の構成については、図１と同一の符号を付し、説明を省略する。本実施形態のシミュレートシステムは、記憶部１１と、推定器生成部１２ａと、シミュレート情報入力部１３と、シミュレート部１４ａと、結果出力部１５とを備えている。すなわち、本実施形態の記憶部１１、シミュレート情報入力部１３および結果出力部１５の内容は、第１の実施形態と同様である。
　本実施形態の推定器生成部１２ａは、記憶部１１に記憶された実測データを予め定めた区間に区切ったデータ群（以下、区間学習データと記す。）を学習データとして用いて、予め定めたアルゴリズムに基づいて推定器を生成する。区間学習データは複数生成され、その区間の粒度は任意である。この区間は、例えば、開始時期と期間により定義され、実際の運用で再学習に用いられる期間に設定することが好ましい。なお、この区間は重複していてもよい。
　また、推定器生成部１２ａは、生成した推定器へ時系列に検証データを適用する間の各推定タイミング（以下、予測ターゲットと記す。）の評価指標を算出する。なお、評価指標の算出方法は、第１の実施形態において、評価指標算出部２１が評価指標を算出する方法と同様である。予測ターゲットは、例えば一ヶ月単位など、実際の運用で再学習判定を行うタイミングと同様の粒度で設定される。
　推定器生成部１２ａは、生成した推定器と評価結果とを組にしたデータセットを生成し、記憶部１１に記憶する。推定器生成部１２ａは、例えば、推定器の学習区間、予測ターゲットおよび評価指標を含むデータセットを生成してもよい。
　図６は、生成されるデータセットの例を示す説明図である。図６に示す例は、学習区間ｗの区間学習データを用いて推定器を生成し、学習区間の一定期間ｌ後の予測ターゲットにおける評価指標を複数作成していることを示す。
　シミュレート部１４ａは、評価指標算出部２１ａと、推定器選択部２４と、推定器更新部２３とを含む。推定器更新部２３の内容は、第１の実施形態と同様である。
　評価指標算出部２１ａは、評価指標を算出する。なお、本実施形態の評価指標算出部２１ａは、評価指標を算出する代わりに、評価指標を算出する時点に対応する予測ターゲットの評価指標を記憶部１１から抽出する。なお、対応する予測ターゲットの評価指標が記憶部１１に記憶されていない場合、評価指標算出部２１ａは、実際に評価指標を算出してもよい。なお、評価指標を算出する方法は、第１の実施形態の評価指標算出部２１が評価指標を算出する方法と同様である。
　推定器選択部２４は、第１の実施形態の推定器再学習部２２と同様、更新ルールに基づいて、推定器を再学習するか否か判断する。本実施形態では、推定器選択部２４は、更新ルール（再学習ルール）に適合する場合、更新ルールに基づいて再学習後の推定器を記憶部１１から抽出する。推定器選択部２４は、例えば、更新ルールに規定される学習区間が一致する推定器を記憶部１１から抽出してもよい。なお、適切な推定器が記憶部１１に記憶されていない場合、推定器選択部２４は、第１の実施形態の推定器再学習部２２と同様に、推定器を再学習してもよい。
　推定器更新部２３は、更新ルールに基づいて推定器を更新するか否か判断し、再学習前の推定器を更新する。推定器を更新するか否か判断する方法は、第１の実施形態と同様である。以降、更新された推定器とともに抽出された評価指標を用いて、各予測ターゲットにおいて再学習するか否かが判断される。
　推定器生成部１２ａと、シミュレート情報入力部１３と、シミュレート部１４ａ（より具体的には、評価指標算出部２１ａと、推定器選択部２４と、推定器更新部２３）と、結果出力部１５とは、プログラム（シミュレート用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。
　また、推定器生成部１２ａと、シミュレート情報入力部１３と、シミュレート部１４ａ（より具体的には、評価指標算出部２１ａと、推定器選択部２４と、推定器更新部２３）と、結果出力部１５とは、それぞれが専用のハードウェアで実現されていてもよい。
　次に、本実施形態のシミュレートシステムの動作を説明する。図７は、本実施形態のシミュレートシステムの動作例を示すフローチャートである。
　推定器生成部１２ａは、区間学習データを用いて推定器を生成する（ステップＳ２１）。また、推定器生成部１２ａは、生成した推定器の予測ターゲットにおける評価指標を算出する（ステップＳ２２）。そして、推定器生成部１２ａは、生成した推定器および評価指標を含むデータセットを記憶部１１に記憶する（ステップＳ２３）。
　評価指標算出部２１ａは、推定器の予測ターゲットにおける評価指標を記憶部１１から取得する（ステップＳ２４）。推定器選択部２４は、更新ルールに基づいて、推定器を再学習するか否か判断する（ステップＳ２５）。推定器を再学習しないと判断した場合（ステップＳ２５におけるＮｏ）、次の予測ターゲットについてステップＳ２４以降の処理を繰り返す。一方、推定器を再学習すると判断した場合（ステップＳ２５におけるＹｅｓ）、推定器選択部２４は、更新ルールに基づいて再学習後の推定器を記憶部１１から取得する（ステップＳ２６）。
　推定器更新部２３は、更新ルールに基づいて、推定器を更新するか否か判断する（ステップＳ２７）。推定器を更新しないと判断した場合（ステップＳ２７におけるＮｏ）、次の予測ターゲットについてステップＳ２４以降の処理を繰り返す。一方、推定器を更新すると判断した場合（ステップＳ２７におけるＹｅｓ）、推定器更新部２３は、再学習後の推定器で元の推定器を更新する（ステップＳ２８）。
　以上のように、本実施形態では、推定器生成部１２ａが、過去の実測データを学習データとして用いて推定器を生成し、記憶部１１が、生成された推定器を記憶する。具体的には、推定器生成部１２ａは、実測データを予め定めた区間に区切ったデータ群を学習データとして用いて推定器を生成する。そして、推定器生成部１２ａは、各予測ターゲットの評価指標を算出し、生成された推定器と予測ターゲットごとの評価指標を含むデータセットを生成して記憶部１１に記憶する。シミュレート部１４ａは、評価指標を算出する時点に対応する予測ターゲットの評価指標を記憶部１１から抽出し、抽出した評価指標が更新ルールに適合する場合に、その更新ルールに基づいて再学習後の推定器を記憶部１１から抽出して更新する。なお、シミュレート部１４ａは、評価指標算出部２１ａ、推定器選択部２４および推定器更新部２３により実現される。よって、第１の実施形態の効果に加え、再学習のコストを低減できる。
　例えば、更新ルールに用いるパラメタを可変にして複数回シミュレートする場合、同様の再学習が行われる可能性が高い。そのため、本実施形態のように、再学習後の推定器および評価指標を予め準備しておくことで、シミュレートごとに再学習をする必要がなくなるため、コストを低減できる。
　次に、第２の実施形態の変形例を説明する。第２の実施形態では、推定器生成部１２ａが事前に推定器および評価指標を生成しておく場合について説明した。ただし、区間学習データに対応する全ての推定器および評価指標を事前に生成しておく必要はない。本変形例では、区間学習データに対応する推定器を必要に応じて生成する方法を説明する。なお、本変形例の構成は、第２の実施形態と同様である。
　本変形例では、推定器生成部１２ａは、区間学習データに基づいて生成された推定器および評価結果を含むデータセットを記憶していない、または、推定器および上記データセットを一部のみ記憶しているものとする。
　評価指標算出部２１ａは、評価指標を算出する時点に対応する予測ターゲットのデータセットを記憶部１１から検索する。対応する予測ターゲットのデータセットが記憶部１１に記憶されている場合、評価指標算出部２１ａは、そのデータセットを抽出し、抽出された評価指標を、予測ターゲットの評価指標として用いる。一方、対応する予測ターゲットのデータセットが記憶部１１に記憶されていない場合、評価指標算出部２１ａは、推定器生成部１２ａに推定器および予測結果を含むデータセットの生成を指示する。なお、評価指標算出部２１ａ自身が、データセットを生成してもよい。
　推定器生成部１２ａは、データセットの生成の指示を評価指標算出部２１ａから受けると、予め定めたアルゴリズムに基づいて推定器を生成し、記憶部１１に記憶する。また、推定器生成部１２ａは、生成した推定器を用いて、予測ターゲットの評価指標を算出し、記憶部１１に記憶する。すなわち、本変形例の処理は、シミュレート処理におけるキャッシュ処理と言うこともできる。したがって、本変形例の記憶部１１は、例えば、キャッシュメモリにより実現されていてもよい。
　以降、推定器選択部２４が推定器を再学習するか否か判断し、推定器更新部２３が、再学習後の推定器で元の推定器を更新する処理は、第２の実施形態と同様である。
　このように、本変形例では、推定器生成部１２ａが、評価指標算出部２１ａによるシミュレートで要求された時点で推定器および評価指標を生成する。この場合、必要な推定器および評価指標のみ生成されるため、第２の実施形態の効果に加え、事前に全ての推定器および評価指標を準備する方法に比べて、学習に要する時間を低減でき、必要なマシンコストを抑えることができる。
　なお、本変形例では、評価指標算出部２１ａによるシミュレートで要求された時点で推定器および評価指標を生成する場合について説明した。これ以外にも、推定器生成部１２ａが区間学習データに基づいて全ての推定器を生成しておき、評価指標算出部２１ａによるシミュレートで要求された時点で、推定器生成部１２ａが予測指標を生成して記憶部１１に記憶してもよい。このようにすることで、シミュレート時間を高速化しつつ、評価指標を記憶する記憶容量を低減できる。
　すなわち、推定器の再学習（推定器の生成）には、多くの時間がかかる一方で、推定器を記憶する容量は、さほど大きくない。一方、推定処理は、さほど時間がかからない一方で、推定結果を記憶する容量は大きくなる。そのため、学習時間や記憶容量に応じてこれらの処理を選択することで、推定器を更新するルールの好適性を環境に応じてシミュレートできる。
　また、本変形例では、生成した推定器および評価指標を記憶部１１に逐次記憶する場合について説明したが、生成した内容を記憶部１１に記憶させるか否か、また、記憶させる場合にどの対象を記憶させるかは、マシンリソースに応じて任意に定めることが可能である。記憶部１１に記憶させるケースとして、（１）何も記憶させない場合、（２）推定器のみ記憶させる場合、（３）推定器および推定結果を記憶させる場合、（４）推定器、推定結果および評価指標を記憶させる場合、が挙げられる。例えば、上述する（３）については、例えば、更新ルールに用いられる評価指標自体もトライアンドエラーで試行する場合に好適に利用される。
実施形態３． 
　本発明のシミュレートシステムの第３の実施形態を説明する。本実施形態では、更新ルールを評価する方法を説明する。すなわち、本実施形態のシミュレートシステムを用いることで、最適と判断された更新ルールがどの程度性能限界に達しているか評価することが可能になる。
　図８は、本発明によるシミュレートシステムの第３の実施形態の構成例を示す説明図である。本実施形態のシミュレートシステムは、記憶部１１と、推定器生成部１２と、シミュレート情報入力部１３と、シミュレート部１４と、結果出力部１５と、ルール評価部１６とを備えている。すなわち、本実施形態のシミュレートシステムは、ルール評価部１６をさらに備えている点において、第１の実施形態と異なる。それ以外の構成については、第１の実施形態と同様である。
　ルール評価部１６は、更新ルールを評価する。本実施形態のルール評価部１６は、シミュレート結果に基づいて更新ルールを評価する。具体的には、ルール評価部１６は、予測対象区間であるシミュレート期間全体で獲得し得る最大性能と、評価対象とする更新ルールを適用した場合の性能とを比較して、更新ルールを評価する。ここで、性能とは、予め定めた推定器の評価指標に基づいて定められるものであり、例えば、誤差などの精度指標や、コストなどの指標を含む評価指標などが挙げられる。性能の設定内容は任意であり、例えば、コスト面や精度面から、より好適な推定器と判断可能な基準が設定されればよい。
　まず、ルール評価部１６は、全予測対象区間で獲得し得る最大性能を算出する。本実施形態では、予測対象区間内で性能を最大にする学習区間を事後的に選択することが可能である。学習区間の設定方法は任意である。例えば、予測ターゲットを月ごとに分割する場合、学習区間は、４月分、５月分、などのように設定される。また、性能を最大にする学習区間の選択は、更新内容に制限を設けない場合と更新内容に制限を設ける場合とに大別される。
　更新内容に制限を設けない場合、ルール評価部１６は、性能を最大にする学習区間を選択する。そして、ルール評価部１６は、選択された学習区間ごとに性能を示す評価指標を計算し、全学習区間の性能を算出する。以下、この全学習区間の性能のことを、総合指標と記す。
　ルール評価部１６は、例えば、学習区間ごとの性能の平均値を全学習区間の性能として算出してもよい。また、ルール評価部１６は、評価指標を個別に算出せず、第２の実施形態で生成されたデータセットに基づいて総合指標を算出してもよい。
　一方、更新内容に制限を設ける場合、ルール評価部１６は、全学習区間を対象として、更新タイミング、学習区間および学習パラメタを条件に、性能を最大にする組合せを設けられた制限内で選択する。ルール評価部１６は、例えば、どのタイミングでどの学習区間やその他の学習パラメタを選択すれば全区間での総合誤差指標が最小になるかについて、これらの組み合わせを探索する。このとき、ルール評価部１６は、性能を最大にする組合せを、何らかの組合せ最適化アルゴリズムを用いて探索する。
　ルール評価部１６は、組合せ最適化アルゴリズムに、例えば、ＦＡＢの係数選択などに用いられるＦｏＢａ（Forward-Backward greedy algorithm ）を用いてもよい。なお、上記説明では、更新内容の制限有無について説明したが、ルール評価部１６は、学習内容の制限有無に基づいて総合指標を算出してもよい。
　また、ルール評価部１６は、複数の評価結果をまとめて可視化してもよい。一般的には、更新回数制限などの条件が緩くなれば、全予測対象区間での性能は向上する。そのため、ルール評価部１６は、例えば、更新回数と総合指標とを各軸とする２次元のグラフに、評価結果をプロットしてもよい。このような評価結果が可視化されれば、管理者が、妥当な結果を人手で決定することが可能になる。
　なお、可視化の方法は、２次元上のグラフに限定されない。例えば、総合指標を複数の指標で表す場合、ルール評価部１６は、Ｎ次元上のＮ－１次元局面で評価結果を可視化してもよい。
　以上のように、本実施形態によれば、ルール評価部１６が、予測対象区間全体で獲得し得る最大性能と、評価対象とする更新ルールを適用した場合の性能とを比較して更新ルールを評価する。よって、客観的な評価結果に基づいて更新ルールの好適性を人間が判断することが可能になる。
　なお、図８に示す例では、結果出力部１５の出力に基づいてルール評価部１６が更新ルールを評価する場合を例示しているが、ルール評価部１６への入力は、結果出力部１５の出力に限定されない。本実施形態のルール評価部１６は、いわゆるオフライン戦略の結果に基づいて更新ルールを評価する。そのため、予測区間の評価指標が算出可能であれば、ルール評価部１６は、評価対象の更新ルールを入力してルールを評価する、単体のルール評価装置として実現されてもよい。
　次に、本発明の概要を説明する。図９は、本発明によるシミュレートシステムの概要を示すブロック図である。本発明によるシミュレートシステムは、過去の一時点までの実測データ（例えば、学習データ）を用いて学習された推定器と、その一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルール（例えば、再学習ルールと評価ルールとを含む更新ルール）とを受け付ける受付手段８１（例えば、シミュレート情報入力部１３）と、所定期間の検証データを推定器へ時系列に適用することにより算出される推定結果と、更新ルールとに基づいて、その所定期間における推定器の評価指標（例えば、精度指標など）および推定器の更新結果（例えば、更新回数、更新に要するコストなど）の少なくとも一方をシミュレートするシミュレート手段８２（例えば、シミュレート部１４）とを備えている。
　そのような構成により、推定器を更新するルールの好適性をシミュレートできる。
　具体的には、シミュレート手段８２は、推定器の更新結果として、所定期間に推定器が更新される回数をシミュレートしてもよい。
　また、シミュレート手段８２は、検証データを推定器へ時系列に適用して推定結果を算出し、判定時点までの推定結果に基づいて算出される評価指標が更新ルールに適合する場合に、その更新ルールで規定される方法に基づいて推定器を更新し、判定時点以降の検証データを更新後の推定器へ時系列に適用して推定結果を算出してもよい。このようにすることで、過去の学習データを用いて更新ルールをシミュレートできる。
　また、シミュレートシステムは、シミュレート結果として、シミュレートされた評価指標と更新結果の少なくとも一方を出力する出力手段（例えば、結果出力部１５）を備えていてもよい。そして、出力手段は、多次元空間上の各次元軸に、評価指標と更新結果を表わす指標のいずれかを設定し、多次元空間上の対応する位置にシミュレート結果をプロットしてもよい（例えば、図３に示すグラフ参照）。そのような構成により、管理者が更新ルールの評価をする一助とすることが可能になる。
　また、シミュレートシステムは、シミュレートされた評価指標および更新結果の最適解を探索する探索手段（例えば、推定器更新部２３）を備えていてもよい。
　一方で、シミュレートシステムは、過去の実測データを学習データとして用いて推定器を生成する推定器生成手段（例えば、推定器生成部１２ａ）と、生成された推定器を記憶する推定器記憶手段（例えば、記憶部１１）とを備えていてもよい。そして、推定器生成手段は、実測データを予め定めた区間に区切ったデータ群を学習データとして用いて推定器を生成し、生成した推定器へ時系列に検証データを適用する間の各推定タイミングである予測ターゲットの評価指標を算出し、生成された推定器と予測ターゲットごとの評価指標を含むデータセットを生成して推定器記憶手段に記憶してもよい。また、シミュレート手段８２は、評価指標を算出する時点に対応する予測ターゲットの評価指標を推定器記憶手段から抽出し、抽出した評価指標が更新ルールに適合する場合に、その更新ルールに基づいて再学習後の推定器を推定器記憶手段から抽出して更新してもよい。
　また、シミュレートシステムは、シミュレート結果に基づいて更新ルールを評価するルール評価手段（例えば、ルール評価部１６）を備えていてもよい。そして、ルール評価手段は、過去の一時点以降の予測対象区間全体で獲得し得る最大性能（例えば、総合指標）と、評価対象とする更新ルールを適用した場合の性能とを比較して更新ルールを評価してもよい。
　また、受付手段８１は、異なるアルゴリズムを用いて生成された複数の推定器を受け付け、シミュレート手段８２は、異なるアルゴリズムを用いて生成された推定器ごとにシミュレートしてもよい。
　１１　記憶部
　１２，１２ａ　推定器生成部
　１３　シミュレート情報入力部
　１４，１４ａ　シミュレート部
　１５　結果出力部
　１６　ルール評価部
　２１，２１ａ　評価指標算出部
　２２　推定器再学習部
　２３　推定器更新部
２４　推定器選択部

Claims (12)

  1. 　過去の一時点までの実測データを用いて学習された推定器と、当該一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付ける受付手段と、
    　所定期間の前記検証データを推定器へ時系列に適用することにより算出される推定結果と、前記更新ルールとに基づいて、当該所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートするシミュレート手段とを備えた
    　ことを特徴とするシミュレートシステム。
  2. 　シミュレート手段は、推定器の更新結果として、所定期間に推定器が更新される回数をシミュレートする
    　請求項１記載のシミュレートシステム。
  3. 　シミュレート手段は、検証データを推定器へ時系列に適用して推定結果を算出し、判定時点までの推定結果に基づいて算出される評価指標が更新ルールに適合する場合に、当該更新ルールで規定される方法に基づいて推定器を更新し、前記判定時点以降の検証データを更新後の推定器へ時系列に適用して推定結果を算出する
    　請求項１または請求項２記載のシミュレートシステム。
  4. 　シミュレート結果として、シミュレートされた評価指標と更新結果の少なくとも一方を出力する出力手段を備え、
    　前記出力手段は、多次元空間上の各次元軸に、前記評価指標と更新結果を表わす指標のいずれかを設定し、多次元空間上の対応する位置にシミュレート結果をプロットする
    　請求項１から請求項３のうちのいずれか１項に記載のシミュレートシステム。
  5. 　シミュレートされた評価指標および更新結果の最適解を探索する探索手段を備えた
    　請求項１から請求項４のうちのいずれか１項に記載のシミュレートシステム。
  6. 　過去の実測データを学習データとして用いて推定器を生成する推定器生成手段と、
    　生成された推定器を記憶する推定器記憶手段とを備え、
    　前記推定器生成手段は、前記実測データを予め定めた区間に区切ったデータ群を学習データとして用いて推定器を生成し、生成した推定器へ時系列に検証データを適用する間の各推定タイミングである予測ターゲットの評価指標を算出し、生成された推定器と前記予測ターゲットごとの評価指標を含むデータセットを生成して前記推定器記憶手段に記憶し、
    　シミュレート手段は、評価指標を算出する時点に対応する予測ターゲットの評価指標を推定器記憶手段から抽出し、抽出した評価指標が更新ルールに適合する場合に、当該更新ルールに基づいて再学習後の推定器を推定器記憶手段から抽出して更新する
    　請求項１または請求項２記載のシミュレートシステム。
  7. 　シミュレート結果に基づいて更新ルールを評価するルール評価手段を備え、
    　前記ルール評価手段は、過去の一時点以降の予測対象区間全体で獲得し得る最大性能と、評価対象とする更新ルールを適用した場合の性能とを比較して更新ルールを評価する
    　請求項１から請求項６のうちのいずれか１項に記載のシミュレートシステム。
  8. 　受付手段は、異なるアルゴリズムを用いて生成された複数の推定器を受け付け、
    　シミュレート手段は、異なるアルゴリズムを用いて生成された推定器ごとにシミュレートする
    　請求項１から請求項７のうちのいずれか１項に記載のシミュレートシステム。
  9. 　コンピュータが、過去の一時点までの実測データを用いて学習された推定器と、当該一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付け、
    　前記コンピュータが、所定期間の前記検証データを推定器へ時系列に適用することにより算出される推定結果と、前記更新ルールとに基づいて、当該所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートする
    　ことを特徴とするシミュレート方法。
  10. 　コンピュータが、推定器の更新結果として、所定期間に推定器が更新される回数をシミュレートする
    　請求項９記載のシミュレート方法。
  11. 　コンピュータに、
    　過去の一時点までの実測データを用いて学習された推定器と、当該一時点以降の実測データである検証データと、推定器の更新要否を評価指標に基づいて規定した更新ルールとを受け付ける受付処理、および、
    　所定期間の前記検証データを推定器へ時系列に適用することにより算出される推定結果と、前記更新ルールとに基づいて、当該所定期間における推定器の評価指標および推定器の更新結果の少なくとも一方をシミュレートするシミュレート処理
    　を実行させるためのシミュレート用プログラム。
  12. 　コンピュータに、
    　シミュレート処理で、推定器の更新結果として、所定期間に推定器が更新される回数をシミュレートさせる
    　請求項１１記載のシミュレート用プログラム。
PCT/JP2015/001628 2015-03-23 2015-03-23 シミュレートシステム、シミュレート方法およびシミュレート用プログラム Ceased WO2016151620A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/001628 WO2016151620A1 (ja) 2015-03-23 2015-03-23 シミュレートシステム、シミュレート方法およびシミュレート用プログラム
US15/553,629 US10635078B2 (en) 2015-03-23 2015-03-23 Simulation system, simulation method, and simulation program
JP2017507101A JP6529096B2 (ja) 2015-03-23 2015-03-23 シミュレートシステム、シミュレート方法およびシミュレート用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/001628 WO2016151620A1 (ja) 2015-03-23 2015-03-23 シミュレートシステム、シミュレート方法およびシミュレート用プログラム

Publications (1)

Publication Number Publication Date
WO2016151620A1 true WO2016151620A1 (ja) 2016-09-29

Family

ID=56977097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/001628 Ceased WO2016151620A1 (ja) 2015-03-23 2015-03-23 シミュレートシステム、シミュレート方法およびシミュレート用プログラム

Country Status (3)

Country Link
US (1) US10635078B2 (ja)
JP (1) JP6529096B2 (ja)
WO (1) WO2016151620A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510818A (zh) * 2021-12-29 2022-05-17 中国人民解放军63790部队保障部 面向航天器试验鉴定的试验用例仿真及验证的方法及装置
CN115905319A (zh) * 2022-11-16 2023-04-04 国网山东省电力公司营销服务中心(计量中心) 一种海量用户电费异常的自动识别方法及系统
JP2024065881A (ja) * 2022-10-31 2024-05-15 株式会社日立製作所 予測システム、予測方法及び系統管理システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365079B (zh) * 2019-08-29 2025-05-02 西门子股份公司 作为系统性能模拟的预处理的基于性能的系统配置
US11256521B2 (en) * 2020-01-27 2022-02-22 Dell Products, L.P. Systems and methods for evaluating and updating deprecated products
CN112766715A (zh) * 2021-01-15 2021-05-07 北京瑞风协同科技股份有限公司 一种用于仿真评估装备能力的方法及系统
WO2023004593A1 (zh) * 2021-07-27 2023-02-02 华为技术有限公司 用于对电路进行仿真的方法、介质、程序产品以及电子设备
CN116915643A (zh) * 2022-04-16 2023-10-20 瞻博网络公司 用于规则评估的机器学习
CN115598993B (zh) * 2022-09-02 2025-09-12 上海机电工程研究所 半实物仿真红外场景物理效应模拟效果的评估方法和系统
CN116702452A (zh) * 2023-05-23 2023-09-05 中国舰船研究设计中心 一种无人装备虚实试验评估系统及方法
FR3167460A1 (fr) * 2024-10-14 2026-04-17 Orange Procédé de synchronisation d’un jumeau numérique avec un système physique, et dispositif électronique associé

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004769A (ja) * 2005-05-25 2007-01-11 Nippon Petroleum Refining Co Ltd 石油精製プラントのパラメータ予測装置及びパラメータ予測方法
JP2007233944A (ja) * 2006-03-03 2007-09-13 Vinculum Japan Corp 商品販売予測システム
JP2011253275A (ja) * 2010-06-01 2011-12-15 Yokogawa Electric Corp プラントシミュレータ

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7072863B1 (en) * 1999-09-08 2006-07-04 C4Cast.Com, Inc. Forecasting using interpolation modeling
US6947876B1 (en) * 1999-11-11 2005-09-20 Tokyo Electron Limited Method for automated system identification
US8165853B2 (en) * 2004-04-16 2012-04-24 Knowledgebase Marketing, Inc. Dimension reduction in predictive model development
US8548777B2 (en) * 2007-09-28 2013-10-01 Rockwell Automation Technologies, Inc. Automated recommendations from simulation
US8417708B2 (en) * 2009-02-09 2013-04-09 Xerox Corporation Average case analysis for efficient spatial data structures
JP5195848B2 (ja) * 2010-08-31 2013-05-15 株式会社デンソー 交通状況予測装置
JP2012108748A (ja) * 2010-11-18 2012-06-07 Sony Corp データ処理装置、データ処理方法、およびプログラム
JP5851105B2 (ja) * 2011-03-15 2016-02-03 株式会社東芝 エネルギー需要予測装置及びプログラム
US9047423B2 (en) * 2012-01-12 2015-06-02 International Business Machines Corporation Monte-Carlo planning using contextual information
RU2600497C2 (ru) * 2012-06-11 2016-10-20 Лэндмарк Графикс Корпорейшн Способы и относящиеся к ним системы построения моделей и прогнозирования операционных результатов операции бурения

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004769A (ja) * 2005-05-25 2007-01-11 Nippon Petroleum Refining Co Ltd 石油精製プラントのパラメータ予測装置及びパラメータ予測方法
JP2007233944A (ja) * 2006-03-03 2007-09-13 Vinculum Japan Corp 商品販売予測システム
JP2011253275A (ja) * 2010-06-01 2011-12-15 Yokogawa Electric Corp プラントシミュレータ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114510818A (zh) * 2021-12-29 2022-05-17 中国人民解放军63790部队保障部 面向航天器试验鉴定的试验用例仿真及验证的方法及装置
JP2024065881A (ja) * 2022-10-31 2024-05-15 株式会社日立製作所 予測システム、予測方法及び系統管理システム
CN115905319A (zh) * 2022-11-16 2023-04-04 国网山东省电力公司营销服务中心(计量中心) 一种海量用户电费异常的自动识别方法及系统
CN115905319B (zh) * 2022-11-16 2024-04-19 国网山东省电力公司营销服务中心(计量中心) 一种海量用户电费异常的自动识别方法及系统

Also Published As

Publication number Publication date
JPWO2016151620A1 (ja) 2017-11-30
JP6529096B2 (ja) 2019-06-12
US10635078B2 (en) 2020-04-28
US20180052441A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
WO2016151620A1 (ja) シミュレートシステム、シミュレート方法およびシミュレート用プログラム
JP6708204B2 (ja) 精度推定モデル生成システムおよび精度推定システム
US11030557B2 (en) Predicting arrival time of components based on historical receipt data
JP6531821B2 (ja) 予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラム
US10496436B2 (en) Method and apparatus for automatically scheduling jobs in computer numerical control machines using machine learning approaches
US20180260726A1 (en) Analysis apparatus, analysis method, and non-transitory computer readable medium
TWI860230B (zh) 用於高度共線響應空間中的規範性分析的方法、系統與電腦可讀取媒體
KR101544457B1 (ko) 최적 설계 파라미터 탐색을 위한 최적화 방법
JP7160574B2 (ja) 処理装置、方法、およびプログラム
JP2018205994A (ja) 時系列データ分析装置、時系列データ分析方法およびコンピュータプログラム
CN113641525A (zh) 变量异常修复方法、设备、介质及计算机程序产品
JP2017058848A (ja) 情報処理システム、情報処理方法、及び、プログラム
Horn et al. First investigations on noisy model-based multi-objective optimization
JP7196935B2 (ja) 演算装置、アクション決定方法、及び制御プログラム
JPWO2014087590A1 (ja) 最適化装置、最適化方法および最適化プログラム
WO2009142011A1 (ja) 最小送電損失系統構成の決定装置、方法及びプログラム
JP6947029B2 (ja) 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム
Riley et al. Improving job shop dispatching rules via terminal weighting and adaptive mutation in genetic programming
WO2019012740A1 (en) DEVICE, SYSTEM AND METHOD FOR EXTRACTING OPERATING RULE
CN105095616A (zh) 数据分析装置、数据分析方法
CN119004314A (zh) 一种多相似度特征融合旋转机械故障预测方法
JP7489275B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2020052703A (ja) 学習方法、学習装置及びプログラム
JPWO2019220481A1 (ja) 判定ルール取得装置、判定ルール取得方法および判定ルール取得プログラム
JP7740510B2 (ja) モデル分析装置、モデル分析方法、及び、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15886178

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017507101

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15553629

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15886178

Country of ref document: EP

Kind code of ref document: A1