WO2011052147A1 - 評価モデル分析システム、評価モデル分析方法およびプログラム - Google Patents

評価モデル分析システム、評価モデル分析方法およびプログラム Download PDF

Info

Publication number
WO2011052147A1
WO2011052147A1 PCT/JP2010/006128 JP2010006128W WO2011052147A1 WO 2011052147 A1 WO2011052147 A1 WO 2011052147A1 JP 2010006128 W JP2010006128 W JP 2010006128W WO 2011052147 A1 WO2011052147 A1 WO 2011052147A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation model
parameter
value
evaluation
expression
Prior art date
Application number
PCT/JP2010/006128
Other languages
English (en)
French (fr)
Inventor
矢野尾一男
藤田直毅
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2011538228A priority Critical patent/JP5532052B2/ja
Publication of WO2011052147A1 publication Critical patent/WO2011052147A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3604—Software analysis for verifying properties of programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling

Definitions

  • the present invention relates to an evaluation model analysis system, an evaluation model analysis method, and an evaluation model analysis program, and in particular, an evaluation model analysis system and an evaluation model analysis method for analyzing an evaluation model of an actual system generated from a system model corresponding to the actual system. And an evaluation model analysis program.
  • a system that is actually developed and operated is referred to as a real system. If each real system is developed individually, many processes are required for design. For this reason, a model representing an abstract representation of a real system is prepared, and when developing another real system, the number of processes such as design is reduced by reusing the model.
  • a model expressing the configuration and operation of an actual system in an abstract manner is referred to as a system model.
  • Patent Document 1 describes a performance evaluation apparatus that evaluates the performance of a semiconductor device using a function model that models the function of the semiconductor device and an architecture model that models the physical architecture of the semiconductor device.
  • simulation model information for executing a task in a computer system is created from computer resource configuration diagram information and sequence diagram information, and the simulation model information is used to execute the task under a given load condition.
  • a performance evaluation apparatus is described in which a simulation is performed to perform a performance evaluation including response time characteristics and resource utilization in a computer system.
  • Patent Document 3 describes a performance evaluation model generation device that analyzes a UML model described in UML (Unified Modeling Language) and converts the analysis result according to a conversion rule to generate a performance evaluation model. .
  • UML Unified Modeling Language
  • Patent Document 4 a correlation between a plurality of time series data in a normal distributed transaction system is examined, and a system failure is detected by detecting that the time series data deviates from the correlation. The technology is described.
  • JP 2004-318654 A (paragraph 0013) JP 2007-188179 A (paragraph 0010) JP 2001-318812 A (paragraph 0008) US Patent Application Publication No. 2007/0179746
  • the accuracy of the evaluation model is low, the accuracy of the evaluation result will be low. For example, when the value of the parameter included in the evaluation model is not set to an appropriate value, the accuracy of the evaluation result obtained from the evaluation model decreases. Also, the accuracy of the evaluation obtained from the evaluation model is lowered even when the parameters to be considered for performing the appropriate evaluation are not reflected in the evaluation model.
  • an object of the present invention is to provide an evaluation model analysis system, an evaluation model analysis method, and an evaluation model analysis program that can contribute to improving the accuracy of an evaluation model for evaluating an actual system.
  • An evaluation model analysis system includes an evaluation model including an expression for evaluating an actual system and a parameter value included in the expression based on a system model that is a model representing an actual system that is actually operated.
  • the evaluation model analysis method is based on a system model that represents a real system that is actually operated, and includes an expression for evaluating the real system and a parameter value included in the expression.
  • a model is generated, and parameters capable of improving the accuracy of the evaluation model are analyzed based on operation information including actual parameter values in an actual system in operation and the evaluation model.
  • the evaluation model analysis program provides a computer with an expression for evaluating a real system based on a system model representing a real system actually operated, and a parameter value included in the expression. Analyzing parameters that can improve the accuracy of the evaluation model based on the evaluation model generation process that generates the evaluation model including the operation information including the actual parameter value in the actual system in operation and the evaluation model An evaluation model analysis process is executed.
  • FIG. 1 is a block diagram illustrating an example of an evaluation model analysis system according to the first embodiment of this invention.
  • the evaluation model analysis system 1 of the first embodiment includes a model input unit 2, a model editing unit 3, a system model repository 4, an evaluation function / parameter repository 5, an evaluation model generation unit 6, and application-dependent parameter input.
  • Means 7 hereinafter referred to as AP-dependent parameter input means 7
  • evaluation means 8, monitoring means 9, evaluation model analysis means 10, and output means 11 are provided.
  • the model input means 2 is an input device for a system engineer (hereinafter referred to as SE) who is a user of the evaluation model analysis system 1 to perform a system model generation operation.
  • SE system engineer
  • the model input unit 2 is realized by, for example, a keyboard or a mouse, but may be realized by another input device.
  • the system model is an abstract model representing the configuration and operation of an actual system that is actually developed and operated.
  • the system model expresses what kind of software and hardware is provided as the configuration of the actual system, and expresses how the hardware operates.
  • the system model is described by a modeling language that can be processed by a machine such as UML (Unified Modeling Language) or SysML (Systems Modeling Language).
  • UML Unified Modeling Language
  • SysML Systems Modeling Language
  • the machine-processable language means a language that can perform information processing on the expressed content.
  • the system model repository 4 is a storage device that stores the generated system model.
  • the system model repository 4 stores system models generated in the past and system models newly generated by the model editing unit 3.
  • the model editing unit 3 generates a system model in accordance with the SE operation performed by the model input unit 2, stores the generated system model in the system model repository 4, and inputs the system model to the evaluation model generation unit 6.
  • the model editing unit 3 may generate a new system model according to the operation of the SE, or change the existing system model stored in the system model repository 4 according to the operation of the SE.
  • a new system model may be generated by adding or combining existing system models.
  • a known algorithm may be employed as the algorithm for the model editing unit 3 to generate a system model described in, for example, SysML according to a user operation.
  • SE develops real system 20 based on the generated system model.
  • the evaluation function / parameter repository 5 is a storage device that stores an evaluation function group used for generating an evaluation model and values of various parameters.
  • the evaluation model is generated as a combination of an expression for deriving an evaluation result regarding the evaluation item and a parameter value used in the expression.
  • the expression included in the evaluation model is expressed as, for example, a polynomial using parameters, but the form of the expression included in the evaluation model is not limited to a polynomial, and is expressed in various expression forms such as a recurrence expression. Also good.
  • an example is given in which the evaluation model leads to an evaluation result regarding non-functional requirements such as system performance and availability.
  • the evaluation function group stored in the evaluation function / parameter repository 5 is an expression used as a part for generating an expression included in the evaluation model.
  • the parameters stored in the evaluation function / parameter repository 5 can be classified into platform-dependent parameters and application-dependent parameters.
  • the platform-dependent parameter is referred to as a PF-dependent parameter
  • the application-dependent parameter is referred to as an AP-dependent parameter.
  • PF dependent parameter is a parameter that represents the physical resource characteristics of the real system.
  • the PF dependent parameter for example, the throughput of a disk provided in the real system 20 can be cited.
  • the evaluation function / parameter repository 5 stores values of various PF-dependent parameters.
  • the AP-dependent parameter is a value depending on the application for realizing the function of the real system.
  • the AP-dependent parameter for example, the number of SQL issues to the database server can be cited.
  • the evaluation function / parameter repository 5 stores default values of various AP-dependent parameters. However, if the value of the AP-dependent parameter is input to the AP-dependent parameter input unit 7 by SE, the evaluation model generation unit 6 generates an evaluation model using the value of the AP-dependent parameter. If the AP-dependent parameter value necessary for generating the evaluation model is not input to the AP-dependent parameter input unit 7, the evaluation model generating unit 6 uses the default AP-dependent parameter stored in the evaluation function / parameter repository 5 in advance. An evaluation model is generated using the values.
  • the AP-dependent parameter input means 7 is an input device for inputting the value of the AP-dependent parameter used for generating the evaluation model.
  • the AP-dependent parameter input unit 7 is realized by, for example, a keyboard or a mouse, but may be realized by another input device. Further, the AP-dependent parameter input unit 7 and the model input unit 2 may be realized by a common input device.
  • the evaluation model generation means 6 generates an expression that becomes an evaluation model by combining evaluation functions stored in the evaluation function / parameter repository 5 in accordance with the system model input to the model editing means 3. Further, the evaluation model generating means 6 generates a combination of the value of the PF dependent parameter, the value of the AP dependent parameter used in the equation, and the equation as an evaluation model. As described above, when the AP-dependent parameter value is not input, an evaluation model is generated using the default value of the AP-dependent parameter stored in advance in the evaluation function / parameter repository 5.
  • the evaluation model generation unit 6 may be configured to refer to the system model corresponding to the real system 20.
  • the evaluation model generation means 6 reads the system model corresponding to the real system 20 from the system model repository 4 instead of being given the system model from the model editing means 3, and generates an evaluation model corresponding to the system model. Also good.
  • the evaluation model generation means 6 indicates what evaluation functions should be combined and how depending on the connection relationship of information processing devices represented in the system model and the flow of operation of each information processing device. Representing rules are set. For example, there is a relationship in which a part of the processing result in the first server is input to the second server, the rest is input to the third server, and the second server and the third server perform processing on the input information. Suppose that it is expressed by a system model.
  • the evaluation model generation means 6 uses an evaluation function for deriving an evaluation result for the first server or an evaluation function for deriving an evaluation result for the second server or the third server by using the result of the evaluation function.
  • the evaluation model generation means 6 generates a combination of specific values of AP-dependent parameters and PF-dependent parameters included in each evaluation function and the generated expression.
  • a combination of an expression generated based on the system model and the value of each parameter is used as an evaluation model.
  • generation means 6 illustrated the case where the formula contained in an evaluation model was produced
  • the generation method is not particularly limited, and the evaluation model may be generated by a method other than the above.
  • Evaluation unit 8 calculates an evaluation result based on the evaluation model generated by the evaluation model generation unit 6.
  • the evaluation unit 8 may obtain the evaluation result by substituting and calculating the values of the AP-dependent parameter and the PF-dependent parameter included in the evaluation model into the expression included in the evaluation model. It can be said that the evaluation result is a predicted value of the parameter to be evaluated.
  • the evaluation unit 8 inputs the calculated evaluation result to the evaluation model analysis unit 10.
  • the output unit 11 is an output device that outputs the evaluation result calculated by the evaluation unit 8.
  • the output unit 11 is realized by, for example, a display device that displays an evaluation result.
  • the output mode of the evaluation result is not limited to the display output, and the output unit 11 may be realized by an output device other than the display device, such as a printing apparatus that prints the evaluation result.
  • the monitoring unit 9 monitors the operational state of the real system 20 and generates time series data representing the operational state of the real system as a log.
  • the monitoring unit 9 monitors the operation state of each information processing device (for example, each server) included in the real system 20 and generates time series data representing the occupancy (load) of each server CPU as a log.
  • the CPU occupation rate is illustrated here, the time series data included in the log is not limited to the CPU occupation rate.
  • a known algorithm may be employed as an algorithm for the monitoring means 9 to monitor the operating state of the real system 20 and generate a log.
  • the log generated by the monitoring unit 9 is referred to as operation information.
  • the monitoring unit 9 may be provided as a part of the actual system 20. Alternatively, the monitoring unit 9 inquires the value of the time series data representing the operation state from the outside of the real system 20 to the real system 20, and the evaluation model analysis unit 10 uses the result obtained from the real system 20 by the inquiry as operation information. It may be configured to be input to.
  • the evaluation model analysis means 10 compares the evaluation result calculated by the evaluation means 8 with the evaluation model and the actual value of the parameter corresponding to the evaluation result obtained from the operation information, and a difference equal to or greater than the threshold value occurs between the two. If so, it is determined that the value of any AP-dependent parameter or PF-dependent parameter is not accurate. Then, the evaluation model analysis means 10 calculates an accurate value for the AP-dependent parameter or the PF-dependent parameter determined to be inaccurate based on the evaluation model and the operation information, and is stored in the evaluation function / parameter repository 5. Update the parameter value to the correct value.
  • the kind of parameter determined that a value is not exact according to the kind of evaluation result in which the difference beyond an actual value and the threshold value produced. For example, if the evaluation result of the CPU occupancy rate is different from the actual value, a rule such as determining that the parameter value “processing time per server message size” is not accurate may be set.
  • the evaluation model analysis means 10 may identify the type of parameter whose value is not accurate according to such a rule.
  • the evaluation model analysis means 10 uses a parameter determined to be inaccurate in the expression included in the evaluation model as a variable, and uses values included in the operation information as values of other parameters. What is necessary is just to calculate the value of the selected parameter. For some parameters, the values used for calculating the evaluation result may be used. However, since the value included in the operation information is time-series data and changes with the passage of time, it is preferable to calculate the value of the parameter that becomes a variable at each time. And it is preferable to statistically determine the value of the parameter as a variable from the calculation result for each time.
  • the model editing unit 3, the evaluation model generating unit 6, the evaluation unit 8, the monitoring unit 9, and the evaluation model analyzing unit 10 are realized by, for example, a CPU of a computer that operates according to an evaluation model analysis program.
  • a computer program storage device (not shown) stores the evaluation model analysis program, and the CPU reads the program, and according to the program, the model editing means 3, the evaluation model generating means 6, the evaluation means 8, What is necessary is just to operate
  • model editing unit 3, the evaluation model generation unit 6, the evaluation unit 8, the monitoring unit 9, and the evaluation model analysis unit 10 may be realized as separate units. Further, as already described, the monitoring unit 9 may be provided in the actual system 20.
  • FIG. 2 is a flowchart illustrating an example of processing progress of the evaluation model analysis system according to the first embodiment. It is assumed that a system model representing the actual system 20 is input to the evaluation model generation unit 6.
  • the value of the AP-dependent parameter is input to the evaluation model generation unit 6 via the AP-dependent parameter input unit 7 (step S1).
  • the value of the AP-dependent parameter input in step S1 is a value estimated by SE.
  • the evaluation model generation means 6 is included in the evaluation model by combining the evaluation functions stored in the evaluation function / parameter repository 5 according to the configuration and operation of the real system 20 described in the system model. Generate an expression.
  • rules indicating which evaluation function and which evaluation function should be combined are set in advance in the evaluation model generation means 6 in accordance with the description content of the system model, and the evaluation model generation means 6 According to the rule 6, formulas included in the evaluation model may be generated by combining evaluation functions according to the system model.
  • step S ⁇ b> 2 the evaluation model generation unit 6 specifies the value of the PF-dependent parameter used in the generated expression from the evaluation function / parameter repository 5.
  • the evaluation model generation unit 6 determines that value as the value of the AP-dependent parameter. If no value is input in step S1, the default value stored in the evaluation function / parameter repository 5 is used as the value of the AP-dependent parameter.
  • the evaluation model generation means 6 uses a combination of the generated expression and each value of the AP-dependent parameter and the PF-dependent parameter used in the expression as an evaluation model (step S2).
  • the evaluation means 8 calculates the evaluation result by substituting and calculating each value of the AP-dependent parameter and the PF-dependent parameter used in the expression included in the evaluation model (Ste S3). At this time, the evaluation unit 8 causes the output unit 11 to output (for example, display) the calculated evaluation result.
  • the monitoring unit 9 inputs operation information including various time series data to the evaluation model analysis unit 10 in accordance with the operation state of the real system 20 during operation of the real system 20.
  • the evaluation model analysis means 10 compares the evaluation result calculated in step S3 with the actual value of the parameter corresponding to the evaluation result obtained from the operation information, and whether or not the difference between the two is equal to or greater than a threshold value. Is determined (step S4).
  • the operation information includes various parameter values as time-series data. It is preferable that the monitoring means 9 does not use the value at a certain time as the actual value, but obtains an average value of the values at a plurality of times and uses the value as the actual value.
  • the case where the average value is calculated is taken as an example, but the mode value and the median may be calculated and the value may be used as the actual value.
  • the threshold used in step S4 may be determined in advance.
  • the CPU occupancy evaluation result of the server included in the real system 20 is calculated in step S3.
  • the evaluation model analysis means 10 extracts the CPU occupancy value of the server at a plurality of times from the operation information, and calculates the average value. Then, the evaluation model analysis means 10 determines whether or not a difference equal to or greater than a threshold value has occurred between the average value of the actual CPU occupancy rates at a plurality of times and the CPU occupancy rate calculated as the evaluation result.
  • the CPU occupation ratio has been described as an example, but the parameter calculated as the evaluation result is not limited to the CPU occupation ratio.
  • step S4 if there is no difference greater than or equal to the threshold value between the evaluation result and the actual value (No in step S4), it means that the evaluation model is appropriate and the evaluation result is also an appropriate value. In this case, the process may be terminated as it is.
  • the evaluation model analysis unit 10 identifies a parameter whose value is inaccurate. The determination as to which parameter value is inaccurate may be performed based on the type of evaluation result in which a difference between the actual value and the threshold value has occurred. Then, the evaluation model analysis means 10 calculates an accurate value for the AP-dependent parameter or the PF-dependent parameter determined to be inaccurate based on the evaluation model and the operation information, and is stored in the evaluation function / parameter repository 5. The updated value is updated (step S5).
  • the expression included in the evaluation model includes parameters determined to be inaccurate and other parameters.
  • the evaluation model analysis means 10 uses the value obtained from the operation information as the parameter value other than the parameter determined to be inaccurate, and the parameter determined to be inaccurate. Should be calculated.
  • the values used when the evaluation result is calculated in step S3 may be used as they are. Specifically, for the parameter values not obtained from the operation information, the values used when the evaluation result is calculated in step S3 may be used as they are.
  • the value obtained from the operation information varies from time to time, it is preferable to calculate the value of the parameter determined to be inaccurate for a plurality of times and obtain the value statistically. For example, an average value of values calculated for a plurality of times may be calculated, or a mode value or median may be calculated. When the distribution of parameter values due to the difference in time is significantly different from the normal distribution, it is preferable to calculate the mode and median. This is because it is less susceptible to outliers.
  • the evaluation model analysis unit 10 indicates that the estimation of the value by SE may be inaccurate.
  • the output unit 11 may output (for example, display).
  • the system model illustrated in FIG. 3 represents that a plurality of servers receive requests from clients and perform processing according to the requests.
  • the evaluation model generation means 6 generates an expression of the evaluation model shown in the following expression 1 from the system model illustrated in FIG. 3 according to a preset rule.
  • Equation 1 ⁇ on the left side of Equation 1 is the occupancy (load) of each server. ⁇ is calculated by Equation 1 as a non-functional requirement to be evaluated. Note that the occupation ratio may be referred to as a road average.
  • Equation 1 ⁇ , n, and m on the right side of Equation 1 are AP-dependent parameters.
  • ⁇ is the number of requests received that are assumed to be received per second, and is hereinafter referred to as a request arrival rate.
  • n is the number of servers.
  • m is the message size to each server.
  • Equation 1 ⁇ on the right side of Equation 1 is a PF-dependent parameter. ⁇ is the processing time per server message size.
  • the evaluation model generation means 6 determines a combination of the expression 1 and the values of the parameters ⁇ , n, m, and ⁇ as an evaluation model. Then, the evaluation means 8 calculates the value of ⁇ by substituting the values of ⁇ , n, m, and ⁇ into Equation 1 for calculation. This ⁇ is a performance evaluation result (in other words, a predicted value of performance).
  • the monitoring means 9 actually measures the server load average (denoted by ⁇ ′), the actual message arrival rate (denoted by ⁇ ′) at the measurement time of ⁇ ′, and the actual message size (m ′). It is assumed that each time-series data is input to the evaluation model analysis means 10 as operation information (log).
  • the evaluation model analysis means 10 determines that the evaluation result of ⁇ is appropriate if the difference between ⁇ and ⁇ ′ is less than the threshold value. On the other hand, if the difference between ⁇ and ⁇ ′ is greater than or equal to the threshold value, it is determined that one of the parameters on the right side of Equation 1 is inaccurate.
  • ⁇ ′, m ′, and ⁇ ′ at time t are denoted as ⁇ ′ (t), m ′ (t), and ⁇ ′ (t), respectively.
  • ⁇ obtained from the parameters ⁇ ′ (t), m ′ (t), ⁇ ′ (t) at the time t is denoted as ⁇ (t).
  • the evaluation model analysis means 10 updates the value of ⁇ stored in the evaluation function / parameter repository 5 with the value of ⁇ obtained by calculation.
  • the monitoring unit 9 inputs time series data of ⁇ ′, ⁇ ′, m ′ to the evaluation model analysis unit 10 is taken as an example.
  • the monitoring unit 9 As an example, the time series data of “and ⁇ ” is input to the evaluation model analysis means 10.
  • the evaluation model analysis means 10 determines that the evaluation result of ⁇ is appropriate if the difference between ⁇ and ⁇ ′ is less than the threshold value.
  • the evaluation model analysis unit 10 may indicate that the estimation of the value by the SE is inaccurate. May be output to the output means 11.
  • a mode value and median are calculated instead of an average value, and the value is an accurate value of the request arrival rate m. It is good.
  • the mode value and the median when the parameter value distribution due to the difference in time is significantly different from the normal distribution, it is preferable to calculate the mode value and the median.
  • the evaluation model analysis means 10 updates the value of m stored in the evaluation function / parameter repository 5 with the value of the request arrival rate m obtained by calculation.
  • the evaluation model analysis means 10 compares the evaluation result calculated from the evaluation model with the measured value corresponding to the evaluation result in actual operation, and if the difference between the two is equal to or greater than the threshold value, It is determined that the value is incorrect for the parameter specified by the predetermined rule. Then, the evaluation model analysis means 10 calculates the parameter value based on the value included in the operation information. Therefore, the value of the parameter used as the evaluation model can be calibrated to improve the accuracy of the evaluation model. As a result, the accuracy of evaluation of the actual system calculated by the evaluation unit 8 can be improved.
  • FIG. FIG. 4 is a block diagram illustrating an example of an evaluation model analysis system according to the second embodiment of this invention. Constituent elements similar to those of the first embodiment are denoted by the same reference numerals as those in FIG.
  • the evaluation model analysis system 1a according to the second embodiment includes a model input unit 2, a model editing unit 3, a system model repository 4, an evaluation function / parameter repository 5, an evaluation model generation unit 6, and an AP-dependent parameter input. Means 7, evaluation means 8, monitoring means 9, evaluation model analysis means 10 a, and output means 11 are provided.
  • Model input means 2 model editing means 3, system model repository 4, evaluation function / parameter repository 5, evaluation model generation means 6, AP-dependent parameter input means 7, evaluation means 8, monitoring means 9 and output means 11 are the first This is the same as the embodiment.
  • the evaluation unit 8 does not have to input the evaluation result to the evaluation model analysis unit 10a.
  • the evaluation model analysis unit 10a specifies time-series data having a correlation among the time-series data included in the operation information input from the monitoring unit 9.
  • the combination of the parameters is output to the output unit 11. Output. For example, it is displayed on the display device.
  • the evaluation model analysis means 10a specifies a combination of parameters having correlation, one of which is included in the evaluation model and the other is not included in the evaluation model, By causing the output means 11 to output the combination, it is possible to prompt the manager of the evaluation function to review the expression of the evaluation model. That is, the administrator of the evaluation function can check the combination of the output parameters and review the rules for generating the evaluation model formula corresponding to the system model.
  • the combination of parameters that the evaluation model analysis unit 10a causes the output unit 11 to output prompts the administrator of the evaluation function to review the rules for generating the evaluation model formula corresponding to the system model. It can be said that it is a recommendation.
  • the model editing unit 3, the evaluation model generating unit 6, the evaluation unit 8, the monitoring unit 9, and the evaluation model analyzing unit 10a are realized by a CPU of a computer that operates according to an evaluation model analysis program, for example.
  • a computer program storage device (not shown) stores the evaluation model analysis program, and the CPU reads the program, and according to the program, the model editing means 3, the evaluation model generating means 6, the evaluation means 8, What is necessary is just to operate
  • model editing unit 3, the evaluation model generation unit 6, the evaluation unit 8, the monitoring unit 9, and the evaluation model analysis unit 10a may be realized by separate units. Further, as described in the first embodiment, the monitoring unit 9 may be provided in the actual system 20.
  • FIG. 5 is a flowchart illustrating an example of processing progress of the evaluation model analysis system according to the second embodiment. It is assumed that a system model representing the actual system 20 is input to the evaluation model generation unit 6.
  • the value of the AP-dependent parameter is input to the evaluation model generation unit 6 via the AP-dependent parameter input unit 7 (step S1).
  • the evaluation model generation means 6 is included in the evaluation model by combining the evaluation functions stored in the evaluation function / parameter repository 5 according to the configuration and operation of the real system 20 described in the system model. Generate an expression. Then, a combination of the generated expression and each value of the AP-dependent parameter and the PF-dependent parameter used in the expression is used as an evaluation model (step S2). Steps S1 and S2 are the same as those in the first embodiment.
  • the monitoring means 9 inputs operation information including various time series data to the evaluation model analysis means 10a in accordance with the operation state of the real system 20 during the operation of the real system 20.
  • the evaluation model analysis unit 10a determines whether or not there is a correlation with respect to each combination of time series data included in the operation information (step S11).
  • the monitoring unit 9 determines combinations of two types of time-series data, and determines whether there is a correlation between the two types of time-series data in each combination.
  • Each time-series data is a data string of values measured with time for each parameter. Therefore, determining whether there is a correlation between time-series data means determining whether there is a correlation between parameters.
  • X 1 , X 2 ,..., X n data (X 1 , X 2 ,..., X n ) is included in the operation information as performance-related measurement data measured on a certain server.
  • X 1 , X 2 ,... are time series data related to a certain parameter.
  • X 1 is, for example, time-series data of the load of the CPU.
  • X 2 is, for example, time-series data of the memory usage of the Web application server.
  • X 3 is, for example, time-series data of the load of the Web application server.
  • X 4 is, for example, time-series data of the thread pool usage Web application server.
  • X 5 is, for example, is a time-series data of the request arrival rate to the Web application server.
  • evaluation model analyzing means 10a If the time-series data of such various parameters are included in the operation information, evaluation model analyzing means 10a, the combination of X 1 and X 2, each combination of such combination of X 1 and X 3, when The presence / absence of series data correlation (that is, parameter correlation) is determined.
  • the evaluation model analysis means 10a may determine the presence or absence of correlation as follows. That is, the evaluation model analysis means 10a calculates a correlation coefficient between two time series data, and determines that there is a correlation between the two time series data if the absolute value of the correlation coefficient is equal to or greater than a predetermined threshold value. do it. Further, if the absolute value of the correlation coefficient is less than a predetermined threshold, it may be determined that there is no correlation between the two time series data.
  • the correlation coefficient between the time series data may be a known correlation coefficient calculation formula.
  • the method for determining the presence or absence of correlation is not limited to this method, and the presence or absence of correlation may be determined by other methods.
  • the evaluation model analysis unit 10a includes one parameter included in the evaluation model in the combination of parameters corresponding to the time series data determined to have correlation, and the other parameter is evaluated.
  • a combination of parameters not included in the model is specified with reference to the evaluation model. For example, if one parameter is an evaluation target parameter in the evaluation model expression and the other parameter is not used in the evaluation model expression, the combination of the parameters is selected as an output combination. Then, the evaluation model analysis unit 10a causes the output unit 11 to output the parameter combination (step S12).
  • the manager of the evaluation function that refers to the output parameter combination reviews the rules for generating the evaluation model so that the parameter not included in the evaluation model is also used in the expression of the evaluation model.
  • the manager of the evaluation function does not necessarily have to make such a review. For example, even if there is a correlation between X 1, X 3, X 1 , X 3 in the case where the administrator said to represent substantially the same parameters were determined is no the generation rule evaluation models No change is required.
  • step S ⁇ b> 2 the evaluation unit 8 adds the values of the AP-dependent parameter and the PF-dependent parameter used in the equation to the equation included in the evaluation model.
  • the evaluation result is calculated by substituting and calculating.
  • the evaluation unit 8 causes the output unit 11 to output (for example, display) the calculated evaluation result. This operation is the same as step S3 in the first embodiment.
  • the evaluation model analysis means 10a presents a combination of parameters as a recommendation to the manager of the evaluation function.
  • the evaluation model generation unit 6 generates an expression of an evaluation model shown in Expression 2 below from a given system model.
  • Equation 2 ⁇ on the left side of Equation 2 is the occupation ratio of the Web application server. This ⁇ is a performance evaluation target of the Web application server.
  • t on the right side of Equation 2 is the CPU time per request measured on the OS of the Web application server.
  • ⁇ on the right side of Equation 2 is the arrival rate of requests to the Web application server. That is, the number of requests that arrive per unit time.
  • the operation information input from the monitoring unit 9 to the evaluation model analyzing unit 10a includes five types of time series data X 1 to X 5 .
  • X 1 is assumed to be time-series data of the load of the CPU.
  • X 2 is assumed to be a time-series data of the memory usage of the Web application server.
  • X 3 is assumed to be a time-series data of the load of the Web application server.
  • X 4 is assumed to be a time-series data of the thread pool usage Web application server.
  • X 5 is assumed to be a time-series data of the request arrival rate to the Web application server.
  • the evaluation model analysis means 10a determines two types of combinations of time series data from X 1 to X 5 and determines whether there is a correlation between the two types of time series data in each combination. .
  • X 1 in these combinations is included in the evaluation model as a performance evaluation object ⁇ .
  • parameters corresponding to X 3 , X 4 , and X 5 are not used in the evaluation model formula. Therefore, the evaluation model analysis means 10a includes "CPU load and web application server load", "CPU load and web application server thread pool usage rate", and "CPU load and request arrival rate to the web application server”. ”Is output to the output unit 11.
  • the administrator of the evaluation function checks the output parameter combination, considers whether the rule for generating the evaluation model formula needs to be changed, and uses it when it is determined that it needs to be changed.
  • the rule for generating the evaluation model expression is changed so that the parameter that was not used is used in the evaluation model expression.
  • This examination may be performed by the manager of the evaluation function based on his / her own knowledge and experience. For example, in this example, the administrator of the evaluation function determines that X 3 (load of the web application server) and X 5 (request arrival rate to the web application server) are substantially incorporated in the evaluation model. Thus, it may be determined that no change is made to add these parameters to the equation.
  • the administrator of the evaluation function determines that X 4 (thread pool usage rate of the Web application server) is a bottleneck, and reviews the generation rule of the evaluation model so that this parameter is included in the expression of the evaluation model.
  • the revised rule may be set for the evaluation model generation means 6.
  • the output unit 11 outputs the parameter combination.
  • the administrator of the evaluation function can review the evaluation model generation rules in the evaluation model generation means 6 by checking the parameter combinations, and improve the accuracy of the evaluation model. As a result, the accuracy of the evaluation result calculated by the evaluation means 8 can be improved.
  • the evaluation model analysis unit 10a may detect a failure in the actual system 20 as in the failure detection method described in the cited document 4. That is, the evaluation model analysis unit 10a may determine that a failure has occurred in the real system 20 when the correlation is lost with respect to the combination of time series data determined to have a correlation. At this time, the evaluation model analysis unit 10a causes the output unit 11 to output (for example, display) that a failure has occurred in the real system 20. With such a configuration, it is possible to prompt the administrator of the evaluation function to review the expression of the evaluation model while monitoring the failure of the real system 20.
  • FIG. FIG. 6 is a block diagram illustrating an example of an evaluation model analysis system according to the third embodiment of this invention. Constituent elements similar to those of the first embodiment are denoted by the same reference numerals as those in FIG.
  • the evaluation model analysis system 1b according to the third embodiment includes a model input unit 2, a model editing unit 3, a system model repository 4, an evaluation function / parameter repository 5b, an evaluation model generation unit 6, and an AP-dependent parameter input.
  • Model input means 2 model editing means 3, system model repository 4, evaluation model generation means 6, AP dependent parameter input means 7, evaluation means 8, monitoring means 9, evaluation model analysis means 10 and output means 11 are the first This is the same as the embodiment.
  • the evaluation function / parameter repository 5b stores the default value of the AP-dependent parameter and attribute information indicating the attribute of the application in association with each other.
  • a web server is one of applications in the real system 20.
  • an attribute relating to the application is associated with the default value of the AP-dependent parameter relating to the Web server and stored in advance in the evaluation function / parameter repository 5b.
  • the default value may be determined in advance by an experienced system developer or the like.
  • Attribute attribute type is not particularly limited.
  • attribute information associated with an AP-dependent parameter of a Web server there may be attributes such as “provide a Web page that only displays information” and “provide a Web page including a form”. Further, there may be attributes such as “provide a web page including an image”, “provide a web page not including an image”, and the like. In addition, there may be attributes such as “provide Java platform web page”, “provide Perl platform web page”, and “provide PHP platform web page”. Thus, various examples are conceivable as attribute information associated with the AP-dependent parameter.
  • the AP-dependent parameter value search means 12 When the AP-dependent parameter value search means 12 is designated by the user of the evaluation model analysis system (for example, the administrator of the evaluation function) and the attribute information together with the type of the AP-dependent parameter (for example, the request arrival rate, message size, etc.), The default value of the AP dependent parameter is searched from the evaluation function / parameter repository 5b using the type and attribute information of the AP dependent parameter as a key.
  • the AP-dependent parameter value search unit 12 causes the output unit 11 to output (for example, display) the default value of the searched AP-dependent parameter, and inputs the searched default value to the evaluation model generation unit 6.
  • the evaluation model generation means 6 uses the combination of the expression generated based on the system model and the parameter value used in the expression as the evaluation model, as in the first embodiment. At this time, if the AP-dependent parameter whose default value has been retrieved by the AP-dependent parameter value retrieval unit 12 is used in the expression, the evaluation model generation unit 6 uses the AP-dependent parameter value as the value of the AP-dependent parameter.
  • the default value searched by the search means 12 is included in the evaluation model. However, the evaluation model generation means 6 does not always include only the default value searched by the AP dependence parameter value search means 12 as the value of the AP dependence parameter in the evaluation model.
  • the model generation unit 6 may include the value input from the AP-dependent parameter input unit 7 in the evaluation model. Further, the value of the AP-dependent parameter used in the expression generated based on the system model is not searched by the AP-dependent parameter value search unit 12 and is not input from the AP-dependent parameter input unit 7. In this case, the default value of the AP-dependent parameter may be read from the evaluation function / parameter repository 5b.
  • the number of AP-dependent parameter specification modes is greater than that in the first embodiment.
  • the value of the AP-dependent parameter is searched by using the type and attribute information of the AP-dependent parameter as a key.
  • the value of the AP-dependent parameter can be specified.
  • the evaluation model generation unit 6 may generate an evaluation model using the retrieved AP-dependent parameter value as described above. Subsequent operations after Step S3 are the same as those in the first embodiment, and a description thereof will be omitted.
  • the AP-dependent parameter value search means 12 is realized by, for example, a CPU of a computer that operates according to an evaluation model analysis program. In this case, if the CPU operates as the model editing unit 3, the evaluation model generation unit 6, the evaluation unit 8, the monitoring unit 9, the evaluation model analysis unit 10, and the AP-dependent parameter value search unit 12, for example, according to the evaluation model analysis program. Good. Each of these means may be realized by a separate unit.
  • the AP-dependent parameter value search unit 12 searches for the default value of the AP-dependent parameter using the type and attribute information of the designated AP-dependent parameter as a key, so that the specific AP-dependency that is difficult for the user to estimate The parameter value can be specified from the attribute of the application that is easy to estimate for the user. Then, using the values, an evaluation model is generated, and, as in the first embodiment, the real system 20 is evaluated or the values of parameters used as the evaluation model are calibrated to improve the accuracy of the evaluation model. Can be.
  • FIG. 7 is a block diagram illustrating an example of an evaluation model analysis system according to the fourth embodiment of this invention. Constituent elements similar to those in the first, second, and third embodiments are denoted by the same reference numerals as those in FIGS. 1, 4, and 6, and detailed description thereof is omitted.
  • the fourth embodiment is an embodiment in which the evaluation function / parameter repository 5b and the AP-dependent parameter value search means 12 similar to those of the third embodiment are applied to the second embodiment.
  • the evaluation model analysis system 1c includes a model input unit 2, a model editing unit 3, a system model repository 4, an evaluation function / parameter repository 5b, an evaluation model generation unit 6, and an AP-dependent parameter input.
  • Means 7, evaluation means 8, monitoring means 9, evaluation model analysis means 10 a, output means 11, and AP-dependent parameter value search means 12 are provided.
  • the model input unit 2, the model editing unit 3, the system model repository 4, the evaluation model generation unit 6, the AP-dependent parameter input unit 7, the evaluation unit 8, the monitoring unit 9, and the output unit 11 are the same as those in the first embodiment and the second embodiment. This is the same as the embodiment.
  • the evaluation model analysis unit 10a is the same as that in the second embodiment.
  • the evaluation function / parameter repository 5b and the AP-dependent parameter value search means 12 are the same as those in the third embodiment.
  • the default value of the AP-dependent parameter and attribute information representing the application attribute are stored in association with each other.
  • the AP-dependent parameter value search unit 12 receives the attribute information specified by the user of the evaluation model analysis system together with the type of the AP-dependent parameter (for example, the request arrival rate, the message size, etc.), Using the type and attribute information as a key, the default value of the AP-dependent parameter is searched from the evaluation function / parameter repository 5b. Then, the AP-dependent parameter value search unit 12 causes the output unit 11 to output (for example, display) the default value of the searched AP-dependent parameter, and inputs the searched default value to the evaluation model generation unit 6.
  • the evaluation model generation unit 6 also generates an evaluation model using the AP dependent parameter value searched by the AP dependent parameter value search unit 12 as in the third embodiment.
  • the evaluation model generation means 6 also includes parameter attribute information included in an expression generated based on the system model in the evaluation model.
  • the AP-dependent parameter 12 searches for the value of the AP-dependent parameter using the type and attribute information of the AP-dependent parameter as a key
  • the evaluation model generating unit 6 includes the value in the evaluation model
  • the AP-dependent parameter is associated with the value.
  • the attribute information used as the search key may be included in the evaluation model.
  • the evaluation model generation unit 6 associates the value with the input AP-dependent parameter value.
  • the attribute information may be included in the evaluation model.
  • the monitoring unit 9 inputs operation information including time series data of various parameters to the evaluation model analysis unit 10a, as in the first and second embodiments.
  • the monitoring unit 9 collects AP-dependent parameter time-series information as well as AP-dependent parameter attribute information from the real system 20, and associates the attribute information with the time-series information in the operation information. include.
  • the evaluation model analysis unit 10a determines whether or not there is a correlation with respect to each time series data of the AP-dependent parameter and the PF-dependent parameter, as in the second embodiment. At this time, the evaluation model analysis means 10a treats the AP series parameter time-series data as separate AP dependence parameters even if they are the same kind of AP dependence parameters, if the attribute information is different. For example, attribute information “provide a Web page that does not include a movie” is sent from the Web server in the real system 20 that has the attribute “provide a Web page that does not include a movie”. Assume that time-series data of throughput associated with is collected.
  • the evaluation model analysis unit 10a treats these two types of “throughput” having different attribute information as separate AP-dependent parameters, and determines the presence or absence of correlation with other parameters.
  • various time-series data collected from a Web server having the attribute “provide a Web page that does not include a moving image” includes throughput associated with attribute information “provides a Web page that does not include a moving image”. And time-series data of CPU performance are included.
  • various time-series data collected from a Web server having an attribute “provide a Web page including a moving image” has a throughput associated with attribute information “Provide a Web page including a moving image”. It is assumed that time series data, CPU performance time series data, and disk I / O performance time series data are included.
  • the evaluation model analysis unit 10a treats throughputs having different attribute information as separate parameters, and whether or not there is a correlation between the throughput associated with the attribute information “provide a Web page that does not include a moving image” and the CPU performance. In addition to the correlation between the throughput and the CPU performance associated with the attribute information “provide a Web page including a moving image” and the attribute information “provide a Web page including a moving image”. Whether there is a correlation between the throughput and the disk I / O performance is determined.
  • the evaluation model analysis means 10a when one parameter is included in the evaluation model and the other parameter is not included in the evaluation model in the combination of parameters having correlation, the combination of parameters is output to the output means 11. Output.
  • matching of attribute information is also taken into consideration. That is, when a parameter in a set of parameters determined to have a correlation based on operation information and having the same attribute information as the attribute information of the parameter is used in the expression of the evaluation model, the parameter Is included in the evaluation model.
  • the evaluation model does not include the same parameter as the parameter in the parameter set determined to be correlated, or the evaluation model includes the same parameter as the parameter in the parameter set determined to be correlated. If the attribute information is different, it is determined that the parameter is not included in the evaluation model.
  • the evaluation model analysis unit 10a determines that there is no correlation between the CPU performance and the throughput associated with the attribute information “provide a Web page that does not include a moving image”.
  • the evaluation model analysis unit 10a includes a correlation between the throughput and the CPU performance associated with the attribute information “provide a Web page including a moving image” and attribute information “provide a Web page including a moving image”.
  • the evaluation model includes the throughput associated with the attribute information “provide a Web page including a moving image” and the CPU performance is not included in the evaluation model, the two parameters are output.
  • the evaluation model includes the throughput associated with the attribute information “provide a Web page including a moving image” and the disk I / O performance is not included in the evaluation model
  • the two The parameter may be output to the output unit 11.
  • the administrator of the evaluation function may refer to such an output result and consider reviewing the rule for generating the evaluation model expression.
  • a specific AP-dependent parameter value that is difficult to estimate for the user can be specified from the attribute of the application that is easy for the user to estimate.
  • the manager of the evaluation function can be prompted to incorporate a parameter having a correlation into the evaluation model.
  • parameters that may be better incorporated into the evaluation model can be presented to the evaluation function manager together with the attribute information in more detail. it can.
  • FIG. 8 is a block diagram showing an example of the minimum configuration of the present invention.
  • the evaluation model analysis system of the present invention includes evaluation model generation means 71 and evaluation model analysis means 72.
  • the evaluation model generation unit 71 generates an evaluation model including an expression for evaluating the actual system and a parameter value included in the expression, based on a system model that is a model representing the actual system that is actually operated. .
  • the evaluation model analysis means 72 analyzes a parameter that can improve the accuracy of the evaluation model based on the operation information including the actual parameter value in the actual system in operation and the evaluation model.
  • Such a configuration can contribute to improving the accuracy of an evaluation model for evaluating an actual system.
  • the evaluation model analysis system is based on a system model, which is a model representing a real system that is actually operated, and parameters included in the formula (for example, AP-dependent parameters and PFs).
  • the evaluation model generation means for example, the evaluation model generation means 6
  • evaluation model analysis means for example, evaluation model analysis means 10 and 10a
  • analyzing parameters capable of improving the accuracy of the evaluation model.
  • the evaluation model analysis system includes an evaluation unit (for example, the evaluation unit 8) that calculates an evaluation item by substituting the value of the parameter into an expression parameter included in the evaluation model for calculation.
  • the model analysis unit for example, the evaluation model analysis unit 10
  • the model analysis unit has a difference between the value of the evaluation item calculated by the evaluation unit and the value of the item corresponding to the evaluation item obtained from the operation information is greater than or equal to the threshold value
  • the configuration is such that the value of the predetermined parameter is determined to be inaccurate, and the value of the predetermined parameter is calculated from the expression included in the evaluation model and the value in the operation information of the parameter included in the expression Good. According to such a configuration, parameters used for the evaluation model can be calibrated.
  • an evaluation model analysis system When an evaluation model analysis system generates an expression for evaluating a real system according to the contents of the system model, a function group used as a component of the expression (for example, an evaluation function group), Information for creating an evaluation model that stores a predetermined value as a parameter value used in an expression and stores attribute information of the parameter together with the parameter value for at least some parameters (for example, AP-dependent parameters)
  • Storage means for example, evaluation function / parameter repository 5b
  • parameter value search means for example, AP-dependent parameter value search means 12 for searching for the parameter value using the parameter type and attribute information specified by the user as keys.
  • the evaluation model generation means includes a parameter value in an expression for evaluating the real system. If the value in the search means includes the search parameter may be configured to include the retrieved value in the evaluation model.
  • the evaluation model analysis means determines whether or not there is a correlation between the parameters obtained from the operation information based on the value of each parameter obtained from the operation information.
  • the configuration may be such that, among the determined sets of parameters, one parameter is used in the evaluation model formula, and the other parameter is specified as a parameter set that is not used in the evaluation model formula. With such a configuration, it is possible to prompt the administrator to review the evaluation model.
  • an evaluation model analysis system When an evaluation model analysis system generates an expression for evaluating a real system according to the contents of the system model, a function group used as a component of the expression (for example, an evaluation function group), Information for creating an evaluation model that stores a predetermined value as a parameter value used in an expression and stores attribute information of the parameter together with the parameter value for at least some parameters (for example, AP-dependent parameters)
  • Storage means for example, evaluation function / parameter repository 5b
  • parameter value search means for example, AP-dependent parameter value search means 12 for searching for the parameter value using the parameter type and attribute information specified by the user as keys.
  • the evaluation model generation means includes a parameter value in an expression for evaluating the real system.
  • the search means includes a parameter whose value has been searched, include the searched value and the attribute information used for the search in the evaluation model, and the evaluation model analysis means has a correlation between the parameters obtained from the operation information.
  • Parameters of the same type with different attribute information are treated as separate parameters to determine the presence or absence of correlation between the parameters, and the same type of parameters as one of the parameters determined to have a correlation
  • the same parameter is also used in the evaluation model formula for the attribute information, and the other parameter is not included in the evaluation model, or a set of parameters satisfying the condition that the attribute information is different even if included.
  • the structure to specify may be sufficient.
  • the configuration may be such that the evaluation model analysis means determines that a failure has occurred in the actual system when the correlation in the set of parameters determined to have correlation is lost. According to such a configuration, it is possible to efficiently realize prompting the administrator to review the evaluation model while monitoring the failure of the actual system 20.
  • the evaluation model analysis system includes an expression for evaluating the actual system and a parameter value included in the expression based on a system model that is a model representing an actual system that is actually operated.
  • An evaluation model generation unit that analyzes the parameters that can improve the accuracy of the evaluation model based on the operation information including the actual parameter values in the actual system in operation and the evaluation model The structure provided with these may be sufficient.
  • the evaluation model analysis system includes an evaluation unit that calculates an evaluation item by substituting the value of the parameter into a parameter of an expression included in the evaluation model, and the evaluation model analysis unit includes the evaluation unit When the difference between the value of the evaluation item calculated in the item and the value of the item corresponding to the evaluation item obtained from the operation information is equal to or greater than a threshold value, it is determined that the value of the predetermined parameter is inaccurate,
  • the configuration may be such that the value of the predetermined parameter is calculated from the expression included in the evaluation model and the value in the operation information of the parameter included in the expression.
  • the evaluation model analysis unit determines whether or not there is a correlation between the parameters obtained from the operation information, and among the sets of parameters determined to have a correlation,
  • the configuration may be such that one parameter is used in the expression of the evaluation model and the other parameter is a parameter set that is not used in the expression of the evaluation model.
  • the evaluation model analysis system When the evaluation model analysis system generates an expression for evaluating the real system according to the contents of the system model, a function group used as a component of the expression and a parameter value used in the expression
  • an evaluation model creation information storage unit that stores attribute values of the parameters together with the parameter values, and the types and attributes of the parameters specified by the user.
  • a parameter value search unit that searches for the value of the parameter using the information as a key, and the evaluation model generation unit includes the parameter for which the value was searched by the parameter value search unit in an expression for evaluating the real system Include the retrieved value and the attribute information used for the retrieval in the evaluation model, and the evaluation model analysis unit obtains it from the operation information.
  • the same type of parameters with different attribute information are treated as separate parameters to determine the presence or absence of correlation between parameters.
  • One parameter is the same type of parameter and the same attribute information is used in the evaluation model formula, and the other parameter is not included in the evaluation model, or even if included, the attribute information is different
  • the configuration may be such that a set of parameters satisfying the condition is specified.
  • the configuration may be such that the evaluation model analysis unit determines that a failure has occurred in the real system when the correlation in the set of parameters determined to have correlation is lost.
  • the present invention is preferably applied to an evaluation model analysis system that analyzes an evaluation model of a real system generated from a system model corresponding to the real system.
  • Model input means 1a, 1b, 1c Evaluation model analysis system 2
  • Model input means 3
  • Model editing means 4
  • System model repository 5
  • Evaluation function / parameter repository 6
  • Evaluation model generation means 7
  • AP dependent parameter input means 8
  • Evaluation means 9
  • Monitoring means 10 10a
  • Evaluation model analysis means 11
  • Output means 12
  • AP dependent parameter value search means 20 Real system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

実システムを評価するための評価モデルの精度向上に資することができる評価モデル分析システムを提供することを目的とする。評価モデル生成手段７１は、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する。評価モデル分析手段７２は、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する。

Description

評価モデル分析システム、評価モデル分析方法およびプログラム
　本発明は、評価モデル分析システム、評価モデル分析方法および評価モデル分析プログラムに関し、特に、実システムに対応するシステムモデルから生成された実システムの評価モデルを分析する評価モデル分析システム、評価モデル分析方法および評価モデル分析プログラムに関する。
　実際に開発され運用されるシステムを実システムと記す。個々の実システムを個別に開発すると、設計等に多くの工程を要する。そのため、実システムを抽象化して表現したモデルを用意しておき、他の実システムを開発するときに、そのモデルを再利用することで設計等の工程数を削減することが行われている。以下、実システムの構成および動作を抽象化して表現したモデルをシステムモデルと記す。
　また、種々のモデルを作成してシステムの評価を行う装置が提案されている（例えば、特許文献１，２参照）。特許文献１には、半導体装置の機能をモデル化した機能モデルと、半導体装置の物理アーキテクチャをモデル化したアーキテクチャモデルとを用いて半導体装置の性能を評価する性能評価装置が記載されている。
　特許文献２には、計算機リソース構成図情報とシーケンス図情報とから計算機システムにて業務を実行するためのシミュレーションモデル情報を作成し、そのシミュレーションモデル情報を用いて、与えられた負荷条件で業務のシミュレーションを実行して、計算機システムにおける応答時間特性とリソースの利用率とを含む性能評価を行う性能評価装置が記載されている。
　また、特許文献３には、ＵＭＬ（Unified Modeling Language ）で記述されたＵＭＬモデルを解析し、その解析結果を変換規則に従って変換して性能評価モデルを生成する性能評価モデル生成装置が記載されている。
　また、特許文献４には、正常時の分散トランザクションシステムにおける複数の時系列データの相関関係を調べ、時系列データがその相関関係から逸脱していることを検知することでシステムの故障を検知する技術が記載されている。
特開２００４－３１８６５４号公報（段落００１３） 特開２００７－１８８１７９号公報（段落００１０） 特開２００１－３１８８１２号公報（段落０００８） 米国特許出願公開第２００７／０１７９７４６号明細書
　実システムを評価するために評価モデルを作成し、その評価モデルに基づいて実システムを評価したとしても、評価モデルの精度が低ければ、評価結果の精度も低くなってしまう。例えば、評価モデルに含まれているパラメータの値が適切な値に設定されていない場合、評価モデルから求めた評価結果の精度は低下する。また、適切な評価を行うために考慮すべきパラメータが評価モデルに反映されていない場合にも、評価モデルから求めた評価の精度は低下する。
　そこで、本発明は、実システムを評価するための評価モデルの精度向上に資することができる評価モデル分析システム、評価モデル分析方法および評価モデル分析プログラムを提供することを目的とする。
　本発明による評価モデル分析システムは、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成手段と、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析手段とを備えることを特徴とする。
　また、本発明による評価モデル分析方法は、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成し、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析することを特徴とする。
　また、本発明による評価モデル分析プログラムは、コンピュータに、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成処理、および、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析処理を実行させることを特徴とする。
　本発明によれば、実システムを評価するための評価モデルの精度向上に資することができる。
本発明の第１の実施形態の評価モデル分析システムの例を示すブロック図である。 第１の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。 システムモデルの例を示す説明図である。 本発明の第２の実施形態の評価モデル分析システムの例を示すブロック図である。 第２の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。 本発明の第３の実施形態の評価モデル分析システムの例を示すブロック図である。 本発明の第４の実施形態の評価モデル分析システムの例を示すブロック図である。 本発明の最小構成の例を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、本発明の第１の実施形態の評価モデル分析システムの例を示すブロック図である。第１の実施形態の評価モデル分析システム１は、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５と、評価モデル生成手段６と、アプリケーション依存パラメータ入力手段７（以下、ＡＰ依存パラメータ入力手段７と記す。）と、評価手段８と、監視手段９と、評価モデル分析手段１０と、出力手段１１とを備える。
　モデル入力手段２は、評価モデル分析システム１のユーザであるシステムエンジニア（以下、ＳＥと記す。）がシステムモデルの生成操作を行うための入力デバイスである。モデル入力手段２は、例えば、キーボードやマウス等によって実現されるが、他の入力デバイスによって実現されてもよい。
　なお、既に説明したように、システムモデルは、実際に開発され運用される実システムの構成および動作を抽象化して表現したモデルである。システムモデルは、実システムの構成として、どのようなソフトウェアやハードウェアが設けられているかを表現し、また、そのハードウェアがどのように動作するかを表現している。システムモデルは、例えば、ＵＭＬ（Unified Modeling Language ）やＳｙｓＭＬ（Systems Modeling Language）等の機械処理可能なモデリング言語によって記述される。ただし、システムモデルを記述する言語はＵＭＬやＳｙｓＭＬに限定されず、システムモデルは他の言語で記述されていてもよい。機械処理可能な言語とは、表現した内容に対して情報処理を行うことができる言語を意味する。
　システムモデルリポジトリ４は、生成されたシステムモデルを記憶する記憶装置である。システムモデルリポジトリ４は、過去に生成されたシステムモデルや、モデル編集手段３によって新規に生成されたシステムモデルを記憶する。
　モデル編集手段３は、モデル入力手段２で行われるＳＥの操作に応じて、システムモデルを生成し、生成したシステムモデルをシステムモデルリポジトリ４に記憶させ、また、評価モデル生成手段６に入力する。モデル編集手段３は、ＳＥの操作に応じて新規にシステムモデルを生成してもよく、あるいは、ＳＥの操作に応じて、システムモデルリポジトリ４に記憶されている既存のシステムモデルを流用して変更を加えたり、既存のシステムモデルを組み合わせたりすることによって新たなシステムモデルを生成してもよい。モデル編集手段３が、例えばＳｙｓＭＬ等で記述されたシステムモデルをユーザの操作に従って生成するアルゴリズムとしては、公知のアルゴリズムを採用すればよい。
　ＳＥは、生成したシステムモデルに基づいて、実システム２０の開発を行う。
　評価関数・パラメータリポジトリ５は、評価モデルを生成するために用いられる評価関数群や、種々のパラメータの値を記憶する記憶装置である。評価モデルは、評価項目に関する評価結果を導出する式と、その式で用いられるパラメータの値の組合せとして生成される。評価モデルに含まれる式は、例えば、パラメータを用いた多項式として表されるが、評価モデルに含まれる式の形式は多項式に限定されず、漸化式等の種々の表現形式で表現されていてもよい。また、本実施形態では、評価モデルが、システムの性能や可用性等の非機能要件に関する評価結果を導く場合を例にする。
　評価関数・パラメータリポジトリ５が記憶する評価関数群は、評価モデルに含まれる式を生成するためのいわば部品として用いられる式である。
　また、評価関数・パラメータリポジトリ５が記憶するパラメータは、プラットフォーム依存パラメータと、アプリケーション依存パラメータとに分類することができる。以下、プラットフォーム依存パラメータをＰＦ依存パラメータと記し、アプリケーション依存パラメータをＡＰ依存パラメータと記す。
　ＰＦ依存パラメータは、実システムの物理リソースの特性を表すパラメータである。ＰＦ依存パラメータの例として、例えば、実システム２０に設けられたディスクのスループット等が挙げられる。評価関数・パラメータリポジトリ５は、各種ＰＦ依存パラメータの値を記憶する。
　ＡＰ依存パラメータは、実システムの機能を実現するためのアプリケーションに依存する値である。ＡＰ依存パラメータの例として、例えば、データベースサーバへのＳＱＬ発行数等が挙げられる。評価関数・パラメータリポジトリ５は、各種ＡＰ依存パラメータのデフォルト値を記憶する。ただし、ＳＥによって、ＡＰ依存パラメータ入力手段７にＡＰ依存パラメータの値が入力されたならば、評価モデル生成手段６は、そのＡＰ依存パラメータの値を用いて、評価モデルを生成する。評価モデル生成に必要なＡＰ依存パラメータの値がＡＰ依存パラメータ入力手段７に入力されなかった場合には、評価モデル生成手段６は、予め評価関数・パラメータリポジトリ５に記憶されたＡＰ依存パラメータのデフォルト値を用いて、評価モデルを生成する。
　ＡＰ依存パラメータ入力手段７は、評価モデル生成に用いるＡＰ依存パラメータの値を入力するための入力デバイスである。ＡＰ依存パラメータ入力手段７は、例えば、キーボードやマウスによって実現されるが、他の入力デバイスによって実現されてもよい。また、ＡＰ依存パラメータ入力手段７とモデル入力手段２とが共通の入力デバイスで実現されていてもよい。
　評価モデル生成手段６は、モデル編集手段３に入力されたシステムモデルに応じて、評価関数・パラメータリポジトリ５に記憶されている評価関数を組み合わせて評価モデルとなる式を生成する。さらに、評価モデル生成手段６は、その式に用いられるＰＦ依存パラメータの値と、ＡＰ依存パラメータの値と、その式との組合せを評価モデルとして生成する。上述のように、ＡＰ依存パラメータの値が入力されない場合には、評価関数・パラメータリポジトリ５に予め記憶されたＡＰ依存パラメータのデフォルト値を用いて、評価モデルを生成する。
　また、ここでは、評価モデル生成手段６にモデル編集手段３からシステムモデルが入力される場合を説明したが、評価モデル生成手段６は、実システム２０に対応するシステムモデルを参照する構成であればよい。例えば、評価モデル生成手段６は、モデル編集手段３からシステムモデルを与えられる代わりに、システムモデルリポジトリ４から実システム２０に対応するシステムモデルを読み込み、そのシステムモデルに応じた評価モデルを生成してもよい。
　評価モデル生成手段６には、システムモデル内で表される情報処理装置の接続関係や、各情報処理装置の動作の流れに応じて、どのような評価関数をどのように組み合わせればよいかを表すルールが設定されている。例えば、第１サーバにおける処理結果の一部を第２サーバに入力し、残りを第３サーバに入力し、第２サーバ、第３サーバがそれぞれ入力された情報に対して処理を行うという関係が、システムモデルで表現されているとする。例えば、評価モデル生成手段６は、第１サーバに関する評価結果を導く評価関数や、その評価関数の結果を利用して、第２サーバや第３サーバに関する評価結果を導く評価関数を、評価関数・パラメータリポジトリ５から抽出し、それらの評価関数を組み合わせて、評価モデルに含まれる式を生成すればよい。また、このとき、評価モデル生成手段６は、各評価関数に含まれるＡＰ依存パラメータやＰＦ依存パラメータの具体的な値と、生成した式との組み合わせを生成する。本実施形態では、システムモデルに基づいて生成した式と、各パラメータの値との組合せを評価モデルとする。
　なお、評価モデル生成手段６が、予め設定されたルールに従って、システムモデルに表される構成に応じて、評価関数を組み合わせて評価モデルに含まれる式を生成する場合を例示したが、評価モデルの生成方法は、特に限定されず、上記以外の方法で評価モデルを生成してもよい。
　評価手段８は、評価モデル生成手段６によって生成された評価モデルに基づいて、評価結果を算出する。評価手段８は、評価モデルに含まれる式に、評価モデルに含まれているＡＰ依存パラメータおよびＰＦ依存パラメータの値を代入して計算することによって、評価結果を求めればよい。評価結果は、評価対象となるパラメータの予測値であるということができる。評価手段８は、計算した評価結果を評価モデル分析手段１０に入力する。
　出力手段１１は、評価手段８が算出した評価結果を出力する出力装置である。出力手段１１は、例えば、評価結果を表示するディスプレイ装置によって実現される。ただし、評価結果の出力態様は、表示出力に限定されず、出力手段１１は、評価結果を印刷する印刷装置のような、ディスプレイ装置以外の出力デバイスで実現されていてもよい。
　監視手段９は、実システム２０の運用状態を監視して、実システムの運用状態を表す時系列データをログとして生成する。例えば、監視手段９は、実システム２０に含まれる各情報処理装置（例えば、各サーバ）の運用状態を監視して、各サーバＣＰＵの占有率（負荷）を表す時系列データをログとして生成する。ここではＣＰＵの占有率を例示したが、ログに含まれる時系列データは、ＣＰＵの占有率に限定されない。監視手段９が実システム２０の運用状態を監視してログを生成するアルゴリズムとしては、公知のアルゴリズムを採用すればよい。以下、監視手段９が生成するログを運用情報と記す。
　監視手段９は、実システム２０の一部として設けられていてもよい。あるいは、監視手段９は、実システム２０の外部から実システム２０に対して運用状態を表す時系列データの値を問い合わせ、その問い合わせにより実システム２０から得た結果を運用情報として評価モデル分析手段１０に入力する構成であってもよい。
　評価モデル分析手段１０は、評価手段８が評価モデルにより計算した評価結果と、運用情報から得られる、その評価結果に相当するパラメータの実際の値とを比較し、両者に閾値以上の差が生じていれば、いずれかのＡＰ依存パラメータ、ＰＦ依存パラメータの値が正確でないと判定する。そして、評価モデル分析手段１０は、正確でないと判定したＡＰ依存パラメータまたはＰＦ依存パラメータに関して、正確な値を、評価モデルおよび運用情報に基づいて計算し、評価関数・パラメータリポジトリ５に記憶されているパラメータの値を正確な値に更新する。
　なお、実際の値と閾値以上の差が生じた評価結果の種類に応じて、値が正確でないと判定されるパラメータの種類を予め定めておけばよい。例えば、ＣＰＵの占有率の評価結果が実際の値と異なっているならば、「サーバのメッセージサイズ当たりの処理時間」というパラメータの値が正確でないと判定する等のルールを定めておけばよい。評価モデル分析手段１０は、このようなルールに従って、値が正確でないパラメータの種類を特定すればよい。
　また、評価モデル分析手段１０は、評価モデルに含まれる式において、値が正確でないと判定されたパラメータを変数とし、その他のパラメータの値としては、運用情報に含まれる値を用いて、変数としたパラメータの値を計算すればよい。一部のパラメータに関しては、評価結果算出に用いた値を用いてもよい。ただし、運用情報に含まれる値は時系列データであり、時間の経過とともに変化するので、個々の時刻毎に、変数となるパラメータの値を計算することが好ましい。そして、変数としたパラメータの値を、時刻毎の計算結果から統計的に定めることが好ましい。
　モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０は、例えば、評価モデル分析プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、例えば、コンピュータのプログラム記憶装置（図示せず）が評価モデル分析プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０として動作すればよい。
　また、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０が、それぞれ別のユニットで実現されていてもよい。また、既に説明したように、監視手段９は、実システム２０内に設けられていてもよい。
　次に、動作について説明する。
　図２は、第１の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。評価モデル生成手段６には、実システム２０を表すシステムモデルが入力されているものとする。
　まず、評価モデル生成手段６には、ＡＰ依存パラメータ入力手段７を介して、ＡＰ依存パラメータの値が入力される（ステップＳ１）。ステップＳ１で入力されるＡＰ依存パラメータの値は、ＳＥによって推定された値である。
　次に、評価モデル生成手段６は、システムモデルに記述された実システム２０の構成および動作に応じて、評価関数・パラメータリポジトリ５に記憶された評価関数を組合せることで、評価モデルに含まれる式を生成する。既に説明したように、システムモデルの記述内容に応じて、どの評価関数とどの評価関数とを組み合わせていけばよいかを示すルールを予め評価モデル生成手段６に設定しておき、評価モデル生成手段６は、そのルールに従って、システムモデルに応じて評価関数を組み合わせることで評価モデルに含まれる式を生成すればよい。また、ステップＳ２において、評価モデル生成手段６は、生成した式で用いられているＰＦ依存パラメータの値を、評価関数・パラメータリポジトリ５から特定する。さらに、評価モデル生成手段６は、生成した式で用いられているＡＰ依存パラメータとして、ステップＳ１で入力された値があれば、その値をそのＡＰ依存パラメータの値として決定する。ステップＳ１で値が入力されていなければ、ＡＰ依存パラメータの値として、評価関数・パラメータリポジトリ５に記憶されているデフォルト値を用いる。評価モデル生成手段６は、生成した式と、その式で用いているＡＰ依存パラメータおよびＰＦ依存パラメータの各値との組合せを評価モデルとする（ステップＳ２）。
　ステップＳ２の後に、評価手段８は、評価モデルに含まれる式に、その式で用いられているＡＰ依存パラメータおよびＰＦ依存パラメータの各値を代入して計算することによって、評価結果を算出する（ステップＳ３）。このとき、評価手段８は、算出した評価結果を出力手段１１に出力させる（例えば、表示させる）。
　また、監視手段９は、実システム２０の運用中に、実システム２０の運用状態に合わせて、各種時系列データを含む運用情報を評価モデル分析手段１０に入力している。評価モデル分析手段１０は、ステップＳ３で計算された評価結果と、運用情報から得られる、その評価結果に相当するパラメータの実際の値とを比較し、両者の差分が閾値以上であるか否かを判定する（ステップＳ４）。このとき、運用情報には、時系列データとして種々のパラメータの値が含まれている。監視手段９は、実際の値として、ある時刻における値を用いるのではなく、複数の時刻における値の平均値を求め、その値を実際の値として用いることが好ましい。ここでは、平均値を計算する場合を例にしたが、最頻値やメディアンを計算し、その値を実際の値として用いてもよい。また、ステップＳ４で用いる閾値は、予め定めておけばよい。
　例えば、ステップＳ３で、実システム２０に含まれるサーバのＣＰＵ占有率の評価結果が計算されているとする。評価モデル分析手段１０は、運用情報から、複数の時刻におけるそのサーバのＣＰＵ占有率の値を抽出し、その平均値を計算する。そして、評価モデル分析手段１０は、複数の時刻における実際のＣＰＵ占有率の平均値と、評価結果として算出したＣＰＵ占有率との間に、閾値以上の差が生じているか否かを判定する。ここでは、ＣＰＵ占有率を例にして説明したが、評価結果として計算されるパラメータは、ＣＰＵ占有率に限定されない。
　ステップＳ４において、評価結果と実際の値とに閾値以上の差分が生じていなければ（ステップＳ４のＮｏ）、評価モデルは適切であり、評価結果も適切な値であったことを意味する。この場合、そのまま処理を終了すればよい。
　一方、評価結果と実際の値とに閾値以上の差分が生じている場合（ステップＳ４のＹｅｓ）、評価モデルで用いた各ＰＦ依存パラメータや各ＡＰ依存パラメータのいずれかの値が不正確であったことを意味する。この場合、評価モデル分析手段１０は、値が不正確であったパラメータを特定する。どのパラメータの値が不正確であるかという判定は、実際の値と閾値以上の差が生じた評価結果の種類に基づいて行えばよい。そして、評価モデル分析手段１０は、不正確であると判定したＡＰ依存パラメータまたはＰＦ依存パラメータに関して、正確な値を、評価モデルおよび運用情報に基づいて計算し、評価関数・パラメータリポジトリ５に記憶されている値を更新する（ステップＳ５）。
　評価モデルに含まれる式には、値が不正確であると判定されたパラメータ、および、他のパラメータが含まれている。ステップＳ５において、評価モデル分析手段１０は、値が不正確であると判定されたパラメータ以外のパラメータの値として、運用情報から得た値を用いて、値が不正確であると判定されたパラメータの値を計算すればよい。また、一部のパラメータについては、ステップＳ３で評価結果を計算したときに用いた値をそのまま用いてもよい。具体的には、運用情報から得られていないパラメータの値に関しては、ステップＳ３で評価結果を計算したときに用いた値をそのまま用いればよい。
運用情報から得た値は、時刻毎に変動するので、値が不正確であると判定したパラメータの値を、複数の時刻に関して計算し、統計的に値を求めることが好ましい。例えば、複数の時刻に関して計算した値の平均値を計算したり、最頻値やメディアンを計算したりすればよい。時刻の違いによるパラメータの値の分布が正規分布から大きく外れている場合には、最頻値やメディアンを計算することが好ましい。これは、外れ値の影響を受けにくいためである。
　また、値が正確でないと判定したパラメータが、ＳＥによって値が指定されたＡＰ依存パラメータである場合、評価モデル分析手段１０は、ＳＥによる値の推定が不正確であった可能性がある旨を、出力手段１１に出力（例えば表示）させてもよい。
　次に、値が不正確であると判定されたパラメータの値を計算する処理の具体例を説明する。図３に例示するシステムモデルが与えられたとする。図３に例示するシステムモデルは、複数のサーバがクライアントからリクエストを受け、リクエストに応じて処理を行うことを表している。評価モデル生成手段６が、予め設定されたルールに従って、図３に例示するシステムモデルから、以下の式１に示す評価モデルの式を生成したとする。
　ρ＝λ・ｍ・τ／ｎ　　　　　（式１）
　本例において、式１の左辺のρは、各サーバの占有率（負荷）である。ρは、評価対象となる非機能要件として式１によって計算される。なお、占有率は、ロードアベレージと称されることもある。
　本例において、式１の右辺のλ，ｎ，ｍは、ＡＰ依存パラメータである。λは、１秒当たりに受信すると想定されるリクエスト受信数であり、以下、リクエスト到着率と記す。ｎは、サーバの台数である。ｍは、各サーバへのメッセージサイズである。
　また、本例において、式１の右辺のτは、ＰＦ依存パラメータである。τは、サーバのメッセージサイズ当たりの処理時間である。
　評価モデル生成手段６は、式１と、各パラメータλ，ｎ，ｍ，τの値との組合せを評価モデルとして定める。そして、評価手段８は、式１にλ，ｎ，ｍ，τの値を代入して計算することによって、ρの値を計算する。このρは、性能評価結果（換言すれば、性能の予測値）である。
　また、監視手段９が、実際に計測したサーバのロードアベレージ（ρ’と記す。）と、ρ’の計測時刻における実際のメッセージ到着率（λ’と記す。）および実際のメッセージサイズ（ｍ’と記す。）の各時系列データを運用情報（ログ）として評価モデル分析手段１０に入力しているとする。
　評価モデル分析手段１０は、ρとρ’との差が閾値未満であれば、ρの評価結果が適切であると判定する。一方、ρとρ’との差が閾値以上であれば、式１の右辺のパラメータのいずれかの値が不正確であると判定する。ここでは、ρとρ’との差が閾値以上である場合、τの値が不正確と判断するルールが定められており、そのルールに従って、評価モデル分析手段１０は、τの値が不正確であると判定するものとする。そして、評価モデル分析手段１０は、τ＝ｎ・ρ’／（ｍ’・λ’）を計算して、τを求めればよい。そして、評価モデル分析手段１０は、評価関数・パラメータリポジトリ５に記憶されているτの値を更新する。サーバ台数ｎとして、ρ計算時に用いたｎの値をそのまま用いればよい。
　ただし、実際に計測されるρ’，ｍ’，λ’は、時刻の経過とともに変動する。そのため、τ＝ｎ・ρ’／（ｍ’・λ’）によりある時刻におけるτのみを求めるのではなく、以下のようにτを計算することが好ましい。時刻ｔにおけるρ’，ｍ’，λ’をそれぞれ、ρ’（ｔ），ｍ’（ｔ），λ’（ｔ）と記す。また、その時刻ｔにおけるパラメータρ’（ｔ），ｍ’（ｔ），λ’（ｔ）から求められるτをτ（ｔ）と記す。評価モデル分析手段１０は、τ（ｔ１）＝ｎ・ρ’（ｔ１）／（ｍ’（ｔ１）・λ’（ｔ１））を計算し、時刻ｔ１におけるτ（ｔ１）を計算する。同様に他の時刻に関しても、評価モデル分析手段１０は、τ（ｔ２），τ（ｔ３），・・・を計算する。評価モデル分析手段１０は、各時刻に関して計算したτ（ｔ１），τ（ｔ２），τ（ｔ３），・・・の平均値を求め、その値をτの正確な値としてもよい。また、τ（ｔ１），τ（ｔ２），τ（ｔ３），・・・に関して、平均値ではなく、最頻値やメディアンを計算し、その値をτの正確な値としてもよい。
　評価モデル分析手段１０は、計算により求めたτの値で、評価関数・パラメータリポジトリ５に記憶されているτの値を更新する。
　他の例について説明する。上記の例では、監視手段９が、ρ’，λ’，ｍ’の時系列データを評価モデル分析手段１０に入力する場合を例にしたが、以下に示す例では、監視手段９が、ρ’およびλ’の時系列データを評価モデル分析手段１０に入力する場合を例にする。
　この場合においても、評価モデル分析手段１０は、ρとρ’との差が閾値未満であれば、ρの評価結果が適切であると判定する。
　一方、ρとρ’との差が閾値以上であれば、式１の右辺のパラメータのいずれかの値が不正確であると判定する。この場合、ＰＦ依存パラメータであるτか、ＡＰ依存パラメータであるｍのいずれかが不正確であると考えることができる。一般に、ＡＰ依存パラメータの方がＰＦ依存パラメータよりも誤差が大きいので、ρとρ’との差が閾値以上であり、ρ’およびλ’の計測値が得られる場合には、リクエスト到着率ｍの値が不正確であると判断するというルールを定めていたとする。評価モデル分析手段１０は、ρとρ’との差が閾値以上である場合、このルールに従って、式１におけるリクエスト到着率ｍの値が不正確であると判定する。
　また、リクエスト到着率ｍの値が、ＳＥによってＡＰ依存パラメータ入力手段７に入力された値である場合、評価モデル分析手段１０は、ＳＥによる値の推定が不正確であった可能性がある旨を、出力手段１１に出力させてもよい。
　本例では、評価モデル分析手段１０は、時刻ｔ１におけるリクエスト到着率ｍ（ｔ１）を、ｍ（ｔ１）＝ｎ・ρ’（ｔ１）／（τ・λ’（ｔ１））の計算により算出する。この計算において、ｎおよびτは、ρ計算時に用いたｎおよびτをそのまま用いればよい。評価モデル分析手段１０は、同様に他の時刻に関しても、ｍ（ｔ２），ｍ（ｔ３），・・・を計算する。評価モデル分析手段１０は、各時刻に関して計算したｍ（ｔ１），ｍ（ｔ２），ｍ（ｔ３），・・・の平均値を求め、その値をリクエスト到着率ｍの正確な値とする。また、ｍ（ｔ１），ｍ（ｔ２），ｍ（ｔ３），・・・に関して、平均値ではなく、最頻値やメディアンを計算し、その値をリクエスト到着率ｍの正確な値としてもよい。既に説明したように、時刻の違いによるパラメータの値の分布が正規分布から大きく外れている場合には、最頻値やメディアンを計算することが好ましい。
　評価モデル分析手段１０は、計算により求めたリクエスト到着率ｍの値で、評価関数・パラメータリポジトリ５に記憶されているｍの値を更新する。
　本実施形態によれば、評価モデル分析手段１０が、評価モデルから算出した評価結果と、実際の運用におけるその評価結果に相当する計測値とを比較し、両者の差が閾値以上であれば、予め定められたルールによって特定されるパラメータに関して値が不正確であると判定する。そして、評価モデル分析手段１０が、そのパラメータの値を、運用情報に含まれる値に基づいて計算する。従って、評価モデルとして用いるパラメータの値を較正し、評価モデルの精度を向上させることができる。その結果、評価手段８が計算する実システムの評価の精度を向上させることができる。
実施形態２．
　図４は、本発明の第２の実施形態の評価モデル分析システムの例を示すブロック図である。第１の実施形態と同様の構成要素に関しては、図１と同一の符号を付し説明を省略する。第２の実施形態の評価モデル分析システム１ａは、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５と、評価モデル生成手段６と、ＡＰ依存パラメータ入力手段７と、評価手段８と、監視手段９と、評価モデル分析手段１０ａと、出力手段１１とを備える。
　モデル入力手段２、モデル編集手段３、システムモデルリポジトリ４、評価関数・パラメータリポジトリ５、評価モデル生成手段６、ＡＰ依存パラメータ入力手段７、評価手段８、監視手段９および出力手段１１は、第１の実施形態と同様である。なお、第２の実施形態では、評価手段８は、評価結果を評価モデル分析手段１０ａに入力しなくてよい。
　第２の実施形態において、評価モデル分析手段１０ａは、監視手段９から入力された運用情報に含まれる時系列データのうち、相関がある時系列データを特定する。そして、相関がある時系列データに相当するパラメータの組合せにおいて、一方のパラメータが評価モデルに含まれ、もう一方のパラメータが評価モデルに含まれていない場合に、そのパラメータの組合せを出力手段１１に出力させる。例えば、ディスプレイ装置に表示させる。
　相関があるパラメータのうち、一方が評価モデルに含まれていて、もう一方が評価モデルに含まれていないとする。この場合、評価モデルに含まれているパラメータと相関を有するもう一方のパラメータも評価モデルの式に組み入れることにより、より評価モデルの式の精度が高くなると言える。第２の実施形態では、相関を有するパラメータ同士の組合せであって、一方が評価モデルに含まれ、もう一方が評価モデルに含まれていないパラメータの組合せを評価モデル分析手段１０ａが特定し、その組合せを出力手段１１に出力させることで、評価関数の管理者に、評価モデルの式の見直しを促すことができる。すなわち、評価関数の管理者は、出力されたパラメータの組合せを確認して、システムモデルに応じた評価モデルの式を生成するルールの見直しをすることができる。第２の実施形態において、評価モデル分析手段１０ａが出力手段１１に出力させるパラメータの組合せは、評価関数の管理者に対して、システムモデルに応じた評価モデルの式を生成するルールの見直しを促す勧告であるということができる。
　モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０ａは、例えば、評価モデル分析プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、例えば、コンピュータのプログラム記憶装置（図示せず）が評価モデル分析プログラムを記憶し、ＣＰＵがそのプログラムを読み込み、そのプログラムに従って、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０ａとして動作すればよい。
　また、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９および評価モデル分析手段１０ａが、それぞれ別のユニットで実現されていてもよい。また、第１の実施形態で説明したように、監視手段９は、実システム２０内に設けられていてもよい。
　次に、動作について説明する。
　図５は、第２の実施形態の評価モデル分析システムの処理経過の例を示すフローチャートである。評価モデル生成手段６には、実システム２０を表すシステムモデルが入力されているものとする。
　まず、評価モデル生成手段６には、ＡＰ依存パラメータ入力手段７を介して、ＡＰ依存パラメータの値が入力される（ステップＳ１）。次に、評価モデル生成手段６は、システムモデルに記述された実システム２０の構成および動作に応じて、評価関数・パラメータリポジトリ５に記憶された評価関数を組合せることで、評価モデルに含まれる式を生成する。そして、生成した式と、その式で用いているＡＰ依存パラメータおよびＰＦ依存パラメータの各値との組合せを評価モデルとする（ステップＳ２）。ステップＳ１，Ｓ２の処理は、第１の実施形態と同様である。
　また、監視手段９は、実システム２０の運用中に、実システム２０の運用状態に合わせて、各種時系列データを含む運用情報を評価モデル分析手段１０ａに入力している。評価モデル分析手段１０ａは、運用情報に含まれている時系列データ同士の各組合せに関して、相関があるか否かを判定する（ステップＳ１１）。ステップＳ１１では、監視手段９は、２種類の時系列データの組合せをそれぞれ定め、各組合せにおいて、２種類の時系列データ間に相関があるか否かを判定する。個々の時系列データは、それぞれ一つのパラメータに関して時間経過とともに計測された値のデータ列である。よって、時系列データ間に相関があるか否かを判定するということは、パラメータ間に相関があるか否かを判定することを意味する。
　例えば、あるサーバ上で計測された性能関連測定データとして、（Ｘ１，Ｘ２，・・・，Ｘｎ）というデータが運用情報に含まれていたとする。Ｘ１，Ｘ２，・・・は、それぞれ、あるパラメータに関する時系列データである。例えば、Ｘｉは、Ｘｉ＝｛ｘｉ１，ｘｉ２，・・・，ｘｉｍ｝という時系列データである。より具体的な例を挙げると、Ｘ１は、例えば、ＣＰＵのロードの時系列データである。同様に、Ｘ２は、例えば、Ｗｅｂアプリケーションサーバのメモリ使用量の時系列データである。Ｘ３は、例えば、Ｗｅｂアプリケーションサーバの負荷の時系列データである。Ｘ４は、例えば、Ｗｅｂアプリケーションサーバのスレッドプール使用率の時系列データである。Ｘ５は、例えば、Ｗｅｂアプリケーションサーバへのリクエスト到着率の時系列データである。
　このような種々のパラメータの時系列データが運用情報に含まれている場合、評価モデル分析手段１０ａは、Ｘ１とＸ２の組合せ、Ｘ１とＸ３の組合せ等の各組合せ毎に、時系列データの相関（すなわち、パラメータの相関）の有無を判定する。
　評価モデル分析手段１０ａは、相関の有無を、以下のように判定すればよい。すなわち、評価モデル分析手段１０ａは、２つの時系列データの相関係数を算出し、その相関係数の絶対値が予め定めた閾値以上であれば、２つの時系列データに相関があると判定すればよい。また、相関係数の絶対値が予め定めた閾値未満であれば、２つの時系列データに相関がないと判定すればよい。時系列データ同士の相関係数は、公知の相関係数算出式を用いればよい。ただし、相関の有無の判定方法は、この方法に限定されず、他の方法で相関の有無を判定してもよい。
　ステップＳ１１の次に、評価モデル分析手段１０ａは、相関があると判定した時系列データ同士に相当するパラメータ同士の組合せにおいて、一方のパラメータが評価モデルに含まれていて、もう一方のパラメータが評価モデルに含まれていないパラメータの組合せを、評価モデルを参照して特定する。例えば、一方のパラメータが評価モデルの式において評価対象パラメータとなっていて、もう一方のパラメータが評価モデルの式で用いられていないならば、そのパラメータの組合せを出力する組み合わせとして選択する。そして、評価モデル分析手段１０ａは、そのパラメータの組合せを出力手段１１に出力させる（ステップＳ１２）。
　出力したパラメータの組合せを参照した評価関数の管理者は、評価モデルに含まれていない方のパラメータも評価モデルの式で使われるように、評価モデルを生成するルールを見直す。ただし、評価関数の管理者が、必ずこのような見直しをしなくてはならないわけではない。例えば、Ｘ１，Ｘ３間に相関があったとしても、Ｘ１，Ｘ３は実質的に同じパラメータを表していると言えると管理者が判断した場合には、評価モデルの生成ルールに何ら変更を加えなくてよい。
　なお、図５では、図示を省略しているが、ステップＳ２の後、評価手段８が、評価モデルに含まれる式に、その式で用いられているＡＰ依存パラメータおよびＰＦ依存パラメータの各値を代入して計算することによって、評価結果を算出する。そして、評価手段８は、算出した評価結果を出力手段１１に出力させる（例えば、表示させる）。この動作は、第１の実施形態におけるステップＳ３と同様である。
　次に、第２の実施形態において、評価モデル分析手段１０ａが、評価関数の管理者に対する勧告としてパラメータの組合せを提示する具体例を説明する。評価モデル生成手段６が、与えられたシステムモデルから、以下の式２に示す評価モデルの式を生成したとする。
　ρ＝λ・ｔ　　　　　　　（式２）
　式２の左辺のρは、Ｗｅｂアプリケーションサーバの占有率である。このρは、Ｗｅｂアプリケーションサーバの性能評価対象となっている。
　本例において、式２の右辺のｔは、そのＷｅｂアプリケーションサーバのＯＳ上で計測される１リクエスト当たりのＣＰＵ時間である。また、式２の右辺のλは、そのＷｅｂアプリケーションサーバへのリクエストの到着率である。すなわち、単位時間当たりに到着するリクエスト数である。
　また、監視手段９から評価モデル分析手段１０ａに入力される運用情報は、５種類の時系列データＸ１～Ｘ５を含んでいるとする。ここで、Ｘ１は、ＣＰＵのロードの時系列データであるとする。Ｘ２は、Ｗｅｂアプリケーションサーバのメモリ使用量の時系列データであるとする。Ｘ３は、Ｗｅｂアプリケーションサーバの負荷の時系列データであるとする。Ｘ４は、Ｗｅｂアプリケーションサーバのスレッドプール使用率の時系列データであるとする。Ｘ５は、Ｗｅｂアプリケーションサーバへのリクエスト到着率の時系列データであるとする。
　評価モデル分析手段１０ａは、ステップＳ１１において、Ｘ１～Ｘ５から２種類の時系列データの組合せをそれぞれ定め、各組合せにおいて、２種類の時系列データ間に相関があるか否かを判定する。本例では、「Ｘ１とＸ３」、「Ｘ１とＸ４」、「Ｘ１とＸ５」の組合せに関して、相関があると判定したものとする。これらの組合せにおけるＸ１は、性能評価対象ρとして、評価モデルに含まれている。しかし、Ｘ３，Ｘ４，Ｘ５に相当するパラメータは評価モデルの式で用いられていない。そこで、評価モデル分析手段１０ａは、「ＣＰＵのロードとＷｅｂアプリケーションサーバの負荷」、「ＣＰＵのロードとＷｅｂアプリケーションサーバのスレッドプール使用率」、および「ＣＰＵのロードとＷｅｂアプリケーションサーバへのリクエスト到着率」というパラメータの組合せを、出力手段１１に出力させる。
　評価関数の管理者は、出力されたパラメータの組合せを確認し、評価モデルの式を生成するルールを変更する必要があるかを検討し、変更の必要があると判断した場合には、使われていなかったパラメータが評価モデルの式で使用されるように、評価モデルの式を生成するルールを変更する。この検討は、評価関数の管理者が、自身の知識や経験に基づいて行えばよい。例えば、本例では、評価関数の管理者は、Ｘ３（Ｗｅｂアプリケーションサーバの負荷）およびＸ５（Ｗｅｂアプリケーションサーバへのリクエスト到着率）は、実質的に評価モデルに組み込まれていると判断して、これらのパラメータを式に追加するような変更は行わないと決定してもよい。
　また、評価関数の管理者は、Ｘ４（Ｗｅｂアプリケーションサーバのスレッドプール使用率）は、ボトルネックになると判断し、このパラメータが評価モデルの式に含まれるように、評価モデルの生成ルールを見直し、見直したルールを評価モデル生成手段６に対して設定すればよい。
　本実施形態によれば、評価モデル分析手段１０ａが、相関があると判定したパラメータ同士の組合せにおいて、一方のパラメータが評価モデルに含まれていて、もう一方のパラメータが評価モデルに含まれていない場合、そのパラメータの組合せを、出力手段１１に出力させる。評価関数の管理者は、そのパラメータの組合せを確認することで、評価モデル生成手段６における評価モデル生成ルールを見直して、評価モデルの精度を向上させることができる。また、その結果、評価手段８が算出する評価結果の精度も向上させることができる。
　なお、本実施形態において、評価モデル分析手段１０ａは、引用文献４に記載された故障検知方法と同様に、実システム２０における故障を検知してもよい。すなわち、評価モデル分析手段１０ａは、相関があると判定した時系列データの組合せに関して、相関が失われた場合に、実システム２０に故障が生じたと判定してもよい。このとき、評価モデル分析手段１０ａは、実システム２０に故障が生じた旨を出力手段１１に出力させる（例えば、表示させる）。そのような構成により、実システム２０の故障監視も行いつつ、評価関数の管理者に評価モデルの式の見直しを促すことができる。そして、この構成では、評価関数の管理者に勧告を行うために実行する相関判定と、故障検知のための相関判定とを共通化しているので、故障検知のための相関判定を別途行う必要がない。従って、実システム２０の故障監視も行いつつ、評価関数の管理者に対する勧告を行うことを効率的に（換言すれば、高速に）実現することができる。
実施形態３．
　図６は、本発明の第３の実施形態の評価モデル分析システムの例を示すブロック図である。第１の実施形態と同様の構成要素に関しては、図１と同一の符号を付し説明を省略する。第３の実施形態の評価モデル分析システム１ｂは、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５ｂと、評価モデル生成手段６と、ＡＰ依存パラメータ入力手段７と、評価手段８と、監視手段９と、評価モデル分析手段１０と、出力手段１１と、アプリケーション依存パラメータ値検索手段１２（以下、ＡＰ依存パラメータ値検索手段１２と記す。）とを備える。
　モデル入力手段２、モデル編集手段３、システムモデルリポジトリ４、評価モデル生成手段６、ＡＰ依存パラメータ入力手段７、評価手段８、監視手段９、評価モデル分析手段１０および出力手段１１は、第１の実施形態と同様である。
　本実施の形態において、評価関数・パラメータリポジトリ５ｂは、ＡＰ依存パラメータのデフォルト値と、アプリケーションの属性を表す属性情報とを対応付けて記憶する。例えば、実システム２０におけるアプリケーションの一つにＷｅｂサーバがあるとする。この場合、そのＷｅｂサーバに関するＡＰ依存パラメータのデフォルト値に対して、そのアプリケーションに関する属性を対応付けて、予め評価関数・パラメータリポジトリ５ｂに記憶させておく。デフォルト値は、経験を積んだシステム開発者等が予め定めておけばよい。
　属性情報の種類は特に限定されない。例えば、ＷｅｂサーバのＡＰ依存パラメータに対応付けられる属性情報の例として、「情報の表示のみ行うＷｅｂページを提供する」、「フォームを含むＷｅｂページを提供する」等の属性があり得る。また、「画像を含むＷｅｂページを提供する」、「画像を含まないＷｅｂページを提供する」等の属性もあり得る。また、「Ｊａｖａ（登録商標）プラットフォームのＷｅｂページを提供する」、「ＰｅｒｌプラットフォームのＷｅｂページを提供する」、「ＰＨＰプラットフォームのＷｅｂページを提供する」等の属性もあり得る。このように、ＡＰ依存パラメータに対応付ける属性情報として、種々の例が考えられる。
　ＡＰ依存パラメータ値検索手段１２は、評価モデル分析システムのユーザ（例えば評価関数の管理者）によって、ＡＰ依存パラメータの種類（例えば、リクエスト到着率やメッセージサイズ等）とともに、属性情報を指定されると、そのＡＰ依存パラメータの種類および属性情報をキーとして、評価関数・パラメータリポジトリ５ｂからそのＡＰ依存パラメータのデフォルト値を検索する。ＡＰ依存パラメータ値検索手段１２は、検索したＡＰ依存パラメータのデフォルト値を、出力手段１１に出力させ（例えば、表示させ）、また、検索したデフォルト値を評価モデル生成手段６に入力する。
　評価モデル生成手段６は、第１の実施形態と同様に、システムモデルに基づいて生成した式と、その式で用いられるパラメータの値との組合せを評価モデルとする。このとき、ＡＰ依存パラメータ値検索手段１２によってデフォルト値が検索されたＡＰ依存パラメータがその式で用いられているならば、評価モデル生成手段６は、そのＡＰ依存パラメータの値として、ＡＰ依存パラメータ値検索手段１２に検索されたデフォルト値を評価モデルに含める。ただし、評価モデル生成手段６は、ＡＰ依存パラメータの値として、ＡＰ依存パラメータ値検索手段１２に検索されたデフォルト値のみを評価モデルに含めるとは限らない。システムモデルに基づいて生成した式で用いられているＡＰ依存パラメータの値が、ＡＰ依存パラメータ値検索手段１２によって検索されておらず、ＡＰ依存パラメータ入力手段７から入力されている場合には、評価モデル生成手段６は、ＡＰ依存パラメータ入力手段７から入力された値を評価モデルに含めればよい。また、システムモデルに基づいて生成した式で用いられているＡＰ依存パラメータの値が、ＡＰ依存パラメータ値検索手段１２によって検索されておらず、また、ＡＰ依存パラメータ入力手段７から入力されてもいない場合には、評価関数・パラメータリポジトリ５ｂからそのＡＰ依存パラメータのデフォルト値を読み込めばよい。
　本実施形態では、ＡＰ依存パラメータの値の指定態様が第１の実施形態よりも増えている。本実施形態では、ステップＳ１（図２参照）でＡＰ依存パラメータの値が入力される態様の他に、ＡＰ依存パラメータの種類および属性情報をキーとして、そのＡＰ依存パラメータの値を検索することで、ＡＰ依存パラメータの値を指定することを可能としている。ステップＳ２（図２参照）では、評価モデル生成手段６は、上記のように、検索されたＡＰ依存パラメータの値も用いて評価モデルを生成すればよい。その後のステップＳ３以降の動作は、第１の実施形態と同様であり、説明を省略する。
　ＡＰ依存パラメータ値検索手段１２は、例えば、評価モデル分析プログラムに従って動作するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵが、例えば、評価モデル分析プログラムに従って、モデル編集手段３、評価モデル生成手段６、評価手段８、監視手段９、評価モデル分析手段１０およびＡＰ依存パラメータ値検索手段１２として動作すればよい。また、これらの各手段が、それぞれ別々のユニットで実現されていてもよい。
　一般に、ＡＰ依存パラメータの値は、システム開発等の経験を十分に積んだ者でないと見積もりすることが困難である。従って、そのような経験を積んでいない者にとっては、ＡＰ依存パラメータ入力手段７に適切な値を入力することが困難になる。そのような場合でも、実システムにおけるアプリケーションの属性を見積もることは容易である。本実施形態では、ＡＰ依存パラメータ値検索手段１２が、指定されたＡＰ依存パラメータの種類および属性情報をキーとして、そのＡＰ依存パラメータのデフォルト値を検索するので、ユーザにとって見積もりにくい具体的なＡＰ依存パラメータ値を、ユーザにとって見積もりやすいアプリケーションの属性から特定することができる。そして、その値を用いて、評価モデルを生成し、第１の実施形態と同様に、実システム２０の評価を行ったり、評価モデルとして用いるパラメータの値を較正し、評価モデルの精度を向上させたりすることができる。
実施形態４．
　図７は、本発明の第４の実施形態の評価モデル分析システムの例を示すブロック図である。第１、第２および第３の実施形態と同様の構成要素に関しては、図１、図４および図６と同一の符号を付し詳細な説明を省略する。第４の実施形態は、第２の実施形態に、第３の実施形態と同様の評価関数・パラメータリポジトリ５ｂおよびＡＰ依存パラメータ値検索手段１２を適用した実施形態である。
　第４の実施形態の評価モデル分析システム１ｃは、モデル入力手段２と、モデル編集手段３と、システムモデルリポジトリ４と、評価関数・パラメータリポジトリ５ｂと、評価モデル生成手段６と、ＡＰ依存パラメータ入力手段７と、評価手段８と、監視手段９と、評価モデル分析手段１０ａと、出力手段１１と、ＡＰ依存パラメータ値検索手段１２とを備える。
　モデル入力手段２、モデル編集手段３、システムモデルリポジトリ４、評価モデル生成手段６、ＡＰ依存パラメータ入力手段７、評価手段８、監視手段９および出力手段１１は、第１の実施形態や第２の実施形態と同様である。評価モデル分析手段１０ａは、第２の実施形態と同様である。
　評価関数・パラメータリポジトリ５ｂおよびＡＰ依存パラメータ値検索手段１２は、第３の実施形態と同様である。すなわち、ＡＰ依存パラメータのデフォルト値と、アプリケーションの属性を表す属性情報とを対応付けて記憶する。また、ＡＰ依存パラメータ値検索手段１２は、評価モデル分析システムのユーザによって、ＡＰ依存パラメータの種類（例えば、リクエスト到着率やメッセージサイズ等）とともに、属性情報を指定されると、そのＡＰ依存パラメータの種類および属性情報をキーとして、評価関数・パラメータリポジトリ５ｂからそのＡＰ依存パラメータのデフォルト値を検索する。そして、ＡＰ依存パラメータ値検索手段１２は、検索したＡＰ依存パラメータのデフォルト値を、出力手段１１に出力させ（例えば、表示させ）、また、検索したデフォルト値を評価モデル生成手段６に入力する。
　評価モデル生成手段６は、第３の実施形態と同様に、ＡＰ依存パラメータ値検索手段１２によって検索されたＡＰ依存パラメータの値も用いて評価モデルを生成する。ただし、本実施形態では、評価モデル生成手段６は、システムモデルに基づいて生成した式に含まれるパラメータの属性情報も、評価モデルに含める。ＡＰ依存パラメータ１２が、ＡＰ依存パラメータの種類および属性情報をキーにしてＡＰ依存パラメータの値を検索し、評価モデル生成手段６が、その値を評価モデルに含める場合には、その値に対応付けて、検索キーとして用いられた属性情報も評価モデルに含めればよい。また、ユーザが、ＡＰ依存パラメータ入力手段７からＡＰ依存パラメータの値を入力するときには、その属性情報も合わせて入力し、評価モデル生成手段６は、入力されたＡＰ依存パラメータの値に対応付けて、その属性情報も評価モデルに含めればよい。
　また、本実施形態において、監視手段９は、第１や第２の実施形態等と同様に、種々のパラメータの時系列データを含む運用情報を評価モデル分析手段１０ａに入力する。ただし、本実施形態では、監視手段９は、ＡＰ依存パラメータの時系列情報とともに、そのＡＰ依存パラメータの属性情報も実システム２０から収集し、その時系列情報に対応付けて属性情報も運用情報内に含める。
　評価モデル分析手段１０ａは、第２の実施形態と同様に、ＡＰ依存パラメータおよびＰＦ依存パラメータの各時系列データに関して、相関の有無を判定する。このとき、評価モデル分析手段１０ａは、ＡＰ依存パラメータの時系列データに関しては、同種のＡＰ依存パラメータであっても、属性情報が異なれば、別個のＡＰ依存パラメータとして扱う。例えば、監視手段９が、実システム２０内のＷｅｂサーバであって「動画を含まないＷｅｂページを提供する」という属性を有するＷｅｂサーバから、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データを収集したとする。また、同様に、「動画を含むＷｅｂページを提供する」という属性を有するＷｅｂサーバから、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データを収集したとする。この場合、評価モデル分析手段１０ａは、属性情報が異なるこの２種類の「スループット」を別個のＡＰ依存パラメータとして扱い、他のパラメータとの相関の有無を判定する。
　例えば、「動画を含まないＷｅｂページを提供する」という属性を有するＷｅｂサーバから収集された各種時系列データには、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データと、ＣＰＵ性能の時系列データとが含まれているとする。同様に、「動画を含むＷｅｂページを提供する」という属性を有するＷｅｂサーバから収集された各種時系列データには、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットの時系列データと、ＣＰＵ性能の時系列データと、ディスクＩ／Ｏ性能の時系列データとが含まれているとする。この場合、評価モデル分析手段１０ａは、属性情報が異なるスループットを別個のパラメータとして扱い、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関の有無を判定する他に、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関や、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとディスクＩ／Ｏ性能との相関の有無を判定する。
　また、評価モデル分析手段１０ａは、相関があるパラメータの組合せにおいて、一方のパラメータが評価モデルに含まれ、もう一方のパラメータが評価モデルに含まれない場合に、そのパラメータの組合せを出力手段１１に出力させる。パラメータが評価モデルに含まれるか否かの判断においても、属性情報の一致も考慮する。すなわち、運用情報に基づいて、相関があると判定されたパラメータの組におけるパラメータであって、そのパラメータの属性情報と同じ属性情報を有するパラメータが評価モデルの式に用いられている場合、そのパラメータが評価モデルに含まれていると判定する。一方、相関があると判定されたパラメータの組におけるパラメータと同じパラメータが評価モデルに含まれていない場合、あるいは、相関があると判定されたパラメータの組におけるパラメータと同じパラメータが評価モデルに含まれているとしても、属性情報が異なる場合には、そのパラメータが評価モデルに含まれていないと判定する。
　上記の例において、評価モデル分析手段１０ａが、「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関はないと判定したとする。また、評価モデル分析手段１０ａが、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとＣＰＵ性能との相関や、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットとディスクＩ／Ｏ性能との相関に関しては、相関があると判定したとする。この場合、例えば、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットが評価モデルに含まれ、ＣＰＵ性能に関しては評価モデルに含まれていない場合、その２つのパラメータを出力手段１１に出力させればよい。同様に、例えば、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットが評価モデルに含まれ、ディスクＩ／Ｏ性能に関しては評価モデルに含まれていない場合、その２つのパラメータを出力手段１１に出力させればよい。評価関数の管理者は、このような出力結果を参照して、評価モデルの式を生成するルールの見直しを検討すればよい。
　本実施形態によれば、第３の実施形態と同様に、ユーザにとって見積もりにくい具体的なＡＰ依存パラメータ値を、ユーザにとって見積もりやすいアプリケーションの属性から特定することができる。また、相関を有するパラメータを評価モデルに組み入れるように、評価関数の管理者に促すことができる。特に、属性情報が異なるパラメータを別個のパラメータとして扱うことで、評価関数の管理者に対して、評価モデルに組み入れた方がよい可能性があるパラメータを属性情報とともに、より詳細に提示することができる。
　その結果、例えば、既に「動画を含まないＷｅｂページを提供する」という属性情報と対応付けられたスループットが評価モデルに組み入れられている場合であっても、「動画を含むＷｅｂページを提供する」という属性情報と対応付けられたスループットに関する検討を管理者に促すことができる。
　次に、本発明の最小構成について説明する。図８は、本発明の最小構成の例を示すブロック図である。本発明の評価モデル分析システムは、評価モデル生成手段７１と、評価モデル分析手段７２とを備える。
　評価モデル生成手段７１は、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する。
　評価モデル分析手段７２は、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する。
　そのような構成により、実システムを評価するための評価モデルの精度向上に資することができる。
　上記の実施形態には、以下の（１）～（１２）に示すような評価モデル分析システムの特徴的構成が示されている。
（１）評価モデル分析システムは、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、実システムを評価するための式と当該式に含まれるパラメータ（例えば、ＡＰ依存パラメータおよびＰＦ依存パラメータ）の値とを含む評価モデルを生成する評価モデル生成手段（例えば、評価モデル生成手段６）と、運用中の実システムにおける実際のパラメータの値を含む運用情報と、評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析手段（例えば、評価モデル分析手段１０，１０ａ）とを備えることを特徴とする。
（２）評価モデル分析システムは、評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価手段（例えば、評価手段８）を備え、評価モデル分析手段（例えば、評価モデル分析手段１０）が、評価手段に計算された評価項目の値と、運用情報から得られるその評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、所定のパラメータの値を計算する構成であってもよい。そのような構成によれば、評価モデルに用いるパラメータを較正することができる。
（３）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群（例えば、評価関数群）と、その式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータ（例えば、ＡＰ依存パラメータ）に関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段（例えば、評価関数・パラメータリポジトリ５ｂ）と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段（例えば、ＡＰ依存パラメータ値検索手段１２）とを備え、評価モデル生成手段が、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値を評価モデルに含める構成であってもよい。
（４）評価モデル分析手段（例えば、評価モデル分析手段１０ａ）が、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する構成であってもよい。そのような構成により、管理者に、評価モデルの見直しを促すことができる。
（５）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群（例えば、評価関数群）と、その式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータ（例えば、ＡＰ依存パラメータ）に関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段（例えば、評価関数・パラメータリポジトリ５ｂ）と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段（例えば、ＡＰ依存パラメータ値検索手段１２）とを備え、評価モデル生成手段が、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値および検索に用いた属性情報を評価モデルに含め、評価モデル分析手段が、運用情報から得られるパラメータ同士の相関の有無を判定するときに、属性情報が異なる同種のパラメータについては別個のパラメータとして扱ってパラメータ同士の相関の有無を判定し、相関があると判定したパラメータの組のうち、一方のパラメータと同種のパラメータであって属性情報も同じパラメータが評価モデルの式に使用され、もう一方のパラメータに関しては評価モデルに含まれていないか、あるいは含まれていても属性情報が異なるという条件を満たすパラメータの組を特定する構成であってもよい。
（６）評価モデル分析手段が、相関があると判定したパラメータの組における相関が失われたときに、実システムに故障が生じたと判定する構成であってもよい。そのような構成によれば、実システム２０の故障監視も行いつつ、管理者に評価モデルの見直しを促すことを、効率的に実現することができる。
（７）評価モデル分析システムは、実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成部と、運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析部とを備える構成であってもよい。
（８）評価モデル分析システムは、評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価部を備え、評価モデル分析部が、評価部に計算された前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算する構成であってもよい。
（９）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶部と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索部とを備え、評価モデル生成部が、実システムを評価するための式に、パラメータ値検索部に値が検索されたパラメータが含まれている場合、検索された値を評価モデルに含める構成であってもよい。
（１０）評価モデル分析部が、運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する構成であってもよい。
（１１）評価モデル分析システムは、システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶部と、ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索部とを備え、評価モデル生成部が、実システムを評価するための式に、パラメータ値検索部に値が検索されたパラメータが含まれている場合、検索された値および検索に用いた属性情報を評価モデルに含め、評価モデル分析部が、運用情報から得られるパラメータ同士の相関の有無を判定するときに、属性情報が異なる同種のパラメータについては別個のパラメータとして扱ってパラメータ同士の相関の有無を判定し、相関があると判定したパラメータの組のうち、一方のパラメータと同種のパラメータであって属性情報も同じパラメータが評価モデルの式に使用され、もう一方のパラメータに関しては評価モデルに含まれていないか、あるいは含まれていても属性情報が異なるという条件を満たすパラメータの組を特定する構成であってもよい。
（１２）評価モデル分析部が、相関があると判定したパラメータの組における相関が失われたときに、実システムに故障が生じたと判定する構成であってもよい。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年１０月３０日に出願された日本特許出願２００９－２５１０７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
　本発明は、実システムに対応するシステムモデルから生成された実システムの評価モデルを分析する評価モデル分析システムに好適に適用される。
　１，１ａ，１ｂ，１ｃ　評価モデル分析システム
　２　モデル入力手段
　３　モデル編集手段
　４　システムモデルリポジトリ
　５，５ｂ　評価関数・パラメータリポジトリ
　６　評価モデル生成手段
　７　ＡＰ依存パラメータ入力手段
　８　評価手段
　９　監視手段
　１０，１０ａ　評価モデル分析手段
　１１　出力手段
　１２　ＡＰ依存パラメータ値検索手段
　２０　実システム

Claims (12)

  1. 　実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成手段と、
    　運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析手段とを備える
    　ことを特徴とする評価モデル分析システム。
  2. 　評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価手段を備え、
    　評価モデル分析手段は、評価手段に計算された前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算する
    　請求項１に記載の評価モデル分析システム。
  3. 　システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段と、
    　ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段とを備え、
    　評価モデル生成手段は、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値を評価モデルに含める
    　請求項２に記載の評価モデル分析システム。
  4. 　評価モデル分析手段は、
    　運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する
    　請求項１に記載の評価モデル分析システム。
  5. 　システムモデルの内容に応じて実システムを評価するための式を生成する際に、当該式の構成要素として用いられる関数群と、前記式に用いられるパラメータの値として予め定められた値とを記憶するとともに、少なくとも一部のパラメータに関してはパラメータの値とともに当該パラメータの属性情報を記憶する評価モデル作成用情報記憶手段と、
    　ユーザに指定されたパラメータの種類と属性情報をキーとして、パラメータの値を検索するパラメータ値検索手段とを備え、
    　評価モデル生成手段は、実システムを評価するための式に、パラメータ値検索手段に値が検索されたパラメータが含まれている場合、検索された値および検索に用いた属性情報を評価モデルに含め、
    　評価モデル分析手段は、
    　運用情報から得られるパラメータ同士の相関の有無を判定するときに、属性情報が異なる同種のパラメータについては別個のパラメータとして扱ってパラメータ同士の相関の有無を判定し、相関があると判定したパラメータの組のうち、一方のパラメータと同種のパラメータであって属性情報も同じパラメータが評価モデルの式に使用され、もう一方のパラメータに関しては評価モデルに含まれていないか、あるいは含まれていても属性情報が異なるという条件を満たすパラメータの組を特定する
    　請求項４に記載の評価モデル分析システム。
  6. 　評価モデル分析手段は、
    　相関があると判定したパラメータの組における相関が失われたときに、実システムに故障が生じたと判定する
    　請求項４または請求項５に記載の評価モデル分析システム。
  7. 　実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成し、
    　運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する
    　ことを特徴とする評価モデル分析方法。
  8. 　評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算し、
    　計算した前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定し、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算する
    　請求項７に記載の評価モデル分析方法。
  9. 　運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定し、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定する
    　請求項７に記載の評価モデル分析方法。
  10. 　コンピュータに、
    　実際に運用される実システムを表すモデルであるシステムモデルに基づいて、前記実システムを評価するための式と当該式に含まれるパラメータの値とを含む評価モデルを生成する評価モデル生成処理、および、
    　運用中の実システムにおける実際のパラメータの値を含む運用情報と、前記評価モデルとに基づいて、評価モデルの精度を向上可能なパラメータを分析する評価モデル分析処理
    　を実行させるための評価モデル分析プログラム。
  11. 　コンピュータに、
    　評価モデルに含まれる式のパラメータに、当該パラメータの値を代入して計算することにより、評価項目を計算する評価処理を実行させ、
    　評価モデル分析処理で、
    　評価処理で計算された前記評価項目の値と、運用情報から得られる前記評価項目に相当する項目の値との差が閾値以上である場合に、所定のパラメータの値が不正確であると判定させ、評価モデルに含まれる式と、当該式に含まれるパラメータの運用情報における値とから、前記所定のパラメータの値を計算させる
    　請求項１０に記載の評価モデル分析プログラム。
  12. 　コンピュータに、
    　評価モデル分析処理で、
    　運用情報から得られる各パラメータの値に基づいて、運用情報から得られるパラメータ同士の相関の有無を判定させ、相関があると判定したパラメータ同士の組のうち、一方のパラメータが評価モデルの式に使用され、もう一方のパラメータが評価モデルの式で使用されていないパラメータの組を特定させる
    　請求項１０に記載の評価モデル分析プログラム。
PCT/JP2010/006128 2009-10-30 2010-10-15 評価モデル分析システム、評価モデル分析方法およびプログラム WO2011052147A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011538228A JP5532052B2 (ja) 2009-10-30 2010-10-15 評価モデル分析システム、評価モデル分析方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-251077 2009-10-30
JP2009251077 2009-10-30

Publications (1)

Publication Number Publication Date
WO2011052147A1 true WO2011052147A1 (ja) 2011-05-05

Family

ID=43921584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006128 WO2011052147A1 (ja) 2009-10-30 2010-10-15 評価モデル分析システム、評価モデル分析方法およびプログラム

Country Status (2)

Country Link
JP (1) JP5532052B2 (ja)
WO (1) WO2011052147A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173283A1 (ja) * 2011-06-16 2012-12-20 日本電気株式会社 システム性能予測方法、情報処理装置およびその制御プログラム
WO2014091733A1 (ja) * 2012-12-12 2014-06-19 日本電気株式会社 性能予測装置及び性能予測方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172537A (ja) * 1998-12-04 2000-06-23 Nippon Steel Corp 性能予測装置および方法、記録媒体
JP2002215423A (ja) * 2001-01-22 2002-08-02 Hitachi Ltd ソフトウェアモデル作成方法
JP2004530193A (ja) * 2001-03-05 2004-09-30 ケイデンス デザイン システムズ，インコーポレイテッド 組込形ソフトウェアの実行時間の統計的評価のための方法及び装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172537A (ja) * 1998-12-04 2000-06-23 Nippon Steel Corp 性能予測装置および方法、記録媒体
JP2002215423A (ja) * 2001-01-22 2002-08-02 Hitachi Ltd ソフトウェアモデル作成方法
JP2004530193A (ja) * 2001-03-05 2004-09-30 ケイデンス デザイン システムズ，インコーポレイテッド 組込形ソフトウェアの実行時間の統計的評価のための方法及び装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012173283A1 (ja) * 2011-06-16 2012-12-20 日本電気株式会社 システム性能予測方法、情報処理装置およびその制御プログラム
JPWO2012173283A1 (ja) * 2011-06-16 2015-02-23 日本電気株式会社 システム性能予測方法、情報処理装置およびその制御プログラム
WO2014091733A1 (ja) * 2012-12-12 2014-06-19 日本電気株式会社 性能予測装置及び性能予測方法
JPWO2014091733A1 (ja) * 2012-12-12 2017-01-05 日本電気株式会社 性能予測装置及び性能予測方法

Also Published As

Publication number Publication date
JPWO2011052147A1 (ja) 2013-03-14
JP5532052B2 (ja) 2014-06-25

Similar Documents

Publication Publication Date Title
US9864672B2 (en) Module specific tracing in a shared module environment
US20190236205A1 (en) Conversational knowledge graph powered virtual assistant for application performance management
JP4739472B2 (ja) 性能予測装置および方法、記録媒体
US20180174062A1 (en) Root cause analysis for sequences of datacenter states
US9311213B2 (en) Module database with tracing options
US20060229854A1 (en) Computer system architecture for probabilistic modeling
US9507943B1 (en) Analysis tool for data security
US20150067654A1 (en) Tracing System for Application and Module Tracing
JP2005173788A (ja) オートノミック・コンピューティングシステム、実行環境制御方法及びプログラム
US20120102417A1 (en) Context-Aware User Input Prediction
JP2014215883A (ja) システム・ログの分類方法、プログラム及びシステム
US11775867B1 (en) System and methods for evaluating machine learning models
US20230259831A1 (en) Real-time predictions based on machine learning models
US11144930B2 (en) System and method for managing service requests
WO2018092237A1 (ja) プログラムコード生成装置、プログラムコード生成方法及びプログラムコード生成プログラム
US20160162539A1 (en) Computer executable method of generating analysis data and apparatus performing the same and storage medium for the same
US8793203B2 (en) Effort estimation using text analysis
EP3076314A1 (en) System, method, and program for storing and analysing a data graph
JP5532052B2 (ja) 評価モデル分析システム、評価モデル分析方法およびプログラム
US20160241671A1 (en) Profile update evaluator
US20210241047A1 (en) Determining rationale for a prediction of a machine learning based model
JPWO2014188638A1 (ja) 共有リスクグループ管理システム、共有リスクグループ管理方法および共有リスクグループ管理プログラム
CN109491892B (zh) 一种项目环境的配置方法和装置
KR102137109B1 (ko) 로그 메시지의 패턴을 분류하는 방법 및 장치
JP6714160B2 (ja) データリニエージ検出装置、データリニエージ検出方法、及びデータリニエージ検出プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10826284

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011538228

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10826284

Country of ref document: EP

Kind code of ref document: A1