WO2012093469A1 - 性能評価装置及び性能評価方法 - Google Patents

性能評価装置及び性能評価方法 Download PDF

Info

Publication number
WO2012093469A1
WO2012093469A1 PCT/JP2011/007343 JP2011007343W WO2012093469A1 WO 2012093469 A1 WO2012093469 A1 WO 2012093469A1 JP 2011007343 W JP2011007343 W JP 2011007343W WO 2012093469 A1 WO2012093469 A1 WO 2012093469A1
Authority
WO
WIPO (PCT)
Prior art keywords
workload
composite
performance
model
data
Prior art date
Application number
PCT/JP2011/007343
Other languages
English (en)
French (fr)
Inventor
雅也 藤若
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/978,412 priority Critical patent/US9529688B2/en
Priority to JP2012551765A priority patent/JPWO2012093469A1/ja
Publication of WO2012093469A1 publication Critical patent/WO2012093469A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3414—Workload generation, e.g. scripts, playback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling

Definitions

  • the present invention relates to a computer performance evaluation technique.
  • resources can be used efficiently by operating virtual machines running on different hardware (computers) on the same hardware.
  • the number of virtual machines executed on the same hardware is excessively limited, so that resources that can be originally used cannot be sufficiently utilized.
  • Patent Document 1 proposes a technique for automatically and continuously executing a performance test of an information processing system under a plurality of different measurement conditions. Specifically, it has been proposed to perform a performance test of an information processing system based on performance test data generated by arbitrarily combining setting values of items having different measurement conditions.
  • a performance test is only performed for each item to be measured (for example, for each computer resource), and a performance test combining a plurality of items is not considered.
  • a performance test is only performed for each item to be measured (for example, for each computer resource), and a performance test combining a plurality of items is not considered.
  • only one process using one computer resource is rarely executed on a computer (system), and a plurality of processes are executed in parallel. There are many cases.
  • the performance data obtained by the above-described method may have low accuracy when actual operation is considered.
  • the configuration of systems and virtual machines can be changed flexibly, and multiple virtual machines with various properties coexist on the same hardware, so the capacity (performance) of a computer can be estimated. very difficult.
  • An object of the present invention is to provide a technique for evaluating the performance of a computer with high accuracy.
  • the first aspect relates to a performance evaluation apparatus for evaluating the performance of an evaluation target computer.
  • the performance evaluation apparatus sequentially generates a plurality of workloads having different sizes on each evaluation target computer for each of a plurality of single workload types, and at least two different single workload types
  • the workload control means that sequentially generates multiple composite workloads combining different types of workloads corresponding to the composite workload types on the evaluation target computer, and the evaluation targets during each workload generation
  • a data analyzer that generates each primary performance model for a workload type Comprising the, on the basis of the primary performance model generated by the obtained composite performance data and the data analysis means by the data acquisition means, and model generation means for generating a composite performance model for the complex workload species, a.
  • the second aspect relates to a performance evaluation method for evaluating the performance of an evaluation target computer executed by a computer.
  • a plurality of workloads having different sizes with respect to each of a plurality of single workload types are sequentially generated on the evaluation target computer.
  • the next performance data is acquired, and multiple composite workloads combining different workloads corresponding to the composite workload type are sequentially placed on the evaluation target computer for the composite workload type combining at least two different single workload types
  • Generating the primary performance model for each single workload type by acquiring the composite performance data of the evaluation target computer during the generation of the composite workload and modeling the acquired primary performance data Based on the acquired composite performance data and the generated primary performance model And generating a composite performance model for over de species.
  • the third aspect is a performance evaluation program that causes a computer to realize each configuration included in the second aspect.
  • a computer-readable recording medium recording the performance evaluation program according to the third aspect may be used.
  • This recording medium includes a non-transitory tangible medium.
  • FIG. 1 is a diagram conceptually illustrating a configuration example of a performance evaluation system in the first embodiment.
  • FIG. 2 is a diagram conceptually illustrating a processing configuration example of the performance evaluation device and the server device in the first embodiment.
  • FIG. 3 is a diagram conceptually illustrating a processing configuration example of the performance evaluation device and the server device in the second embodiment.
  • FIG. 4 is a diagram illustrating an example of a workload plan file of a single workload type related to the CPU.
  • FIG. 5 is a diagram illustrating an example of a workload plan file of a single workload type related to network transmission.
  • FIG. 6 is a diagram illustrating an example of a workload plan file of the secondary composite workload type.
  • FIG. 7 is a flowchart showing an operation example of the performance evaluation system in the second embodiment.
  • FIG. 8 is a diagram conceptually illustrating a processing configuration example of the server apparatus in the third embodiment.
  • FIG. 1 is a diagram conceptually illustrating a configuration example of a performance evaluation system in the first embodiment.
  • the performance evaluation system 1 according to the first embodiment includes a performance evaluation apparatus 10 and a server apparatus 20 that is a target of performance evaluation.
  • the performance evaluation device 10 evaluates the performance of the server device 20 regarding a predetermined computer resource.
  • the performance evaluation device 10 evaluates performance related to a predetermined computer resource by generating a performance model.
  • the performance evaluation apparatus 10 includes a RAM (Random Access Memory) 12, a ROM (Read Only Memory, not shown), a memory such as a hard disk (HDD) 13, a CPU (Central Processing Unit) 11, An output interface 14 and the like are included. These hardware elements are connected by a bus 15, for example.
  • the input / output interface 14 includes a network interface that enables communication of a predetermined communication method between the performance evaluation device 10 and the server device 20.
  • the hardware configuration of the server device 20 is the same as that of the performance evaluation device 10.
  • the present embodiment does not limit the hardware configurations of the performance evaluation device 10 and the server device 20.
  • the computer that is the target of performance evaluation is not limited to the server device, but may be a computer.
  • the performance evaluation apparatus 10 and the server apparatus 20 each implement the processing units illustrated in FIG. 2 by executing a program stored in a memory by the CPU 11.
  • FIG. 2 is a diagram conceptually illustrating a processing configuration example of the performance evaluation device 10 and the server device 20 in the first embodiment.
  • the performance evaluation apparatus 10 includes a workload control unit 101, a data acquisition unit 102, a data analysis unit 103, a model generation unit 104, and the like.
  • the workload control unit 101 sequentially generates a plurality of workloads having different sizes on each evaluation target computer for each of a plurality of single workload types, and combines at least two different single workload types.
  • a plurality of composite workloads which are combinations of different workloads corresponding to the composite workload types, are sequentially generated on the evaluation target computer.
  • the workload means a processing load using a certain computer resource, such as a CPU load, a network transmission load, a network reception load, a hard disk reading load, a hard disk writing load, an image processing load, and the like.
  • the single workload type means the type of processing load (workload).
  • this type of floating-point operation corresponds to a single workload type.
  • a test image display process is used as a graphic-related workload, the type of test image display process corresponds to a single workload type.
  • a single workload type indicating a floating-point operation
  • a plurality of floating-point operations with different calculation amounts or calculation loads are prepared, and each of these floating-point operations corresponds to each workload.
  • the composite workload type means a type in which the workload types of two different single workloads executed in parallel on the server device 20 to be evaluated are combined.
  • a combination of two different single workload types of floating point arithmetic and network transmission processing corresponds to one composite workload type.
  • a composite workload type composed of floating point arithmetic and network transmission processing a combination of a floating point arithmetic having a certain amount of computation and a network transmission processing having a certain amount of transmission is each composite workload. It corresponds to.
  • the data acquisition unit 102 acquires the primary performance data of the server device 20 in which each workload is generated and the composite performance data of the server device 20 in which the composite workload is generated.
  • the primary performance data means data indicating the operating status of a predetermined computer resource. For example, CPU usage rate, CPU usage amount, network transmission amount, network reception amount, hard disk read amount, hard disk write amount, etc. Any one or a combination of any of the above.
  • the data analysis unit 103 generates the primary performance model for each single workload type by modeling the primary performance data acquired by the data acquisition unit 102.
  • This modeling for example, a well-known statistical analysis method or the like is used.
  • the present embodiment does not limit this modeling method.
  • the model generation unit 104 generates a composite performance model for the composite workload type based on the composite performance data acquired by the data acquisition unit 102 and each primary performance model generated by the data analysis unit 103.
  • This composite performance model indicates characteristics of performance data of the server device 20 when a combination of at least two workloads corresponding to the composite workload type is executed.
  • the server device 20 includes a workload generation unit 201, a data measurement unit 202, and the like.
  • the workload generation unit 201 executes each workload and composite workload at different timings under the control of the workload control unit 101 of the performance evaluation apparatus 10. In the execution of a composite workload, each workload that constitutes the composite workload is executed in parallel.
  • the workload generation unit 201 may execute a program (task, process, etc.) corresponding to each workload, which is stored in the server device 20 in advance. Alternatively, the program may be held for each single workload type, and the workload generation unit 201 may apply the parameter sent from the workload control unit 101 to the program and execute the parameter.
  • a program task, process, etc.
  • the data measuring unit 202 measures each primary performance data during the generation of each workload and composite performance data during the generation of the composite workload.
  • the measured primary performance data and composite performance data are sent to the performance evaluation apparatus 10.
  • each workload is executed in the server device 20 according to the control of the performance evaluation device 10, and the primary performance data of the server device 20 in which each workload is generated is measured and measured. Each primary performance data is sent to the performance evaluation device 10.
  • the composite workload is executed, the composite performance data of the server device 20 in which the composite workload is generated is measured, and the composite performance data is sent to the performance evaluation device 10.
  • each primary performance model for each single workload type is generated, and based on each generated primary performance model and composite performance data.
  • a composite performance model is generated for the composite workload type.
  • the performance model composite performance model
  • the performance under actual operation of the server device 20 can be accurately evaluated.
  • the performance evaluation system 1 in the second embodiment has the same configuration as that of the first embodiment shown in FIG.
  • the performance evaluation system 1 according to the second embodiment will be described focusing on the content different from the first embodiment.
  • FIG. 3 is a diagram conceptually illustrating a processing configuration example of the performance evaluation device 10 and the server device 20 in the second embodiment.
  • the server apparatus 20 is the same as that of 1st Embodiment, description of the server apparatus 20 is abbreviate
  • the performance evaluation apparatus 10 in the second embodiment further includes a model estimation unit 105, a performance data storage unit 106, and a performance model storage unit 107 in addition to the configuration of the first embodiment.
  • Each of these new processing units is also realized, for example, by the CPU 11 executing a program stored in the memory.
  • the processing units other than the new processing units will be described below mainly on the contents different from the first embodiment.
  • the workload control unit 101 acquires information about the generated workload when generating the workload and the composite workload. This information is obtained from, for example, a workload plan file as shown in FIGS. These workload plan files may be stored in the performance evaluation device 10 or may be acquired from other devices. Each workload plan file stores information necessary to generate a single workload type workload on the server device 20.
  • FIG. 4 is a diagram showing an example of a workload plan file of a single workload type related to the CPU.
  • FIG. 5 is a diagram illustrating an example of a workload plan file of a single workload type related to network transmission.
  • a workload plan file of a single workload type information for identifying a single workload type, the number of divisions, an occurrence time, and a workload upper limit value (W_Thres_CPU, W_Thres_NWSEND) The communication destination address and the like are stored.
  • the workload upper limit value is the minimum workload value that maximizes the performance of computer resources corresponding to a single workload type.
  • the workload upper limit value of a single workload type related to the CPU is the minimum workload value at which the CPU usage rate is maximized (eg, 100%).
  • the workload upper limit value of a single workload type related to network transmission is, for example, the minimum workload value at which the bit rate is maximized.
  • the workload value indicates the size of the workload. For example, if the workload is a floating point operation, the workload value may be set to the number of floating point operations per unit time. If the workload is network transmission processing, the workload value may be set to the amount of transmission data per unit time.
  • each workload value (V_CPU (i), Each workload having V_NWSEND (k)) is generated on the server device 20.
  • V_CPU (i) i ⁇ (W_Thres_CPU / D) (Formula 1)
  • V_NWSEND (k) k ⁇ (W_Thres_NWSEND / D) (Formula 2)
  • the workload control unit 101 is a server that processes 21 (0 ⁇ i ⁇ 20) workloads each having a different workload value for each single workload type for the CPU for 60 seconds. Generated on the device 20. Thereafter, the workload control unit 101 generates 21 (0 ⁇ k ⁇ 20) workloads having different workload values for the single workload type related to network transmission on the server device 20 for 60 seconds.
  • the workload control unit 101 generates a desired workload by sending a workload execution instruction including information for identifying a single workload type, the number of divisions, an occurrence time, and a workload upper limit value to the server device 20. Also good. 4 and 5, each workload value is obtained by dividing the workload upper limit value by a predetermined number of divisions. However, a desired number of workload values are set in advance. May be.
  • the workload control unit 101 When the workload control unit 101 needs to execute a program corresponding to the workload generated on the server device 20 on another computer, the workload control unit 101 instructs the other computer to execute the program. For example, when a workload related to network reception is generated on the server device 20, a program for transmitting data to the server device 20 on another computer is required. In such a case, the workload control unit 101 controls the data transmission program to be executed on another computer before or simultaneously with generating a workload related to network reception on the server device 20.
  • the workload control unit 101 may instruct the data measurement unit 202 of the server device 20 to start measurement.
  • the workload control unit 101 instructs the data measurement unit 202 to start measurement of predetermined performance data before or simultaneously with the workload generation unit 201 executing the workload or the composite workload.
  • FIG. 6 is a diagram showing an example of a workload plan file of the secondary composite workload type.
  • the composite workload type will be referred to as a K-th order composite workload type according to the number (K) of the single workload types to be configured.
  • a composite workload in which K workloads are combined is referred to as a K-th order composite workload.
  • a workload plan of a secondary composite workload type in which a single workload type related to the CPU and a single workload type related to network transmission are combined is set.
  • the workload plan file for a composite workload type stores information that identifies the composite workload type, the number of divisions, the occurrence time, the communication destination address, and the workload upper limit value for each single workload type that constitutes the information. .
  • the workload control unit 101 sets the number of composite workloads generated for a composite workload type to a number smaller than the total number of combinations of workloads generated for each single workload type constituting the composite workload type. Set.
  • the number (22) subtracted here is a combination in which i is 0 or k is 0 in (Expression 1) and (Expression 2), and these are single workloads and not composite workloads.
  • the number of composite workloads generated for a composite workload type is particularly limited as long as it is less than the total number of workloads generated for each single workload type that constitutes the composite workload type. Not. By reducing the number of complex workloads, the present embodiment can reduce the number of measurements and reduce the measurement time.
  • the data acquisition unit 102 may acquire performance data corresponding to the type of performance to be evaluated. For example, when it is desired to finally evaluate the CPU performance, the data acquisition unit 102 may acquire performance data indicating the CPU performance. In addition, when it is desired to finally evaluate the network transmission performance, the data acquisition unit 102 may acquire performance data indicating the network transmission performance.
  • the performance data storage unit 106 stores each performance data acquired by the data acquisition unit 102.
  • the performance model storage unit 107 includes a primary performance model generated by the data analysis unit 103, a K-th order performance model generated by the model generation unit 104 (K is 2 or more), and an approximate composite estimated by the model estimation unit 105. Stores performance models, etc.
  • Each data stored in the performance data storage unit 106 and the performance model storage unit 107 is appropriately extracted and used in each processing unit.
  • each processing unit that uses each data stored in the performance data storage unit 106 and the performance model storage unit 107 from the performance data storage unit 106 and the performance model storage unit 107, It is not specified that it is extracted.
  • the model estimation unit 105 uses each primary performance model corresponding to each single workload type that constitutes the secondary composite workload type among the primary performance models generated by the data analysis unit 103, Estimate an approximate composite performance model for the next composite workload type.
  • the model estimation unit 105 estimates the approximate composite performance model, for example, by adding the primary performance models.
  • M2CPU_CPU_NWSEND ⁇ K (M1CPU_CPU (WL_CPU) + M1CPU_NWSEND (WL_NWSEND))
  • WL_CPU is a variable indicating the workload value of the CPU workload
  • WL_NWSEND is a variable indicating the workload value of the network transmission workload.
  • M1CPU_CPU is a CPU performance model for a single workload type of CPU.
  • M1CPU_NWSEND is a CPU performance model for a single workload type of network transmission.
  • K indicates a function that returns the maximum CPU performance value when the argument value exceeds the maximum CPU performance value.
  • the approximate composite performance model estimated here is a combination of the primary performance models, and therefore, the competing factors due to the simultaneous generation of two types of workloads are not considered. Therefore, there is an error between the approximate composite performance model and the actual composite performance model.
  • the model estimation unit 105 selects (K ⁇ 1) different workload types generated by the model generation unit 104 when K (K is an integer of 3 or more) single workload types is used. Using the (K-1) th order performance model for the combined (K-1) th order composite workload type, an approximate composite performance model for the Kth order composite workload type combining the K different workload types is estimated. To do. The model estimation unit 105 generates an approximate composite performance model for the K-th order composite workload type, for example, by adding the (K-1) th order performance models.
  • M2CPU_CPU_NWSEND indicates a secondary performance model for a secondary composite workload type related to a combination of a single workload type of CPU and a single workload type of network transmission.
  • M2CPU_CPU_HDDWT represents a secondary performance model for a secondary composite workload type related to a combination of a single workload type of CPU and a single workload type of hard disk writing.
  • M2CPU_NWSEND_HDDWT indicates a secondary performance model for a secondary composite workload type related to a combination of a single workload type for network transmission and a single workload type for hard disk writing.
  • K indicates a function that returns the maximum CPU performance value when the argument value exceeds the maximum CPU performance value.
  • each workload value is divided by each of the two is because of reducing duplicate performance elements is there.
  • each variable is divided by (M ⁇ 1).
  • the data analysis unit 103 models the difference data between the composite performance data acquired by the data acquisition unit 102 and the approximate composite performance data obtained from the approximate composite performance model estimated by the model estimation unit 105, thereby combining the composite data. Generate a differential data model for the workload type.
  • the difference data model generated here corresponds to an error between the approximate composite performance model and the actual composite performance model.
  • the model generation unit 104 generates a composite performance model for a composite workload type using the approximate composite performance model estimated by the model estimation unit 105 and the differential data model generated by the data analysis unit 103.
  • the model generation unit 104 generates a composite performance model for a composite workload type, for example, by adding together the approximate composite performance model and the difference data model.
  • a composite performance model M2CPU_CPU_NWSEND () for a secondary composite workload type for evaluating CPU performance can be expressed by the following equation.
  • a secondary composite workload type in which a single workload type of CPU and a single workload type of network transmission are combined is taken as an example.
  • M2CPU_CPU_NWSEND (WL_CPU, WL_NWSEND) M2CPU_CPU_NWSEND to (WL_CPU, WL_NWSEND) + M2CPU_DIFF_CPU_NWSEND (WL_CPU, WL_NWSEND)
  • M2CPU_DIFF_CPU_NWSEND (WL_CPU, WL_NWSEND) in the above formula is a difference data model for the secondary composite workload type generated by the data analysis unit 103 and combining a single workload type of CPU and a single workload type of network transmission. Indicates.
  • FIG. 7 is a flowchart showing an operation example of the performance evaluation system 1 in the second embodiment.
  • an operation when the CPU performance of the server device 20 is an evaluation target will be described as an example.
  • the computer resources of the server device 20 to be evaluated may be set in advance in the performance evaluation device 10 or may be input by the user.
  • the following operation example is applicable not only when the CPU performance is an evaluation target, but also when the performance related to other computer resources, that is, the network performance, the hard disk access performance, the graphic performance, or the like is an evaluation target.
  • the workload control unit 101 acquires information on a single workload type to be used when generating a performance model. For example, the workload control unit 101 acquires the information from the workload plan file. When three single workload types relating to CPU, network transmission, and hard disk writing are used, the workload control unit 101 sets 3 to the number M of single workload types to be used, and the variable K is set to 1 (S1, S2).
  • the workload control unit 101 selects one single workload type from among the M single workload types, and acquires the workload plan information for the selected single workload type (S3).
  • the workload plan information is acquired from the workload plan file as shown in FIGS.
  • the workload control unit 101 instructs the server device 20 to generate a plurality of workloads related to the selected single workload type based on the acquired workload plan information.
  • This instruction may include the workload plan information.
  • the workload generation unit 201 receives the instruction and executes the workload according to the instruction (S4).
  • the CPU workload with the workload value (V_CPU (0)) is executed for 60 seconds, and then the CPU workload with the workload value (V_CPU (1)) is executed for 60 seconds.
  • each workload corresponding to each of the 21 workload values is sequentially executed for 60 seconds.
  • the data measuring unit 202 measures performance data (primary performance data) indicating the CPU performance of the server device 20.
  • the CPU usage rate is measured as the primary performance data.
  • the data measuring unit 202 sends the measured primary performance data to the performance evaluation apparatus 10.
  • the data acquisition unit 102 acquires primary performance data sent from the data measurement unit 202 of the server device 20.
  • the primary performance data acquired here indicates the performance during the generation of each workload related to the selected single workload type.
  • the data analyzing unit 103 generates a primary performance model for the selected single workload type by modeling each primary performance data acquired by the data acquiring unit 102 (S5; YES). , S6).
  • a polynomial regression method is used for this modeling.
  • the primary performance model generated in this case is a polynomial, that is, a polynomial regression model expressed by a value indicating performance (objective variable) and a workload value (explanatory variable) affecting the performance model.
  • the workload control unit 101 has completed generation of the primary performance model for a certain single workload type, but has not completed processing for all the single workload types (S9; NO).
  • the single workload type is selected, and the workload plan information is acquired for the selected single workload type (S3).
  • a second order approximate composite in which a primary performance model related to CPU and a primary performance model related to network transmission are added together.
  • a secondary approximate composite performance model in which a performance model, a primary performance model related to a CPU, and a primary performance model related to hard disk writing are added together, and a primary performance model related to network transmission and a primary performance model related to hard disk writing The added second-order approximate composite performance model is estimated.
  • the workload control unit 101 acquires the workload plan information related to the secondary composite workload type (S3).
  • the workload plan information is acquired from the workload plan file as shown in FIG.
  • the workload control unit 101 instructs the server device 20 to generate a secondary composite workload according to the acquired plan information.
  • the workload generation unit 201 executes a secondary composite workload in response to the instruction (S4).
  • the workload generation unit 201 executes two workloads corresponding to the composite workload type indicated by the instruction in parallel.
  • the data measuring unit 202 measures performance data (composite performance data) during generation of the secondary composite workload in the server device 20.
  • the measured composite performance data during the generation of the secondary composite workload is acquired by the data acquisition unit 102 of the performance evaluation apparatus 10.
  • the data analysis unit 103 adds the workload value of each workload constituting the composite workload corresponding to the acquired composite performance data to the secondary approximate composite performance model already estimated by the model estimation unit 105.
  • each approximate composite performance data is acquired.
  • the data analysis unit 103 generates a differential data model by modeling the differential data between the composite performance data acquired by the data acquisition unit 102 and the acquired approximate composite performance data (S5; NO, S7). .
  • a polynomial regression method is used as described above.
  • the model generation unit 104 adds the approximate composite performance model already estimated by the model estimation unit 105 and the differential data model generated by the data analysis unit 103 to thereby add the composite performance for the secondary composite workload type.
  • a model is generated (S8).
  • the addition of the models is, for example, addition of polynomials.
  • the model estimator 105 either 3 in M C 2 pieces of secondary performance model A third-order approximate composite performance model is estimated by adding the individual combinations (S11). When M is 3 and K is 2, one third-order approximate composite performance model is generated.
  • the combined performance for a secondary composite workload type combining each single workload type for CPU and network transmission Model, a composite performance model for a secondary composite workload type combined with each CPU and hard disk write single workload type, and a combined secondary model with a network transmit and hard disk write single workload type
  • a third order approximate composite performance model obtained by adding the composite performance model for the composite workload type is estimated.
  • the model estimation unit 105 constructs a third-order approximate composite performance model
  • 1 is added to the variable K.
  • the workload control unit 101 acquires workload plan information related to a tertiary composite workload type (S3).
  • processing is performed in the same manner as the processing of the secondary composite workload type (S4, S5; NO, S7), and the composite performance model for the tertiary composite workload type is used by using the above-mentioned tertiary approximate composite performance model Is generated (S8).
  • each primary performance model for a plurality of single workload types is generated. Specifically, according to the control of the workload control unit 101, a plurality of workloads for each single workload type are sequentially executed on the server device 20 by the workload generation unit 201 for each predetermined time, and each workload is being generated. Performance data of the server device 20 is measured by the data measuring unit 202.
  • the measured performance data is acquired by the data acquisition unit 102, and the data analysis unit 103 models a plurality of performance data for each single workload type, whereby a primary performance model for each single workload type is obtained. Is generated.
  • each primary performance model is generated based on a plurality of performance data corresponding to a plurality of workloads of the same type and different sizes.
  • the greater the number of workloads (number of samples) generated with respect to a single workload type the more detailed performance data is acquired, so the accuracy of the generated primary performance model is also increased.
  • the composite workload for the composite performance model is a combination of at least two different workloads. Therefore, if the number of samples of a single workload type to be combined is increased, the number of samples of the composite workload will dramatically increase. To increase. That is, a long measurement time is usually spent to generate a highly accurate composite performance model.
  • a composite performance model is efficiently generated without degrading accuracy using a plurality of primary performance models generated as described above.
  • the number of samples for the primary performance model as described above may be set to a normally set value that does not deteriorate the accuracy of the primary performance model.
  • a K-th order performance model is generated by adding the K-th order approximate composite performance model and the difference data model (model generation unit 104).
  • the K-th order approximate composite performance model is estimated by addition of each of the K combinations in the plurality of (K-1) th order performance models (model estimation unit 105).
  • the K-th order approximate composite performance model does not take into account the competing factors due to the simultaneous generation of K workloads, and therefore there is an error with the true K-th order performance model.
  • the difference data model generated by the data analysis unit 103 is used to fill this error.
  • the difference data model is a plurality of differences between the performance data on the server device 20 during the generation of the Kth order composite workload measured by the data measuring unit 202 and the approximate composite data obtained from the Kth order approximate composite performance model. Data is generated by being modeled by the data analysis unit 103.
  • the substantial modeling process executed to generate the Kth-order performance model is a process for constructing a differential data model.
  • the complexity of the differential data model is smaller than the true Kth order performance model. Therefore, according to the second embodiment, the number of samples for generating the differential data model, that is, the number of samples of the composite workload can be reduced. This is because in order to model data showing a more complicated distribution, measurement with more measurement points is necessary.
  • a K-th order composite performance model can be efficiently generated by reducing the number of measurements.
  • the accuracy of the performance model can be maintained even if the number of measurements is reduced. This is because the complexity of the modeling target is reduced by converting the composite performance modeling for the composite workload into a differential value modeling between the approximate performance model and the true composite performance model. .
  • FIG. 8 is a diagram conceptually illustrating a processing configuration example of the server device 20 in the third embodiment.
  • the server device 20 in the third embodiment newly includes a plurality of virtual machines 260 (# 1) and 260 (# 2) and a server control unit 250 in addition to the configurations of the first embodiment and the second embodiment.
  • a general method may be used as a method for realizing the virtual machine.
  • the server control unit 250 controls the virtual machines 260 (# 1) and 260 (# 2), and responds to the instruction content from the workload control unit 101 of the performance evaluation device 10.
  • the workload generation units 201 (# 1) and 201 (# 2) are realized on the virtual machines 260 (# 1) and 260 (# 2).
  • the workload generation units 201 (# 1) and 201 (# 2) are similar to the workloads on the virtual machines 260 (# 1) and 260 (# 2), respectively, as in the first and second embodiments. Generate complex workloads.
  • the data measurement unit 202 measures the performance data of each virtual machine 260 (# 1) and 260 (# 2) and the performance data of the entire server device 20, respectively. Thereby, the data acquisition unit 102 of the performance evaluation apparatus 10 acquires the performance data of each virtual machine 260 (# 1) and 260 (# 2) and the entire performance data.
  • the processing configuration of the performance evaluation apparatus 10 may be the same as the configuration of the first embodiment and the second embodiment.
  • the third embodiment when different virtual machines are generated even for the same type of workload, they are handled as different workloads. That is, when two single workload types of CPU and network transmission are used, the CPU workload and network transmission workload generated on the virtual machine 260 (# 1), the virtual machine 260 (# 2) It is treated as if there were four single workload types: CPU workload generated above and network transmission workload.
  • the performance data of each virtual machine 260 (# 1) and 260 (# 2) acquired by the data acquisition unit 102 and the entire performance data are used.
  • the generation method of the primary performance model and the composite performance model is the same as that in the first embodiment and the second embodiment.
  • a performance model for each virtual machine can be efficiently generated without degrading accuracy.
  • the performance model is gradually generated in order from the composite workload type with a small number of combined workload types. This is to increase the efficiency without degrading the accuracy of the performance model by reducing the complexity of the differential data model for generating the next performance model.
  • the following performance model generation method may be used.
  • a method of directly generating a final third-order or higher performance model using the first-order performance model may be used. This method estimates the Kth order approximate composite performance model by adding the K primary performance models, measures the composite performance data during the generation of the Kth order composite workload, and generates a differential data model Then, the Kth order composite performance model is generated by adding the Kth order approximate composite performance model and the difference data model.
  • the competing factors generated when generating a second-order composite workload and the competing factors generated when generating a third-order compound workload are considered. Therefore, the difference data model is complicated compared to the above embodiments. Therefore, it is preferable to increase the number of samples for obtaining the differential data model as compared with the above embodiments.
  • the processing amount and the measurement time can be reduced as compared with the above embodiments.
  • a third order approximate composite performance model may be generated by adding a second order performance model and a first order performance model.
  • the differential data model is more complicated than in the above embodiments.
  • a composite workload type in which a plurality of workloads having different sizes with respect to each of a plurality of single workload types are sequentially generated on the evaluation target computer, and at least two different single workload types are combined.
  • a workload control means for sequentially generating a plurality of composite workloads combining different types of workloads corresponding to the composite workload types on the evaluation target computer, and primary performance data of the evaluation target computer during the generation of each workload, And, by modeling the data acquisition means for acquiring the composite performance data of the evaluation target computer during the generation of the composite workload, and the primary performance data acquired by the data acquisition means, the primary for each single workload type is modeled.
  • Data analysis means for generating performance models and data acquisition means Based on the primary performance model generated by more acquired composite performance data and data analyzing means, performance evaluation apparatus characterized by comprising: a model generation means for generating a composite performance model for the complex workload species, a.
  • the said workload control means is more than the total number of the combination of the workload each generate
  • the model generation means includes model estimation means for estimating an approximate composite performance model for a composite workload type using at least one of the primary performance models generated by the data analysis means, and the data
  • the analysis unit models a composite workload by modeling difference data between the composite performance data acquired by the data acquisition unit and the approximate composite performance data obtained from the approximate composite performance model estimated by the model estimation unit.
  • a differential data model for the seed, and the model generation means uses the approximate composite performance model estimated by the model estimation means and the differential data model generated by the data analysis means to The performance evaluation according to appendix 1 or 2, characterized by generating a model Location.
  • the model estimation means is a (K-1) -order composite work that combines (K-1) (K is an integer of 3 or more) different workload types generated by the model generation means.
  • Appendix 3 characterized by estimating an approximate composite performance model for a K-th order composite workload type by combining K different workload types using a (K-1) th order performance model for the load type Performance evaluation equipment.
  • the workload control means generates all the workloads for all the single workload types, and then executes the composite workloads in order from the composite workload type with the smallest number of combined workload types.
  • the performance evaluation apparatus according to any one of appendices 1 to 4, wherein the performance evaluation apparatus is generated.
  • the computer sequentially generates a plurality of workloads having different sizes on each of the plurality of single workload types on the evaluation target computer, and the primary performance data of the evaluation target computer during the generation of each workload is obtained. Acquire multiple composite workloads that combine different types of workloads corresponding to the composite workload type on the target computer, and then generate multiple composite workloads that are combined with at least two different single workload types.
  • a primary performance model for each single workload type is generated and acquired.
  • composite workflow Generating a composite performance model for the species, the performance evaluation method comprising.
  • the number of composite workloads generated for a composite workload type should be set to be smaller than the total number of combinations of workloads generated for each single workload type constituting the composite workload type.
  • the composite performance model is generated by estimating an approximate composite performance model for a composite workload type using at least one of the generated primary performance models, and the obtained composite performance data By modeling the difference data with the approximate composite performance data obtained from the above approximate composite performance model, a differential data model for the composite workload type is generated, and the estimated approximate composite performance model and the generated differential data are generated.
  • the above approximate composite performance model is estimated by combining (K-1) generated different workload types (K-1) and the following composite workload types
  • the method for evaluating performance according to appendix 8 further comprising: estimating an approximate composite performance model for a K-th order composite workload type by combining K different workload types using a (K-1) th order performance model for .
  • a workload control means for sequentially generating a plurality of composite workloads combining different types of workloads corresponding to the composite workload types on the evaluation target computer with respect to the workload type, and a primary of the evaluation target computer that is generating each workload
  • Data acquisition means for acquiring performance data and composite performance data of a computer under evaluation during generation of the composite workload, and primary performance data acquired by the data acquisition means are modeled to obtain each single workload.
  • a model generation means for generating a composite performance model for the composite workload type based on the composite performance data acquired by the data acquisition means and the primary performance model generated by the data analysis means.
  • a performance evaluation program characterized by that.
  • the said workload control means is more than the total number of the combination of the workload each generate
  • the model generation means includes model estimation means for estimating an approximate composite performance model for a composite workload type using at least one of the primary performance models generated by the data analysis means,
  • the data analysis means models the difference data between the composite performance data acquired by the data acquisition means and the approximate composite performance data obtained from the approximate composite performance model estimated by the model estimation means.
  • a differential data model for the load type is generated, and the model generation unit uses the approximate composite performance model estimated by the model estimation unit and the differential data model generated by the data analysis unit to generate a composite data for the composite workload type.
  • a performance model is generated, according to appendix 11 or 12, Performance evaluation program.
  • the model estimation means includes a (K-1) -order composite work that combines (K-1) (K is an integer of 3 or more) different workload types generated by the model generation means. Item 14. The approximate composite performance model for the Kth order composite workload type obtained by combining the K different workload types is estimated using the (K-1) th order performance model for the load type. Performance evaluation program.
  • the workload control means generates all the workloads for all of the single workload types, and then generates the composite workloads in order from the composite workload type having a small number of combined workload types. 15.
  • the performance evaluation program according to any one of appendices 11 to 14, wherein the performance evaluation program is generated.
  • a performance evaluation system comprising: the evaluation target computer including: primary performance data during generation of each workload; and data measurement means for measuring composite performance data during generation of the composite workload.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Debugging And Monitoring (AREA)

Abstract

性能評価装置は、複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し複数の複合ワークロードを評価対象コンピュータ上に順次発生させるワークロード制御手段と、各ワークロード発生中の１次性能データ、及び、複合ワークロード発生中の複合性能データを取得するデータ取得手段と、取得された１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成するデータ解析手段と、複合性能データ及び１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成するモデル生成手段と、を備える。

Description

性能評価装置及び性能評価方法
　本発明は、コンピュータの性能評価技術に関する。
　近年、仮想化技術の進歩、普及により、サービスを提供するサーバを仮想マシンとして実現する形態が増加している。これに伴い、仮想マシンを実現するサーバコンピュータ等を運用するデータセンタにおける消費電力も年々増加しており、消費電力の削減が急務になっている。
　仮想化環境においては、別々のハードウェア（コンピュータ）上で実行されていた仮想マシンを同一のハードウェア上で動作させることで、リソースの効率的な使用が可能である。しかしながら、現状、仮想マシンに対するサービスレベルを維持するために、同一ハードウェア上で実行する仮想マシンの数を過度に制限しているため、本来使えるリソースを十分活用できていない。
　サービスレベルを維持しつつ、少ない数のハードウェアに仮想マシンを集約するためには、ハードウェアのキャパシティと仮想マシンの必要キャパシティとを正確に見積もることが重要である。この見積もりの精度が低い場合、必要となるハードウェアの数が増加することになる。サービスレベルを維持するために、仮想マシンの必要キャパシティを大きく見積もらざるを得ず、同一ハードウェア上で実行させる仮想マシンの数が少なく設定されるからである。
　下記特許文献１には、異なる複数の測定条件での情報処理システムの性能試験を自動的に連続して実行できるようにする技術が提案されている。具体的には、測定条件の互いに異なる項目の設定値を任意に組み合わせて生成した性能試験データに基づいて、情報処理システムの性能試験を実行することが提案されている。
特許第３９８７３３３号
　しかしながら、上述のような手法では、計測対象の項目毎（例えば、コンピュータ資源毎）に性能試験が行われるに過ぎず、複数の項目を組み合わせた性能試験が考慮されていない。実際、仮想化環境のみでなく他の環境下においても、コンピュータ（システム）上で１つのコンピュータ資源を利用した１つの処理のみが実行されることは少なく、複数の処理が並列して実行されることが多い。
　よって、上述の手法で得られた性能データは、実運用を考慮した場合、精度が低い可能性がある。
　特に、仮想化環境では、システムや仮想マシンに対するコンフィグレーションを柔軟に変更でき、様々な性質を持った複数の仮想マシンが同一ハードウェア上で共存するため、コンピュータのキャパシティ（性能）の見積もりが非常に難しい。
　本発明の目的は、コンピュータの性能を高精度に評価する技術を提供することにある。
　本発明の各態様では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第１の態様は、評価対象コンピュータの性能を評価する性能評価装置に関する。第１の態様に係る性能評価装置は、複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを評価対象コンピュータ上に順次発生させるワークロード制御手段と、各ワークロード発生中の評価対象コンピュータの１次性能データ、及び、複合ワークロード発生中の評価対象コンピュータの複合性能データを取得するデータ取得手段と、データ取得手段により取得された１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成するデータ解析手段と、データ取得手段により取得された複合性能データ及びデータ解析手段により生成された１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成するモデル生成手段と、を備える。
　第２の態様は、コンピュータにより実行される、評価対象コンピュータの性能を評価する性能評価方法に関する。第２の態様に係る性能評価方法は、複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、各ワークロード発生中の評価対象コンピュータの１次性能データを取得し、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを評価対象コンピュータ上に順次発生させ、複合ワークロード発生中の評価対象コンピュータの複合性能データを取得し、取得された前記１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成し、取得された複合性能データ及び生成された１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成することを含む。
　第３の態様は、上記第２の態様に含まれる各構成をコンピュータに実現させる性能評価プログラムである。なお、別態様としては、第３の態様に係る性能評価プログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　上記各態様によれば、コンピュータの性能を高精度に評価する技術を提供することができる。
図１は、第１実施形態における性能評価システムの構成例を概念的に示す図である。 図２は、第１実施形態における性能評価装置及びサーバ装置の処理構成例を概念的に示す図である。 図３は、第２実施形態における性能評価装置及びサーバ装置の処理構成例を概念的に示す図である。 図４は、ＣＰＵに関する単一ワークロード種のワークロード計画ファイルの例を示す図である。 図５は、ネットワーク送信に関する単一ワークロード種のワークロード計画ファイルの例を示す図である。 図６は、２次複合ワークロード種のワークロード計画ファイルの例を示す図である。 図７は、第２実施形態における性能評価システムの動作例を示すフローチャートである。 図８は、第３実施形態におけるサーバ装置の処理構成例を概念的に示す図である。
　以下、本発明の実施の形態における性能評価システムについて図面を用いて説明する。以下に挙げた各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。
　［第１実施形態］
　図１は、第１実施形態における性能評価システムの構成例を概念的に示す図である。第１実施形態における性能評価システム１は、図１に示すように、性能評価装置１０と、性能評価の対象となるサーバ装置２０とを有する。
　性能評価システム１では、性能評価装置１０がサーバ装置２０の所定のコンピュータ資源に関する性能を評価する。性能評価装置１０は、性能モデルを生成することにより、所定のコンピュータ資源に関する性能を評価する。
　性能評価装置１０は、ハードウェア構成として、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory、図示せず）、ハードディスク（ＨＤＤ）１３等のようなメモリ、ＣＰＵ（Central Processing Unit）１１、入出力インタフェース１４等を有する。これら各ハードウェア要素は例えばバス１５により接続される。入出力インタフェース１４は、性能評価装置１０及びサーバ装置２０の間で所定通信方式の通信を可能とするネットワークインタフェースを含む。
　サーバ装置２０のハードウェア構成も性能評価装置１０と同様である。本実施形態は、性能評価装置１０及びサーバ装置２０のハードウェア構成を限定しない。また、本実施形態は、性能評価の対象となるコンピュータをサーバ装置に限定するものではなく、コンピュータであればよい。性能評価装置１０及びサーバ装置２０は、例えば、メモリに格納されるプログラムがＣＰＵ１１により実行されることにより、図２に示す各処理部をそれぞれ実現する。
　図２は、第１実施形態における性能評価装置１０及びサーバ装置２０の処理構成例を概念的に示す図である。性能評価装置１０は、図２に示すように、ワークロード制御部１０１、データ取得部１０２、データ解析部１０３、モデル生成部１０４等を有する。
　ワークロード制御部１０１は、複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し該複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを該評価対象コンピュータ上に順次発生させる。
　ここで、ワークロードとは、或るコンピュータ資源を利用する処理負荷を意味し、例えば、ＣＰＵ負荷、ネットワーク送信負荷、ネットワーク受信負荷、ハードディスク読込み負荷、ハードディスク書込み負荷、画像処理負荷等である。また、単一ワークロード種とは、処理負荷（ワークロード）の種類を意味する。
　例えば、ＣＰＵに関するワークロードとして浮動小数点演算が利用される場合には、この浮動小数点演算というタイプが単一ワークロード種に該当する。また、グラフィックに関するワークロードとしてテスト画像の表示処理が利用される場合には、そのテスト画像の表示処理というタイプが単一ワークロード種に該当する。この例によれば、浮動小数点演算を示す単一ワークロード種に関しては、演算量又は演算負荷の異なる複数の浮動小数点演算が用意され、これら各浮動小数点演算が各ワークロードに該当する。
　複合ワークロード種については、評価対象となるサーバ装置２０上で並列に実行される２つの異なる単一ワークロードのワークロード種を組み合わせた種類を意味する。例えば、浮動小数点演算とネットワーク送信処理との２つの異なる単一ワークロード種の組み合わせが、１つの複合ワークロード種に該当する。この例によれば、浮動小数点演算とネットワーク送信処理とからなる複合ワークロード種に関しては、或る演算量を持つ浮動小数点演算と或る送信量を持つネットワーク送信処理との組み合わせが各複合ワークロードに該当する。
　データ取得部１０２は、各ワークロード発生中のサーバ装置２０の１次性能データ、及び、複合ワークロード発生中のサーバ装置２０の複合性能データを取得する。ここで、１次性能データとは、所定のコンピュータ資源の稼働状況を示すデータを意味し、例えば、ＣＰＵ使用率、ＣＰＵ使用量、ネットワーク送信量、ネットワーク受信量、ハードディスク読込み量、ハードディスク書込み量等のいずれか１つ又はいずれか複数の組み合わせである。
　データ解析部１０３は、データ取得部１０２により取得された１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成する。このモデル化には、例えば、周知の統計解析手法等が利用される。本実施形態は、このモデル化手法を限定しない。
　モデル生成部１０４は、データ取得部１０２により取得された複合性能データ及びデータ解析部１０３により生成された各１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成する。この複合性能モデルは、その複合ワークロード種に対応する少なくとも２つのワークロードの組み合わせが実行された際のサーバ装置２０の性能データの特性を示す。
　サーバ装置２０は、ワークロード生成部２０１、データ計測部２０２等を有する。
　ワークロード生成部２０１は、性能評価装置１０のワークロード制御部１０１の制御により、各ワークロード及び複合ワークロードをそれぞれ異なるタイミングで実行する。複合ワークロードの実行では、その複合ワークロードを構成する各ワークロードが並列に実行される。
　ワークロード生成部２０１は、サーバ装置２０に予め保持される、各ワークロードに対応するプログラム（タスク、プロセス等）を実行するようにしてもよい。また、単一ワークロード種毎にそれぞれ当該プログラムが保持され、ワークロード生成部２０１が、ワークロード制御部１０１から送られるパラメータを当該プログラムに適用して実行するようにしてもよい。
　データ計測部２０２は、各ワークロード発生中の各１次性能データ、及び、複合ワークロード発生中の複合性能データを計測する。計測された１次性能データ及び複合性能データは、性能評価装置１０へ送られる。
　〔第１実施形態の作用及び効果〕
　第１実施形態では、性能評価装置１０の制御に応じて、サーバ装置２０において、各ワークロードが実行され、各ワークロード発生中のサーバ装置２０の１次性能データがそれぞれ計測され、計測された各１次性能データがそれぞれ性能評価装置１０に送られる。同様に、複合ワークロードが実行された場合には、その複合ワークロード発生中のサーバ装置２０の複合性能データが計測され、その複合性能データが性能評価装置１０に送られる。
　性能評価装置１０では、各１次性能データをモデル化することにより、各単一ワークロード種に対する各１次性能モデルがそれぞれ生成され、生成された各１次性能モデル及び複合性能データに基づいて、複合ワークロード種に対する複合性能モデルが生成される。
　このように、第１実施形態によれば、複数の処理負荷が並列して発生している状況下の性能モデル（複合性能モデル）を生成することができる。よって、第１実施形態によれば、サーバ装置２０の実際の運用下の性能を正確に評価することができる。
　［第２実施形態］
　第２実施形態における性能評価システム１は、図１に示す上述の第１形態と同様の構成を有する。以下、第２実施形態における性能評価システム１について第１実施形態と異なる内容を中心に説明する。
　図３は、第２実施形態における性能評価装置１０及びサーバ装置２０の処理構成例を概念的に示す図である。なお、サーバ装置２０は、第１実施形態と同様であるため、サーバ装置２０の説明はここでは省略する。
　第２実施形態における性能評価装置１０は、第１実施形態の構成に加えて、更に、モデル推定部１０５、性能データ格納部１０６、性能モデル格納部１０７を有する。これら新たな各処理部についても、例えば、メモリに格納されるプログラムがＣＰＵ１１により実行されることで実現される。新たな各処理部以外の処理部についても、第１実施形態と異なる内容を中心に以下に説明する。
　ワークロード制御部１０１は、ワークロード及び複合ワークロードを発生させるにあたり、発生させるワークロードについての情報を取得する。この情報は、例えば、図４、図５及び図６に示されるようなワークロード計画ファイルから取得される。これらワークロード計画ファイルは、性能評価装置１０に格納されていてもよいし、他の装置から取得されてもよい。各ワークロード計画ファイルには、単一ワークロード種のワークロードをサーバ装置２０上で発生させるために必要な情報がそれぞれ格納される。
　図４は、ＣＰＵに関する単一ワークロード種のワークロード計画ファイルの例を示す図である。図５は、ネットワーク送信に関する単一ワークロード種のワークロード計画ファイルの例を示す図である。図４及び図５に示すように、例えば、単一ワークロード種のワークロード計画ファイルには、単一ワークロード種を識別する情報、分割数、発生時間、ワークロード上限値（Ｗ＿Ｔｈｒｅｓ＿ＣＰＵ、Ｗ＿Ｔｈｒｅｓ＿ＮＷＳＥＮＤ）、通信先アドレス等が格納される。
　ワークロード上限値は、単一ワークロード種に対応するコンピュータ資源の性能が最大となる最小のワークロード値である。例えば、ＣＰＵに関する単一ワークロード種のワークロード上限値は、ＣＰＵ使用率が最大（例えば１００％）になる最小のワークロード値である。ネットワーク送信に関する単一ワークロード種のワークロード上限値は、例えば、ビットレートが最大となる最小のワークロード値である。
　ここで、ワークロード値は、そのワークロードの大きさを示す。例えば、ワークロードが浮動小数点演算であれば、そのワークロード値は、単位時間あたりの浮動小数点演算回数に設定されてもよい。また、ワークロードがネットワーク送信処理であれば、そのワークロード値は、単位時間あたりの送信データ量に設定されてもよい。
　ワークロード制御部１０１は、図４及び図５に示されるワークロード計画ファイルを参照した場合、例えば、以下の（式１）及び（式２）で示される各ワークロード値（Ｖ＿ＣＰＵ（ｉ）、Ｖ＿ＮＷＳＥＮＤ（ｋ））を持つ各ワークロードをサーバ装置２０上に発生させる。
　Ｄは分割数を示し、ｉ及びｋは、０以上かつ分割数以下の整数である。
　Ｖ＿ＣＰＵ（ｉ）＝ｉ×（Ｗ＿Ｔｈｒｅｓ＿ＣＰＵ／Ｄ）　　（式１）
　Ｖ＿ＮＷＳＥＮＤ（ｋ）＝ｋ×（Ｗ＿Ｔｈｒｅｓ＿ＮＷＳＥＮＤ／Ｄ）　　（式２）
　図４及び図５の例によれば、ワークロード制御部１０１は、ＣＰＵに関する単一ワークロード種に関しそれぞれ異なるワークロード値を持つ２１（０≦ｉ≦２０）個のワークロードを６０秒間ずつサーバ装置２０上に発生させる。その後、ワークロード制御部１０１は、ネットワーク送信に関する単一ワークロード種に関しそれぞれ異なるワークロード値を持つ２１（０≦ｋ≦２０）個のワークロードを６０秒間ずつサーバ装置２０上に発生させる。
　ワークロード制御部１０１は、単一ワークロード種を識別する情報、分割数、発生時間、ワークロード上限値を含むワークロード実行指示をサーバ装置２０に送ることにより、所望のワークロードを発生させてもよい。また、図４及び図５の例では、各ワークロード値は、ワークロード上限値を所定の分割数で分割することで得られたが、予め所望の数のワークロード値が設定されるようにしてもよい。
　ワークロード制御部１０１は、サーバ装置２０上に発生させるワークロードに対応するプログラムを他のコンピュータ上で実行する必要がある場合には、そのプログラムを実行するように他のコンピュータへ指示する。例えば、ネットワーク受信に関するワークロードをサーバ装置２０上に発生させる場合、他のコンピュータ上でサーバ装置２０へデータ送信を行うプログラムが必要となる。このような場合、ワークロード制御部１０１は、ネットワーク受信に関するワークロードをサーバ装置２０上に発生させる前又は同時に、他のコンピュータ上でデータ送信プログラムが実行されるように制御する。
　ワークロード制御部１０１は、サーバ装置２０のデータ計測部２０２に計測の開始を指示するようにしてもよい。この場合には、ワークロード制御部１０１は、ワークロード生成部２０１がワークロード又は複合ワークロードを実行させる前又は同時に、所定の性能データの計測の開始をデータ計測部２０２に指示する。
　図６は、２次複合ワークロード種のワークロード計画ファイルの例を示す図である。以降、構成する単一ワークロード種の数（Ｋ）に応じてその複合ワークロード種をＫ次複合ワークロード種と表記する。同様に、Ｋ個のワークロードが組み合わされた複合ワークロードはＫ次複合ワークロードと表記する。
　図６に示されるファイルには、ＣＰＵに関する単一ワークロード種とネットワーク送信に関する単一ワークロード種とを組み合わせた２次複合ワークロード種のワークロード計画が設定されている。複合ワークロード種のワークロード計画ファイルには、複合ワークロード種を識別する情報、分割数、発生時間、通信先アドレス、それを構成する各単一ワークロード種のワークロード上限値が格納される。
　ワークロード制御部１０１は、複合ワークロード種に関し発生させる複合ワークロードの数を、その複合ワークロード種を構成する各単一ワークロード種に関しそれぞれ発生させるワークロードの全組み合わせ数よりも少ない数に設定する。
　図４、図５及び図６の例では、ＣＰＵ及びネットワーク送信の各単一ワークロード種に関しそれぞれ発生させるワークロードの数が２１個であるため、それらのワークロードの全組み合わせ数は、４４１（＝２１×２１）個である。ところが、複合ワークロード種に関して発生させる複合ワークロードの数は、ＣＰＵに関し発生させる１１個のワークロードと、ネットワーク送信に関し発生させる１１個のワークロードとの全組み合わせ（１２１＝１１×１１）から、単一ワークロードの数（２２）を引いた数となる。ここで減算された数（２２）は、上記（式１）及び（式２）におけるｉが０又はｋが０となる組み合わせであり、これらは単一ワークロードであり複合ワークロードではない。
　ワークロード制御部１０１は、各単一ワークロード種に関する各ワークロードをそれぞれ発生させた後、組み合わされるワークロード種の数が少ない複合ワークロード種から順に複合ワークロードをサーバ装置２０上に発生させる。図６の例によれば、２次複合ワークロードとして、ワークロード制御部１０１は、上記（式１）及び（式２）に分割数Ｄ（＝１０）を適用して得られるＶ＿ＣＰＵ（ｉ）及びＶ＿ＮＷＳＥＮＤ（ｋ）を示す各ワークロードを並列にサーバ装置２０上に発生させる。このとき、既に実行されている１つのワークロード（ｉが０又はｋが０の組み合わせ）は除かれる。
　なお、複合ワークロード種に関し発生させる複合ワークロードの数は、その複合ワークロード種を構成する各単一ワークロード種に関しそれぞれ発生させるワークロードの全組み合わせ数よりも少ない数であれば、特に限定されない。複合ワークロードの数を減らすことにより、本実施形態は、計測回数を減らし、計測時間を減らすことができる。
　データ取得部１０２は、評価対象とされる性能の種類に応じた性能データを取得するようにしてもよい。例えば、最終的にＣＰＵ性能の評価が望まれる場合には、データ取得部１０２は、ＣＰＵ性能を示す性能データを取得するようにしてもよい。また、最終的にネットワーク送信性能の評価が望まれる場合には、データ取得部１０２は、ネットワーク送信性能を示す性能データを取得するようにしてもよい。
　性能データ格納部１０６は、データ取得部１０２により取得された各性能データをそれぞれ格納する。性能モデル格納部１０７は、データ解析部１０３により生成された１次性能モデル、モデル生成部１０４により生成されたＫ（Ｋは２以上）次の性能モデル、モデル推定部１０５により推定される近似複合性能モデル等を格納する。
　性能データ格納部１０６及び性能モデル格納部１０７に格納される各データは適宜抽出され、各処理部で利用される。以降の説明では、自明であることから、性能データ格納部１０６及び性能モデル格納部１０７に格納される各データを利用する各処理部の説明において、性能データ格納部１０６及び性能モデル格納部１０７から抽出することを特に明記しない。
　モデル推定部１０５は、データ解析部１０３により生成された１次性能モデルのうち、２次複合ワークロード種を構成する各単一ワークロード種に対応する各１次性能モデルを用いて、その２次複合ワークロード種に対する近似複合性能モデルを推定する。モデル推定部１０５は、例えば、各１次性能モデルを足し合わせることにより、当該近似複合性能モデルを推定する。
　例えば、ＣＰＵ性能の評価のための２次複合ワークロード種に対する近似複合性能モデルＭ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ～（）は、以下の式で表すことができる。
　Ｍ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ～（ＷＬ＿ＣＰＵ、ＷＬ＿ＮＷＳＥＮＤ）
　＝Ｋ（Ｍ１ＣＰＵ＿ＣＰＵ（ＷＬ＿ＣＰＵ）＋Ｍ１ＣＰＵ＿ＮＷＳＥＮＤ（ＷＬ＿ＮＷＳＥＮＤ））
　ＷＬ＿ＣＰＵは、ＣＰＵワークロードのワークロード値を示す変数であり、ＷＬ＿ＮＷＳＥＮＤは、ネットワーク送信ワークロードのワークロード値を示す変数である。Ｍ１ＣＰＵ＿ＣＰＵ（ＷＬ＿ＣＰＵ）は、ＣＰＵの単一ワークロード種に対するＣＰＵ性能モデルである。Ｍ１ＣＰＵ＿ＮＷＳＥＮＤ（ＷＬ＿ＮＷＳＥＮＤ）は、ネットワーク送信の単一ワークロード種に対するＣＰＵ性能モデルである。Ｋは、引数の値がＣＰＵ性能の最大値を超える場合にはＣＰＵ性能の最大値を返す関数を示す。
　なお、ここで推定される近似複合性能モデルは、１次性能モデルを足し合わせたものであるため、２つの種類のワークロードを同時に発生させたことによる競合要素が考慮されていない。よって、近似複合性能モデルと実際の複合性能モデルとの間には誤差が存在する。
　モデル推定部１０５は、Ｋ（Ｋは３以上の整数）個の単一ワークロード種が利用される場合に、モデル生成部１０４により生成された、（Ｋ－１）個の異なるワークロード種を組み合わせた（Ｋ－１）次の複合ワークロード種に対する（Ｋ－１）次性能モデルを用いて、Ｋ個の異なるワークロード種を組み合わせたＫ次の複合ワークロード種に対する近似複合性能モデルを推定する。モデル推定部１０５は、例えば、各（Ｋ－１）次性能モデルを足し合わせることにより、当該Ｋ次複合ワークロード種に対する近似複合性能モデルを生成する。
　更に、例えば、ＣＰＵ性能の評価のための３次複合ワークロード種に対する近似複合性能モデルＭ３ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ＿ＨＤＤＷＴ～（）は、以下の式で表すことができる。
　Ｍ３ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ＿ＨＤＤＷＴ～（ＷＬ＿ＣＰＵ、ＷＬ＿ＮＷＳＥＮＤ、ＷＬ＿ＨＤＤＷＴ）
　＝Ｋ（Ｍ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ（ＷＬ＿ＣＰＵ／２、ＷＬ＿ＮＷＳＥＮＤ／２）＋Ｍ２ＣＰＵ＿ＣＰＵ＿ＨＤＤＷＴ（ＷＬ＿ＣＰＵ／２、ＷＬ＿ＨＤＤＷＴ／２）＋Ｍ２ＣＰＵ＿ＮＷＳＥＮＤ＿ＨＤＤＷＴ（ＷＬ＿ＮＷＳＥＮＤ／２、ＷＬ＿ＨＤＤＷＴ／２））
　Ｍ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ（）は、ＣＰＵの単一ワークロード種とネットワーク送信の単一ワークロード種との組み合わせに係る２次複合ワークロード種に対する２次性能モデルを示す。Ｍ２ＣＰＵ＿ＣＰＵ＿ＨＤＤＷＴ（）は、ＣＰＵの単一ワークロード種とハードディスク書き込みの単一ワークロード種との組み合わせに係る２次複合ワークロード種に対する２次性能モデルを示す。Ｍ２ＣＰＵ＿ＮＷＳＥＮＤ＿ＨＤＤＷＴ（）は、ネットワーク送信の単一ワークロード種とハードディスク書き込みの単一ワークロード種との組み合わせに係る２次複合ワークロード種に対する２次性能モデルを示す。Ｋは、引数の値がＣＰＵ性能の最大値を超える場合にはＣＰＵ性能の最大値を返す関数を示す。
　なお、上記Ｍ３ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ＿ＨＤＤＷＴ～（）における、各２次複合ワークロード種に対する２次性能モデルの変数（各ワークロード値）がそれぞれ２で除算されているのは、重複している性能要素を減じるためである。Ｍ次の複合ワークロード種に対する近似複合性能モデルの場合には、各変数（各ワークロード値）は、（Ｍ－１）で除算される。
　データ解析部１０３は、データ取得部１０２により取得された複合性能データと、モデル推定部１０５により推定された近似複合性能モデルから得られる近似複合性能データとの差分データをモデル化することにより、複合ワークロード種に対する差分データモデルを生成する。ここで生成される差分データモデルが、近似複合性能モデルと実際の複合性能モデルとの間の誤差に相当する。
　モデル生成部１０４は、モデル推定部１０５により推定された近似複合性能モデル及びデータ解析部１０３により生成された差分データモデルを用いて、複合ワークロード種に対する複合性能モデルを生成する。モデル生成部１０４は、例えば、近似複合性能モデル及び差分データモデルを足し合わせることにより、複合ワークロード種に対する複合性能モデルを生成する。
　例えば、ＣＰＵ性能の評価のための２次の複合ワークロード種に対する複合性能モデルＭ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ（）は、以下の式で表すことができる。ここでは、ＣＰＵの単一ワークロード種とネットワーク送信の単一ワークロード種とを組み合わせた２次複合ワークロード種を例に挙げる。
　Ｍ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ（ＷＬ＿ＣＰＵ、ＷＬ＿ＮＷＳＥＮＤ）
　＝Ｍ２ＣＰＵ＿ＣＰＵ＿ＮＷＳＥＮＤ～（ＷＬ＿ＣＰＵ、ＷＬ＿ＮＷＳＥＮＤ）＋Ｍ２ＣＰＵ＿ＤＩＦＦ＿ＣＰＵ＿ＮＷＳＥＮＤ（ＷＬ＿ＣＰＵ、ＷＬ＿ＮＷＳＥＮＤ）
　上記式におけるＭ２ＣＰＵ＿ＤＩＦＦ＿ＣＰＵ＿ＮＷＳＥＮＤ（ＷＬ＿ＣＰＵ、ＷＬ＿ＮＷＳＥＮＤ）は、データ解析部１０３により生成される、ＣＰＵの単一ワークロード種とネットワーク送信の単一ワークロード種とを組み合わせた２次複合ワークロード種に対する差分データモデルを示す。
　〔動作例〕
　図７は、第２実施形態における性能評価システム１の動作例を示すフローチャートである。以下の説明では、サーバ装置２０のＣＰＵ性能を評価対象とする場合の動作を例に挙げる。この評価対象とすべきサーバ装置２０のコンピュータ資源については、予め性能評価装置１０に設定されていてもよいし、ユーザにより入力されるようにしてもよい。以下の動作例は、ＣＰＵ性能を評価対象とする場合のみならず、他のコンピュータ資源に関する性能、即ち、ネットワーク性能、ハードディスクアクセス性能、グラフィック性能等を評価対象とする場合にも適用可能である。
　性能評価装置１０では、ワークロード制御部１０１が、性能モデルを生成するにあたり、利用すべき単一ワークロード種に関する情報を取得する。例えば、ワークロード制御部１０１は、ワークロード計画ファイルからその情報を取得する。なお、ＣＰＵ、ネットワーク送信及びハードディスク書き込みに関する３つの単一ワークロード種が利用される場合には、ワークロード制御部１０１は、利用すべき単一ワークロード種の数Ｍに３を設定し、変数Ｋを１に設定する（Ｓ１、Ｓ２）。
　ワークロード制御部１０１は、Ｍ個の単一ワークロード種のうちの１つの単一ワークロード種を選択し、この選択された単一ワークロード種に関しワークロード計画情報を取得する（Ｓ３）。例えば、図４及び図５に示されるようなワークロード計画ファイルから当該ワークロード計画情報が取得される。
　ワークロード制御部１０１は、上記取得されたワークロード計画情報に基づいて、当該選択された単一ワークロード種に関する複数のワークロードの発生をサーバ装置２０に指示する。この指示には、上記ワークロード計画情報が含まれるようにしてもよい。
　サーバ装置２０では、ワークロード生成部２０１がその指示を受け、その指示に応じたワークロードを実行する（Ｓ４）。図４の例によれば、ワークロード値（Ｖ＿ＣＰＵ（０））のＣＰＵワークロードが６０秒間実行され、その後、ワークロード値（Ｖ＿ＣＰＵ（１））のＣＰＵワークロードが６０秒間実行される。図４の例によれば、このように、２１個の各ワークロード値に対応する各ワークロードが６０秒間ずつ順次実行される。
　このとき、サーバ装置２０では、データ計測部２０２がサーバ装置２０のＣＰＵ性能を示す性能データ（１次性能データ）を計測している。ここでは、例えば、ＣＰＵ使用率が１次性能データとして計測される。データ計測部２０２は、計測された１次性能データを性能評価装置１０に送る。
　性能評価装置１０では、データ取得部１０２がサーバ装置２０のデータ計測部２０２から送られる１次性能データを取得する。ここで取得される１次性能データは、上記選択された単一ワークロード種に関する各ワークロード発生中の性能を示す。
　続いて、データ解析部１０３は、データ取得部１０２により取得された各１次性能データをモデル化することにより、上記選択された単一ワークロード種に対する１次性能モデルを生成する（Ｓ５；ＹＥＳ、Ｓ６）。このモデル化には、例えば、多項式回帰手法が利用される。この場合に生成される１次性能モデルは、性能を示す値（目的変数）とそれに影響を与えたワークロード値（説明変数）とで表す多項式、即ち、多項式回帰モデルとなる。
　ワークロード制御部１０１は、或る単一ワークロード種に対する１次性能モデルの生成が完了したが、全ての単一ワークロード種の処理が完了していないため（Ｓ９；ＮＯ）、２つ目の単一ワークロード種を選択し、この選択された単一ワークロード種に関しワークロード計画情報を取得する（Ｓ３）。
　以降、Ｍ個の単一ワークロード種に対するＭ個の１次性能モデルが生成されるまで（Ｓ９；ＹＥＳ）、上述と同様に、各単一ワークロード種に対する１次性能モデルの生成処理がそれぞれ実行される（Ｓ３、Ｓ４、Ｓ５；ＹＥＳ、Ｓ６）。
　全ての単一（Ｋ＝１）ワークロード種に対する１次性能モデルの生成処理が完了すると（Ｓ９；ＹＥＳ、Ｓ１０；ＮＯ）、モデル推定部１０５は、生成されたＭ個の１次性能モデルの中のいずれか２個の各組み合わせをそれぞれ足し合わせることにより、２次の近似複合性能モデルを推定する（Ｓ１１）。ここで推定される（Ｋ＋１）次の近似複合性能モデルの数は、ＭＣ（Ｋ＋１）で示される。このＣは、コンビネーションを示す。３つの単一ワークロード種が利用される場合には、３つの２次近似複合性能モデルが生成される（Ｍ＝３かつＫ＝１）。
　例えば、ＣＰＵ、ネットワーク送信及びハードディスク書き込みに関する３つの単一ワークロード種が利用される場合には、ＣＰＵに関する１次性能モデルとネットワーク送信に関する１次性能モデルとが足しあわされた２次の近似複合性能モデルと、ＣＰＵに関する１次性能モデルとハードディスク書き込みに関する１次性能モデルとが足しあわされた２次の近似複合性能モデルと、ネットワーク送信に関する１次性能モデルとハードディスク書き込みに関する１次性能モデルとが足しあわされた２次の近似複合性能モデルと、が推定される。
　モデル推定部１０５により２次の近似複合性能モデルが構築されると、変数Ｋに１が加算される（Ｓ１２）。続いて、ワークロード制御部１０１は、２次の複合ワークロード種に関するワークロード計画情報を取得する（Ｓ３）。例えば、図６のようなワークロード計画ファイルから当該ワークロード計画情報が取得される。
　ワークロード制御部１０１は、取得された計画情報に応じて、２次の複合ワークロードの発生をサーバ装置２０に指示する。サーバ装置２０では、ワークロード生成部２０１がその指示に応じて２次の複合ワークロードを実行する（Ｓ４）。即ち、ワークロード生成部２０１は、指示で示される複合ワークロード種に対応する２つのワークロードを並列に実行する。
　このとき、データ計測部２０２が、サーバ装置２０における２次の複合ワークロード発生中の性能データ（複合性能データ）を計測している。この計測された２次の複合ワークロード発生中の複合性能データは、性能評価装置１０のデータ取得部１０２により取得される。
　続いて、データ解析部１０３は、モデル推定部１０５により既に推定された２次の近似複合性能モデルに、取得された複合性能データに対応する複合ワークロードを構成する各ワークロードのワークロード値を適用することにより、各近似複合性能データをそれぞれ取得する。データ解析部１０３は、データ取得部１０２により取得された複合性能データと、取得された近似複合性能データとの差分データをモデル化することにより、差分データモデルを生成する（Ｓ５；ＮＯ、Ｓ７）。このモデル化にも、例えば、上述と同様に、多項式回帰手法が利用される。
　続いて、モデル生成部１０４は、モデル推定部１０５により既に推定された近似複合性能モデル及びデータ解析部１０３により生成された差分データモデルを足し合わせることにより、２次の複合ワークロード種に対する複合性能モデルを生成する（Ｓ８）。このモデル同士の足し合わせは、例えば、多項式同士の足し算となる。
　以降、ＭＣ２個の２次性能モデルが生成されるまで（Ｓ９；ＹＥＳ）、上述と同様に、各２次の複合ワークロード種に対する複合性能モデルの生成処理がそれぞれ実行される（Ｓ３、Ｓ４、Ｓ５；ＮＯ、Ｓ７、Ｓ８）。
　全ての２次の複合ワークロード種に対する複合性能モデルの生成処理が完了すると（Ｓ９；ＹＥＳ、Ｓ１０；ＮＯ）、モデル推定部１０５は、ＭＣ２個の２次性能モデルの中のいずれか３個の各組み合わせをそれぞれ足し合わせることにより、３次の近似複合性能モデルを推定する（Ｓ１１）。Ｍが３でＫが２の場合には、１つの３次近似複合性能モデルが生成される。
　なお、Ｍが２の場合には、上述のように３次近似複合性能モデルが生成されることなく、処理は終了される（Ｓ１０；ＹＥＳ）。
　例えば、ＣＰＵ、ネットワーク送信及びハードディスク書き込みに関する３つの単一ワークロード種が利用される場合には、ＣＰＵ及びネットワーク送信の各単一ワークロード種が組み合わされた２次の複合ワークロード種に対する複合性能モデルと、ＣＰＵ及びハードディスク書き込みの各単一ワークロード種が組み合わされた２次の複合ワークロード種に対する複合性能モデルと、ネットワーク送信及びハードディスク書き込みの各単一ワークロード種が組み合わされた２次の複合ワークロード種に対する複合性能モデルと、が足しあわされた３次の近似複合性能モデルが推定される。
　モデル推定部１０５により３次の近似複合性能モデルが構築されると、変数Ｋに１が加算される。続いて、ワークロード制御部１０１は、３次の複合ワークロード種に関するワークロード計画情報を取得する（Ｓ３）。以降、２次の複合ワークロード種の処理と同様に処理され（Ｓ４、Ｓ５；ＮＯ、Ｓ７）、上記３次の近似複合性能モデルを利用して、３次の複合ワークロード種に対する複合性能モデルが生成される（Ｓ８）。
　このように最終的に望まれるＭ次の複合ワークロード種に対する複合性能モデルが生成されるまで、上述のような処理が繰り返される。
　〔第２実施形態の作用及び効果〕
　上述のように、第２実施形態における性能評価システム１では、まず、複数の単一ワークロード種に対する各１次性能モデルが生成される。具体的には、ワークロード制御部１０１の制御に応じて、単一ワークロード種毎の複数ワークロードがワークロード生成部２０１によってサーバ装置２０上に所定時間ずつ順次実行され、各ワークロード発生中のサーバ装置２０の性能データがデータ計測部２０２によってそれぞれ計測される。
　計測された性能データはデータ取得部１０２によって取得され、データ解析部１０３が、単一ワークロード種毎に複数の性能データをそれぞれモデル化することにより、各単一ワークロード種に対する１次性能モデルを生成する。
　このように、第２実施形態では、各１次性能モデルは、同一種で大きさの異なる複数のワークロードに対応する複数の性能データに基づいてそれぞれ生成される。ここで、単一ワークロード種に関し発生させるワークロードの数（サンプル数）が大きい程、詳細な性能データが取得されるため、生成される１次性能モデルの精度も高くなる。
　ところで、複合性能モデルのための複合ワークロードは、少なくとも２つの異種のワークロードの組み合わせであるため、組み合わせられる単一ワークロード種のサンプル数を増やすと、複合ワークロードのサンプル数は飛躍的に増加する。つまり、精度の高い複合性能モデルの生成には、通常、長い計測時間が費やされる。
　一方、計測時間を削減するために、当該サンプル数を減らした場合には、得られる性能データの数が少なくなるため、１次性能モデル及び複合性能モデルの精度が劣化することになる。
　そこで、第２実施形態は、上述のように生成された複数の１次性能モデルを用いて、精度を劣化させることなく効率よく複合性能モデルを生成する。なお、上述のような１次性能モデルのためのサンプル数は、１次性能モデルの精度が劣化しない程度の通常設定される値に設定されればよい。
　第２実施形態では、Ｋを２以上の整数とすると、Ｋ次の近似複合性能モデルと差分データモデルとの足し算により、Ｋ次の性能モデルを生成する（モデル生成部１０４）。
　Ｋ次の近似複合性能モデルは、複数の（Ｋ－１）次の性能モデルの中のＫ個の各組み合わせの足し算により推定される（モデル推定部１０５）。但し、Ｋ次の近似複合性能モデルは、Ｋ個のワークロードを同時に発生させたことによる競合要素が考慮されていないため、真のＫ次性能モデルとの間に誤差がある。
　第２実施形態では、この誤差を埋めるために、データ解析部１０３により生成される上記差分データモデルが利用される。差分データモデルは、データ計測部２０２により計測された、Ｋ次の複合ワークロード発生中のサーバ装置２０上の性能データと、Ｋ次の近似複合性能モデルから得られる近似複合データとの複数の差分データがデータ解析部１０３によりモデル化されることにより生成される。
　このように、第２実施形態では、Ｋ次の性能モデルを生成するために実行される実質的なモデル化処理は、差分データモデル構築のための処理である。差分データモデルの複雑さは、真のＫ次の性能モデルより小さい。従って、第２実施形態によれば、差分データモデルを生成するためのサンプル数、即ち、複合ワークロードのサンプル数を削減することができる。より複雑な分布を示すデータをモデル化するためには、より多くの計測点による計測が必要であるからである。
　サンプル数を削減することができれば、計測時間の削減にも繋がる。従って、第２実施形態によれば、Ｋ次の複合性能モデルを計測回数を削減することにより効率的に生成することができる。但し、第２実施形態によれば、計測回数を削減しても、性能モデルの精度を維持することができる。これは、複合ワークロードに対する複合性能モデル化を、近似性能モデルと真の複合性能モデルとの差分値のモデル化へ変換することにより、モデル化の対象の複雑さを軽減しているからである。
　〔第３実施形態〕
　第３実施形態では、上述の各実施形態における評価対象であるサーバ装置２０が仮想マシン環境を提供可能である場合の例を挙げる。以下、第３実施形態について、上述の各実施形態と異なる内容を中心に説明する。
　図８は、第３実施形態におけるサーバ装置２０の処理構成例を概念的に示す図である。第３実施形態におけるサーバ装置２０は、第１実施形態及び第２実施形態の構成に加えて、複数の仮想マシン２６０（＃１）及び２６０（＃２）、サーバ制御部２５０を新たに有する。仮想マシンの実現手法は一般的な手法が利用されればよい。
　第３実施形態におけるサーバ装置２０では、サーバ制御部２５０が、各仮想マシン２６０（＃１）及び２６０（＃２）を制御し、性能評価装置１０のワークロード制御部１０１からの指示内容に応じて、ワークロード生成部２０１（＃１）及び２０１（＃２）を各仮想マシン２６０（＃１）及び２６０（＃２）上に実現させる。
　ワークロード生成部２０１（＃１）及び２０１（＃２）はそれぞれ、第１実施形態及び第２実施形態と同様に、各仮想マシン２６０（＃１）及び２６０（＃２）上にワークロード又は複合ワークロードを発生させる。
　データ計測部２０２は、各仮想マシン２６０（＃１）及び２６０（＃２）の各性能データ、並びに、サーバ装置２０全体の性能データをそれぞれ計測する。これにより、性能評価装置１０のデータ取得部１０２は、各仮想マシン２６０（＃１）及び２６０（＃２）の各性能データ、並びに全体の性能データをそれぞれ取得する。
　性能評価装置１０の処理構成は、第１実施形態及び第２実施形態の構成と同様であればよい。但し、第３実施形態では、同一種のワークロードでも発生させる仮想マシンが異なる場合、異なるワークロードとして扱われる。即ち、ＣＰＵ及びネットワーク送信の２つの単一ワークロード種が利用される場合には、仮想マシン２６０（＃１）上で発生されたＣＰＵワークロード及びネットワーク送信ワークロード、仮想マシン２６０（＃２）上で発生されたＣＰＵワークロード及びネットワーク送信ワークロードの４つの単一ワークロード種が存在するものとして処理される。
　データ解析部１０３におけるモデル化においては、データ取得部１０２により取得された各仮想マシン２６０（＃１）及び２６０（＃２）の各性能データ、並びに全体の性能データが用いられる。１次性能モデル及び複合性能モデルの生成手法については第１実施形態及び第２実施形態と同様である。
　このように、第３実施形態によれば、仮想マシン毎の性能モデルを精度を劣化させることなく効率よく生成することができる。
　［変形例］
　上述の各実施形態は、組み合わされるワークロード種の数が少ない複合ワークロード種から順に、漸次的に性能モデルを生成した。これは、各次の性能モデルを生成するための差分データモデルの複雑さを低減することにより、性能モデルの精度を劣化させることなく効率を上げるためであった。
　しかしながら、評価対象とする性能の種類等によれば、異種のワークロード同士の競合に関する要素が性能モデルの精度の高さに与える影響が小さい場合もあり得る。このような場合、上述の各実施形態のように漸次的な生成手法ではなく、以下のような性能モデルの生成手法を用いるようにしてもよい。
　１つ目として、１次性能モデルを用いて最終的な３次以上の性能モデルを直接生成する手法が取られてもよい。この手法は、Ｋ個の１次性能モデルを足し合わせることにより、Ｋ次の近似複合性能モデルを推定し、Ｋ次の複合ワークロードの発生中の複合性能データを計測し、差分データモデルを生成し、Ｋ次の近似複合性能モデルと差分データモデルとを足し合わせることによりＫ次の複合性能モデルを生成する。
　この手法では、例えば、３次の性能モデルを生成する際には、２次の複合ワークロードを発生させる際に生じる競合要素と、３次の複合ワークロードを発生させる際に生じる競合要素が考慮されないため、当該差分データモデルが上記各実施形態と比べて複雑になる。よって、差分データモデルを得るためのサンプル数は、上記各実施形態と比べて多くすることが好ましい。しかしながら、この手法によれば、中間次数の複合ワークロードの計測時間が省かれるため、上記各実施形態と比べて処理量及び計測時間を少なくすることができる。
　２つ目として、Ｋ次の近似複合性能モデルを推定する場合、（Ｋ－１）次の性能モデルのみでなく、（Ｋ－２）以下の次数の性能モデルも利用する手法が取られてもよい。具体的には、例えば、２次の性能モデルと１次性能モデルとを足し合わせることで、３次の近似複合性能モデルを生成するようにしてもよい。なお、この手法においても、１つ目の手法と同様に、考慮されない競合要素が存在することになるため、当該差分データモデルが上記各実施形態と比べて複雑になる。
　なお、上記実施形態の説明には、複数のフローチャートを用いており、それぞれに複数のステップ（処理）を順番に記載しているが、その記載の順番は、本実施形態で実行される処理ステップの各順番を必ずしも限定するものではない。本実施形態では、図示される処理ステップの順番を内容的に支障しない範囲で変更することができる。また、上述した実施形態及び変形例は、その内容が相反しない範囲で組み合わせることができる。
　上記の各実施形態及び各変形例の一部又は全部は、以下の付記のようにも記載され得る。但し、各実施形態及び各変形例が以下の記載に限定されるものではない。
　（付記１）複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを評価対象コンピュータ上に順次発生させるワークロード制御手段と、各ワークロード発生中の評価対象コンピュータの１次性能データ、及び、複合ワークロード発生中の評価対象コンピュータの複合性能データを取得するデータ取得手段と、データ取得手段により取得された１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成するデータ解析手段と、データ取得手段により取得された複合性能データ及びデータ解析手段により生成された１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成するモデル生成手段と、を備えることを特徴とする性能評価装置。
　（付記２）上記ワークロード制御手段は、複合ワークロード種に関し発生させる複合ワークロードの数を、複合ワークロード種を構成する各単一ワークロード種に関しそれぞれ発生させるワークロードの全組み合わせ数よりも少ない数に設定することを特徴とする付記１に記載の性能評価装置。
　（付記３）上記モデル生成手段は、上記データ解析手段により生成された１次性能モデルの少なくとも１つを用いて、複合ワークロード種に対する近似複合性能モデルを推定するモデル推定手段を含み、上記データ解析手段は、上記データ取得手段により取得された複合性能データと、上記モデル推定手段により推定された近似複合性能モデルから得られる近似複合性能データとの差分データをモデル化することにより、複合ワークロード種に対する差分データモデルを生成し、上記モデル生成手段は、上記モデル推定手段により推定された近似複合性能モデル及び上記データ解析手段により生成された差分データモデルを用いて、複合ワークロード種に対する複合性能モデルを生成する、ことを特徴とする付記１又は２に記載の性能評価装置。
　（付記４）上記モデル推定手段は、上記モデル生成手段により生成された、（Ｋ－１）個（Ｋは３以上の整数）の異なるワークロード種を組み合わせた（Ｋ－１）次の複合ワークロード種に対する（Ｋ－１）次性能モデルを用いて、Ｋ個の異なるワークロード種を組み合わせたＫ次の複合ワークロード種に対する近似複合性能モデルを推定する、ことを特徴とする付記３に記載の性能評価装置。
　（付記５）上記ワークロード制御手段は、各単一ワークロード種の全てに関しそれぞれ全てのワークロードを発生させた後、組み合わされるワークロード種の数が少ない複合ワークロード種から順に複合ワークロードを発生させることを特徴とする付記１から４のいずれか１つに記載の性能評価装置。
　（付記６）コンピュータが、複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、各ワークロード発生中の評価対象コンピュータの１次性能データを取得し、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを評価対象コンピュータ上に順次発生させ、複合ワークロード発生中の評価対象コンピュータの複合性能データを取得し、取得された上記１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成し、取得された複合性能データ及び生成された１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成する、ことを含む性能評価方法。
　（付記７）複合ワークロード種に関し発生させる複合ワークロードの数は、複合ワークロード種を構成する各単一ワークロード種に関しそれぞれ発生させるワークロードの全組み合わせ数よりも少ない数に設定されることを特徴とする付記６に記載の性能評価方法。
　（付記８）上記複合性能モデルの生成は、生成された１次性能モデルの少なくとも１つを用いて、複合ワークロード種に対する近似複合性能モデルを推定し、取得された上記複合性能データと、推定された上記近似複合性能モデルから得られる近似複合性能データとの差分データをモデル化することにより、複合ワークロード種に対する差分データモデルを生成し、推定された近似複合性能モデル及び生成された差分データモデルを用いて、複合ワークロード種に対する複合性能モデルを生成する、ことを含む付記６又は７に記載の性能評価方法。
　（付記９）上記近似複合性能モデルの推定は、生成された、（Ｋ－１）個（Ｋは３以上の整数）の異なるワークロード種を組み合わせた（Ｋ－１）次の複合ワークロード種に対する（Ｋ－１）次性能モデルを用いて、Ｋ個の異なるワークロード種を組み合わせたＫ次の複合ワークロード種に対する近似複合性能モデルを推定する、ことを含む付記８に記載の性能評価方法。
　（付記１０）各単一ワークロード種の全てに関しそれぞれ全てのワークロードを発生させた後、組み合わされるワークロード種の数が少ない複合ワークロード種から順に複合ワークロードを発生させることを特徴とする付記６から９のいずれか１つに記載の性能評価方法。
　（付記１１）コンピュータに、複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを評価対象コンピュータ上に順次発生させるワークロード制御手段と、各ワークロード発生中の評価対象コンピュータの１次性能データ、及び、複合ワークロード発生中の評価対象コンピュータの複合性能データを取得するデータ取得手段と、上記データ取得手段により取得された１次性能データをモデル化することにより、各単一ワークロード種に対する１次性能モデルをそれぞれ生成するデータ解析手段と、上記データ取得手段により取得された複合性能データ及び上記データ解析手段により生成された１次性能モデルに基づいて、複合ワークロード種に対する複合性能モデルを生成するモデル生成手段と、を実現させることを特徴とする性能評価プログラム。
　（付記１２）上記ワークロード制御手段は、複合ワークロード種に関し発生させる複合ワークロードの数を、複合ワークロード種を構成する各単一ワークロード種に関しそれぞれ発生させるワークロードの全組み合わせ数よりも少ない数に設定する、ことを特徴とする付記１１に記載の性能評価プログラム。
　（付記１３）上記モデル生成手段は、上記データ解析手段により生成された１次性能モデルの少なくとも１つを用いて、複合ワークロード種に対する近似複合性能モデルを推定するモデル推定手段、を含み、上記データ解析手段は、上記データ取得手段により取得された複合性能データと、上記モデル推定手段により推定された近似複合性能モデルから得られる近似複合性能データとの差分データをモデル化することにより、複合ワークロード種に対する差分データモデルを生成し、上記モデル生成手段は、上記モデル推定手段により推定された近似複合性能モデル及び上記データ解析手段により生成された差分データモデルを用いて、複合ワークロード種に対する複合性能モデルを生成する、ことを特徴とする付記１１又は１２に記載の性能評価プログラム。
　（付記１４）上記モデル推定手段は、上記モデル生成手段により生成された、（Ｋ－１）個（Ｋは３以上の整数）の異なるワークロード種を組み合わせた（Ｋ－１）次の複合ワークロード種に対する（Ｋ－１）次性能モデルを用いて、Ｋ個の異なるワークロード種を組み合わせたＫ次の複合ワークロード種に対する近似複合性能モデルを推定する、ことを特徴とする付記１３に記載の性能評価プログラム。
　（付記１５）上記ワークロード制御手段は、各単一ワークロード種の全てに関しそれぞれ全てのワークロードを発生させた後、組み合わされるワークロード種の数が少ない複合ワークロード種から順に複合ワークロードを発生させることを特徴とする付記１１から１４のいずれか１つに記載の性能評価プログラム。
　（付記１６）上記付記１から５のいずれか１つに記載の性能評価装置と、上記ワークロード制御手段の制御により、各ワークロード及び複合ワークロードをそれぞれ異なるタイミングで実行するワークロード生成手段と、各ワークロード発生中の各一次性能データ、及び、複合ワークロード発生中の複合性能データを計測するデータ計測手段と、を含む上記評価対象コンピュータと、を備える性能評価システム。
　（付記１７）付記１１から１５のいずれか１つに記載の性能評価プログラムを記録したコンピュータが読み取り可能な記録媒体。
　この出願は、２０１１年１月６日に出願された日本出願特願２０１１－００１４６７を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (7)

  1. 　複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し該複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを該評価対象コンピュータ上に順次発生させるワークロード制御手段と、
    　前記各ワークロード発生中の前記評価対象コンピュータの１次性能データ、及び、前記複合ワークロード発生中の前記評価対象コンピュータの複合性能データを取得するデータ取得手段と、
    　前記データ取得手段により取得された前記１次性能データをモデル化することにより、前記各単一ワークロード種に対する１次性能モデルをそれぞれ生成するデータ解析手段と、
    　前記データ取得手段により取得された前記複合性能データ及び前記データ解析手段により生成された前記１次性能モデルに基づいて、前記複合ワークロード種に対する複合性能モデルを生成するモデル生成手段と、
    　を備えることを特徴とする性能評価装置。
  2. 　前記ワークロード制御手段は、前記複合ワークロード種に関し発生させる複合ワークロードの数を、前記複合ワークロード種を構成する各単一ワークロード種に関しそれぞれ発生させるワークロードの全組み合わせ数よりも少ない数に設定する、
    　ことを特徴とする請求項１に記載の性能評価装置。
  3. 　前記モデル生成手段は、
    　　前記データ解析手段により生成された前記１次性能モデルの少なくとも１つを用いて、前記複合ワークロード種に対する近似複合性能モデルを推定するモデル推定手段、
    　を含み、
    　前記データ解析手段は、前記データ取得手段により取得された前記複合性能データと、前記モデル推定手段により推定された前記近似複合性能モデルから得られる近似複合性能データとの差分データをモデル化することにより、前記複合ワークロード種に対する差分データモデルを生成し、
    　前記モデル生成手段は、前記モデル推定手段により推定された前記近似複合性能モデル及び前記データ解析手段により生成された前記差分データモデルを用いて、前記複合ワークロード種に対する複合性能モデルを生成する、
    　ことを特徴とする請求項１又は２に記載の性能評価装置。
  4. 　前記モデル推定手段は、前記モデル生成手段により生成された、（Ｋ－１）個（Ｋは３以上の整数）の異なるワークロード種を組み合わせた（Ｋ－１）次の複合ワークロード種に対する（Ｋ－１）次性能モデルを用いて、Ｋ個の異なるワークロード種を組み合わせたＫ次の複合ワークロード種に対する近似複合性能モデルを推定する、
    　ことを特徴とする請求項３に記載の性能評価装置。
  5. 　前記ワークロード制御手段は、前記各単一ワークロード種の全てに関しそれぞれ全てのワークロードを発生させた後、組み合わされるワークロード種の数が少ない複合ワークロード種から順に前記複合ワークロードを発生させることを特徴とする請求項１から４のいずれか１項に記載の性能評価装置。
  6. 　コンピュータが、
    　複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、
    　前記各ワークロード発生中の前記評価対象コンピュータの１次性能データを取得し、
    　少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し該複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを該評価対象コンピュータ上に順次発生させ、
    　前記複合ワークロード発生中の前記評価対象コンピュータの複合性能データを取得し、
    　取得された前記１次性能データをモデル化することにより、前記各単一ワークロード種に対する１次性能モデルをそれぞれ生成し、
    　取得された前記複合性能データ及び生成された前記１次性能モデルに基づいて、前記複合ワークロード種に対する複合性能モデルを生成する、
    　ことを含む性能評価方法。
  7. 　コンピュータに、
    　複数の単一ワークロード種の各々に関し大きさの異なる複数のワークロードを評価対象コンピュータ上に順次発生させ、かつ、少なくとも２つの異なる単一ワークロード種を組み合わせた複合ワークロード種に関し該複合ワークロード種に対応する異種のワークロードを組み合わせた複数の複合ワークロードを該評価対象コンピュータ上に順次発生させるワークロード制御手段と、
    　前記各ワークロード発生中の前記評価対象コンピュータの１次性能データ、及び、前記複合ワークロード発生中の前記評価対象コンピュータの複合性能データを取得するデータ取得手段と、
    　前記データ取得手段により取得された前記１次性能データをモデル化することにより、前記各単一ワークロード種に対する１次性能モデルをそれぞれ生成するデータ解析手段と、
    　前記データ取得手段により取得された前記複合性能データ及び前記データ解析手段により生成された前記１次性能モデルに基づいて、前記複合ワークロード種に対する複合性能モデルを生成するモデル生成手段と、
    　を実現させることを特徴とする性能評価プログラム。
PCT/JP2011/007343 2011-01-06 2011-12-28 性能評価装置及び性能評価方法 WO2012093469A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/978,412 US9529688B2 (en) 2011-01-06 2011-12-28 Performance evaluation device and performance evaluation method
JP2012551765A JPWO2012093469A1 (ja) 2011-01-06 2011-12-28 性能評価装置及び性能評価方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011001467 2011-01-06
JP2011-001467 2011-01-06

Publications (1)

Publication Number Publication Date
WO2012093469A1 true WO2012093469A1 (ja) 2012-07-12

Family

ID=46457337

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007343 WO2012093469A1 (ja) 2011-01-06 2011-12-28 性能評価装置及び性能評価方法

Country Status (3)

Country Link
US (1) US9529688B2 (ja)
JP (1) JPWO2012093469A1 (ja)
WO (1) WO2012093469A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115065A (ja) * 2014-12-12 2016-06-23 日本電気株式会社 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184818A (ja) * 2014-03-20 2015-10-22 株式会社東芝 サーバ、モデル適用可否判定方法およびコンピュータプログラム
US10198307B2 (en) * 2016-03-31 2019-02-05 Netapp, Inc. Techniques for dynamic selection of solutions to storage cluster system trouble events
US10552413B2 (en) * 2016-05-09 2020-02-04 Sap Se Database workload capture and replay

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323245A (ja) * 2006-05-31 2007-12-13 Nec Corp 計算機システムおよび性能計測方法ならびに管理サーバ装置
JP2009123174A (ja) * 2007-11-19 2009-06-04 Mitsubishi Electric Corp 仮想マシンサーバサイジング装置及び仮想マシンサーバサイジング方法及び仮想マシンサーバサイジングプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3987333B2 (ja) 2001-12-06 2007-10-10 新日鉄ソリューションズ株式会社 性能測定装置、性能測定システム、記録媒体およびプログラム
CA2697965C (en) * 2007-08-31 2018-06-12 Cirba Inc. Method and system for evaluating virtualized environments
US7650259B2 (en) * 2007-10-01 2010-01-19 International Business Machines Corporation Method for tuning chipset parameters to achieve optimal performance under varying workload types

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007323245A (ja) * 2006-05-31 2007-12-13 Nec Corp 計算機システムおよび性能計測方法ならびに管理サーバ装置
JP2009123174A (ja) * 2007-11-19 2009-06-04 Mitsubishi Electric Corp 仮想マシンサーバサイジング装置及び仮想マシンサーバサイジング方法及び仮想マシンサーバサイジングプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MITSURU YANAGISAWA ET AL.: "Proposal of method of estimating load of virtual server using performance characteristic information", DAI 72 KAI (HEISEI 22 NEN) ZENKOKU TAIKAI KOEN RONBUNSHU (1), INFORMATION PROCESSING SOCIETY OF JAPAN, 8 March 2010 (2010-03-08), pages 1-291 - 1-292 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115065A (ja) * 2014-12-12 2016-06-23 日本電気株式会社 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム

Also Published As

Publication number Publication date
US9529688B2 (en) 2016-12-27
JPWO2012093469A1 (ja) 2014-06-09
US20130282337A1 (en) 2013-10-24

Similar Documents

Publication Publication Date Title
US9003416B2 (en) Predicting resource requirements for a computer application
US20160321037A1 (en) Performance verification device for verifying performance of program, method, and recording medium having program recorded thereon for causing computer to perform the method
US9645909B2 (en) Operation management apparatus and operation management method
US20090055834A1 (en) Virtualization planning system
DE102019003851A1 (de) Systeme und Verfahren zum automatischen Realisieren von Modellen zu Co-Simulation
US20210152424A1 (en) Selecting and using a cloud-based hardware accelerator
US10282272B2 (en) Operation management apparatus and operation management method
US8606905B1 (en) Automated determination of system scalability and scalability constraint factors
US20170279697A1 (en) Control device for estimation of power consumption and energy efficiency of application containers
JPWO2011105091A1 (ja) 制御装置、管理装置、制御装置のデータ処理方法、およびプログラム
US20200151082A1 (en) Managing cloud-based hardware accelerators
Willnecker et al. Comparing the accuracy of resource demand measurement and estimation techniques
JP2010225133A (ja) 消費電力評価装置、電力係数作成システム、消費電力評価方法及び電力係数作成方法。
WO2012093469A1 (ja) 性能評価装置及び性能評価方法
US20190361746A1 (en) Selecting hardware accelerators based on score
Westermann et al. Efficient experiment selection in automated software performance evaluations
WO2015146100A1 (ja) 負荷推定システム、情報処理装置、負荷推定方法、及び、プログラムを記憶する記憶媒体
Pozin et al. Models in performance testing
US20110191094A1 (en) System and method to evaluate and size relative system performance
Brebner Automatic performance modelling from application performance management (APM) data: an experience report
CN113056725B (zh) 信息处理系统以及信息处理方法
JP5871018B2 (ja) 性能予測装置、性能モデル生成方法およびプログラム
US20120198063A1 (en) Virtual server system, autonomous control server thereof, and data processing method and computer program thereof
JP2015022322A (ja) 仮想マシン管理装置、仮想マシン管理方法、及びプログラム
CN115098405B (zh) 软件产品的测评方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11855028

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012551765

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13978412

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11855028

Country of ref document: EP

Kind code of ref document: A1