WO2013183425A1 - 性能予測装置、性能予測方法及びプログラム - Google Patents

性能予測装置、性能予測方法及びプログラム Download PDF

Info

Publication number
WO2013183425A1
WO2013183425A1 PCT/JP2013/063850 JP2013063850W WO2013183425A1 WO 2013183425 A1 WO2013183425 A1 WO 2013183425A1 JP 2013063850 W JP2013063850 W JP 2013063850W WO 2013183425 A1 WO2013183425 A1 WO 2013183425A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance prediction
model
input
cluster
performance
Prior art date
Application number
PCT/JP2013/063850
Other languages
English (en)
French (fr)
Inventor
大地 木村
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014519903A priority Critical patent/JPWO2013183425A1/ja
Publication of WO2013183425A1 publication Critical patent/WO2013183425A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling

Definitions

  • the present invention relates to a technology for predicting system performance by reflecting the actual behavior of the system.
  • Patent Document 1 discloses a method for predicting performance indexes such as throughput, response, and resource usage rate of a parallel computer in a multitasking environment by converting the parallel computer system into a queuing model. Proposed. In the prediction based on this queuing model, parameters relating to the system to be constructed (for example, processing time (Demand) per request) are given in advance, and prediction is performed using the parameters. As a technique for adjusting this parameter, Patent Document 2 discloses that the log output of each of the application and the application model is compared, and the parameter of the application model is automatically adjusted and reflected. As a result, it is possible to select appropriate parameters according to the execution environment of the application and improve the accuracy of performance prediction.
  • processing time Demand
  • Patent Document 3 the entire server computer system is made a black box, a measurement transaction is given, and the number of simultaneous processes is estimated by a simple establishment calculation different from the model by the queuing network.
  • Patent Document 4 in order to estimate the performance of a machine, each of several data groups is used as learning data of several models.
  • Patent Document 5 discloses a technique related to a model construction method.
  • Patent Document 4 a plurality of different types of operating environment data are classified into a plurality of data groups.
  • the classification method simply divides each dimension according to a predetermined value. Therefore, even if this method is applied to the performance prediction of a system in which a plurality of different types of requests are input, the performance prediction considering the competition / interference between requests when these requests are executed simultaneously in the system. I can't do it.
  • the present invention has been made to solve the above-described problems, and its purpose is to provide a performance prediction apparatus, a performance prediction method, and a program capable of performing system performance prediction reflecting the actual behavior of the system. Is to provide.
  • the performance prediction apparatus classifies an input to a system subject to performance prediction into one of a plurality of clusters according to the type of the input and the interaction between the inputs.
  • Clustering means a predicted output calculating means for calculating a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster, the calculated predicted output, and an actual output of the system Model adjustment means for adjusting parameters of the performance prediction model of the system corresponding to the classified clusters.
  • the performance prediction method is a method implemented in an information processing apparatus having a control unit, wherein the control unit inputs an input to a system that is a target of performance prediction, between the type of the input and the input between the inputs.
  • a clustering step of classifying the cluster into one of a plurality of clusters according to the interaction and the control unit calculates a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster
  • a predicted output calculation step and the control unit sets parameters of the system performance prediction model corresponding to the classified cluster such that a difference between the calculated predicted output and the actual output of the system is reduced.
  • a model adjustment step for adjustment for adjustment.
  • the program according to the present invention causes a computer to function as the performance prediction apparatus according to the present invention.
  • the present invention it is possible to provide a performance prediction apparatus, a performance prediction method, and a program capable of performing system performance prediction reflecting the actual behavior of the system.
  • FIG. 1 is a block diagram illustrating a functional configuration example of the information processing apparatus 1 according to the first embodiment of the present invention.
  • the information processing apparatus 1 functions as a performance prediction apparatus.
  • the information processing apparatus 1 is an apparatus that operates according to a program such as a computer.
  • the information processing apparatus 1 includes a model accumulation unit 101, a clustering unit 102, a performance prediction unit 103, and a model adjustment unit 104.
  • the model storage unit 101 is a database (hereinafter referred to as DB) that stores a model of the relationship between input and output of performance indexes of a system that is a target of performance prediction.
  • the input is, for example, the number of requests that the system must process within a unit time.
  • the output is, for example, system throughput or response time.
  • the input and output are not limited to these, and if the model can be described as the relationship between the independent variable and the dependent variable, the independent variable may be the input and the dependent variable may be the output.
  • the model is a system performance prediction model, and determines the prediction of the output from the system by performing calculation or simulation according to a predetermined procedure with respect to the input to the system.
  • a queue that imitates the operation of each component of a computer such as a CPU (Central Processing Unit) can be used as a model.
  • a mechanism for example, a neural network, a hidden Markov model, a polynomial function approximation, or the like
  • models are merely examples, and the models are not limited to these.
  • the clustering unit 102 clusters the input to the system subject to performance prediction into one of a plurality of clusters in consideration of the input type and the interaction (relationship) between the inputs.
  • clustering is a process of classifying data such that data having a relationship with each other is in the same group (cluster).
  • each cluster is given at a ratio for each type of request in the input (defined according to the ratio). For example, when typical ratios at a certain time such as weekdays, holidays, and the end of the month are known, the ratios at each time may be defined as clusters. In this case, it is determined to which cluster the ratio of input requests to the performance prediction target system at the time of prediction belongs.
  • the performance prediction unit 103 refers to the model storage unit 101 to identify a model corresponding to the cluster to which the input to the system belongs, and uses the relationship between the input and output in the model to predict the input of the performance prediction target system. Calculate the output.
  • the model adjustment unit 104 adjusts the parameters of the model based on the difference between the prediction output calculated by the performance prediction unit 103 and the actual output of the performance prediction target system for a model corresponding to a certain cluster.
  • the model parameters are, for example, a processing time per request in the case of a queue model, and a synaptic load in the case of a neural network.
  • adjusting a parameter included in the model is expressed as adjusting the model.
  • the actual output value of the performance prediction target system can be obtained by any method.
  • the actual output value of the performance prediction target system may be acquired from a storage unit included in the information processing device 1 or may be acquired from an external device of the information processing device 1.
  • the adjusted parameters are held by the performance prediction unit 103.
  • the present invention is not limited to this, and the adjusted parameters may be held by the model storage unit 101 or other elements.
  • the performance prediction unit 103 calculates a predicted output by a model using the adjusted parameters.
  • the algorithm for adjusting the model specifically adjusts the model using a method such as a learning or optimization method so that the predicted output of the calculated model approaches the actual output of the performance prediction target system.
  • a method such as a learning or optimization method so that the predicted output of the calculated model approaches the actual output of the performance prediction target system.
  • the model is a neural network
  • the synaptic load is corrected by a learning algorithm such as backpropagation.
  • the model is a polynomial approximation
  • the coefficient of each term is corrected by the least square method or the like.
  • the model is a queue
  • the request processing time is corrected by a Kalman filter or the like.
  • the model parameters can be corrected using reinforcement learning, genetic algorithm, Monte Carlo method, linear programming, etc.
  • the method for adjusting the model is not limited to these examples.
  • the information processing apparatus 1 includes a control unit, a storage unit, and an input / output unit as a hardware configuration.
  • the control unit is configured by a CPU or the like.
  • the storage unit includes a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disc Drive), and the like.
  • the input / output unit includes various interfaces such as an operation unit, a display unit, and a communication interface. The functions provided in the information processing apparatus 1 described above are realized by the cooperation of these hardware and various programs stored in the storage unit.
  • the prediction target system ID 151 is an identifier for identifying a system that is a target of performance prediction.
  • the cluster ID 152 is an identifier for identifying a cluster to which an input to the prediction target system belongs.
  • the model 153 is a type of system performance prediction model.
  • the model adjustment algorithm 154 is a type of algorithm used for adjusting the model.
  • the model adjustment condition 155 is a condition for ending the model adjustment.
  • the cluster ID 152 is stored in association with the prediction target system ID 151.
  • the model 153, the model adjustment algorithm 154, and the model adjustment condition 155 are stored in association with the black box ID 151 and the cluster ID 152.
  • the model adjustment unit 104 compares the actual output of the performance prediction target system with the prediction output predicted by the model, and the difference is determined in advance (that is, the model adjustment condition 155). If the value is equal to or less than the stored value, the adjustment is completed. When the adjustment is completed in this way, the model can predict the behavior of the real system within a predetermined accuracy.
  • the difference between the actual output of the performance prediction target system and the predicted output predicted by the model does not change after a certain number of adjustments (ie, the adjustment can be considered to be in an equilibrium state). ) May be completed.
  • the adjustment may be completed when the adjustment is performed a predetermined number of times.
  • model adjustment algorithm may be applied to all clusters, as in the case where the prediction target system ID 151 in FIG. 2 is “001”.
  • different models, model adjustment algorithms, and model adjustment conditions may be applied to each cluster as in the case where the prediction target system ID 151 is “002”.
  • control of this process is performed by developing and executing a program stored in the storage unit by a control unit provided in the information processing apparatus 1.
  • step S201 the clustering unit 102 clusters (classifies) input data to the performance prediction target system into any cluster. This clustering is performed according to the type of input data to the performance prediction target system and the interaction between the input data.
  • request interaction depends on the ratio of request types in the input request (that is, requests processed simultaneously by the system). Therefore, clustering according to the type and interaction of the input data can be performed by clustering the input data according to the ratio of the type of input data in the input data to the performance prediction target system.
  • FIG. 4A shows an example of input data to the performance prediction target system.
  • the input data includes two types of requests, and the number of each request per unit time is shown in a graph.
  • the horizontal axis represents time, and the vertical axis represents the number of requests per unit time.
  • clusters 1 and 2 are defined according to the ratio of two types of requests.
  • Cluster 1 is a cluster in which the ratio of the number of requests 1 to the number of requests 2 is 1: 2.
  • Cluster 2 is a cluster in which the ratio of the number of requests 1 to the number of requests 2 is 4: 3.
  • Clustering is performed by determining to which cluster the ratio of requests included in the input data is close.
  • FIG. 4B shows a graph in which the input data shown in FIG. 4A is plotted with the number of requests 1 on the horizontal axis and the number of requests 2 on the vertical axis.
  • a straight line having a request ratio of 1: 2 and a straight line having a 4: 3 ratio are plotted.
  • the input data represented by x is clustered in cluster 1
  • the input data represented by ⁇ is clustered in cluster 2.
  • the index of the proximity between the input data and the cluster is noticed, for example, in the plot of the ratio of the input data and the ratio of each cluster (Euclidean distance, etc.) and / or the number of requests of plural types as shown in FIG.
  • the distance between the current data point and the cluster represented by a straight line can be used.
  • the index of the proximity between the input data and the cluster is not limited to these examples.
  • 4A and 4B exemplify the case of two types of requests and two types of clusters. However, it is obvious that the application can be easily performed even in the case of multiple types of requests and multiple types of clusters.
  • the performance prediction unit 103 refers to the model storage unit 101, and uses the relationship between the input and output of the model corresponding to the cluster clustered in S201 to input to the performance prediction target system.
  • the predicted output for is calculated.
  • step S203 the model adjustment unit 104 determines whether the model adjustment is completed based on the model adjustment condition 155 of the model storage unit 101. Here, whether or not the model adjustment is completed is determined based on the model adjustment condition 155 of FIG. 2 for each model corresponding to each cluster. If it is determined that the model adjustment has been completed, the process ends. If it is not determined that the adjustment has been completed, the process proceeds to step S204.
  • step S204 the model adjustment unit 104 adjusts the model based on the predicted output of the model calculated in step S202 and the actual output of the performance prediction target system.
  • the model adjustment is performed based on the model adjustment algorithm 154 of FIG. 2 for each model corresponding to each cluster.
  • the process returns to step S203, and the performance prediction unit 103 calculates the prediction output predicted by the adjusted model again.
  • the input of the performance prediction target system is assigned to any of a plurality of clusters in consideration of the type of input and interaction (relationship) (for example, the ratio for each type of request included in the input). Clustering. Then, for the input of the performance prediction target system, the prediction output predicted by the model corresponding to the cluster is calculated, and the model is adjusted so that the difference between the actual output of the performance prediction target system and the prediction output is small. .
  • Performance prediction that reflects actual behavior can be performed.
  • a plurality of clusters may be defined by the ratio of each request included in the input to the system.
  • Request interaction depends on the ratio of requests (ie, requests that the system processes simultaneously). Therefore, adjusting the model for each cluster is a reflection of the actual interaction of requests.
  • FIG. 5 is a block diagram illustrating a functional configuration example of the information processing apparatus 3 according to the second embodiment of the present invention.
  • the same components as those of the information processing device 1 in the first embodiment are denoted by the same reference numerals.
  • the hardware configuration of the information processing apparatus 3 is the same as that of the first embodiment.
  • the clustering unit 302 creates a plurality of clusters according to the type and interaction of inputs to the performance prediction target system, and clusters the inputs into any of the plurality of clusters.
  • creation of a cluster can be performed by, for example, applying multiple regression equations to a plurality of types of requests included in the input.
  • FIG. 6 shows an example of input data to the performance prediction target system.
  • two types of requests are included in the input data.
  • FIG. 6 shows a graph in which the horizontal axis plots the number of requests 1 and the vertical axis plots the number of requests 2 for each unit time.
  • two straight lines obtained by applying the input data to the regression equation are plotted.
  • Each straight line represents each cluster.
  • Input data is clustered into one of two types of clusters.
  • FIG. 6 illustrates the case of two types of requests and two clusters, but in general, a plurality of multiple regression equations may be applied to a plurality of types of requests.
  • a method of applying a plurality of multiple regression equations may be, for example, the method described in Patent Document 5 or another method. Note that all of the multiple regression equations need not have the same dimension.
  • Fig. 7 shows an example when there are three types of requests. Each axis represents the number of unit times of each request. Assume that the numbers of requests 1, 2, and 3 are N1, N2, and N3, respectively.
  • the number of clusters to be created may be determined in advance, or an index (Akaike information criterion: AIC or Bayesian information criterion: BIC, etc.) for evaluating the goodness of the model from the degree of freedom and accuracy of the created regression equation ) May be calculated, and as many clusters as the number of the values may be created.
  • an index Akaike information criterion: AIC or Bayesian information criterion: BIC, etc.
  • the model creation unit 305 creates a model corresponding to each cluster created by the clustering unit 302.
  • FIG. 8A shows the configuration of the DB storing the models at the time before creating the cluster. Since the cluster is not created, there is only one cluster (ie all inputs belong to the same cluster).
  • the model creation unit 305 creates a model for each cluster, for example, by duplicating the model before cluster creation as shown in FIG. 8A.
  • FIG. 8B shows a state where three clusters are created for the prediction target system ID 151 of “001” and a corresponding model is created. As illustrated in FIG. 8B, the same model is created for all clusters having the prediction target system ID 151 of “001”.
  • the model creation unit 305 may create a model for each cluster by incorporating the properties of the clusters.
  • FIG. 8C illustrates a case where a model is created by taking in the properties of each cluster after duplicating the model before cluster creation as shown in FIG. 8A.
  • models for each cluster having the prediction target system ID 151 of “001” are different types of neural networks.
  • the dimension can be reflected.
  • the number of input neurons of the neural network at the time of FIG. 8A is the number of request types, and the number of unit times of the corresponding type of request is input to each input neuron.
  • the cluster 1 is a two-dimensional planar cluster, two independent variables are sufficient to specify any one point in the cluster. Therefore, two new independent basis vectors in this cluster can be taken and used as input variables to the model.
  • the number of input neurons of the neural network corresponding to this cluster may be two, which is the number of independent variables, from three, which is the number of types of requests.
  • the cluster 2 is a one-dimensional linear cluster
  • the number of input neurons of the neural network corresponding to this cluster may be one.
  • the number of input neurons can be reduced by considering the dimension of the cluster. It will be obvious that such types of input variables can be reduced with general models, not limited to neural networks.
  • FIG. 9 is a flowchart showing processing of the information processing apparatus 3.
  • the control of this process is performed by the control unit of the information processing device 3 developing and executing a program stored in the storage unit.
  • the same steps as those in FIG. 3 of the first embodiment are denoted by the same reference numerals, and these steps are processed in the same manner as in the first embodiment. Omitted.
  • step S401 the clustering unit 302 creates a cluster according to the input to the performance prediction target system.
  • step S ⁇ b> 402 the model generation unit 305 creates a model corresponding to each of the clusters created by the clustering unit 302.
  • step S402 the created model and the accompanying model adjustment algorithm / model adjustment condition may be manually corrected while referring to the corresponding cluster.
  • the information processing apparatus 3 as the performance prediction apparatus according to the present embodiment is different from the first embodiment in that a cluster is created from an input and a model is created for each cluster. According to the present embodiment, since the cluster is created from the input, even if the cluster is not generated when performing the performance prediction, the cluster can be generated according to the contents of the input, and the generated cluster Each model can correspond.
  • a model corresponding to each cluster can be created reflecting the cluster information.
  • reflecting the dimension of the cluster can reduce the dimension of the input variable as described above. In general, the smaller the dimension, the higher the learning speed.
  • Clustering means for classifying the input to the system subject to performance prediction into one of a plurality of clusters according to the type of the input and the interaction between the inputs, Predicted output calculation means for calculating a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster; Model adjustment means for adjusting parameters of the performance prediction model of the system corresponding to the classified cluster so that a difference between the calculated predicted output and the actual output of the system is reduced.
  • a characteristic performance prediction device for classifying the input to the system subject to performance prediction into one of a plurality of clusters according to the type of the input and the interaction between the inputs, Predicted output calculation means for calculating a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster; Model adjustment means for adjusting parameters of the performance prediction model of the system corresponding to the classified cluster so that a difference between the calculated predicted output and the actual output of the system is reduced.
  • the said clustering means produces the several cluster about the said input according to the kind of input to the system used as the object of performance prediction, and the interaction between inputs,
  • the additional remark 1 characterized by the above-mentioned. Performance prediction device.
  • Model accumulation unit 102 Model accumulation unit 102, 302 Clustering unit 103 Performance prediction unit 104 Model adjustment unit 305 Model generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

性能予測の対象システムの実際の振る舞いを反映した性能予測を行う。性能予測装置は、性能予測の対象とする性能予測対象システムの入力を、入力の種類と相互作用を考慮して、複数のクラスタにクラスタリングし、前記複数のクラスタのそれぞれに対応する前記性能予測対象システムの性能予測モデルに基づいて、入力に対して前記性能予測モデルの予測出力を算出し、前記算出した予測出力と性能予測対象システムの実際の出力との差がより小さくなるように、前記複数のクラスタのそれぞれに対応する性能予測対象システムの性能予測モデルを調整する。

Description

性能予測装置、性能予測方法及びプログラム
　本発明は、システムの実際の振る舞いを反映して、システムの性能予測を行う技術に関する。
　システムの性能予測の技術に関して、特許文献１には、並列計算機システムを待ち行列モデルに変換することによって、マルチタスク環境における並列計算機のスループットやレスポンス、リソース使用率などの性能指標を予測する方法が提案されている。この待ち行列モデルによる予測においては、構築するシステムに関するパラメータ（例えば、１リクエストあたりの処理時間（Ｄｅｍａｎｄ）など）が事前に与えられ、そのパラメータを用いて予測する。このパラメータを調整する技術として、特許文献２には、アプリケーションとアプリケーションモデルのそれぞれのログ出力を比較し、自動的にアプリケーションモデルのパラメータを調整して反映させることが開示されている。これにより、アプリケーションの実行環境に応じた適当なパラメータを選び、性能予測の精度を向上させることができる。
　また、特許文献３においては、サーバ計算機システム全体をブラックボックス化し、計測トランザクションを与えて、待ち行列網によるモデルとは異なる単純確立計算で同時処理数を推定している。また、特許文献４では、機械の性能を推定するために、複数のデータ群のそれぞれを複数のモデルの学習データとして用いている。また、特許文献５には、モデルの構築方法に関する技術が開示されている。
特開２０００－２９８５９３号公報 特開２００２－２１５４２３号公報 特開平１０－１８７４９５号公報 特開２００５－２４２８０３号公報 特開２０１０－０７９３２５号公報
　しかしながら、特許文献１に開示された性能予測では、パラメータの調整が行われていないため、事前に与えられたパラメータの値と実際に構築した対象システムのパラメータの値とが異なることがある。そのため、モデルを用いて予測した性能指標が実際に構築した対象システムの性能指標とずれるという問題がある。
　また、特許文献２，３に開示された性能予測では、計測したデータを用いてパラメータ等の調整を行なっている。しかしながら、複数の異なる種類のリクエストが入力されるシステムの性能を予測する場合、調整に用いた計測データに対する入力データにおけるリクエストの各種類の比率と、予測したい状況の入力データにおけるリクエストの各種類の比率とが異なると、予測の精度が落ちるという問題がある。
　また、特許文献４においては、複数の異なる種類の運転環境データを複数のデータ群に分類している。しかしながら、分類の方法は、単純に各次元を所定の値に従い分割したものである。従って、この方法を複数の異なる種類のリクエストが入力されるシステムの性能予測に適用しても、これらのリクエストがシステムで同時実行される場合のリクエスト間の競合・干渉などを考慮した性能予測を行うことができない。
　本発明は、上述の課題を解決するためになされたものであり、その目的は、システムの実際の振る舞いを反映してシステムの性能予測を行うことが可能な性能予測装置、性能予測方法及びプログラムを提供することである。
　上記目的を達成するため、本発明に係る性能予測装置は、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリング手段と、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段とを備えたことを特徴とする。
　本発明に係る性能予測方法は、制御部を有する情報処理装置において実施される方法であって、前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップとを備えることを特徴とする。
　本発明に係るプログラムは、コンピュータを、本発明に係る前記性能予測装置として機能させることを特徴とする。
　本発明によれば、システムの実際の振る舞いを反映してシステムの性能予測を行うことが可能な性能予測装置、性能予測方法及びプログラムを提供することができる。
一実施形態における性能予測装置の機能構成を示すブロック図である。 一実施形態においてモデルを蓄積しているデータベースの構成を示す図である。 一実施形態における性能予測装置による処理の一例を示すフローチャートである。 一実施形態における入力データの一例を説明するための図である。 一実施形態における入力データの一例を説明するための図である。 他の実施形態における性能予測装置の機能構成を示すブロック図である。 他の実施形態における入力データの一例を説明するための図である。 他の実施形態における入力データの一例を説明するための図である。 他の実施形態においてモデルを蓄積しているデータベースの構成を示す図である。 他の実施形態においてモデルを蓄積しているデータベースの構成を示す図である。 他の実施形態においてモデルを蓄積しているデータベースの構成を示す図である。 他の実施形態における性能予測装置による処理の一例を示すフローチャートである。
　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
　［第１の実施形態］
　図１は、本発明の第１の実施形態に係る情報処理装置１の機能構成例を示すブロック図である。情報処理装置１は、性能予測装置として機能する。情報処理装置１は、コンピュータ等のプログラムに従って動作する装置である。情報処理装置１は、モデル蓄積部１０１と、クラスタリング部１０２と、性能予測部１０３と、モデル調整部１０４と、を含む。
　モデル蓄積部１０１は、性能予測の対象とするシステムの性能指標の入力と出力の関係のモデルを蓄積しているデータベース（以下、ＤＢ）である。
　ここで、入力とは、例えば、単位時間内にシステムが処理しなくてはならないリクエスト数などである。出力とは、例えば、システムのスループットや応答時間などである。しかし、入力及び出力はこれらに限定されるものではなく、独立変数と従属変数の関係としてモデルで記述できる場合には、その独立変数を入力とし、従属変数を出力としてもよい。
　ここで、モデルとは、システムの性能予測モデルであり、システムへの入力に対して、あらかじめ定められた手順に従って、計算もしくはシミュレーションを行うことによって、システムからの出力の予測を決定するものである。例えば、ＣＰＵ（Central Processing Unit）などのコンピュータの各構成要素の動作を模倣した待ち行列をモデルとすることができる。また、学習や回帰などの手段によって、入力に対して適当な出力を決定することができる仕組み（例えば、ニューラルネットワークや隠れマルコフモデル、多項式関数近似など）をモデルとすることができる。これらのモデルは単なる例示であり、モデルをこれらに限定するものではない。
　クラスタリング部１０２は、性能予測の対象とするシステムへの入力を、入力の種類と入力間の相互作用（関係性）を考慮して、複数のクラスタのいずれかにクラスタリングする。ここで、クラスタリングとは、あるデータの集合に対し、関係性を有するデータ同士が同じ組（クラスタ）となるようにデータを分類する処理である。
　例えば、性能予測対象システムへの入力が複数の異なる種類のリクエストを含む場合、各クラスタは、入力におけるリクエストの種類毎の比率で与えられる（比率に応じて定義される）。例えば、平日・休日・月末など、ある時期における典型的な比率が分かっている場合、各時期における比率をそれぞれクラスタとして定義してもよい。この場合、予測したい時期における性能予測対象システムへの入力リクエストの比率が、どのクラスタに属するかが判別される。
　性能予測部１０３は、モデル蓄積部１０１を参照してシステムへの入力が属するクラスタに対応するモデルを特定し、当該モデルにおける入力と出力との関係を用いて、性能予測対象システムの入力に対する予測出力を算出する。
　モデル調整部１０４は、あるクラスタに対応するモデルについて、性能予測部１０３が算出した予測出力と、性能予測対象システムの実際の出力との間の差に基づいて、モデルのパラメータを調整する。ここで、モデルのパラメータとは、例えば、待ち行列モデルであれば、１リクエストあたりの処理時間などであり、ニューラルネットワークであれば、シナプス荷重などである。以下では、モデルに含まれるパラメータを調整することを、モデルを調整する、と表現する。
　なお、性能予測対象システムの実際の出力の値は、任意の方法で取得することができる。例えば、性能予測対象システムの実際の出力の値は、情報処理装置１が有する記憶部から取得されてもよいし、情報処理装置１の外部装置から取得されてもよい。また、調整後のパラメータは、性能予測部１０３によって保持される。しかしながら、これに限定されず、調整後のパラメータは、モデル蓄積部１０１又は他の要素によって保持されてもよい。性能予測部１０３は、調整後のパラメータを用いて、モデルによって予測出力を算出する。
　モデルを調整するアルゴリズムは、具体的には、算出したモデルの予測出力を性能予測対象システムの実際の出力に近づけるように、学習または最適化手法などの方法を用いてモデルを調整する。例えば、モデルがニューラルネットワークの場合には、バックプロパゲーションなどの学習アルゴリズムによってシナプス荷重を補正する。モデルが多項式近似の場合は、最小二乗法などで各項の係数を補正する。モデルが待ち行列の場合は、カルマンフィルタなどでリクエストの処理時間を補正する。このほかにも、性能予測対象システムの実際の出力と予測出力の差を評価する関数として、強化学習や遺伝的アルゴリズム、モンテカルロ法、線形計画法などを用いて、モデルのパラメータを補正しても良く、モデルを調整する方法は、これらの例示に限定されない。
　また、一実施形態において、情報処理装置１は、ハードウェア構成として、制御部、記憶部、及び入出力部を備える。制御部は、ＣＰＵなどで構成される。記憶部は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disc Drive）などで構成される。入出力部は、操作部、表示部、及び通信インタフェースなどの各種インタフェースで構成される。上述した情報処理装置１が備える機能は、これらのハードウェアと記憶部に記憶された各種プログラムとの協働により実現される。
　図２を参照して、モデル蓄積部１０１に記憶されているデータの構成を説明する。予測対象システムＩＤ１５１は、性能予測の対象となるシステムを識別する識別子である。クラスタＩＤ１５２は、予測対象システムへの入力が属するクラスタを識別する識別子である。モデル１５３は、システムの性能予測モデルの種類である。モデル調整アルゴリズム１５４は、モデルを調整するために用いられるアルゴリズムの種類である。モデル調整条件１５５は、モデルの調整を終了する条件である。
　クラスタＩＤ１５２は、予測対象システムＩＤ１５１に対応付けて記憶されている。同様に、モデル１５３、モデル調整アルゴリズム１５４及びモデル調整条件１５５は、ブラックボックスＩＤ１５１及びクラスタＩＤ１５２に対応付けて記憶されている。
　モデル調整条件１５５に関して、例えば、モデル調整部１０４は、性能予測対象システムの実際の出力と、モデルが予測した予測出力とを比較し、その差があらかじめ定められた精度（すなわち、モデル調整条件１５５として記憶された値）以下である場合に調整を完了する。このように調整が完了したとき、モデルによって、あらかじめ定められた精度内で実システムの振る舞いを予測できる。
　また、変形例として、性能予測対象システムの実際の出力と、モデルが予測した予測出力との差が、ある一定回数の調整を経ても変化しない場合（すなわち、調整が平衡状態にあるとみなせる場合）に調整完了としてもよい。あるいは、あらかじめ定められた回数の調整を行った場合に、調整完了としてもよい。
　なお、図２の予測対象システムＩＤ１５１が「００１」の場合のように、全てのクラスタに対して、同じモデル、モデル調整アルゴリズム、モデル調整条件を適用しても良い。あるいは、予測対象システムＩＤ１５１が「００２」の場合のように、各クラスタで、異なったモデル、モデル調整アルゴリズム、モデル調整条件を適用しても良い。
　次に、図３を参照して、情報処理装置１による処理のフローの例について説明する。この処理の制御は、情報処理装置１に備える制御部が記憶部に記憶されたプログラムを展開し、実行することによって行われる。
　まず、ステップＳ２０１において、クラスタリング部１０２は、性能予測対象システムへの入力データをいずれかのクラスタにクラスタリング（分類）する。このクラスタリングは、性能予測対象システムへの入力データの種類及び入力データ間の相互作用に応じて行われる。
　例えば、リクエストの相互作用は、入力されたリクエスト内におけるリクエストの種類の比率（すなわち、システムが同時に処理するリクエスト）に依存する。従って、性能予測対象システムへの入力データ内における入力データの種類の比率に応じて入力データをクラスタリングすることによって、入力データの種類及び相互作用に応じたクラスタリングを行うことができる。
　図４Ａは、性能予測対象システムへの入力データの例を示しているである。ここでは、入力データには２種類のリクエストが含まれており、それぞれのリクエストの単位時刻あたりの数がグラフで示されている。横軸は時刻、縦軸は単位時刻あたりのリクエスト数である。この例では、２種類のリクエストの比率に応じて、クラスタ１，２が定義されているとする。クラスタ１は、リクエスト１の数とリクエスト２の数の比が１：２であるクラスタである。クラスタ２は、リクエスト１の数とリクエスト２の数の比が４：３であるクラスタである。入力データに含まれているリクエストの比率がどのクラスタに近いかを判別することによって、クラスタリングが行なわれる。
　図４Ｂは、図４Ａに示される入力データを、横軸をリクエスト１の数、縦軸をリクエスト２の数でプロットしたグラフを示している。図４Ｂのグラフには、入力データのほかに、リクエスト数の比が１：２の直線と、４：３の直線がプロットされている。図４Ｂでは、×印で表された入力データはクラスタ１にクラスタリングされ、○印で表された入力データはクラスタ２にクラスタリングされている。ここで、入力データとクラスタの近さの指標は、例えば、入力データの比率と各クラスタの比率の距離（ユークリッド距離など）、及び／又は図４Ｂのような複数種類のリクエスト数のプロットにおいて注目しているデータ点と直線で表現されるクラスタとの距離を用いることができる。その他に、注目しているデータ点と原点を通る直線とクラスタを表現する直線のそれぞれの傾きを表す単位ベクトルの内積を用いることができる。しかしながら、入力データとクラスタの近さの指標は、これらの例示に限定されるものではない。
　図４Ａ、図４Ｂでは２種類のリクエスト、２種類のクラスタの場合を例示したが、複数種類のリクエスト、複数種類のクラスタの場合でも適用が容易にできることは自明であろう。
　次に、ステップＳ２０２において、性能予測部１０３は、モデル蓄積部１０１を参照して、Ｓ２０１でクラスタリングされたクラスタに対応するモデルの入力と出力との関係を用いて、性能予測対象システムへの入力に対する予測出力を算出する。
　そして、ステップＳ２０３において、モデル調整部１０４は、モデルの調整が終了したか否かをモデル蓄積部１０１のモデル調整条件１５５に基づいて判断する。ここで、モデルの調整が終了したかどうかは、各クラスタに対応するモデルのそれぞれについて、図２のモデル調整条件１５５に基づいて判断される。モデルの調整が終了したと判断された場合、処理は終了する。調整終了と判断されない場合、処理はステップＳ２０４に進む。
　ステップＳ２０４において、モデル調整部１０４は、ステップＳ２０２において算出されたモデルの予測出力と、性能予測対象システムの実際の出力とを基に、モデルを調整する。ここで、モデルの調整は、各クラスタに対応するモデルのそれぞれについて、図２のモデル調整アルゴリズム１５４に基づいて行なわれる。ステップＳ２０４でモデルを調整した後、処理はステップＳ２０３に戻り、性能予測部１０３は、調整されたモデルが予測する予測出力を再び算出する。
　次に、本実施形態の効果について説明する。本実施形態においては、性能予測対象システムの入力を、入力の種類と相互作用（関係性）（例えば、入力に含まれるリクエストの種類ごとの比率）を考慮して、複数のクラスタのいずれかにクラスタリングする。そして、性能予測対象システムの入力に対して、クラスタに対応するモデルが予測する予測出力を算出し、性能予測対象システムの実際の出力と予測出力との差が小さくなるように、モデルを調整する。その結果、本実施形態によれば、複数種類の入力の相互作用によって性能の変動がある性能予測対象システムに対して、複数のクラスタに対応するモデルを調整することで、性能予測の対象システムの実際の振る舞いを反映した性能予測を行うことができる。例えば、複数のクラスタは、システムへの入力に含まれる各リクエストの比率などで定義されても良い。リクエストの相互作用は、リクエストの比率（すなわち、システムが同時に処理するリクエスト）に依存する。従って、クラスタごとにモデルを調整することは、実際に生じるリクエストの相互作用を反映することに他ならない。
　［第２の実施形態］
　図５は、本発明の第２の実施形態に係る情報処理装置３の機能構成例を示すブロック図である。情報処理装置３の構成のうち、第１の実施形態における情報処理装置１と同じ構成については、同じ符号を付している。ここでは、情報処理装置３の構成のうち、情報処理装置１と異なる部分についてのみ説明する。その他の構成およびその動作については、説明を省略する。なお、情報処理装置３のハードウェア構成は、第１の実施形態と同様である。
　クラスタリング部３０２は、性能予測対象システムへの入力の種類及び相互作用に応じて、複数のクラスタを作成し、当該入力を複数のクラスタのいずれかにクラスタリングする。ここで、クラスタの作成は、例えば、入力に含まれる複数種類のリクエストに対して重回帰式などをあてはめることによって行うことができる。
　図６に、性能予測対象システムへの入力データの例を示す。この例では、入力データに２種類のリクエストが含まれている。図６は、横軸をリクエスト１の数、縦軸をリクエスト２の数で単位時刻ごとにプロットしたグラフを示している。図６には、入力データのほかに、入力データを回帰式にあてはめた２本の直線をプロットしている。それぞれの直線（すなわち、回帰式）がそれぞれのクラスタを示している。入力データは、２種類のクラスタのどちらかにクラスタリングされる。図６では、２種類のリクエスト、２つのクラスタの場合を例示したが、一般には、複数種類のリクエストに対して、複数の重回帰式をあてはめればよい。複数の重回帰式を当てはめる方法は、例えば、特許文献５に記載の方法でも良いし、他の方法でも良い。なお、複数の重回帰式の全てが同じ次元でなくても良い。
　図７に、リクエストが３種類である場合の例を示す。各軸は、各リクエストの単位時刻の数を表している。リクエスト１，２，３の数をそれぞれＮ１，Ｎ２，Ｎ３とする。このとき、クラスタ１は、Ｎ３＝Ａ＊Ｎ１＋Ｂ＊Ｎ２という重回帰式で表されるような２次元平面的なクラスタである（Ａ、Ｂは係数）。クラスタ２は、Ｎ３＝Ｃ＊Ｎ２かつＮ２＝Ｄ＊Ｎ１という重回帰式で表されるような１次元直線的なクラスタである（Ｃ、Ｄは係数）。このように違う次元のクラスタを作成しても良い。作成されるクラスタの個数は、あらかじめ決められていても良いし、作成された回帰式の自由度と精度からモデルの良さを評価する指標（赤池情報量規準：ＡＩＣやベイズ情報量規準：ＢＩＣなど）を計算し、その値が最適な値になるような個数だけクラスタを作成するようにしてもよい。
　モデル作成部３０５は、クラスタリング部３０２が作成したクラスタのそれぞれに対応するモデルを作成する。
　図８Ａに、クラスタを作成する前の時点での、モデルを蓄積しているＤＢの構成を示す。クラスタが作成される前なので、クラスタは１つである（すなわち全ての入力は同じクラスタに属している）。クラスタを作成後、モデル作成部３０５は、例えば、各クラスタに対するモデルを、図８Ａに示されるようなクラスタ作成前のモデルを複製することによって、作成する。予測対象システムＩＤ１５１が「００１」のものに対して、３つのクラスタを作成し、それに対応するモデルを作成した様子を図８Ｂに示す。図８Ｂに例示されるように、予測対象システムＩＤ１５１が「００１」のものの全てのクラスタに対して同じモデルが作成されている。
　あるいは、モデル作成部３０５は、例えば、各クラスタに対するモデルを、クラスタの性質を取り入れて作成しても良い。図８Ａに示されるようなクラスタ作成前のモデルを複製した後、各クラスタの性質を取り入れてモデルを作成した場合を図８Ｃに例示する。図８Ｃに例示されるように、予測対象システムＩＤ１５１が「００１」のものの各クラスタに対するモデルは、種類の違うニューラルネットワークとなっている。
　クラスタの性質を取り入れる方法としては、クラスタが重回帰式の場合、その次元を反映させるなどが考えられる。例えば、図８Ａの時点でのニューラルネットワークの入力ニューロンの数は、リクエストの種類の数だけあり、各入力ニューロンには、対応する種類のリクエストの単位時刻の数が入力されるとする。このようなニューラルネットワークが複製され、各クラスタに対応される場合を考える。例として図７の場合を考えると、クラスタ１は２次元平面的なクラスタなので、このクラスタ内の任意の１点を指定するのに必要な独立な変数の数は２つで十分である。よって、このクラスタ内の独立した基底ベクトルを新たに２つとり、それらをモデルへの入力変数とすることができる。よって、このクラスタに対応するニューラルネットワークの入力ニューロンの数は、リクエストの種類の数である３個から、独立変数の数である２個でよいことになる。同様に、クラスタ２は１次元直線的なクラスタなので、このクラスタに対応するニューラルネットワークの入力ニューロンは１個でよい。このように、クラスタの次元を考慮することによって、入力ニューロンの数を減らすことができる。ニューラルネットワークに限らず、一般的なモデルで、このような入力変数の種類の削減が可能であることは自明であろう。
　次に情報処理装置３による処理のフローについて説明する。図９は、情報処理装置３の処理を示すフローチャートである。この処理の制御は、情報処理装置３の制御部が記憶部に記憶されたプログラムを展開し、実行することによって行われる。なお、図９において、第１の実施形態の図３と同様のステップには同じ参照番号が付されており、これらのステップについては、第１の実施形態と同様の処理を行うため、説明は省略する。
　ステップＳ４０１において、クラスタリング部３０２は、性能予測対象システムへの入力に応じて、クラスタを作成する。そして、ステップＳ４０２において、モデル生成部３０５は、クラスタリング部３０２で作成されたクラスタのそれぞれに対応するモデルを作成する。なお、ステップＳ４０２において、作成されたモデルや付随するモデル調整アルゴリズム・モデル調整条件を、対応するクラスタを参照しながら人手によって修正を加えても良い。
　次に、第２の実施形態の効果について説明する。本実施形態に係る性能予測装置としての情報処理装置３は、第１の実施形態と比べると、入力からクラスタを作成し、クラスタごとにモデルを作成する点で異なる。本実施形態によれば、入力からクラスタを作成するので、性能予測を行うときにクラスタが生成されていない場合でも、入力の内容に応じてクラスタを生成することができ、かつ、生成されたクラスタごとにモデルを対応させることができる。
　また、重回帰式によってクラスタを作成することで、入力の相互作用を取り入れたモデルの調整ができる。例えば、１次元直線的なクラスタの場合は、各種類のリクエストの比率が一定であることを示しており、このような場合でのモデルの調整ができる。２次元平面的なクラスタの場合（すなわち、Ｎ３＝Ａ＊Ｎ１＋Ｂ＊Ｎ２のような場合）には、リクエスト１が（１／Ａ）回起こるとリクエスト３が１回起こる、または、リクエスト２が（１／Ｂ）回起こるとリクエスト３が１回起こる、というリクエストの平均的な振る舞いを表しており、このような場合でのモデルの調整ができる。３次元以上のクラスタの場合でも同様である。
　さらに、本実施形態によれば、各クラスタに対応するモデルを、クラスタの情報を反映して作成することができる。例えば、クラスタの次元を反映すると、上記で説明したように、入力変数の次元を減らすことができる。一般に、次元が小さいほど学習の速度は速くなる効果が得られる。
　本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
　この出願は、２０１２年６月６日に出願された日本出願特願２０１２－１２９１６４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリング手段と、
　前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、
　前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段と
　を備えたことを特徴とする性能予測装置。
　（付記２）前記クラスタリング手段は、性能予測の対象となるシステムへの入力の種類及び入力間の相互作用に応じて、当該入力についての複数のクラスタを作成することを特徴とする付記１に記載の性能予測装置。
　（付記３）前記複数のクラスタのそれぞれに対応する前記システムの性能予測モデルを作成するモデル作成手段を備えることを特徴とする付記１又は２に記載の性能予測装置。
　（付記４）前記モデル作成手段は、前記クラスタの情報を反映して前記性能予測モデルを生成することを特徴とする付記３に記載の性能予測装置。
　（付記５）前記クラスタは、前記入力に含まれるリクエストの種類のそれぞれの比率に応じて定義されることを特徴とする付記１から４のいずれか１つに記載の性能予測装置。
　（付記６）前記クラスタは、前記入力に対して重回帰式をあてはめることによって定義することを特徴とする付記１から４のいずれか１つに記載の性能予測装置。
　（付記７）制御部を有する情報処理装置において実施される性能予測方法であって、
　前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、
　前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、
　前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップと
　を備えることを特徴とする性能予測方法。
　（付記８）コンピュータを付記１から７のいずれか１つに記載の性能予測装置として機能させるためのプログラム。
１，３　情報処理装置
１０１　モデル蓄積部
１０２，３０２　クラスタリング部
１０３　性能予測部
１０４　モデル調整部
３０５　モデル生成部

Claims (8)

  1. 　性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリング手段と、
    　前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、
    　前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段と
    　を備えたことを特徴とする性能予測装置。
  2. 　前記クラスタリング手段は、性能予測の対象となるシステムへの入力の種類及び入力間の相互作用に応じて、当該入力についての複数のクラスタを作成することを特徴とする請求項１に記載の性能予測装置。
  3. 　前記複数のクラスタのそれぞれに対応する前記システムの性能予測モデルを作成するモデル作成手段を備えることを特徴とする請求項１又は２に記載の性能予測装置。
  4. 　前記モデル作成手段は、前記クラスタの情報を反映して前記性能予測モデルを生成することを特徴とする請求項３に記載の性能予測装置。
  5. 　前記クラスタは、前記入力に含まれるリクエストの種類のそれぞれの比率に応じて定義されることを特徴とする請求項１から４のいずれか１項に記載の性能予測装置。
  6. 　前記クラスタは、前記入力に対して重回帰式をあてはめることによって定義することを特徴とする請求項１から４のいずれか１項に記載の性能予測装置。
  7. 　制御部を有する情報処理装置において実施される性能予測方法であって、
    　前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、
    　前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、
    　前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップと
    　を備えることを特徴とする性能予測方法。
  8. 　コンピュータを請求項１から６のいずれか１項に記載の性能予測装置として機能させるためのプログラム。
PCT/JP2013/063850 2012-06-06 2013-05-17 性能予測装置、性能予測方法及びプログラム WO2013183425A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014519903A JPWO2013183425A1 (ja) 2012-06-06 2013-05-17 性能予測装置、性能予測方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-129164 2012-06-06
JP2012129164 2012-06-06

Publications (1)

Publication Number Publication Date
WO2013183425A1 true WO2013183425A1 (ja) 2013-12-12

Family

ID=49711825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063850 WO2013183425A1 (ja) 2012-06-06 2013-05-17 性能予測装置、性能予測方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2013183425A1 (ja)
WO (1) WO2013183425A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047118A1 (ja) * 2014-09-26 2016-03-31 日本電気株式会社 モデル評価装置、モデル評価方法、及び、プログラム記録媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734778A (zh) * 2018-06-07 2018-11-02 北京必可测科技股份有限公司 一种技术监督数据可视化方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0534246A (ja) * 1991-07-30 1993-02-09 Toshiba Corp プラントにおける静特性監視方法および装置
JP2004086897A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd モデル構築方法およびモデル構築システム
JP2004086896A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd 適応的予測モデル構築方法及び適応的予測モデル構築システム
JP2012118872A (ja) * 2010-12-02 2012-06-21 Nec Corp 性能予測装置、性能予測方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0534246A (ja) * 1991-07-30 1993-02-09 Toshiba Corp プラントにおける静特性監視方法および装置
JP2004086897A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd モデル構築方法およびモデル構築システム
JP2004086896A (ja) * 2002-08-06 2004-03-18 Fuji Electric Holdings Co Ltd 適応的予測モデル構築方法及び適応的予測モデル構築システム
JP2012118872A (ja) * 2010-12-02 2012-06-21 Nec Corp 性能予測装置、性能予測方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047118A1 (ja) * 2014-09-26 2016-03-31 日本電気株式会社 モデル評価装置、モデル評価方法、及び、プログラム記録媒体

Also Published As

Publication number Publication date
JPWO2013183425A1 (ja) 2016-01-28

Similar Documents

Publication Publication Date Title
US11599393B2 (en) Guaranteed quality of service in cloud computing environments
US9336493B2 (en) Systems and methods for clustering time series data based on forecast distributions
US11210368B2 (en) Computational model optimizations
CN110717535B (zh) 一种基于数据分析处理系统的自动建模方法及系统
CN113574325B (zh) 通过选择控制设置来控制环境的方法和系统
Moniz et al. Resampling strategies for imbalanced time series forecasting
WO2020208444A1 (en) Fairness improvement through reinforcement learning
US10324705B2 (en) System and method for run-time update of predictive analytics system
Haroush et al. A statistical framework for efficient out of distribution detection in deep neural networks
US20240168808A1 (en) Systems and methods of optimizing resource allocation using machine learning and predictive control
CN112070545B (zh) 用于优化信息触达的方法、装置、介质和电子设备
WO2013183425A1 (ja) 性能予測装置、性能予測方法及びプログラム
Gerling et al. Comparison of algorithms for error prediction in manufacturing with automl and a cost-based metric
WO2024104233A1 (zh) 用于周期性数据的预测的方法、装置、设备和介质
Herrema et al. Evaluation of feasible machine learning techniques for predicting the time to fly and aircraft speed profile on final approach
Lu et al. A support vector regression approach for investigating multianticipative driving behavior
CN117422573A (zh) 基于动态神经网络的财税数据预测方法及系统
Riesener et al. Applying the random forest algorithm to predict engineering change effort
JP7363912B2 (ja) 表示方法、表示プログラム及び情報処理装置
JP7363911B2 (ja) 表示方法、表示プログラム及び情報処理装置
Ogunnaike et al. Prediction of insurance claim severity loss using regression models
WO2021079446A1 (ja) 表示方法、表示プログラム及び情報処理装置
US20230119568A1 (en) Pattern detection and prediction using time series data
WO2022244563A1 (ja) 予測装置、学習装置、予測方法、学習方法、予測プログラム及び学習プログラム
EP4141707A1 (en) Method and apparatus with data exploration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13800298

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014519903

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13800298

Country of ref document: EP

Kind code of ref document: A1