WO2013183425A1 - 性能予測装置、性能予測方法及びプログラム - Google Patents
性能予測装置、性能予測方法及びプログラム Download PDFInfo
- Publication number
- WO2013183425A1 WO2013183425A1 PCT/JP2013/063850 JP2013063850W WO2013183425A1 WO 2013183425 A1 WO2013183425 A1 WO 2013183425A1 JP 2013063850 W JP2013063850 W JP 2013063850W WO 2013183425 A1 WO2013183425 A1 WO 2013183425A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- performance prediction
- model
- input
- cluster
- performance
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3447—Performance evaluation by modeling
Definitions
- the present invention relates to a technology for predicting system performance by reflecting the actual behavior of the system.
- Patent Document 1 discloses a method for predicting performance indexes such as throughput, response, and resource usage rate of a parallel computer in a multitasking environment by converting the parallel computer system into a queuing model. Proposed. In the prediction based on this queuing model, parameters relating to the system to be constructed (for example, processing time (Demand) per request) are given in advance, and prediction is performed using the parameters. As a technique for adjusting this parameter, Patent Document 2 discloses that the log output of each of the application and the application model is compared, and the parameter of the application model is automatically adjusted and reflected. As a result, it is possible to select appropriate parameters according to the execution environment of the application and improve the accuracy of performance prediction.
- processing time Demand
- Patent Document 3 the entire server computer system is made a black box, a measurement transaction is given, and the number of simultaneous processes is estimated by a simple establishment calculation different from the model by the queuing network.
- Patent Document 4 in order to estimate the performance of a machine, each of several data groups is used as learning data of several models.
- Patent Document 5 discloses a technique related to a model construction method.
- Patent Document 4 a plurality of different types of operating environment data are classified into a plurality of data groups.
- the classification method simply divides each dimension according to a predetermined value. Therefore, even if this method is applied to the performance prediction of a system in which a plurality of different types of requests are input, the performance prediction considering the competition / interference between requests when these requests are executed simultaneously in the system. I can't do it.
- the present invention has been made to solve the above-described problems, and its purpose is to provide a performance prediction apparatus, a performance prediction method, and a program capable of performing system performance prediction reflecting the actual behavior of the system. Is to provide.
- the performance prediction apparatus classifies an input to a system subject to performance prediction into one of a plurality of clusters according to the type of the input and the interaction between the inputs.
- Clustering means a predicted output calculating means for calculating a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster, the calculated predicted output, and an actual output of the system Model adjustment means for adjusting parameters of the performance prediction model of the system corresponding to the classified clusters.
- the performance prediction method is a method implemented in an information processing apparatus having a control unit, wherein the control unit inputs an input to a system that is a target of performance prediction, between the type of the input and the input between the inputs.
- a clustering step of classifying the cluster into one of a plurality of clusters according to the interaction and the control unit calculates a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster
- a predicted output calculation step and the control unit sets parameters of the system performance prediction model corresponding to the classified cluster such that a difference between the calculated predicted output and the actual output of the system is reduced.
- a model adjustment step for adjustment for adjustment.
- the program according to the present invention causes a computer to function as the performance prediction apparatus according to the present invention.
- the present invention it is possible to provide a performance prediction apparatus, a performance prediction method, and a program capable of performing system performance prediction reflecting the actual behavior of the system.
- FIG. 1 is a block diagram illustrating a functional configuration example of the information processing apparatus 1 according to the first embodiment of the present invention.
- the information processing apparatus 1 functions as a performance prediction apparatus.
- the information processing apparatus 1 is an apparatus that operates according to a program such as a computer.
- the information processing apparatus 1 includes a model accumulation unit 101, a clustering unit 102, a performance prediction unit 103, and a model adjustment unit 104.
- the model storage unit 101 is a database (hereinafter referred to as DB) that stores a model of the relationship between input and output of performance indexes of a system that is a target of performance prediction.
- the input is, for example, the number of requests that the system must process within a unit time.
- the output is, for example, system throughput or response time.
- the input and output are not limited to these, and if the model can be described as the relationship between the independent variable and the dependent variable, the independent variable may be the input and the dependent variable may be the output.
- the model is a system performance prediction model, and determines the prediction of the output from the system by performing calculation or simulation according to a predetermined procedure with respect to the input to the system.
- a queue that imitates the operation of each component of a computer such as a CPU (Central Processing Unit) can be used as a model.
- a mechanism for example, a neural network, a hidden Markov model, a polynomial function approximation, or the like
- models are merely examples, and the models are not limited to these.
- the clustering unit 102 clusters the input to the system subject to performance prediction into one of a plurality of clusters in consideration of the input type and the interaction (relationship) between the inputs.
- clustering is a process of classifying data such that data having a relationship with each other is in the same group (cluster).
- each cluster is given at a ratio for each type of request in the input (defined according to the ratio). For example, when typical ratios at a certain time such as weekdays, holidays, and the end of the month are known, the ratios at each time may be defined as clusters. In this case, it is determined to which cluster the ratio of input requests to the performance prediction target system at the time of prediction belongs.
- the performance prediction unit 103 refers to the model storage unit 101 to identify a model corresponding to the cluster to which the input to the system belongs, and uses the relationship between the input and output in the model to predict the input of the performance prediction target system. Calculate the output.
- the model adjustment unit 104 adjusts the parameters of the model based on the difference between the prediction output calculated by the performance prediction unit 103 and the actual output of the performance prediction target system for a model corresponding to a certain cluster.
- the model parameters are, for example, a processing time per request in the case of a queue model, and a synaptic load in the case of a neural network.
- adjusting a parameter included in the model is expressed as adjusting the model.
- the actual output value of the performance prediction target system can be obtained by any method.
- the actual output value of the performance prediction target system may be acquired from a storage unit included in the information processing device 1 or may be acquired from an external device of the information processing device 1.
- the adjusted parameters are held by the performance prediction unit 103.
- the present invention is not limited to this, and the adjusted parameters may be held by the model storage unit 101 or other elements.
- the performance prediction unit 103 calculates a predicted output by a model using the adjusted parameters.
- the algorithm for adjusting the model specifically adjusts the model using a method such as a learning or optimization method so that the predicted output of the calculated model approaches the actual output of the performance prediction target system.
- a method such as a learning or optimization method so that the predicted output of the calculated model approaches the actual output of the performance prediction target system.
- the model is a neural network
- the synaptic load is corrected by a learning algorithm such as backpropagation.
- the model is a polynomial approximation
- the coefficient of each term is corrected by the least square method or the like.
- the model is a queue
- the request processing time is corrected by a Kalman filter or the like.
- the model parameters can be corrected using reinforcement learning, genetic algorithm, Monte Carlo method, linear programming, etc.
- the method for adjusting the model is not limited to these examples.
- the information processing apparatus 1 includes a control unit, a storage unit, and an input / output unit as a hardware configuration.
- the control unit is configured by a CPU or the like.
- the storage unit includes a RAM (Random Access Memory), a ROM (Read Only Memory), an HDD (Hard Disc Drive), and the like.
- the input / output unit includes various interfaces such as an operation unit, a display unit, and a communication interface. The functions provided in the information processing apparatus 1 described above are realized by the cooperation of these hardware and various programs stored in the storage unit.
- the prediction target system ID 151 is an identifier for identifying a system that is a target of performance prediction.
- the cluster ID 152 is an identifier for identifying a cluster to which an input to the prediction target system belongs.
- the model 153 is a type of system performance prediction model.
- the model adjustment algorithm 154 is a type of algorithm used for adjusting the model.
- the model adjustment condition 155 is a condition for ending the model adjustment.
- the cluster ID 152 is stored in association with the prediction target system ID 151.
- the model 153, the model adjustment algorithm 154, and the model adjustment condition 155 are stored in association with the black box ID 151 and the cluster ID 152.
- the model adjustment unit 104 compares the actual output of the performance prediction target system with the prediction output predicted by the model, and the difference is determined in advance (that is, the model adjustment condition 155). If the value is equal to or less than the stored value, the adjustment is completed. When the adjustment is completed in this way, the model can predict the behavior of the real system within a predetermined accuracy.
- the difference between the actual output of the performance prediction target system and the predicted output predicted by the model does not change after a certain number of adjustments (ie, the adjustment can be considered to be in an equilibrium state). ) May be completed.
- the adjustment may be completed when the adjustment is performed a predetermined number of times.
- model adjustment algorithm may be applied to all clusters, as in the case where the prediction target system ID 151 in FIG. 2 is “001”.
- different models, model adjustment algorithms, and model adjustment conditions may be applied to each cluster as in the case where the prediction target system ID 151 is “002”.
- control of this process is performed by developing and executing a program stored in the storage unit by a control unit provided in the information processing apparatus 1.
- step S201 the clustering unit 102 clusters (classifies) input data to the performance prediction target system into any cluster. This clustering is performed according to the type of input data to the performance prediction target system and the interaction between the input data.
- request interaction depends on the ratio of request types in the input request (that is, requests processed simultaneously by the system). Therefore, clustering according to the type and interaction of the input data can be performed by clustering the input data according to the ratio of the type of input data in the input data to the performance prediction target system.
- FIG. 4A shows an example of input data to the performance prediction target system.
- the input data includes two types of requests, and the number of each request per unit time is shown in a graph.
- the horizontal axis represents time, and the vertical axis represents the number of requests per unit time.
- clusters 1 and 2 are defined according to the ratio of two types of requests.
- Cluster 1 is a cluster in which the ratio of the number of requests 1 to the number of requests 2 is 1: 2.
- Cluster 2 is a cluster in which the ratio of the number of requests 1 to the number of requests 2 is 4: 3.
- Clustering is performed by determining to which cluster the ratio of requests included in the input data is close.
- FIG. 4B shows a graph in which the input data shown in FIG. 4A is plotted with the number of requests 1 on the horizontal axis and the number of requests 2 on the vertical axis.
- a straight line having a request ratio of 1: 2 and a straight line having a 4: 3 ratio are plotted.
- the input data represented by x is clustered in cluster 1
- the input data represented by ⁇ is clustered in cluster 2.
- the index of the proximity between the input data and the cluster is noticed, for example, in the plot of the ratio of the input data and the ratio of each cluster (Euclidean distance, etc.) and / or the number of requests of plural types as shown in FIG.
- the distance between the current data point and the cluster represented by a straight line can be used.
- the index of the proximity between the input data and the cluster is not limited to these examples.
- 4A and 4B exemplify the case of two types of requests and two types of clusters. However, it is obvious that the application can be easily performed even in the case of multiple types of requests and multiple types of clusters.
- the performance prediction unit 103 refers to the model storage unit 101, and uses the relationship between the input and output of the model corresponding to the cluster clustered in S201 to input to the performance prediction target system.
- the predicted output for is calculated.
- step S203 the model adjustment unit 104 determines whether the model adjustment is completed based on the model adjustment condition 155 of the model storage unit 101. Here, whether or not the model adjustment is completed is determined based on the model adjustment condition 155 of FIG. 2 for each model corresponding to each cluster. If it is determined that the model adjustment has been completed, the process ends. If it is not determined that the adjustment has been completed, the process proceeds to step S204.
- step S204 the model adjustment unit 104 adjusts the model based on the predicted output of the model calculated in step S202 and the actual output of the performance prediction target system.
- the model adjustment is performed based on the model adjustment algorithm 154 of FIG. 2 for each model corresponding to each cluster.
- the process returns to step S203, and the performance prediction unit 103 calculates the prediction output predicted by the adjusted model again.
- the input of the performance prediction target system is assigned to any of a plurality of clusters in consideration of the type of input and interaction (relationship) (for example, the ratio for each type of request included in the input). Clustering. Then, for the input of the performance prediction target system, the prediction output predicted by the model corresponding to the cluster is calculated, and the model is adjusted so that the difference between the actual output of the performance prediction target system and the prediction output is small. .
- Performance prediction that reflects actual behavior can be performed.
- a plurality of clusters may be defined by the ratio of each request included in the input to the system.
- Request interaction depends on the ratio of requests (ie, requests that the system processes simultaneously). Therefore, adjusting the model for each cluster is a reflection of the actual interaction of requests.
- FIG. 5 is a block diagram illustrating a functional configuration example of the information processing apparatus 3 according to the second embodiment of the present invention.
- the same components as those of the information processing device 1 in the first embodiment are denoted by the same reference numerals.
- the hardware configuration of the information processing apparatus 3 is the same as that of the first embodiment.
- the clustering unit 302 creates a plurality of clusters according to the type and interaction of inputs to the performance prediction target system, and clusters the inputs into any of the plurality of clusters.
- creation of a cluster can be performed by, for example, applying multiple regression equations to a plurality of types of requests included in the input.
- FIG. 6 shows an example of input data to the performance prediction target system.
- two types of requests are included in the input data.
- FIG. 6 shows a graph in which the horizontal axis plots the number of requests 1 and the vertical axis plots the number of requests 2 for each unit time.
- two straight lines obtained by applying the input data to the regression equation are plotted.
- Each straight line represents each cluster.
- Input data is clustered into one of two types of clusters.
- FIG. 6 illustrates the case of two types of requests and two clusters, but in general, a plurality of multiple regression equations may be applied to a plurality of types of requests.
- a method of applying a plurality of multiple regression equations may be, for example, the method described in Patent Document 5 or another method. Note that all of the multiple regression equations need not have the same dimension.
- Fig. 7 shows an example when there are three types of requests. Each axis represents the number of unit times of each request. Assume that the numbers of requests 1, 2, and 3 are N1, N2, and N3, respectively.
- the number of clusters to be created may be determined in advance, or an index (Akaike information criterion: AIC or Bayesian information criterion: BIC, etc.) for evaluating the goodness of the model from the degree of freedom and accuracy of the created regression equation ) May be calculated, and as many clusters as the number of the values may be created.
- an index Akaike information criterion: AIC or Bayesian information criterion: BIC, etc.
- the model creation unit 305 creates a model corresponding to each cluster created by the clustering unit 302.
- FIG. 8A shows the configuration of the DB storing the models at the time before creating the cluster. Since the cluster is not created, there is only one cluster (ie all inputs belong to the same cluster).
- the model creation unit 305 creates a model for each cluster, for example, by duplicating the model before cluster creation as shown in FIG. 8A.
- FIG. 8B shows a state where three clusters are created for the prediction target system ID 151 of “001” and a corresponding model is created. As illustrated in FIG. 8B, the same model is created for all clusters having the prediction target system ID 151 of “001”.
- the model creation unit 305 may create a model for each cluster by incorporating the properties of the clusters.
- FIG. 8C illustrates a case where a model is created by taking in the properties of each cluster after duplicating the model before cluster creation as shown in FIG. 8A.
- models for each cluster having the prediction target system ID 151 of “001” are different types of neural networks.
- the dimension can be reflected.
- the number of input neurons of the neural network at the time of FIG. 8A is the number of request types, and the number of unit times of the corresponding type of request is input to each input neuron.
- the cluster 1 is a two-dimensional planar cluster, two independent variables are sufficient to specify any one point in the cluster. Therefore, two new independent basis vectors in this cluster can be taken and used as input variables to the model.
- the number of input neurons of the neural network corresponding to this cluster may be two, which is the number of independent variables, from three, which is the number of types of requests.
- the cluster 2 is a one-dimensional linear cluster
- the number of input neurons of the neural network corresponding to this cluster may be one.
- the number of input neurons can be reduced by considering the dimension of the cluster. It will be obvious that such types of input variables can be reduced with general models, not limited to neural networks.
- FIG. 9 is a flowchart showing processing of the information processing apparatus 3.
- the control of this process is performed by the control unit of the information processing device 3 developing and executing a program stored in the storage unit.
- the same steps as those in FIG. 3 of the first embodiment are denoted by the same reference numerals, and these steps are processed in the same manner as in the first embodiment. Omitted.
- step S401 the clustering unit 302 creates a cluster according to the input to the performance prediction target system.
- step S ⁇ b> 402 the model generation unit 305 creates a model corresponding to each of the clusters created by the clustering unit 302.
- step S402 the created model and the accompanying model adjustment algorithm / model adjustment condition may be manually corrected while referring to the corresponding cluster.
- the information processing apparatus 3 as the performance prediction apparatus according to the present embodiment is different from the first embodiment in that a cluster is created from an input and a model is created for each cluster. According to the present embodiment, since the cluster is created from the input, even if the cluster is not generated when performing the performance prediction, the cluster can be generated according to the contents of the input, and the generated cluster Each model can correspond.
- a model corresponding to each cluster can be created reflecting the cluster information.
- reflecting the dimension of the cluster can reduce the dimension of the input variable as described above. In general, the smaller the dimension, the higher the learning speed.
- Clustering means for classifying the input to the system subject to performance prediction into one of a plurality of clusters according to the type of the input and the interaction between the inputs, Predicted output calculation means for calculating a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster; Model adjustment means for adjusting parameters of the performance prediction model of the system corresponding to the classified cluster so that a difference between the calculated predicted output and the actual output of the system is reduced.
- a characteristic performance prediction device for classifying the input to the system subject to performance prediction into one of a plurality of clusters according to the type of the input and the interaction between the inputs, Predicted output calculation means for calculating a predicted output for the input using a performance prediction model of the system corresponding to the classified cluster; Model adjustment means for adjusting parameters of the performance prediction model of the system corresponding to the classified cluster so that a difference between the calculated predicted output and the actual output of the system is reduced.
- the said clustering means produces the several cluster about the said input according to the kind of input to the system used as the object of performance prediction, and the interaction between inputs,
- the additional remark 1 characterized by the above-mentioned. Performance prediction device.
- Model accumulation unit 102 Model accumulation unit 102, 302 Clustering unit 103 Performance prediction unit 104 Model adjustment unit 305 Model generation unit
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
性能予測の対象システムの実際の振る舞いを反映した性能予測を行う。性能予測装置は、性能予測の対象とする性能予測対象システムの入力を、入力の種類と相互作用を考慮して、複数のクラスタにクラスタリングし、前記複数のクラスタのそれぞれに対応する前記性能予測対象システムの性能予測モデルに基づいて、入力に対して前記性能予測モデルの予測出力を算出し、前記算出した予測出力と性能予測対象システムの実際の出力との差がより小さくなるように、前記複数のクラスタのそれぞれに対応する性能予測対象システムの性能予測モデルを調整する。
Description
本発明は、システムの実際の振る舞いを反映して、システムの性能予測を行う技術に関する。
システムの性能予測の技術に関して、特許文献1には、並列計算機システムを待ち行列モデルに変換することによって、マルチタスク環境における並列計算機のスループットやレスポンス、リソース使用率などの性能指標を予測する方法が提案されている。この待ち行列モデルによる予測においては、構築するシステムに関するパラメータ(例えば、1リクエストあたりの処理時間(Demand)など)が事前に与えられ、そのパラメータを用いて予測する。このパラメータを調整する技術として、特許文献2には、アプリケーションとアプリケーションモデルのそれぞれのログ出力を比較し、自動的にアプリケーションモデルのパラメータを調整して反映させることが開示されている。これにより、アプリケーションの実行環境に応じた適当なパラメータを選び、性能予測の精度を向上させることができる。
また、特許文献3においては、サーバ計算機システム全体をブラックボックス化し、計測トランザクションを与えて、待ち行列網によるモデルとは異なる単純確立計算で同時処理数を推定している。また、特許文献4では、機械の性能を推定するために、複数のデータ群のそれぞれを複数のモデルの学習データとして用いている。また、特許文献5には、モデルの構築方法に関する技術が開示されている。
しかしながら、特許文献1に開示された性能予測では、パラメータの調整が行われていないため、事前に与えられたパラメータの値と実際に構築した対象システムのパラメータの値とが異なることがある。そのため、モデルを用いて予測した性能指標が実際に構築した対象システムの性能指標とずれるという問題がある。
また、特許文献2,3に開示された性能予測では、計測したデータを用いてパラメータ等の調整を行なっている。しかしながら、複数の異なる種類のリクエストが入力されるシステムの性能を予測する場合、調整に用いた計測データに対する入力データにおけるリクエストの各種類の比率と、予測したい状況の入力データにおけるリクエストの各種類の比率とが異なると、予測の精度が落ちるという問題がある。
また、特許文献4においては、複数の異なる種類の運転環境データを複数のデータ群に分類している。しかしながら、分類の方法は、単純に各次元を所定の値に従い分割したものである。従って、この方法を複数の異なる種類のリクエストが入力されるシステムの性能予測に適用しても、これらのリクエストがシステムで同時実行される場合のリクエスト間の競合・干渉などを考慮した性能予測を行うことができない。
本発明は、上述の課題を解決するためになされたものであり、その目的は、システムの実際の振る舞いを反映してシステムの性能予測を行うことが可能な性能予測装置、性能予測方法及びプログラムを提供することである。
上記目的を達成するため、本発明に係る性能予測装置は、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリング手段と、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段とを備えたことを特徴とする。
本発明に係る性能予測方法は、制御部を有する情報処理装置において実施される方法であって、前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップとを備えることを特徴とする。
本発明に係るプログラムは、コンピュータを、本発明に係る前記性能予測装置として機能させることを特徴とする。
本発明によれば、システムの実際の振る舞いを反映してシステムの性能予測を行うことが可能な性能予測装置、性能予測方法及びプログラムを提供することができる。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1の実施形態]
図1は、本発明の第1の実施形態に係る情報処理装置1の機能構成例を示すブロック図である。情報処理装置1は、性能予測装置として機能する。情報処理装置1は、コンピュータ等のプログラムに従って動作する装置である。情報処理装置1は、モデル蓄積部101と、クラスタリング部102と、性能予測部103と、モデル調整部104と、を含む。
図1は、本発明の第1の実施形態に係る情報処理装置1の機能構成例を示すブロック図である。情報処理装置1は、性能予測装置として機能する。情報処理装置1は、コンピュータ等のプログラムに従って動作する装置である。情報処理装置1は、モデル蓄積部101と、クラスタリング部102と、性能予測部103と、モデル調整部104と、を含む。
モデル蓄積部101は、性能予測の対象とするシステムの性能指標の入力と出力の関係のモデルを蓄積しているデータベース(以下、DB)である。
ここで、入力とは、例えば、単位時間内にシステムが処理しなくてはならないリクエスト数などである。出力とは、例えば、システムのスループットや応答時間などである。しかし、入力及び出力はこれらに限定されるものではなく、独立変数と従属変数の関係としてモデルで記述できる場合には、その独立変数を入力とし、従属変数を出力としてもよい。
ここで、入力とは、例えば、単位時間内にシステムが処理しなくてはならないリクエスト数などである。出力とは、例えば、システムのスループットや応答時間などである。しかし、入力及び出力はこれらに限定されるものではなく、独立変数と従属変数の関係としてモデルで記述できる場合には、その独立変数を入力とし、従属変数を出力としてもよい。
ここで、モデルとは、システムの性能予測モデルであり、システムへの入力に対して、あらかじめ定められた手順に従って、計算もしくはシミュレーションを行うことによって、システムからの出力の予測を決定するものである。例えば、CPU(Central Processing Unit)などのコンピュータの各構成要素の動作を模倣した待ち行列をモデルとすることができる。また、学習や回帰などの手段によって、入力に対して適当な出力を決定することができる仕組み(例えば、ニューラルネットワークや隠れマルコフモデル、多項式関数近似など)をモデルとすることができる。これらのモデルは単なる例示であり、モデルをこれらに限定するものではない。
クラスタリング部102は、性能予測の対象とするシステムへの入力を、入力の種類と入力間の相互作用(関係性)を考慮して、複数のクラスタのいずれかにクラスタリングする。ここで、クラスタリングとは、あるデータの集合に対し、関係性を有するデータ同士が同じ組(クラスタ)となるようにデータを分類する処理である。
例えば、性能予測対象システムへの入力が複数の異なる種類のリクエストを含む場合、各クラスタは、入力におけるリクエストの種類毎の比率で与えられる(比率に応じて定義される)。例えば、平日・休日・月末など、ある時期における典型的な比率が分かっている場合、各時期における比率をそれぞれクラスタとして定義してもよい。この場合、予測したい時期における性能予測対象システムへの入力リクエストの比率が、どのクラスタに属するかが判別される。
性能予測部103は、モデル蓄積部101を参照してシステムへの入力が属するクラスタに対応するモデルを特定し、当該モデルにおける入力と出力との関係を用いて、性能予測対象システムの入力に対する予測出力を算出する。
モデル調整部104は、あるクラスタに対応するモデルについて、性能予測部103が算出した予測出力と、性能予測対象システムの実際の出力との間の差に基づいて、モデルのパラメータを調整する。ここで、モデルのパラメータとは、例えば、待ち行列モデルであれば、1リクエストあたりの処理時間などであり、ニューラルネットワークであれば、シナプス荷重などである。以下では、モデルに含まれるパラメータを調整することを、モデルを調整する、と表現する。
なお、性能予測対象システムの実際の出力の値は、任意の方法で取得することができる。例えば、性能予測対象システムの実際の出力の値は、情報処理装置1が有する記憶部から取得されてもよいし、情報処理装置1の外部装置から取得されてもよい。また、調整後のパラメータは、性能予測部103によって保持される。しかしながら、これに限定されず、調整後のパラメータは、モデル蓄積部101又は他の要素によって保持されてもよい。性能予測部103は、調整後のパラメータを用いて、モデルによって予測出力を算出する。
モデルを調整するアルゴリズムは、具体的には、算出したモデルの予測出力を性能予測対象システムの実際の出力に近づけるように、学習または最適化手法などの方法を用いてモデルを調整する。例えば、モデルがニューラルネットワークの場合には、バックプロパゲーションなどの学習アルゴリズムによってシナプス荷重を補正する。モデルが多項式近似の場合は、最小二乗法などで各項の係数を補正する。モデルが待ち行列の場合は、カルマンフィルタなどでリクエストの処理時間を補正する。このほかにも、性能予測対象システムの実際の出力と予測出力の差を評価する関数として、強化学習や遺伝的アルゴリズム、モンテカルロ法、線形計画法などを用いて、モデルのパラメータを補正しても良く、モデルを調整する方法は、これらの例示に限定されない。
また、一実施形態において、情報処理装置1は、ハードウェア構成として、制御部、記憶部、及び入出力部を備える。制御部は、CPUなどで構成される。記憶部は、RAM(Random Access Memory)、ROM(Read Only Memory)、及びHDD(Hard Disc Drive)などで構成される。入出力部は、操作部、表示部、及び通信インタフェースなどの各種インタフェースで構成される。上述した情報処理装置1が備える機能は、これらのハードウェアと記憶部に記憶された各種プログラムとの協働により実現される。
図2を参照して、モデル蓄積部101に記憶されているデータの構成を説明する。予測対象システムID151は、性能予測の対象となるシステムを識別する識別子である。クラスタID152は、予測対象システムへの入力が属するクラスタを識別する識別子である。モデル153は、システムの性能予測モデルの種類である。モデル調整アルゴリズム154は、モデルを調整するために用いられるアルゴリズムの種類である。モデル調整条件155は、モデルの調整を終了する条件である。
クラスタID152は、予測対象システムID151に対応付けて記憶されている。同様に、モデル153、モデル調整アルゴリズム154及びモデル調整条件155は、ブラックボックスID151及びクラスタID152に対応付けて記憶されている。
モデル調整条件155に関して、例えば、モデル調整部104は、性能予測対象システムの実際の出力と、モデルが予測した予測出力とを比較し、その差があらかじめ定められた精度(すなわち、モデル調整条件155として記憶された値)以下である場合に調整を完了する。このように調整が完了したとき、モデルによって、あらかじめ定められた精度内で実システムの振る舞いを予測できる。
また、変形例として、性能予測対象システムの実際の出力と、モデルが予測した予測出力との差が、ある一定回数の調整を経ても変化しない場合(すなわち、調整が平衡状態にあるとみなせる場合)に調整完了としてもよい。あるいは、あらかじめ定められた回数の調整を行った場合に、調整完了としてもよい。
なお、図2の予測対象システムID151が「001」の場合のように、全てのクラスタに対して、同じモデル、モデル調整アルゴリズム、モデル調整条件を適用しても良い。あるいは、予測対象システムID151が「002」の場合のように、各クラスタで、異なったモデル、モデル調整アルゴリズム、モデル調整条件を適用しても良い。
次に、図3を参照して、情報処理装置1による処理のフローの例について説明する。この処理の制御は、情報処理装置1に備える制御部が記憶部に記憶されたプログラムを展開し、実行することによって行われる。
まず、ステップS201において、クラスタリング部102は、性能予測対象システムへの入力データをいずれかのクラスタにクラスタリング(分類)する。このクラスタリングは、性能予測対象システムへの入力データの種類及び入力データ間の相互作用に応じて行われる。
例えば、リクエストの相互作用は、入力されたリクエスト内におけるリクエストの種類の比率(すなわち、システムが同時に処理するリクエスト)に依存する。従って、性能予測対象システムへの入力データ内における入力データの種類の比率に応じて入力データをクラスタリングすることによって、入力データの種類及び相互作用に応じたクラスタリングを行うことができる。
図4Aは、性能予測対象システムへの入力データの例を示しているである。ここでは、入力データには2種類のリクエストが含まれており、それぞれのリクエストの単位時刻あたりの数がグラフで示されている。横軸は時刻、縦軸は単位時刻あたりのリクエスト数である。この例では、2種類のリクエストの比率に応じて、クラスタ1,2が定義されているとする。クラスタ1は、リクエスト1の数とリクエスト2の数の比が1:2であるクラスタである。クラスタ2は、リクエスト1の数とリクエスト2の数の比が4:3であるクラスタである。入力データに含まれているリクエストの比率がどのクラスタに近いかを判別することによって、クラスタリングが行なわれる。
図4Bは、図4Aに示される入力データを、横軸をリクエスト1の数、縦軸をリクエスト2の数でプロットしたグラフを示している。図4Bのグラフには、入力データのほかに、リクエスト数の比が1:2の直線と、4:3の直線がプロットされている。図4Bでは、×印で表された入力データはクラスタ1にクラスタリングされ、○印で表された入力データはクラスタ2にクラスタリングされている。ここで、入力データとクラスタの近さの指標は、例えば、入力データの比率と各クラスタの比率の距離(ユークリッド距離など)、及び/又は図4Bのような複数種類のリクエスト数のプロットにおいて注目しているデータ点と直線で表現されるクラスタとの距離を用いることができる。その他に、注目しているデータ点と原点を通る直線とクラスタを表現する直線のそれぞれの傾きを表す単位ベクトルの内積を用いることができる。しかしながら、入力データとクラスタの近さの指標は、これらの例示に限定されるものではない。
図4A、図4Bでは2種類のリクエスト、2種類のクラスタの場合を例示したが、複数種類のリクエスト、複数種類のクラスタの場合でも適用が容易にできることは自明であろう。
次に、ステップS202において、性能予測部103は、モデル蓄積部101を参照して、S201でクラスタリングされたクラスタに対応するモデルの入力と出力との関係を用いて、性能予測対象システムへの入力に対する予測出力を算出する。
そして、ステップS203において、モデル調整部104は、モデルの調整が終了したか否かをモデル蓄積部101のモデル調整条件155に基づいて判断する。ここで、モデルの調整が終了したかどうかは、各クラスタに対応するモデルのそれぞれについて、図2のモデル調整条件155に基づいて判断される。モデルの調整が終了したと判断された場合、処理は終了する。調整終了と判断されない場合、処理はステップS204に進む。
ステップS204において、モデル調整部104は、ステップS202において算出されたモデルの予測出力と、性能予測対象システムの実際の出力とを基に、モデルを調整する。ここで、モデルの調整は、各クラスタに対応するモデルのそれぞれについて、図2のモデル調整アルゴリズム154に基づいて行なわれる。ステップS204でモデルを調整した後、処理はステップS203に戻り、性能予測部103は、調整されたモデルが予測する予測出力を再び算出する。
次に、本実施形態の効果について説明する。本実施形態においては、性能予測対象システムの入力を、入力の種類と相互作用(関係性)(例えば、入力に含まれるリクエストの種類ごとの比率)を考慮して、複数のクラスタのいずれかにクラスタリングする。そして、性能予測対象システムの入力に対して、クラスタに対応するモデルが予測する予測出力を算出し、性能予測対象システムの実際の出力と予測出力との差が小さくなるように、モデルを調整する。その結果、本実施形態によれば、複数種類の入力の相互作用によって性能の変動がある性能予測対象システムに対して、複数のクラスタに対応するモデルを調整することで、性能予測の対象システムの実際の振る舞いを反映した性能予測を行うことができる。例えば、複数のクラスタは、システムへの入力に含まれる各リクエストの比率などで定義されても良い。リクエストの相互作用は、リクエストの比率(すなわち、システムが同時に処理するリクエスト)に依存する。従って、クラスタごとにモデルを調整することは、実際に生じるリクエストの相互作用を反映することに他ならない。
[第2の実施形態]
図5は、本発明の第2の実施形態に係る情報処理装置3の機能構成例を示すブロック図である。情報処理装置3の構成のうち、第1の実施形態における情報処理装置1と同じ構成については、同じ符号を付している。ここでは、情報処理装置3の構成のうち、情報処理装置1と異なる部分についてのみ説明する。その他の構成およびその動作については、説明を省略する。なお、情報処理装置3のハードウェア構成は、第1の実施形態と同様である。
図5は、本発明の第2の実施形態に係る情報処理装置3の機能構成例を示すブロック図である。情報処理装置3の構成のうち、第1の実施形態における情報処理装置1と同じ構成については、同じ符号を付している。ここでは、情報処理装置3の構成のうち、情報処理装置1と異なる部分についてのみ説明する。その他の構成およびその動作については、説明を省略する。なお、情報処理装置3のハードウェア構成は、第1の実施形態と同様である。
クラスタリング部302は、性能予測対象システムへの入力の種類及び相互作用に応じて、複数のクラスタを作成し、当該入力を複数のクラスタのいずれかにクラスタリングする。ここで、クラスタの作成は、例えば、入力に含まれる複数種類のリクエストに対して重回帰式などをあてはめることによって行うことができる。
図6に、性能予測対象システムへの入力データの例を示す。この例では、入力データに2種類のリクエストが含まれている。図6は、横軸をリクエスト1の数、縦軸をリクエスト2の数で単位時刻ごとにプロットしたグラフを示している。図6には、入力データのほかに、入力データを回帰式にあてはめた2本の直線をプロットしている。それぞれの直線(すなわち、回帰式)がそれぞれのクラスタを示している。入力データは、2種類のクラスタのどちらかにクラスタリングされる。図6では、2種類のリクエスト、2つのクラスタの場合を例示したが、一般には、複数種類のリクエストに対して、複数の重回帰式をあてはめればよい。複数の重回帰式を当てはめる方法は、例えば、特許文献5に記載の方法でも良いし、他の方法でも良い。なお、複数の重回帰式の全てが同じ次元でなくても良い。
図7に、リクエストが3種類である場合の例を示す。各軸は、各リクエストの単位時刻の数を表している。リクエスト1,2,3の数をそれぞれN1,N2,N3とする。このとき、クラスタ1は、N3=A*N1+B*N2という重回帰式で表されるような2次元平面的なクラスタである(A、Bは係数)。クラスタ2は、N3=C*N2かつN2=D*N1という重回帰式で表されるような1次元直線的なクラスタである(C、Dは係数)。このように違う次元のクラスタを作成しても良い。作成されるクラスタの個数は、あらかじめ決められていても良いし、作成された回帰式の自由度と精度からモデルの良さを評価する指標(赤池情報量規準:AICやベイズ情報量規準:BICなど)を計算し、その値が最適な値になるような個数だけクラスタを作成するようにしてもよい。
モデル作成部305は、クラスタリング部302が作成したクラスタのそれぞれに対応するモデルを作成する。
図8Aに、クラスタを作成する前の時点での、モデルを蓄積しているDBの構成を示す。クラスタが作成される前なので、クラスタは1つである(すなわち全ての入力は同じクラスタに属している)。クラスタを作成後、モデル作成部305は、例えば、各クラスタに対するモデルを、図8Aに示されるようなクラスタ作成前のモデルを複製することによって、作成する。予測対象システムID151が「001」のものに対して、3つのクラスタを作成し、それに対応するモデルを作成した様子を図8Bに示す。図8Bに例示されるように、予測対象システムID151が「001」のものの全てのクラスタに対して同じモデルが作成されている。
図8Aに、クラスタを作成する前の時点での、モデルを蓄積しているDBの構成を示す。クラスタが作成される前なので、クラスタは1つである(すなわち全ての入力は同じクラスタに属している)。クラスタを作成後、モデル作成部305は、例えば、各クラスタに対するモデルを、図8Aに示されるようなクラスタ作成前のモデルを複製することによって、作成する。予測対象システムID151が「001」のものに対して、3つのクラスタを作成し、それに対応するモデルを作成した様子を図8Bに示す。図8Bに例示されるように、予測対象システムID151が「001」のものの全てのクラスタに対して同じモデルが作成されている。
あるいは、モデル作成部305は、例えば、各クラスタに対するモデルを、クラスタの性質を取り入れて作成しても良い。図8Aに示されるようなクラスタ作成前のモデルを複製した後、各クラスタの性質を取り入れてモデルを作成した場合を図8Cに例示する。図8Cに例示されるように、予測対象システムID151が「001」のものの各クラスタに対するモデルは、種類の違うニューラルネットワークとなっている。
クラスタの性質を取り入れる方法としては、クラスタが重回帰式の場合、その次元を反映させるなどが考えられる。例えば、図8Aの時点でのニューラルネットワークの入力ニューロンの数は、リクエストの種類の数だけあり、各入力ニューロンには、対応する種類のリクエストの単位時刻の数が入力されるとする。このようなニューラルネットワークが複製され、各クラスタに対応される場合を考える。例として図7の場合を考えると、クラスタ1は2次元平面的なクラスタなので、このクラスタ内の任意の1点を指定するのに必要な独立な変数の数は2つで十分である。よって、このクラスタ内の独立した基底ベクトルを新たに2つとり、それらをモデルへの入力変数とすることができる。よって、このクラスタに対応するニューラルネットワークの入力ニューロンの数は、リクエストの種類の数である3個から、独立変数の数である2個でよいことになる。同様に、クラスタ2は1次元直線的なクラスタなので、このクラスタに対応するニューラルネットワークの入力ニューロンは1個でよい。このように、クラスタの次元を考慮することによって、入力ニューロンの数を減らすことができる。ニューラルネットワークに限らず、一般的なモデルで、このような入力変数の種類の削減が可能であることは自明であろう。
次に情報処理装置3による処理のフローについて説明する。図9は、情報処理装置3の処理を示すフローチャートである。この処理の制御は、情報処理装置3の制御部が記憶部に記憶されたプログラムを展開し、実行することによって行われる。なお、図9において、第1の実施形態の図3と同様のステップには同じ参照番号が付されており、これらのステップについては、第1の実施形態と同様の処理を行うため、説明は省略する。
ステップS401において、クラスタリング部302は、性能予測対象システムへの入力に応じて、クラスタを作成する。そして、ステップS402において、モデル生成部305は、クラスタリング部302で作成されたクラスタのそれぞれに対応するモデルを作成する。なお、ステップS402において、作成されたモデルや付随するモデル調整アルゴリズム・モデル調整条件を、対応するクラスタを参照しながら人手によって修正を加えても良い。
次に、第2の実施形態の効果について説明する。本実施形態に係る性能予測装置としての情報処理装置3は、第1の実施形態と比べると、入力からクラスタを作成し、クラスタごとにモデルを作成する点で異なる。本実施形態によれば、入力からクラスタを作成するので、性能予測を行うときにクラスタが生成されていない場合でも、入力の内容に応じてクラスタを生成することができ、かつ、生成されたクラスタごとにモデルを対応させることができる。
また、重回帰式によってクラスタを作成することで、入力の相互作用を取り入れたモデルの調整ができる。例えば、1次元直線的なクラスタの場合は、各種類のリクエストの比率が一定であることを示しており、このような場合でのモデルの調整ができる。2次元平面的なクラスタの場合(すなわち、N3=A*N1+B*N2のような場合)には、リクエスト1が(1/A)回起こるとリクエスト3が1回起こる、または、リクエスト2が(1/B)回起こるとリクエスト3が1回起こる、というリクエストの平均的な振る舞いを表しており、このような場合でのモデルの調整ができる。3次元以上のクラスタの場合でも同様である。
さらに、本実施形態によれば、各クラスタに対応するモデルを、クラスタの情報を反映して作成することができる。例えば、クラスタの次元を反映すると、上記で説明したように、入力変数の次元を減らすことができる。一般に、次元が小さいほど学習の速度は速くなる効果が得られる。
本発明の具体的な構成は前述の実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の変更があってもこの発明に含まれる。
この出願は、2012年6月6日に出願された日本出願特願2012-129164を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
上記の実施の形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリング手段と、
前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、
前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段と
を備えたことを特徴とする性能予測装置。
前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、
前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段と
を備えたことを特徴とする性能予測装置。
(付記2)前記クラスタリング手段は、性能予測の対象となるシステムへの入力の種類及び入力間の相互作用に応じて、当該入力についての複数のクラスタを作成することを特徴とする付記1に記載の性能予測装置。
(付記3)前記複数のクラスタのそれぞれに対応する前記システムの性能予測モデルを作成するモデル作成手段を備えることを特徴とする付記1又は2に記載の性能予測装置。
(付記4)前記モデル作成手段は、前記クラスタの情報を反映して前記性能予測モデルを生成することを特徴とする付記3に記載の性能予測装置。
(付記5)前記クラスタは、前記入力に含まれるリクエストの種類のそれぞれの比率に応じて定義されることを特徴とする付記1から4のいずれか1つに記載の性能予測装置。
(付記6)前記クラスタは、前記入力に対して重回帰式をあてはめることによって定義することを特徴とする付記1から4のいずれか1つに記載の性能予測装置。
(付記7)制御部を有する情報処理装置において実施される性能予測方法であって、
前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、
前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、
前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップと
を備えることを特徴とする性能予測方法。
前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、
前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、
前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップと
を備えることを特徴とする性能予測方法。
(付記8)コンピュータを付記1から7のいずれか1つに記載の性能予測装置として機能させるためのプログラム。
1,3 情報処理装置
101 モデル蓄積部
102,302 クラスタリング部
103 性能予測部
104 モデル調整部
305 モデル生成部
101 モデル蓄積部
102,302 クラスタリング部
103 性能予測部
104 モデル調整部
305 モデル生成部
Claims (8)
- 性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリング手段と、
前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出手段と、
前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整手段と
を備えたことを特徴とする性能予測装置。 - 前記クラスタリング手段は、性能予測の対象となるシステムへの入力の種類及び入力間の相互作用に応じて、当該入力についての複数のクラスタを作成することを特徴とする請求項1に記載の性能予測装置。
- 前記複数のクラスタのそれぞれに対応する前記システムの性能予測モデルを作成するモデル作成手段を備えることを特徴とする請求項1又は2に記載の性能予測装置。
- 前記モデル作成手段は、前記クラスタの情報を反映して前記性能予測モデルを生成することを特徴とする請求項3に記載の性能予測装置。
- 前記クラスタは、前記入力に含まれるリクエストの種類のそれぞれの比率に応じて定義されることを特徴とする請求項1から4のいずれか1項に記載の性能予測装置。
- 前記クラスタは、前記入力に対して重回帰式をあてはめることによって定義することを特徴とする請求項1から4のいずれか1項に記載の性能予測装置。
- 制御部を有する情報処理装置において実施される性能予測方法であって、
前記制御部が、性能予測の対象となるシステムへの入力を、当該入力の種類及び当該入力間の相互作用に応じて複数のクラスタのいずれかに分類するクラスタリングステップと、
前記制御部が、前記分類されたクラスタに対応する前記システムの性能予測モデルを用いて、前記入力に対する予測出力を算出する予測出力算出ステップと、
前記制御部が、前記算出された予測出力と前記システムの実際の出力との差が小さくなるように、前記分類されたクラスタに対応する前記システムの性能予測モデルのパラメータを調整するモデル調整ステップと
を備えることを特徴とする性能予測方法。 - コンピュータを請求項1から6のいずれか1項に記載の性能予測装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014519903A JPWO2013183425A1 (ja) | 2012-06-06 | 2013-05-17 | 性能予測装置、性能予測方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012-129164 | 2012-06-06 | ||
JP2012129164 | 2012-06-06 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013183425A1 true WO2013183425A1 (ja) | 2013-12-12 |
Family
ID=49711825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/063850 WO2013183425A1 (ja) | 2012-06-06 | 2013-05-17 | 性能予測装置、性能予測方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2013183425A1 (ja) |
WO (1) | WO2013183425A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047118A1 (ja) * | 2014-09-26 | 2016-03-31 | 日本電気株式会社 | モデル評価装置、モデル評価方法、及び、プログラム記録媒体 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734778A (zh) * | 2018-06-07 | 2018-11-02 | 北京必可测科技股份有限公司 | 一种技术监督数据可视化方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0534246A (ja) * | 1991-07-30 | 1993-02-09 | Toshiba Corp | プラントにおける静特性監視方法および装置 |
JP2004086897A (ja) * | 2002-08-06 | 2004-03-18 | Fuji Electric Holdings Co Ltd | モデル構築方法およびモデル構築システム |
JP2004086896A (ja) * | 2002-08-06 | 2004-03-18 | Fuji Electric Holdings Co Ltd | 適応的予測モデル構築方法及び適応的予測モデル構築システム |
JP2012118872A (ja) * | 2010-12-02 | 2012-06-21 | Nec Corp | 性能予測装置、性能予測方法およびプログラム |
-
2013
- 2013-05-17 JP JP2014519903A patent/JPWO2013183425A1/ja active Pending
- 2013-05-17 WO PCT/JP2013/063850 patent/WO2013183425A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0534246A (ja) * | 1991-07-30 | 1993-02-09 | Toshiba Corp | プラントにおける静特性監視方法および装置 |
JP2004086897A (ja) * | 2002-08-06 | 2004-03-18 | Fuji Electric Holdings Co Ltd | モデル構築方法およびモデル構築システム |
JP2004086896A (ja) * | 2002-08-06 | 2004-03-18 | Fuji Electric Holdings Co Ltd | 適応的予測モデル構築方法及び適応的予測モデル構築システム |
JP2012118872A (ja) * | 2010-12-02 | 2012-06-21 | Nec Corp | 性能予測装置、性能予測方法およびプログラム |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016047118A1 (ja) * | 2014-09-26 | 2016-03-31 | 日本電気株式会社 | モデル評価装置、モデル評価方法、及び、プログラム記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2013183425A1 (ja) | 2016-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11599393B2 (en) | Guaranteed quality of service in cloud computing environments | |
US9336493B2 (en) | Systems and methods for clustering time series data based on forecast distributions | |
US11210368B2 (en) | Computational model optimizations | |
CN110717535B (zh) | 一种基于数据分析处理系统的自动建模方法及系统 | |
CN113574325B (zh) | 通过选择控制设置来控制环境的方法和系统 | |
Moniz et al. | Resampling strategies for imbalanced time series forecasting | |
WO2020208444A1 (en) | Fairness improvement through reinforcement learning | |
US10324705B2 (en) | System and method for run-time update of predictive analytics system | |
Haroush et al. | A statistical framework for efficient out of distribution detection in deep neural networks | |
US20240168808A1 (en) | Systems and methods of optimizing resource allocation using machine learning and predictive control | |
CN112070545B (zh) | 用于优化信息触达的方法、装置、介质和电子设备 | |
WO2013183425A1 (ja) | 性能予測装置、性能予測方法及びプログラム | |
Gerling et al. | Comparison of algorithms for error prediction in manufacturing with automl and a cost-based metric | |
WO2024104233A1 (zh) | 用于周期性数据的预测的方法、装置、设备和介质 | |
Herrema et al. | Evaluation of feasible machine learning techniques for predicting the time to fly and aircraft speed profile on final approach | |
Lu et al. | A support vector regression approach for investigating multianticipative driving behavior | |
CN117422573A (zh) | 基于动态神经网络的财税数据预测方法及系统 | |
Riesener et al. | Applying the random forest algorithm to predict engineering change effort | |
JP7363912B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
JP7363911B2 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
Ogunnaike et al. | Prediction of insurance claim severity loss using regression models | |
WO2021079446A1 (ja) | 表示方法、表示プログラム及び情報処理装置 | |
US20230119568A1 (en) | Pattern detection and prediction using time series data | |
WO2022244563A1 (ja) | 予測装置、学習装置、予測方法、学習方法、予測プログラム及び学習プログラム | |
EP4141707A1 (en) | Method and apparatus with data exploration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13800298 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2014519903 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13800298 Country of ref document: EP Kind code of ref document: A1 |