JP6235347B2 - Prediction accuracy evaluation apparatus and method - Google Patents
Prediction accuracy evaluation apparatus and method Download PDFInfo
- Publication number
- JP6235347B2 JP6235347B2 JP2014003053A JP2014003053A JP6235347B2 JP 6235347 B2 JP6235347 B2 JP 6235347B2 JP 2014003053 A JP2014003053 A JP 2014003053A JP 2014003053 A JP2014003053 A JP 2014003053A JP 6235347 B2 JP6235347 B2 JP 6235347B2
- Authority
- JP
- Japan
- Prior art keywords
- variation
- value
- prediction
- evaluation index
- predicted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Complex Calculations (AREA)
Description
本発明は、所与のデータに基づいて予測した予測結果の精度を評価する予測精度評価装置および予測精度評価方法に関する。 The present invention relates to a prediction accuracy evaluation apparatus and a prediction accuracy evaluation method for evaluating the accuracy of a prediction result predicted based on given data.
様々な分野において、今後の行動を決定する際に、将来の予測がしばしば行われる。特に、例えば鉄鋼製品の製造や化学製品の製造のように、比較的大規模な製造プラントで様々な製造プロセスを経て製造される製品では、例えば投入量、操作入力量および時間経過等に応じて、各製造プロセスにおける出力値や製品に直結する最終プロセスの出力値が刻々と変化することが多い。このため、その出力値を制御するために、出力値の予測は、重要である。 In various fields, future predictions are often made when determining future actions. In particular, in products manufactured through various manufacturing processes in a relatively large-scale manufacturing plant, such as manufacturing of steel products and chemical products, for example, depending on input amount, operation input amount, time passage, etc. In many cases, the output value in each manufacturing process and the output value of the final process directly connected to the product change every moment. For this reason, in order to control the output value, the prediction of the output value is important.
このような予測は、一般に、予測対象に関わる要因を分析し、要因の過去の実績データを例えば統計的に分析することによって行われる。 Such prediction is generally performed by analyzing a factor related to a prediction target and statistically analyzing past performance data of the factor.
例えば、特許文献１に開示の鋼材の材質推定装置は、過去に製造された製品ごとに、素材成分実績、操業実績および材質実績を蓄積する材質記憶手段と、多数の入力変数の中から製品の材質に与える影響の大きい入力変数を選択するためのルールが格納されている入力変数限定ルール格納手段と、入力される素材成分情報および操業情報を用いて、入力変数を前記ルールに従って限定する入力変数限定手段と、該限定した入力変数を用いて前記材質記憶手段内の各データと入力値との距離を計算するための、入力値が出力値に与える影響を重み係数とする距離関数を定義し、この距離関数を用いて計算した距離に基づいて入力値に近いデータを抽出し、該抽出したデータから材質の推定値を計算し、出力する材質推定計算手段とを備えている。このような構成の材質推定装置は、モデルの構造と対象の構造との乖離によって生じる推定誤差の発生を防止し、入力空間の全ての領域での推定精度を向上することが可能となる。 For example, the steel material estimation apparatus disclosed in Patent Document 1 includes a material storage unit that accumulates material component results, operation results, and material results for each product manufactured in the past, and a product storage device from among a large number of input variables. An input variable that restricts an input variable according to the rule by using an input variable limiting rule storage unit that stores a rule for selecting an input variable having a large influence on the material, and input material component information and operation information. Defining a distance function using a weighting factor as an influence of the input value on the output value for calculating the distance between each data in the material storage means and the input value using the limited input variable. And a material estimation calculating means for extracting data close to the input value based on the distance calculated using the distance function, calculating an estimated value of the material from the extracted data, and outputting the estimated value.The material estimation apparatus having such a configuration can prevent an estimation error caused by the difference between the model structure and the target structure, and can improve the estimation accuracy in all areas of the input space.
ところで、上記特許文献１に開示された技術では、予測値を１点のデータで予測している。このため、この予測値が的中している場合はよいが、この予測値が真値からずれていると、この予測値に基づいて行われる操作や判断等が誤ったものとなって、適切な出力値を得ることができない。 By the way, in the technique disclosed in Patent Document 1, the predicted value is predicted by one point of data. For this reason, it is good if this predicted value is correct, but if this predicted value deviates from the true value, the operations and judgments performed based on this predicted value will be incorrect and appropriate. Can not get the correct output value.
このため、例えば特許文献２や特許文献３に開示された技術では、予測値をそのバラツキや確率密度分布で求めている。すなわち、特許文献２に開示された出力値予測装置は、所定の出力と前記出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データを記憶する実測データ記憶部と、予測したい予測対象データと前記過去実績データとの類似度を、前記予測対象データの要因および前記過去実績データの要因に基づいて前記複数の過去実績データのそれぞれについて算出する類似度算出部と、前記所定の出力を出力変数とすると共に前記要因の一部または全部を入力変数とした際に、前記入力変数を用いて前記出力変数と前記入力変数との関係を表す第１モデルを生成した場合に、前記入力変数の入力値を前記第１モデルに与えることによって得られる値と前記入力変数の入力値に対応する前記出力変数の出力値との差に基づく誤差パラメータを、前記過去実績データの入力変数および出力変数に基づいて前記複数の過去実績データのそれぞれについて算出するパラメータ算出部と、前記入力変数および前記誤差パラメータを用いて前記出力変数と前記入力変数との関係を表す第２モデルを生成し、前記予測対象データの要因のうちの前記入力変数に対応する要因の値および前記誤差パラメータの値を前記第２モデルに与えることによって前記予測対象データの出力値を予測値として、前記パラメータ算出部によって算出された複数の誤差パラメータのそれぞれについて算出する予測値算出部と、前記類似度算出部によって算出された複数の類似度および前記予測値算出部によって算出された複数の予測値に基づいて、前記予測対象データの出力値のばらつきを算出するばらつき算出部とを備える。 For this reason, for example, in the techniques disclosed in Patent Document 2 and Patent Document 3, the predicted value is obtained from the variation and the probability density distribution. That is, the output value prediction apparatus disclosed in Patent Document 2 includes an actual measurement data storage unit that stores a plurality of past performance data acquired in the past, which includes a predetermined output and a quantifiable factor related to the output; A similarity calculation unit that calculates the similarity between the prediction target data to be predicted and the past performance data for each of the plurality of past performance data based on the factor of the prediction target data and the factor of the past performance data; When a first model representing a relationship between the output variable and the input variable is generated using the input variable when a predetermined output is an output variable and part or all of the factors are input variables. An error parameter based on a difference between a value obtained by applying the input value of the input variable to the first model and an output value of the output variable corresponding to the input value of the input variable. A parameter calculator for calculating each of the plurality of past performance data based on an input variable and an output variable of the past performance data; and the output variable and the input variable using the input variable and the error parameter A second model representing the relationship of the prediction target data, and providing the second model with a factor value corresponding to the input variable and a value of the error parameter among the factors of the prediction target data. A prediction value calculation unit that calculates a value as a prediction value for each of the plurality of error parameters calculated by the parameter calculation unit, a plurality of similarities calculated by the similarity calculation unit, and a calculation by the prediction value calculation unit Based on the plurality of predicted values, the variation for calculating the variation in the output value of the prediction target data is calculated. And a calculation unit can.
特許文献３に開示された出力値予測装置は、所定の出力と前記出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データを記憶する実測データ記憶部と、予測したい予測対象データと前記過去実績データとの類似度を、前記予測対象データの要因および前記過去実績データの要因に基づいて前記複数の過去実績データのそれぞれについて算出する第１算出部と、前記第１算出部によって算出された複数の類似度および前記過去実績データに基づいて、前記予測対象データの出力値のばらつきを算出する第２算出部とを備え、前記第１算出部は、前記予測対象データと前記過去実績データとの所定の距離を、前記予測対象データの要因および前記過去実績データの要因に基づいて、前記複数の過去実績データのそれぞれについて算出する距離算出部と、前記予測対象データと前記過去実績データとの前記類似度を、前記距離算出部で算出された距離に基づいて、前記複数の過去実績データのそれぞれについて算出する類似度算出部とを備え、前記距離算出部は、前記要因が前記所定の出力におけるばらつきの大きさに寄与する程度を第Ａ重みとして前記要因について算出する重み算出部を備え、前記重み算出部で算出された第Ａ重みを用いて前記所定の距離を算出する。そして、前記第２算出部は、前記所定の出力を出力変数とすると共に前記要因の一部または全部を入力変数とした際に、前記入力変数を用いて前記出力変数と前記入力変数との関係を表す第２モデルを生成した場合に、前記入力変数の入力値を前記第２モデルに与えることによって得られる値と前記入力変数の入力値に対応する前記出力変数の出力値との差である誤差パラメータを、前記過去実績データの入力変数および出力変数に基づいて前記複数の過去実績データのそれぞれについて算出するパラメータ算出工程と、前記入力変数および前記誤差パラメータを用いて前記出力変数と前記入力変数との関係を表す第３モデルを生成し、前記予測対象データの要因のうちの前記入力変数に対応する要因の値および前記誤差パラメータの値を前記第３モデルに与えることによって前記予測対象データの出力値を予測値として、前記パラメータ算出工程によって算出された複数の誤差パラメータのそれぞれについて算出する予測値算出工程と、前記類似度算出工程によって算出された複数の類似度および前記予測値算出工程によって算出された複数の予測値に基づいて、前記予測対象データの出力値のばらつきを算出するばらつき算出工程とを備える。 The output value predicting device disclosed in Patent Document 3 includes an actual measurement data storage unit configured to store a plurality of past performance data acquired in the past, which includes a predetermined output and a factor that can be numerically related to the output, and wants to predict A first calculator that calculates the similarity between the prediction target data and the past performance data for each of the plurality of past performance data based on the factor of the prediction target data and the factor of the past performance data; A second calculation unit that calculates variations in output values of the prediction target data based on a plurality of similarities calculated by the calculation unit and the past performance data, and the first calculation unit includes the prediction target data And a predetermined distance between the past performance data and each of the plurality of past performance data based on a factor of the prediction target data and a factor of the past performance data. A similarity calculating unit for calculating the similarity between the prediction target data and the past performance data for each of the plurality of past performance data based on the distance calculated by the distance calculation unit. A calculation unit, and the distance calculation unit includes a weight calculation unit that calculates the factor by using the degree that the factor contributes to the magnitude of variation in the predetermined output as the Ath weight, and is calculated by the weight calculation unit. The predetermined distance is calculated using the calculated Ath weight. Then, the second calculation unit uses the input variable as a relationship between the output variable and the input variable when the predetermined output is an output variable and part or all of the factors are input variables. Is the difference between the value obtained by giving the input value of the input variable to the second model and the output value of the output variable corresponding to the input value of the input variable. A parameter calculating step of calculating an error parameter for each of the plurality of past record data based on an input variable and an output variable of the past record data; and the output variable and the input variable using the input variable and the error parameter A third model representing the relationship between the factor and the error parameter value corresponding to the input variable among the factors of the prediction target data A prediction value calculation step of calculating each of the plurality of error parameters calculated by the parameter calculation step using the output value of the prediction target data as a prediction value by giving to the third model, and the similarity calculation step. And a variation calculating step of calculating variations in output values of the prediction target data based on the plurality of similarities and the plurality of predicted values calculated by the predicted value calculating step.
このように前記特許文献２および特許文献３に開示された出力値予測装置によって、予測値のバラツキが求められるので、オペレータ（ユーザ）は、その求められた予測値のバラツキを参照することで、予測値の収まる範囲を認識でき、今後の行動を決定する際に有益な情報を得ることができる。しかしながら、このように求められる予測値のバラツキは、予測に用いられる入力変数の数値が異なると、その分布の形状が異なる。例えば、鋼板を製造する場合において、例えば、成分や溶鋼量、通過行程、使用される取鍋の使用履歴や取鍋温度等の入力変数の数値がチャージごとに異なるため、出鋼温度のバラツキにおける分布の形状は、チャージごとに異なったものとなる。このため、実測値に対しこの求めた予測値のバラツキが良い予測であったか、悪い予測であったか分からないという不都合があった。例えば、実測値が予測値のバラツキの分布における中央付近に位置した場合、一見、前記予測値のバラツキの精度が良かったと考えられるが、前記予測値のバラツキの分布が広く求められていれば、実測値が前記予測値のバラツキの分布における中央付近に位置することになるので、前記予測値のバラツキの精度が良くなかったとも考えられる。すなわち、予測値のバラツキの予測精度における良否が分からないという不都合があった。 Thus, since the variation of the predicted value is obtained by the output value prediction device disclosed in Patent Document 2 and Patent Document 3, the operator (user) refers to the obtained variation in the predicted value, It is possible to recognize the range in which the predicted value falls, and to obtain useful information when determining future actions. However, the variation in the predicted values obtained in this way differs in the shape of the distribution when the numerical values of the input variables used for the prediction are different. For example, in the case of manufacturing a steel plate, for example, the values of input variables such as ingredients, amount of molten steel, passing process, usage history of ladle used and ladle temperature are different for each charge. The shape of the distribution is different for each charge. For this reason, there is an inconvenience that it is not known whether the obtained prediction value is a good prediction or a bad prediction with respect to the actual measurement value. For example, when the actual measurement value is located near the center of the distribution of the predicted value variation, it may seem that the accuracy of the predicted value variation is good, but if the distribution of the predicted value variation is widely calculated, Since the actual measurement value is located near the center of the distribution of the predicted value variation, it is considered that the accuracy of the predicted value variation is not good. That is, there is an inconvenience that the accuracy of prediction value variation prediction accuracy is unknown.
本発明は、上述の事情に鑑みて為された発明であり、その目的は、予測値のバラツキの予測精度をオペレータ（ユーザ）に認識させ得る予測精度評価装置および予測精度評価方法を提供することである。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a prediction accuracy evaluation apparatus and a prediction accuracy evaluation method that allow an operator (user) to recognize the prediction accuracy of a variation in predicted values. It is.
本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる予測精度評価装置は、複数の実測値、および、所定の数値範囲内における複数の予測値と前記複数の予測値それぞれに対する出現度合いとの関係を表す、前記複数の実測値それぞれに対応する予測値のバラツキを取得するバラツキ取得部と、前記バラツキ取得部で取得された前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算部と、前記評価指標演算部で求めた前記評価指標を出力する出力部とを備えることを特徴とする。 As a result of various studies, the present inventor has found that the above object is achieved by the present invention described below. That is, the prediction accuracy evaluation apparatus according to an aspect of the present invention includes a plurality of measured values, and a plurality of predicted values and a relationship between a plurality of predicted values within a predetermined numerical range and an appearance degree for each of the plurality of predicted values. A variation acquisition unit that acquires a variation in a predicted value corresponding to each of the actual measurement values, and a degree of quality in the prediction accuracy of the variation in each predicted value based on the variation in the predicted value acquired by the variation acquisition unit. An evaluation index calculation unit that calculates an evaluation index to be expressed, and an output unit that outputs the evaluation index calculated by the evaluation index calculation unit.
このような予測精度評価装置では、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキが取得され、これら取得された各予測値のバラツキに対する１つの評価指標が求められ、そして、この求められた評価指標が出力部に出力される。このため、このような予測精度評価装置では、出力部に出力された評価指標を参照することで、オペレータ（ユーザ）は、各予測値のバラツキにおける予測精度を認識できる。 In such a prediction accuracy evaluation apparatus, a plurality of actually measured values and variations of predicted values corresponding to the plurality of actually measured values are acquired, and one evaluation index is obtained for the variation of each of the acquired predicted values. Then, the obtained evaluation index is output to the output unit. For this reason, in such a prediction accuracy evaluation apparatus, the operator (user) can recognize the prediction accuracy in the variation of each prediction value by referring to the evaluation index output to the output unit.
また、他の一態様では、上述の予測精度評価装置において、前記評価指標演算部は、前記複数の実測値それぞれに対し、前記所定の数値範囲における最小値から最大値まで前記出現度合いの累積値を全体累積値として求め、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いの累積値を部分累積値として求め、前記求めた部分累積値を前記全体累積値で除算し、前記複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求めることを特徴とする。 Moreover, in another aspect, in the above prediction accuracy evaluation apparatus, the evaluation index calculation unit includes, for each of the plurality of actual measurement values, a cumulative value of the appearance degree from a minimum value to a maximum value in the predetermined numerical range. As a total cumulative value, a cumulative value of the degree of appearance from the minimum value to the actual measured value in the predetermined numerical range is determined as a partial cumulative value, the determined partial cumulative value is divided by the total cumulative value, and obtaining a histogram of each division results corresponding to a plurality of actual measurement values as the evaluation index.
このような予測精度評価装置は、各前記予測値のバラツキにおける分布の形状と複数の実測値とに基づいたヒストグラムを前記評価指標として求めるので、より適切な評価指標を生成できる。 Since such a prediction accuracy evaluation apparatus calculates | requires the histogram based on the shape of distribution in the dispersion | variation in each said predicted value, and several measured values as said evaluation index, it can produce | generate a more suitable evaluation index.
また、他の一態様では、これら上述の予測精度評価装置において、前記バラツキ取得部は、新たに予測したい予測対象データに対する第２の予測値のバラツキを新たに取得し、前記評価指標演算部で求めた前記評価指標に基づいて前記バラツキ取得部で取得した新たに前記第２の予測値のバラツキを調整するバラツキ調整部をさらに備えることを特徴とする。そして、好ましくは、上述の予測精度評価装置において、前記バラツキ調整部は、前記バラツキ取得部で新たに取得した前記第２の予測値のバラツキに前記評価指標演算部で求めた前記評価指標を乗算することによって、前記第２の予測値のバラツキを調整するものである。 According to another aspect, in the above-described prediction accuracy evaluation apparatus, the variation acquisition unit newly acquires a variation in the second predicted value for the prediction target data to be newly predicted, and the evaluation index calculation unit It is further characterized by further comprising a variation adjusting unit that adjusts the variation of the second predicted value newly acquired by the variation acquiring unit based on the obtained evaluation index. Preferably, in the prediction accuracy evaluation apparatus, the variation adjustment unit multiplies the variation of the second predicted value newly acquired by the variation acquisition unit by the evaluation index obtained by the evaluation index calculation unit. By doing so, the variation of the second predicted value is adjusted.
このような予測精度評価装置は、前記評価指標に基づいて前記第２の予測値のバラツキを調整するので、前記第２の予測値のバラツキをより適正化できる。したがって、より適切な前記第２の予測値のバラツキが得られる。 Since such a prediction accuracy evaluation apparatus adjusts the variation of the second predicted value based on the evaluation index, the variation of the second predicted value can be made more appropriate. Therefore, a more appropriate variation in the second predicted value is obtained.
また、他の一態様では、これら上述の予測精度評価装置において、前記予測値のバラツキを求めるために必要な所定の予測依拠情報を予め記憶するデータ記憶部をさらに備え、前記バラツキ取得部は、前記データ記憶部に記憶されている前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算することによって各前記予測値のバラツキを取得することを特徴とする。 Further, in another aspect, in the above-described prediction accuracy evaluation apparatus, the device further includes a data storage unit that stores in advance predetermined prediction dependency information necessary for obtaining a variation in the prediction value, and the variation acquisition unit includes: The variation of each predicted value is acquired by calculating the variation of the predicted value based on the predetermined prediction dependence information stored in the data storage unit.
このような予測精度評価装置は、前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算するので、前記所定の予測依拠情報を予測精度評価装置に与えることで、予測値のバラツキを取得できる。 Since such a prediction accuracy evaluation apparatus calculates the variation of the prediction value based on the predetermined prediction dependency information, the variation of the prediction value is obtained by giving the predetermined prediction dependency information to the prediction accuracy evaluation device. it can.
また、他の一態様では、これら上述の予測精度評価装置において、所定の情報を入力する入力部をさらに備え、前記バラツキ取得部は、前記入力部から前記予測値のバラツキを取得することを特徴とする。そして、上述の予測精度評価装置において、前記入力部で受け付けた前記予測値のバラツキは、データ記憶部に記憶され、前記バラツキ取得部は、前記データ記憶部に記憶された前記予測値のバラツキを取得することによって、前記入力部から前記予測値のバラツキを取得してもよい。 In another aspect, the above-described prediction accuracy evaluation apparatus further includes an input unit that inputs predetermined information, and the variation acquisition unit acquires the variation of the predicted value from the input unit. And In the prediction accuracy evaluation apparatus, the variation of the prediction value received by the input unit is stored in a data storage unit, and the variation acquisition unit calculates the variation of the prediction value stored in the data storage unit. By obtaining, the variation of the predicted value may be obtained from the input unit.
このような予測精度評価装置は、複数の予測値のバラツキを入力部から入力できるので、前記複数の予測値のバラツキを求める他の装置で求められた前記複数の予測値のバラツキに対しても評価でき、様々な組の予測値のバラツキを取り扱うことができる。 Such a prediction accuracy evaluation apparatus can input variations of a plurality of prediction values from an input unit. Therefore, even with respect to variations of the plurality of prediction values obtained by another device that obtains variations of the plurality of prediction values. It can be evaluated and can handle variations in various sets of predicted values.
そして、他の一態様にかかる予測精度評価方法は、複数の実測値、および、所定の数値範囲内における複数の予測値と前記複数の予測値それぞれに対する出現度合いとの関係を表す、前記複数の実測値それぞれに対応する予測値のバラツキを取得するバラツキ取得工程と、前記バラツキ取得工程で取得された前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算工程と、前記評価指標演算工程で求めた前記評価指標を出力部に出力する出力工程とを備えることを特徴とする。 The prediction accuracy evaluation method according to another aspect includes a plurality of actually measured values, and a plurality of predicted values within a predetermined numerical range, and a relationship between the appearance levels for each of the plurality of predicted values. A variation acquisition step for acquiring a variation in a predicted value corresponding to each actual measurement value, and a degree of pass / fail in the prediction accuracy of the variation in each predicted value based on the variation in the predicted value acquired in the variation acquisition step An evaluation index calculating step for obtaining an evaluation index, and an output step for outputting the evaluation index obtained in the evaluation index calculating step to an output unit are provided.
このような予測精度評価方法では、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキが取得され、これら取得された各予測値のバラツキに対する１つの評価指標が求められ、そして、この求められた評価指標が出力部に出力される。このため、このような予測精度評価方法では、出力部に出力された評価指標を参照することで、オペレータ（ユーザ）は、各予測値のバラツキにおける予測精度を認識できる。 In such a prediction accuracy evaluation method, a plurality of actually measured values and variations of predicted values corresponding to each of the plurality of actually measured values are acquired, and one evaluation index is obtained for the variation of each of the acquired predicted values. Then, the obtained evaluation index is output to the output unit. For this reason, in such a prediction accuracy evaluation method, the operator (user) can recognize the prediction accuracy in the variation of each prediction value by referring to the evaluation index output to the output unit.
本発明にかかる予測精度評価装置および予測精度評価方法は、予測値のバラツキの予測精度をオペレータ（ユーザ）に認識させ得る。 The prediction accuracy evaluation apparatus and the prediction accuracy evaluation method according to the present invention can allow an operator (user) to recognize the prediction accuracy of variation in predicted values.
以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。 Hereinafter, an embodiment according to the present invention will be described with reference to the drawings. In addition, the structure which attached | subjected the same code | symbol in each figure shows that it is the same structure, The description is abbreviate | omitted suitably. In this specification, when referring generically, it shows with the reference symbol which abbreviate | omitted the suffix, and when referring to an individual structure, it shows with the reference symbol which attached the suffix.
図１は、実施形態における予測精度評価装置の構成を示すブロック図である。実施形態における予測精度評価装置Ｓは、複数の予測値のバラツキに対する１つの評価指標を出力し、オペレータ（ユーザ）に前記評価指標を提示することで予測精度の評価をアシスト（助力）する装置であり、例えば、図１に示すように、演算制御部１と、入力部２と、出力部３と、記憶部４と、インターフェース部（以下、「ＩＦ部」と略記する。）５と、バス６とを備える。 FIG. 1 is a block diagram illustrating a configuration of a prediction accuracy evaluation apparatus according to an embodiment. The prediction accuracy evaluation device S according to the embodiment is a device that assists (helps) evaluation of prediction accuracy by outputting one evaluation index for variations in a plurality of prediction values and presenting the evaluation index to an operator (user). Yes, for example, as shown in FIG. 1, an arithmetic control unit 1, an input unit 2, an output unit 3, a storage unit 4, an interface unit (hereinafter abbreviated as "IF unit") 5, and a bus 6.
入力部２は、複数の予測値のバラツキに対する１つの評価指標の出力を指示するコマンド等の各種コマンド、および、所定の情報（データ）や前記評価指標を求める上で必要な情報（実測値およびその予測値のバラツキ、または、実測値およびその予測依拠情報、を含む）等の各種データを予測精度評価装置Ｓに入力する機器であり、例えば、キーボードやマウス等である。出力部３は、入力部２から入力されたコマンドやデータ、および、予測精度評価装置Ｓによって求められた前記評価指標等を出力する機器であり、例えばＣＲＴディスプレイ、ＬＣＤおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。 The input unit 2 includes various commands such as a command for instructing output of one evaluation index for a plurality of predicted value variations, and information necessary for obtaining predetermined information (data) and the evaluation index (measured values and It is a device that inputs various data such as variations in the predicted values or actual values and the predicted dependence information) to the prediction accuracy evaluation apparatus S, such as a keyboard and a mouse. The output unit 3 is a device that outputs the command and data input from the input unit 2 and the evaluation index obtained by the prediction accuracy evaluation apparatus S. For example, a display such as a CRT display, an LCD, and an organic EL display A printing apparatus such as an apparatus or a printer.
記憶部４は、予測精度評価装置Ｓに必要な各種データを記憶するものであり、機能的に、前記予測値のバラツキを求めるために必要な所定の情報である予測依拠情報（例えば過去実績データや予測すべき予測対象データ等）を予め記憶する予測依拠データ記憶部４１と、複数の実測値と前記複数の実測値それぞれに対応する複数の予測値のばらつき（例えば予測値のヒストグラムや予測値の確率密度分布等）を記憶する予測データ記憶部４２と、複数の前記予測値のバラツキにおける評価指標を記憶する評価指標記憶部４３とを備え、予測依拠情報（予測依拠データ）から前記予測値のバラツキを予測する出力値予測プログラム、複数の前記予測値のバラツキに対する１つの評価指標を求める予測精度評価プログラム等の各種プログラム、および、各種プログラムの実行に必要なデータやその実行中に生じるデータ等の各種データを記憶する装置である。記憶部４は、例えば、演算制御部１の所謂ワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶素子、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書換え可能なＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶素子、および、各種プログラムや各種データを格納するハードディスク装置等の大容量記憶装置等を備えて構成される。 The storage unit 4 stores various data necessary for the prediction accuracy evaluation apparatus S, and functionally, prediction dependency information (for example, past performance data) that is predetermined information necessary for obtaining the variation of the prediction value. A prediction dependence data storage unit 41 that stores in advance, for example, prediction target data to be predicted), and a plurality of actual measurement values and a plurality of prediction value variations corresponding to each of the plurality of actual measurement values (for example, prediction value histograms and prediction values). A prediction data storage unit 42 that stores a probability density distribution, etc.), and an evaluation index storage unit 43 that stores an evaluation index in the variation of the plurality of prediction values, and the prediction value from prediction dependency information (prediction dependency data) Various programs such as an output value prediction program for predicting variation of the prediction accuracy, a prediction accuracy evaluation program for obtaining one evaluation index for the variation of the plurality of prediction values, Beauty is a device for storing various data such as data generated data and the running required for execution of various programs. The storage unit 4 includes, for example, a volatile storage element such as a RAM (Random Access Memory) serving as a so-called working memory of the arithmetic control unit 1, a ROM (Read Only Memory), and a rewritable EEPROM (Electrically Erasable Programmable Read Only). And the like, and a large-capacity storage device such as a hard disk device for storing various programs and various data.
演算制御部１は、例えば、マイクロプロセッサおよびその周辺回路等を備えて構成され、機能的に、制御部１１と、バラツキ取得部１２と、評価指標演算部１３と、ばらつき調整部１４とを備える。 The arithmetic control unit 1 includes, for example, a microprocessor and its peripheral circuits, and functionally includes a control unit 11, a variation acquisition unit 12, an evaluation index calculation unit 13, and a variation adjustment unit 14. .
制御部１１は、制御プログラムに従い入力部２、出力部３、記憶部４およびＩＦ部５を当該機能に応じてそれぞれ制御し、予測精度評価装置Ｓ全体の制御を司るものである。 The control unit 11 controls the input unit 2, the output unit 3, the storage unit 4, and the IF unit 5 according to the function according to the control program, and controls the prediction accuracy evaluation apparatus S as a whole.
バラツキ取得部１２は、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキを取得するものである。予測値は、入力変数と出力値との関係を表す、予め与えられた所定のモデルに、予測したい予測対象データを前記入力変数として入力した場合に得られる出力値である。本実施形態では、前記所定のモデルに含まれる誤差等を考慮することによって、１個の予測対象データに対し、出力値は、その出現度合い（出現頻度、出現確率、発生頻度、発生確率）を伴う数値範囲で与えられる。すなわち、予測対象データの出力値は、その出現度合いを伴う数値範囲である予測値のバラツキで与えられる。したがって、予測値のバラツキは、所定の数値範囲内における複数の予測値（各数値、各予測値）と前記複数の予測値それぞれに対する出現度合いとの関係を表すものと、定義される。前記所定の数値範囲は、前記予測値の取り得る範囲であり、前記複数の予測値における最大値および最小値を含む範囲で、前記予測値を予測するために用いられる前記所定のモデルに応じて設定される。 The variation acquisition unit 12 acquires a plurality of actually measured values and variations of predicted values corresponding to the plurality of actually measured values. The predicted value is an output value obtained when prediction target data to be predicted is input as the input variable to a predetermined model given in advance, which represents the relationship between the input variable and the output value. In the present embodiment, by taking into account errors and the like included in the predetermined model, the output value for one piece of prediction target data is the degree of appearance (appearance frequency, appearance probability, occurrence frequency, occurrence probability). It is given in the accompanying numerical range. That is, the output value of the prediction target data is given by the variation of the prediction value that is a numerical range with the appearance degree. Therefore, the variation in the predicted value is defined as representing a relationship between a plurality of predicted values (each numerical value and each predicted value) within a predetermined numerical range and the appearance degree with respect to each of the plurality of predicted values. The predetermined numerical range is a range that the predicted value can take, and includes a maximum value and a minimum value in the plurality of predicted values, according to the predetermined model used for predicting the predicted value. Is set.
より具体的には、バラツキ取得部１２は、前記予測値のバラツキの入力を入力部２で受け付けることによって、入力部２から前記複数の予測値のバラツキを取得するものである。この構成によれば、複数の予測値のバラツキを入力部２から入力できるので、前記複数の予測値のバラツキを求める他の装置で求められた前記複数の予測値のバラツキに対しても本予測精度評価装置Ｓで評価でき、様々な組の予測値のバラツキを取り扱うことができる。なお、このような場合に、入力部２で受け付けた前記予測値のバラツキは、記憶部４における予測データ記憶部４２に記憶され、バラツキ取得部１２は、この予測データ記憶部４２に記憶された前記予測値のバラツキを取得することによって、入力部２から前記予測値のバラツキを取得してもよい。この構成によれば、複数の予測値のバラツキの入力とその評価指標の出力とを個別に実施することが可能となり、これら前記入力と前記出力との間に時間差（タイムラグ）を設けることが可能となり、そして、過去に入力した前記複数の予測値のバラツキにおける評価指標の再出力も可能となる。 More specifically, the variation acquisition unit 12 acquires the variation of the plurality of prediction values from the input unit 2 by receiving the input of the variation of the prediction value by the input unit 2. According to this configuration, since the variation of the plurality of prediction values can be input from the input unit 2, the main prediction is performed even for the variation of the plurality of prediction values obtained by another device that obtains the variation of the plurality of prediction values. It can be evaluated by the accuracy evaluation device S, and variations in predicted values of various sets can be handled. In such a case, the variation of the predicted value received by the input unit 2 is stored in the predicted data storage unit 42 in the storage unit 4, and the variation acquisition unit 12 is stored in the predicted data storage unit 42. The variation in the predicted value may be acquired from the input unit 2 by acquiring the variation in the predicted value. According to this configuration, it is possible to individually input a plurality of prediction value variations and output an evaluation index thereof, and it is possible to provide a time difference (time lag) between the input and the output. In addition, it is possible to re-output the evaluation index in the case of variations in the plurality of predicted values input in the past.
そして、本実施形態では、バラツキ取得部１２は、記憶部４における予測依拠データ記憶部４１に記憶されている前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算するバラツキ演算部１２１を各前記予測値のバラツキを取得するために備えている。この構成によれば、前記所定の情報として前記予測依拠情報に基づいて前記予測値のバラツキを演算するので、前記予測依拠情報を予測精度評価装置Ｓに与えることで、前記予測値のバラツキが取得される。 In this embodiment, the variation acquisition unit 12 includes a variation calculation unit 121 that calculates the variation of the predicted value based on the predetermined prediction dependency information stored in the prediction dependency data storage unit 41 of the storage unit 4. It is provided for obtaining a variation in each predicted value. According to this configuration, since the variation in the prediction value is calculated based on the prediction dependency information as the predetermined information, the prediction value variation is obtained by giving the prediction dependency information to the prediction accuracy evaluation device S. Is done.
評価指標演算部１３は、バラツキ取得部１２で取得された各前記予測値のバラツキに基づいて、各前記予測値のバラツキに対する１つの評価指標を求めるものである。前記評価指標は、前記予測値のバラツキの予測精度における良否の度合いを表す指標である。より具体的には、例えば、評価指標演算部１３は、予め与えられた前記複数の実測値それぞれに対し、前記予測値のバラツキにおける前記所定の数値範囲の最小値から最大値まで前記出現度合いの累積値を全体累積値として求め、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いの累積値を部分累積値として求め、前記求めた部分累積値を前記全体累積値で除算し、前記複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求める。予め与えられた前記複数の実測値は、例えば過去に実測されることで過去に取得された過去実績データ等である。 The evaluation index calculation unit 13 obtains one evaluation index for the variation of each predicted value based on the variation of each predicted value acquired by the variation acquisition unit 12. The evaluation index is an index representing the degree of quality in the prediction accuracy of the variation of the predicted value. More specifically, for example, for each of the plurality of actual measurement values given in advance, the evaluation index calculation unit 13 sets the appearance degree from the minimum value to the maximum value in the predetermined numerical range in the variation of the predicted value. A cumulative value is obtained as an overall cumulative value, a cumulative value of the appearance degree is obtained as a partial cumulative value from the minimum value to the actual measured value in the predetermined numerical range, and the obtained partial cumulative value is divided by the overall cumulative value. , a histogram of each division results corresponding to the plurality of actual measurement values as the evaluation index. The plurality of actual measurement values given in advance are, for example, past performance data acquired in the past by actual measurement in the past.
ＩＦ部５は、予測精度評価装置Ｓと外部の他の装置との間で互いにデータを交換するための通信インターフェースであり、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格に対応した装置やＲＳ２３２Ｃ規格に対応した装置である。 The IF unit 5 is a communication interface for exchanging data between the prediction accuracy evaluation device S and other external devices. For example, the IF unit 5 is compatible with a USB (Universal Serial Bus) standard or a RS232C standard. Device.
これら演算制御部１、入力部２、出力部３、記憶部４およびＩＦ部５は、信号を相互に交換することができるようにバス６でそれぞれ接続される。 The arithmetic control unit 1, the input unit 2, the output unit 3, the storage unit 4 and the IF unit 5 are connected by a bus 6 so that signals can be exchanged with each other.
このような演算制御部１、入力部２、出力部３、記憶部４、ＩＦ部５およびバス６は、例えば、コンピュータ、より具体的にはノート型やディスクトップ型等のパーソナルコンピュータ等によって構成可能である。 The arithmetic control unit 1, the input unit 2, the output unit 3, the storage unit 4, the IF unit 5 and the bus 6 are configured by, for example, a computer, more specifically a personal computer such as a notebook type or a desktop type. Is possible.
なお、必要に応じて予測精度評価装置Ｓは、外部記憶部をさらに備えてもよい。外部記憶部は、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ−Ｒ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）およびブルーレイディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）等の記録媒体との間でデータを読み込みおよび／または書き込みを行う装置であり、例えば、フレキシブルディスクドライブ、ＣＤ−ＲＯＭドライブ、ＣＤ−Ｒドライブ、ＤＶＤ−Ｒドライブおよびブルーレイディスクドライブ等である。 Note that the prediction accuracy evaluation apparatus S may further include an external storage unit as necessary. The external storage unit includes, for example, a flexible disk, a CD-ROM (Compact Disc Only Memory), a CD-R (Compact Disc Recordable), a DVD-R (Digital Versatile Disc Recordable), and a Blu-ray Disc (registered trademark). A device that reads and / or writes data to and from a recording medium such as a disc), such as a flexible disk drive, a CD-ROM drive, a CD-R drive, a DVD-R drive, and a Blu-ray disc drive .
ここで、出力値予測プログラム、予測精度評価プログラムおよび調整プログラム等が格納されていない場合には、これら出力値予測プログラム、予測精度評価プログラムおよび調整プログラム等を記録した記録媒体から前記外部記憶部を介してこれら出力値予測プログラム、予測精度評価プログラムおよび調整プログラム等が記憶部４にインストールされるように、予測精度評価装置Ｓが構成されてもよい。あるいは、過去実績データや出力値を予測するためのデータや評価指標等のデータが外部記憶部を介して記録媒体に記録されるように、予測精度評価装置Ｓが構成されてもよい。 Here, when the output value prediction program, the prediction accuracy evaluation program, the adjustment program, and the like are not stored, the external storage unit is removed from a recording medium that records the output value prediction program, the prediction accuracy evaluation program, the adjustment program, and the like. Thus, the prediction accuracy evaluation apparatus S may be configured such that the output value prediction program, the prediction accuracy evaluation program, the adjustment program, and the like are installed in the storage unit 4. Alternatively, the prediction accuracy evaluation apparatus S may be configured such that data such as past performance data, data for predicting an output value, and data such as an evaluation index are recorded on a recording medium via an external storage unit.
次に、本実施形態の動作について説明する。図２は、実施形態における予測精度評価装置の動作を示すフローチャートである。図３は、実施形態の予測精度評価装置における予測値のバラツキの演算方法を説明するための図である。図３（Ａ）は、類似度ｗと出力の予測値ｙ０との関係を示し、その横軸は、類似度ｗであり、その縦軸は、予測値ｙ０である。図３（Ｂ）は、前記予測値のバラツキとして予測値ｙ０のヒストグラムを示し、その横軸は、重み付き度数Ｆｗであり、その縦軸は、予測値ｙ０である。図３（Ｃ）は、前記予測値のバラツキとして予測値ｙ０の確率密度分布を示し、その横軸は、確率密度Ｐ（ｙ０）であり、その縦軸は、予測値ｙ０である。図４は、予測値の確率密度分布の一例を示す図である。図５は、予測値の確率密度分布に対する予測精度の評価指標の一例を示す図である。図５（Ａ）は、確率密度分布の精度が良い場合の評価指標を示し、図５（Ｂ）は、確率密度分布が広くその精度が劣化している場合（悪い場合）の評価指標を示し、図５（Ｃ）は、確率密度分布が狭くその精度が劣化している場合（悪い場合）の評価指標を示し、そして、図５（Ｄ）は、確率密度分布の精度がより劣化している場合（より悪い場合）の評価指標を示す。図６は、予測値の確率密度分布に対する予測精度の評価指標の一具体例を示す図である。図６（Ａ）は、溶鋼処理前温度の評価指標の一具体例を示し、図６（Ｂ）は、タンディッシュ測温１回目の評価指標の一具体例を示す。 Next, the operation of this embodiment will be described. FIG. 2 is a flowchart illustrating the operation of the prediction accuracy evaluation apparatus according to the embodiment. FIG. 3 is a diagram for explaining a method for calculating a variation in predicted values in the prediction accuracy evaluation apparatus according to the embodiment. FIG. 3A shows the relationship between the similarity w and the output predicted value y 0 , the horizontal axis is the similarity w, and the vertical axis is the predicted value y 0 . FIG. 3B shows a histogram of the predicted value y 0 as the variation of the predicted value, the horizontal axis is the weighted frequency Fw, and the vertical axis is the predicted value y 0 . FIG. 3C shows the probability density distribution of the predicted value y 0 as the variation of the predicted value, the horizontal axis is the probability density P (y 0 ), and the vertical axis is the predicted value y 0 . . FIG. 4 is a diagram illustrating an example of a probability density distribution of predicted values. FIG. 5 is a diagram illustrating an example of an evaluation index of prediction accuracy with respect to a probability density distribution of predicted values. FIG. 5A shows an evaluation index when the accuracy of the probability density distribution is good, and FIG. 5B shows an evaluation index when the probability density distribution is wide and the accuracy is deteriorated (bad case). FIG. 5C shows an evaluation index when the probability density distribution is narrow and its accuracy is deteriorated (bad case), and FIG. 5D shows that the accuracy of the probability density distribution is further deteriorated. Indicates the evaluation index when there is (or worse). FIG. 6 is a diagram illustrating a specific example of an evaluation index of prediction accuracy with respect to a probability density distribution of predicted values. FIG. 6 (A) shows a specific example of the evaluation index of the temperature before the molten steel treatment, and FIG. 6 (B) shows a specific example of the evaluation index for the first tundish temperature measurement.
予測精度評価装置Ｓは、例えば、ユーザの操作によって入力部２から起動コマンドを受け付けると、予測精度評価プログラムを実行する。この予測精度評価プログラムの実行によって、演算制御部１にバラツキ取得部１２（バラツキ演算部１２１を含む）、評価指標演算部１３およびバラツキ調整部１４が機能的に構成される。そして、予測精度評価装置Ｓは、以下の動作によって、複数の実測値、および、前記複数の実測値それぞれに対応する複数の予測値のバラツキを取得し、これら取得した各予測値のバラツキに対する１つの評価指標を求め、そして、この求めた評価指標を出力部３から出力する。 The prediction accuracy evaluation apparatus S executes a prediction accuracy evaluation program, for example, when an activation command is received from the input unit 2 by a user operation. By executing this prediction accuracy evaluation program, a variation acquisition unit 12 (including a variation calculation unit 121), an evaluation index calculation unit 13, and a variation adjustment unit 14 are functionally configured in the calculation control unit 1. Then, the prediction accuracy evaluation device S, by the following operation, a plurality of measured values, and, for a plurality of acquired variation of the predicted value, the variation of the predicted values of these acquired corresponding to each of the plurality of actual measured values One evaluation index is obtained, and the obtained evaluation index is output from the output unit 3.
より具体的には、図２において、まず、演算制御部１のバラツキ取得部１２は、前記複数の実測値、および、前記複数の予測値のバラツキを取得する（Ｓ１１）。上述したように、バラツキ取得部１２は、前記複数の予測値のバラツキの入力を入力部２で受け付けることによって、入力部２から前記複数の予測値のバラツキを取得する。あるいは、バラツキ取得部１２のバラツキ演算部１２１が記憶部４の予測依拠データ記憶部４１に記憶されている前記所定の予測依拠情報に基づいて前記複数の予測値のバラツキをそれぞれ演算することによって、バラツキ取得部１２は、前記複数の予測値のバラツキを取得する。 More specifically, in FIG. 2, first, the variation acquisition unit 12 of the arithmetic control unit 1 acquires the variations of the plurality of actually measured values and the plurality of predicted values (S11). As described above, the variation acquisition unit 12 acquires the variation of the plurality of prediction values from the input unit 2 by accepting the input of the variation of the plurality of prediction values by the input unit 2. Alternatively, the variation calculation unit 121 of the variation acquisition unit 12 calculates the variations of the plurality of predicted values based on the predetermined prediction dependency information stored in the prediction dependency data storage unit 41 of the storage unit 4, respectively. The variation acquisition unit 12 acquires variations of the plurality of predicted values.
この前記予測値のバラツキの演算手法には、任意な、公知の常套手段が用いられてよい。前記予測値のバラツキの演算手法として、例えば、特許５２２０４５８号公報、特開２０１０−２３１４４７号公報および特開２０１１−３９７６２号公報等に開示された方法が挙げられる。 Any known conventional means may be used for the calculation method of the variation of the predicted value. Examples of the calculation method of the variation of the predicted value include methods disclosed in Japanese Patent No. 5220458, Japanese Patent Application Laid-Open No. 2010-231447, Japanese Patent Application Laid-Open No. 2011-39762, and the like.
より具体的な一例では、バラツキ演算部１２１によって前記予測値のバラツキが次のように演算される。まず、予測したい予測対象データと、所定の出力と前記出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データとの類似度が、前記予測対象データの要因および前記過去実績データの要因に基づいて前記複数の過去実績データのそれぞれについて算出される。次に、前記所定の出力を出力変数とすると共に前記要因の一部または全部を入力変数とした際に、前記入力変数を用いて前記出力変数と前記入力変数との関係を表す第１モデルを生成した場合に、前記入力変数の入力値を前記第１モデルに与えることによって得られる値と前記入力変数の入力値に対応する前記出力変数の出力値との差に基づく誤差パラメータが、前記過去実績データの入力変数および出力変数に基づいて前記複数の過去実績データのそれぞれについて算出される。次に、前記入力変数および前記誤差パラメータを用いて前記出力変数と前記入力変数との関係を表す第２モデルが生成され、前記予測対象データの要因のうちの前記入力変数に対応する要因の値および前記誤差パラメータの値を前記第２モデルに与えることによって、前記予測対象データの出力値が、予測値として、前記算出された複数の誤差パラメータのそれぞれについて算出される。そして、図３に示すように、前記算出された複数の類似度および前記算出された複数の予測値に基づいて、前記予測対象データの出力値のばらつきが前記予測値のバラツキとして算出される。 In a more specific example, the variation calculation unit 121 calculates the variation of the predicted value as follows. First, the degree of similarity between the prediction target data to be predicted, a predetermined output and a plurality of past performance data obtained in the past, which is a numerical value related to the output, is determined by the factor of the prediction target data and the past Each of the plurality of past performance data is calculated based on the factor of the performance data. Next, when the predetermined output is an output variable and part or all of the factors are input variables, a first model that represents the relationship between the output variable and the input variable using the input variable is obtained. When generated, an error parameter based on a difference between a value obtained by applying the input value of the input variable to the first model and an output value of the output variable corresponding to the input value of the input variable is the past parameter. Each of the plurality of past performance data is calculated based on the input variable and the output variable of the performance data. Next, a second model representing the relationship between the output variable and the input variable is generated using the input variable and the error parameter, and a factor value corresponding to the input variable among the factors of the prediction target data And by giving the value of the error parameter to the second model, the output value of the prediction target data is calculated for each of the calculated error parameters as a predicted value. Then, as shown in FIG. 3, based on the calculated plurality of similarities and the calculated plurality of predicted values, variations in output values of the prediction target data are calculated as variations in the predicted values.
すなわち、図３（Ａ）に示すように、縦軸に予測値ｙ０をとると共に横軸に類似度ｗをとることによって、バラツキ演算部１２１は、まず、Ｍ個の各過去実績データ（Ｘ、ｙ）からそれぞれ算出されたＭ個の各誤差パラメータαｊ（ｊ＝１〜Ｍ）にそれぞれ対応するＭ個の各予測値ｙ０ｊに対し、その類似度ｗｊを対応させる。次に、バラツキ演算部１２１は、図３（Ａ）の縦軸ｙ０の少なくとも各予測値を含む範囲ｙ０ｊを有限個の複数の区間（クラス、等級）に分割し、各区間に含まれる予測値ｙ０ｊの類似度ｗｊを全て足し合わせることによって重み付き度数Ｆｗを生成し、図３（Ｂ）に示すように、予測値ｙ０のバラツキを表す予測値ｙ０のヒストグラムを生成する。このように予測値ｙ０のバラツキがヒストグラムによって示され、予測値ｙ０の出現度合いを容易に知ることが可能となる。 That is, as shown in FIG. 3A, by taking the predicted value y 0 on the vertical axis and taking the similarity score w on the horizontal axis, the variation calculation unit 121 first has M pieces of past performance data (X , Y), the similarity w j is made to correspond to each of the M predicted values y 0j corresponding to each of the M error parameters α j (j = 1 to M) calculated from y, y). Next, the variation calculation unit 121 divides a range y 0j including at least each predicted value on the vertical axis y 0 in FIG. 3A into a finite number of sections (classes, grades), and is included in each section. generating a weighted frequency Fw by summing all the similarity w j of the predicted value y 0j, as shown in FIG. 3 (B), generates a histogram of the predicted value y 0 representing the variation of the predicted value y 0 . Thus the variation of the predicted value y 0 are represented by the histogram, it is possible to easily know the occurrence degree of the predicted value y 0.
図３（Ｂ）に示すヒストグラムが予測値ｙ０のばらつきとされてもよいが、本実施形態では、さらに、バラツキ演算部１２１は、図３（Ｂ）に示すヒストグラムの面積が１となるように正規化する。この正規化されたヒストグラムが予測対象データＸ０における予測値ｙ０の確率密度分布とされ、予測値ｙ０のばらつきとされる。さらに、バラツキ演算部１２１は、面積を１に維持したまま図３（Ｂ）に示すヒストグラムを、公知の常套手段によって、図３（Ｃ）に示すように曲線で表してもよい。この曲線が予測対象データＸ０における予測値ｙ０の確率密度分布とされ、予測値ｙ０のバラツキとされる。 Although the histogram shown in FIG. 3B may be a variation of the predicted value y 0 , in the present embodiment, the variation calculation unit 121 further sets the area of the histogram shown in FIG. Normalize to This normalized histogram is a probability density distribution of the predicted value y 0 in the prediction target data X 0 and is a variation of the predicted value y 0 . Further, the variation calculation unit 121 may represent the histogram shown in FIG. 3B with a curve as shown in FIG. 3C by known conventional means while maintaining the area at 1. This curve is a probability density distribution of the predicted value y 0 in the prediction target data X 0, is a variation of the predicted value y 0.
このように前記予測値ｙ０のバラツキが求められる場合、記憶部４の予測依拠データ記憶部４１には、予測依拠データとして、所定の出力とこの出力に関わる数値化可能な要因とから成り過去に取得された複数の過去実績データおよび出力値を予測したい予測対象データが予め記憶される。 When such a variation of the predicted value y 0 are determined, the prediction relies data storage unit 41 of the storage unit 4, as the prediction relies data, past composed of a quantifiable factors relating to the output to a predetermined output A plurality of past performance data acquired in the above and prediction target data for which an output value is to be predicted are stored in advance.
想定される要因であって前記所定の出力に関わる数値化可能な要因の一部または全部によって前記所定の出力を予測したとしても、例えばゆらぎや外乱や現時点では解明できていない要因等の想定外の不確定な要素あるいはモデル化誤差等の不確定な要素によって、予測値と真値との間には、誤差αが存在してしまう。すなわち、想定される要因Ｘであって前記所定の出力ｙに関わる数値化可能な要因Ｘの一部Ｚまたは全部Ｚによって前記所定の出力ｙを、第１モデル；ｙ＝ｆ（Ｚ、Θ）でモデル化したとしても、ＺおよびΘだけで出力ｙを表現しきれない不確定な要素によって、予測値と真値との間には、誤差αが存在してしまう。ここで、Θは、Ｚの係数であり、Ｚ０の項（定数項）を含む。 Even if the predetermined output is predicted based on some or all of the possible factors related to the predetermined output, such as fluctuations, disturbances, factors that cannot be clarified at the present time, etc. An error α exists between the predicted value and the true value due to an uncertain element such as or an uncertain element such as a modeling error. That is, the predetermined output y is expressed by a first model; y = f (Z, Θ) according to a part Z or all Z of the factor X that can be assumed and is related to the predetermined output y. Even if it is modeled by, an error α exists between the predicted value and the true value due to an uncertain element that cannot express the output y only by Z and Θ. Here, Θ is a coefficient of Z and includes a term of Z0 (constant term).
この不確定な要素は、ばらつきの要因であり、上述の予測方法では、この不確定な要素に関連する誤差αが誤差パラメータαとされ、この誤差パラメータαが前記過去実績データに基づいて前記複数の過去実績データのそれぞれについて算出され、誤差パラメータαを加味した第２モデルが作成され、この第２モデルによって予測対象データの出力値が予測値として複数の誤差パラメータのそれぞれについて算出される。そして、複数の類似度および複数の予測値に基づいて予測対象データの出力値のばらつきが算出される。 This uncertain factor is a factor of variation, and in the prediction method described above, the error α related to this uncertain element is set as the error parameter α, and the error parameter α is determined based on the past performance data. Is calculated for each of the past performance data, and a second model is created in consideration of the error parameter α, and the output value of the prediction target data is calculated for each of the plurality of error parameters as a predicted value by this second model. And the dispersion | variation in the output value of prediction object data is calculated based on several similarity and several predicted value.
したがって、上述の予測方法では、予測値ｙ０のバラツキがより高精度に算出され、ひいては予測値ｙ０に基づいて操作や判断等を行う場合に予測値ｙ０のばらつきも考慮することが可能となる。 Thus, in the above prediction method, the variation of the predicted value y 0 is calculated with higher accuracy and thus also the variation of the predicted value y 0 if based on the predicted value y 0 performing operations and judgments, etc. can be considered It becomes.
ここで、前記数値化可能な要因には、測定器によって測定可能な物理量だけでなく、例えばプロセスを実行する操業班の各個体やプロセスの実行に使用される設備の各個体等も含まれる。このような各個体の数値化は、例えば、プロセスに関与する場合に１とされると共にプロセスに関与しない場合に０とされることによって実行される。例えば、Ａ、Ｂ、Ｃ、Ｄの４班があって、Ａ班が関与している場合には、Ａ班のデータが１となって他のＢないしＤ班の各データが０となる。 Here, the factors that can be quantified include not only physical quantities that can be measured by a measuring instrument, but also, for example, each individual of an operation group that executes a process, each individual of equipment that is used to execute a process, and the like. Such quantification of each individual is executed by, for example, being set to 1 when involved in the process and set to 0 when not involved in the process. For example, when there are four teams A, B, C, and D, and the team A is involved, the data of the team A is 1 and the data of the other teams B to D is 0.
このように前記複数の予測値のバラツキが取得されると、次に、演算制御部１の評価指標演算部１３は、バラツキ取得部１２で取得された前記複数の予測値のバラツキに基づいて、前記複数の予測値のバラツキに対する１つの評価指標を求め、この求めた評価指標を評価指標記憶部４３に記憶する（Ｓ１２）。 When the variation of the plurality of prediction values is acquired in this way, next, the evaluation index calculation unit 13 of the calculation control unit 1 is based on the variation of the plurality of prediction values acquired by the variation acquisition unit 12. One evaluation index for the variation of the plurality of predicted values is obtained, and the obtained evaluation index is stored in the evaluation index storage unit 43 (S12).
より具体的には、例えば、本実施形態では、評価指標演算部１３は、予め与えられた複数の実測値それぞれに対し、全体累積値を求め、部分累積値を求め、そして、この求めた部分累積値を前記全体累積値で除算する。前記全体累積値は、前記予測値のバラツキにおける前記所定の数値範囲における最小値から最大値まで前記出現度合いを累積することで評価指標演算部１３によって求められる。部分累積値は、前記所定の数値範囲における前記最小値から当該実測値まで前記出現度合いを累積することで評価指標演算部１３によって求められる。そして、評価指標演算部１３は、このように求めた複数の実測値に対応する各除算結果のヒストグラムを前記評価指標として求める。 More specifically, for example, in this embodiment, the evaluation index calculation unit 13 obtains an overall cumulative value, obtains a partial cumulative value, and obtains a partial cumulative value for each of a plurality of measured values given in advance. The cumulative value is divided by the total cumulative value. The total accumulated value is obtained by the evaluation index calculation unit 13 by accumulating the appearance degree from the minimum value to the maximum value in the predetermined numerical range in the variation of the predicted value. The partial accumulation value is obtained by the evaluation index calculation unit 13 by accumulating the appearance degree from the minimum value to the actual measurement value in the predetermined numerical range. The evaluation index calculating unit 13, a histogram of each division results corresponding to a plurality of actual measured values determined in this manner as the evaluation index.
一例を挙げて、より具体的に説明すると、例えば、図４に示すように、前記予測値のバラツキが折れ線で示す確率密度分布で示される場合、まず、評価指標演算部１３は、前記予測値のバラツキにおける前記所定の数値範囲における最小値ｙｍｉｎから最大値ｙｍａｘまで前記出現度合いの累積値を全体累積値Ｓｈとして求める。すなわち、評価指標演算部１３は、前記最小値ｙｍｉｎから最大値ｙｍａｘまでの縦軸と確率密度分布の折れ線とによって囲まれた面積を全体累積値Ｓｈとして求める。ここでは、前記予測値のバラツキは、確率密度分布によって表されているので、全体累積値Ｓｈは、１となる。次に、評価指標演算部１３は、実測値ｙｍの場合では、前記所定の数値範囲における前記最小値ｙｍｉｎから当該実測値ｙｍまで前記出現度合いの累積値を部分累積値Ｓｐとして求める。すなわち、評価指標演算部１３は、前記最小値ｙｍｉｎから当該実測値ｙｍまでの縦軸と当該実測値ｙｍを通る横軸に平行な直線と確率密度分布の折れ線とによって囲まれた面積（図４でハッチングした部分の面積）を部分累積値Ｓｐとして求める。評価指標演算部１３は、これら求めた部分累積値Ｓｐを全体累積値Ｓｈで除算する。上述のようにＳｈ＝１である場合では、前記除算の結果（除算結果）Ｄは、Ｄ＝Ｓｐ／Ｓｈ＝Ｓｐ／１＝Ｓｐであり、部分累積値Ｓｐで表される。評価指標演算部１３は、このような演算を、予め与えられた複数Ｎ個の実測値ｙｍ（ｍは１からＮまでの整数）それぞれに対し、実行し、これによって複数の実測値ｙｍにそれぞれ対応する複数の除算結果Ｄｍを求める。ここでは、前記予測値のバラツキは、確率密度分布によって表されているので、除算結果Ｄｍは、０以上１以下の範囲におけるいずれかの値となる（０≦Ｄｍ≦１）。実測値ｙｍが最小値より下側に外れた場合には、便宜上Ｄｍに０より小さな値が割り当てられ（例えばＤｍ＝−０．０５とする）、実測値ｙｍが最大値より上側に外れた場合には、便宜上Ｄｍに１より大きな値が割り当てられる（例えばＤｍ＝１．０５とする）。そして、評価指標演算部１３は、このように求めた複数の実測値に対応する各除算結果Ｄｍのヒストグラムを前記評価指標として求める。すなわち、評価指標演算部１３は、前記複数の除算結果Ｄｍを少なくとも含む範囲を有限個の複数の区間（クラス、等級）に分割し、各区間に含まれる除算結果Ｄｍの個数を計数し、除算結果Ｄｍのヒストグラムを生成する。例えば、評価指標演算部１３は、０以上１以下の範囲を０．１ずつの１０個の区間に分割し、各区間に含まれる除算結果Ｄｍの個数を計数し、除算結果Ｄｍのヒストグラムを生成する。このように生成された除算結果Ｄｍのヒストグラムの一例が図５および図６にそれぞれ示されている。このように除算結果Ｄｍのヒストグラムを生成するので、前記予め与えられる複数の実測値ｙｍは、この除算結果Ｄｍのヒストグラムが統計的に有意となる個数である。 More specifically, an example will be described. For example, as shown in FIG. 4, when the variation of the predicted value is indicated by a probability density distribution indicated by a broken line, first, the evaluation index calculating unit 13 determines the predicted value. The cumulative value of the appearance degree from the minimum value y min to the maximum value y max in the predetermined numerical value range in the variation of is determined as the total cumulative value Sh. That is, the evaluation index calculation unit 13 obtains the area surrounded by the vertical axis from the minimum value y min to the maximum value y max and the broken line of the probability density distribution as the overall cumulative value Sh. Here, since the variation of the predicted value is represented by the probability density distribution, the total cumulative value Sh is 1. Next, the evaluation index calculating unit 13, when the measured values y m from the minimum value y min in the predetermined value range until the measured value y m determining cumulative value of the appearance degree as partial cumulative value Sp. That is, the area evaluation index calculating unit 13, which is surrounded by the minimum value y min by the broken line of the vertical axis and the straight line and the probability density distribution parallel to the horizontal axis passing through the measured value y m until said measured value y m (The area of the hatched portion in FIG. 4) is obtained as a partial cumulative value Sp. The evaluation index calculation unit 13 divides the obtained partial cumulative value Sp by the total cumulative value Sh. As described above, when Sh = 1, the division result (division result) D is D = Sp / Sh = Sp / 1 = Sp, and is represented by a partial cumulative value Sp. Evaluation index computing unit 13, such operation, the plurality of N Found y m previously provided (the m integers from 1 to N) respectively, run, whereby a plurality of actual measured values y a plurality of division respectively corresponding to the m results determine the D m. Here, since the variation of the predicted value is represented by a probability density distribution, the division result D m is any value in the range of 0 to 1 (0 ≦ D m ≦ 1). If the measured value y m deviates below the minimum value, convenience D m to 0 smaller value is assigned (for example, D m = -0.05), Found y m is above the maximum value when off, the value larger than 1 is assigned for convenience D m (eg, D m = 1.05). The evaluation index calculating unit 13, a histogram of each division result D m corresponding to a plurality of actual measured values determined in this manner as the evaluation index. That is, the evaluation index calculating unit 13, the divided plurality of dividing results at least comprising range D m into a finite number of a plurality of sections (class, grade), counts the number of the division result D m included in each section generates a histogram of the division result D m. For example, the evaluation index calculation unit 13 divides the range from 0 to 1 into 10 sections of 0.1, counts the number of division results D m included in each section, and histograms of the division results D m Is generated. An example of a histogram of the thus generated division result D m are shown respectively in FIGS. Since generating a histogram of the thus division result D m, a plurality of measured values y m of the previously given is the number of histogram of the division result D m is statistically significant.
次に、演算制御部１は、このように求められた評価指標を出力部３から出力し（Ｓ１３）、処理を終了する。 Next, the arithmetic control unit 1 outputs the evaluation index thus obtained from the output unit 3 (S13), and ends the process.
オペレータ（ユーザ）は、このように出力部３から出力された前記評価指標を参照することによって、前記予測値のバラツキにおける予測精度を判断する。例えば、図５（Ａ）に示すように、評価指標が０以上１以下の全区間に亘って略均一な度数を持つヒストグラムである場合は、予測精度が良好であると、オペレータは、判断する。また例えば、図５（Ｂ）に示すように、評価指標が各区間で略均一な度数を持つが０以上１以下より狭い区間で度数を持つヒストグラムである場合は、予測精度が図５（Ａ）に示す場合よりも悪く、前記予測値のバラツキにおける分布の範囲が広すぎたと、オペレータは、判断する。また例えば、図５（Ｃ）に示すように、評価指標が各区間で略均一な度数を持つが０以上１以下より広い区間で度数を持つヒストグラムである場合は、予測精度が図５（Ａ）に示す場合よりも悪く、前記予測値のバラツキにおける分布の範囲が狭すぎたと、オペレータは、判断する。なお、図５（Ｃ）に示すヒストグラムは、前記予測値のバラツキにおける分布の範囲外の値で実測値が存在する場合に、生成される。例えば、前記ヒストグラムを生成する場合に、前記予測値のバラツキにおける前記所定の数値範囲における最小値ｙｍｉｎよりも小さい値の実測値が１つに纏められ、その頻度が０より小さい区間に割り当てられ、前記所定の数値範囲における最大値ｙｍａｘよりも大きい値の実測値が１つに纏められ、その頻度が１より大きい区間に割り当てられる。これによって図５（Ｃ）に示すヒストグラムが生成される。また例えば、図５（Ｄ）に示すように、評価指標が互いに隣接する区間で異なる度数を持ち０以上１以下の全区間に亘って不均一な度数を持つヒストグラムである場合は、予測精度が図５（Ｂ）や図５（Ｃ）に示す場合よりも悪く（図５（Ａ）に示す場合よりもさらにより悪く）、前記予測値のバラツキが不適切であったと、オペレータは、判断する。 The operator (user) determines the prediction accuracy in the variation of the predicted value by referring to the evaluation index output from the output unit 3 in this way. For example, as shown in FIG. 5 (A), when the evaluation index is a histogram having a substantially uniform frequency over all sections of 0 to 1, the operator determines that the prediction accuracy is good. . Also, for example, as shown in FIG. 5B, when the evaluation index is a histogram having a frequency that is substantially uniform in each section but a frequency in a section narrower than 0 and less than 1, the prediction accuracy is as shown in FIG. The operator determines that the range of distribution in the variation of the predicted value is too wide, as compared with the case shown in FIG. Further, for example, as shown in FIG. 5C, when the evaluation index is a histogram having a substantially uniform frequency in each section but having a frequency in a section wider than 0 and less than 1, the prediction accuracy is as shown in FIG. The operator determines that the range of distribution in the variation of the predicted value is too narrow, as compared with the case shown in FIG. Note that the histogram shown in FIG. 5C is generated when an actual measurement value exists outside the range of the distribution of the predicted values. For example, when the histogram is generated, the actual measurement values smaller than the minimum value y min in the predetermined numerical range in the variation of the predicted values are collected into one, and the frequency is assigned to a section whose frequency is less than zero. , The actually measured values that are larger than the maximum value y max in the predetermined numerical range are combined into one, and the frequency is assigned to a section that is greater than one. As a result, the histogram shown in FIG. 5C is generated. Further, for example, as shown in FIG. 5D, when the evaluation index is a histogram having different frequencies in adjacent sections and having non-uniform frequencies in all sections from 0 to 1, the prediction accuracy is high. The operator determines that the prediction value is inappropriate (unevenly worse than the case shown in FIG. 5A) and worse than the case shown in FIG. .
ここで、評価指標の一具体例を図６に示す。この図６に示す評価指標は、過去実績データに基づいて上述した前記予測値のバラツキの演算手法によって求めた予測値の確率密度分布に対する予測精度の評価指標である。図６（Ａ）は、溶鋼処理前温度に対する評価指標を示し、図６（Ｂ）は、タンディッシュ測温１回目に対する評価指標を示す。図６（Ａ）および図６（Ｂ）それぞれに示すように、これら評価指標は、略０以上１以下の範囲で度数を持ち前記範囲の全区間に亘って比較的均一な度数を持つヒストグラムであり、予測精度は、比較的良好であった。 A specific example of the evaluation index is shown in FIG. The evaluation index shown in FIG. 6 is an evaluation index of the prediction accuracy with respect to the probability density distribution of the predicted value obtained by the above-described calculation method of the predicted value variation based on the past performance data. FIG. 6 (A) shows an evaluation index for the temperature before the molten steel treatment, and FIG. 6 (B) shows an evaluation index for the first tundish temperature measurement. As shown in FIG. 6A and FIG. 6B, these evaluation indexes are histograms having frequencies in a range of approximately 0 to 1 and having relatively uniform frequencies over the entire section of the range. The prediction accuracy was relatively good.
このように本実施形態における予測精度評価装置Ｓおよびこれに実装された予測精度評価方法では、出力部３に出力された前記評価指標を参照することで、オペレータ（ユーザ）は、予測値のバラツキにおける予測精度を認識できる。 As described above, in the prediction accuracy evaluation apparatus S and the prediction accuracy evaluation method implemented in this embodiment, the operator (user) can vary the prediction value by referring to the evaluation index output to the output unit 3. The prediction accuracy can be recognized.
すなわち、所定の演算手法によって求められる予測値のバラツキは、予測に用いられる入力変数の数値が異なると、その分布の形状が異なる。例えば、鋼板を製造する場合において、例えば、成分や溶鋼量、通過行程、使用される取鍋の使用履歴や取鍋温度等の入力変数の数値がチャージごとに異なるため、出鋼温度のバラツキにおける分布の形状は、チャージごとに異なったものとなる。このため、実測値ｙｍに対しこの求めた予測値のバラツキが良い予測であったか、悪い予測であったか分からない。例えば、実測値ｙｍが予測値のバラツキの分布における中央付近に位置した場合、一見、前記予測値のバラツキの精度が良かったと考えられるが、前記予測値のバラツキの分布が広く求められていれば、実測値ｙｍが前記予測値のバラツキの分布における中央付近に位置することになるので、前記予測値のバラツキの精度が良くなかったとも考えられる。 That is, the variation in the predicted value obtained by a predetermined calculation method differs in the shape of the distribution when the numerical value of the input variable used for the prediction is different. For example, in the case of manufacturing a steel plate, for example, the values of input variables such as ingredients, amount of molten steel, passing process, usage history of ladle used and ladle temperature are different for each charge. The shape of the distribution is different for each charge. Thus, this one variation of calculated predictive value was good predicted to measured value y m, not know was bad prediction. For example, if the measured value y m is located near the center in the distribution of the variation of the predicted value, seemingly, wherein at variations in the accuracy of the predicted value is considered that it was good, long sought wide distribution of variation of the predicted value if, because the measured values y m will be located near the center in the distribution of the variation of the predicted value, also considered a variation of accuracy of the predicted value was not good.
そこで、本実施形態における予測精度評価装置Ｓおよびこれに実装された予測精度評価方法では、複数の実測値、および、前記複数の実測値それぞれに対応する予測値のバラツキが取得され、これら取得された各予測値のバラツキに対する前記評価指標が前記予測値のバラツキにおける分布の形状と複数の実測値とに基づいて求められ、そして、この求められた評価指標が出力部３に出力される。このため、本実施形態における予測精度評価装置Ｓおよびこれに実装された予測精度評価方法は、より適切な評価指標を生成でき、出力部３に出力された前記評価指標を参照することで、オペレータ（ユーザ）は、予測値のバラツキにおける予測精度を認識できる。例えば、オペレータ（ユーザ）は、図５（Ａ）に示すように、出力部３に出力された前記評価指標がより一様であれば、予測値のバラツキにおける予測精度がより良かったと、認識できる。 Therefore, in the prediction accuracy evaluation apparatus S and the prediction accuracy evaluation method implemented therein according to the present embodiment, a plurality of actually measured values and variations of predicted values corresponding to the plurality of actually measured values are acquired and acquired. The evaluation index for the variation of the predicted values is obtained based on the distribution shape and the plurality of actually measured values in the variation of the predicted values, and the obtained evaluation index is output to the output unit 3. For this reason, the prediction accuracy evaluation apparatus S and the prediction accuracy evaluation method implemented therein can generate a more appropriate evaluation index, and the operator can refer to the evaluation index output to the output unit 3 by referring to the evaluation index. The (user) can recognize the prediction accuracy in the variation of the predicted value. For example, as shown in FIG. 5A, the operator (user) can recognize that the prediction accuracy in the variation in the predicted value is better if the evaluation index output to the output unit 3 is more uniform. .
なお、上述の実施形態において、予測精度評価装置Ｓは、新たに予測したい予測対象データに対する第２の予測値のバラツキ（今回、予測した予測値のバラツキ）を評価指標で調整（補正）するように構成されても良い。この場合において、記憶部４には、複数の予測値のバラツキに対する評価指標に基づいて新たな前記第２の予測値のバラツキを調整する調整プログラムが前記各種プログラムの１つとしてさらに記憶される。バラツキ取得部１２は、さらに、前記第２の予測値のバラツキを取得する。そして、演算制御部１は、図１に破線で示すように、ばらつき調整部１４を機能的にさらに備える。このバラツキ調整部１４は、評価指標演算部１３で求めた評価指標に基づいてバラツキ取得部１２で新たに取得した前記第２の予測値のバラツキを調整（補正）するものである。より具体的には、例えば、バラツキ調整部１４は、バラツキ取得部１２で新たに取得した前記第２の予測値のバラツキに評価指標演算部１３で求めた前記評価指標を乗算することによって、前記第２の予測値のバラツキを調整する。 In the above-described embodiment, the prediction accuracy evaluation apparatus S adjusts (corrects) the variation in the second prediction value (the variation in the predicted prediction value this time) with respect to the prediction target data to be newly predicted with the evaluation index. It may be configured. In this case, the storage unit 4 further stores, as one of the various programs, an adjustment program that adjusts a new variation in the second predicted value based on an evaluation index for a variation in a plurality of predicted values. The variation acquisition unit 12 further acquires a variation in the second predicted value. And the calculation control part 1 is further provided with the dispersion | variation adjustment part 14 functionally, as shown with a broken line in FIG. The variation adjusting unit 14 adjusts (corrects) the variation of the second predicted value newly acquired by the variation acquiring unit 12 based on the evaluation index obtained by the evaluation index calculating unit 13. More specifically, for example, the variation adjustment unit 14 multiplies the variation of the second predicted value newly acquired by the variation acquisition unit 12 by the evaluation index obtained by the evaluation index calculation unit 13, thereby The variation of the second predicted value is adjusted.
このような構成の予測精度評価装置Ｓでは、前記第２の予測値のバラツキが新たに取得されている場合には、演算制御部１のバラツキ調整部１４は、評価指標演算部１３で求めた評価指標に基づいてバラツキ取得部１２で取得した新たな前記第２の予測値のバラツキを調整（補正）し、この調整した前記第２の予測値のバラツキを予測データ記憶部４２に記憶する。より具体的には、バラツキ調整部１４は、例えば、バラツキ取得部１２で取得した前記第２の予測値のバラツキに、評価指標演算部１３で求めた前記評価指標を乗算することによって、前記予測値のバラツキを調整する。例えば、バラツキ調整部１４は、前記第２の予測値のバラツキにおける前記所定の数値範囲（またはその最小値ｙｍｉｎから最大値ｙｍａｘまでの範囲）を、除算結果Ｄｍのヒストグラムにおける区間数と同数の区間に分割し、小さい方から順に（または大きい方から順に）、互いに対応する区間同士で、バラツキ取得部１２で取得した前記第２の予測値のバラツキに、評価指標演算部１３で求めた前記評価指標を乗算することによって、前記第２の予測値のバラツキを調整する。上述の例では、バラツキ調整部１４は、前記第２の予測値のバラツキにおける前記所定の数値範囲を１０個に分割し、第１番目の区間における前記第２の予測値のバラツキに０〜０．１の前記評価指標を乗算することによって、前記第１番目の区間における前記第２の予測値のバラツキを調整し、第２番目の区間における前記第２の予測値のバラツキに０．１〜０．２の前記評価指標を乗算することによって、前記第２番目の区間における前記第２の予測値のバラツキを調整する。以下同様に、第３ないし第１０番目の各区間における前記第２の予測値のバラツキに対し、その調整が行われる。そして、０〜０．１、０．１〜０．２、・・・、０．９〜１．０の各区分における各値の合計が１となるように、乗算後の予測値のバラツキが正規化される。また例えば、バラツキ調整部１４は、予測値を求めるために用いたモデル（上述の例では、第１モデルおよび第２モデルのうちの少なくとも１つのモデル）におけるパラメータの値を、評価指標演算部１３で求めた前記評価指標に基づいて増減させることによって、前記第２の予測値のバラツキを調整する。そして、演算制御部１は、このように調整された前記予測値のバラツキを出力部３から出力し、この調整処理を終了する。 In the prediction accuracy evaluation apparatus S having such a configuration, when the variation of the second predicted value is newly acquired, the variation adjustment unit 14 of the calculation control unit 1 is obtained by the evaluation index calculation unit 13. Based on the evaluation index, the variation of the new second predicted value acquired by the variation acquiring unit 12 is adjusted (corrected), and the adjusted variation of the second predicted value is stored in the predicted data storage unit 42. More specifically, for example, the variation adjustment unit 14 multiplies the variation of the second predicted value acquired by the variation acquisition unit 12 by the evaluation index obtained by the evaluation index calculation unit 13 to thereby calculate the prediction. Adjust the value variation. For example, the variation adjustment unit 14 uses the predetermined numerical range (or the range from the minimum value y min to the maximum value y max ) in the variation of the second predicted value as the number of sections in the histogram of the division result D m. Dividing into the same number of sections, the evaluation index calculation unit 13 obtains the variation of the second predicted value acquired by the variation acquisition unit 12 in the corresponding sections in order from the smallest (or from the largest). The variation of the second predicted value is adjusted by multiplying the evaluation index. In the above-described example, the variation adjusting unit 14 divides the predetermined numerical value range in the variation of the second predicted value into 10 pieces, and 0 to 0 in the variation of the second predicted value in the first section. .1 to adjust the variation of the second prediction value in the first interval, and 0.1 to the variation of the second prediction value in the second interval. The variation of the second predicted value in the second interval is adjusted by multiplying the evaluation index of 0.2. Similarly, the adjustment is performed for the variation of the second predicted value in each of the third to tenth sections. And the variation of the predicted value after multiplication is such that the total of each value in each section of 0 to 0.1, 0.1 to 0.2,..., 0.9 to 1.0 is 1. Normalized. Further, for example, the variation adjusting unit 14 uses the parameter value in the model (in the above example, at least one model of the first model and the second model) used for obtaining the predicted value as the evaluation index calculating unit 13. The variation of the second predicted value is adjusted by increasing / decreasing the value based on the evaluation index obtained in (1). Then, the arithmetic control unit 1 outputs the variation of the predicted value adjusted in this way from the output unit 3, and ends this adjustment process.
このような構成の予測精度評価装置Ｓおよびこれに実装された予測精度評価方法は、前記評価指標に基づいて前記予測値のバラツキを調整（補正）するので、予測値のバラツキをより適正化できる。したがって、より適切な予測値のバラツキが得られる。 Since the prediction accuracy evaluation apparatus S having such a configuration and the prediction accuracy evaluation method implemented therein adjust (correct) the variation in the prediction value based on the evaluation index, the variation in the prediction value can be further optimized. . Therefore, a more appropriate variation in predicted values can be obtained.
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。 In order to express the present invention, the present invention has been properly and fully described through the embodiments with reference to the drawings. However, those skilled in the art can easily change and / or improve the above-described embodiments. It should be recognized that this is possible. Therefore, unless the modifications or improvements implemented by those skilled in the art are at a level that departs from the scope of the claims recited in the claims, the modifications or improvements are not covered by the claims. To be construed as inclusive.
Ｓ 予測精度評価装置
１ 演算制御部
３ 出力部
４ 記憶部
１２ バラツキ取得部
１３ 評価指標演算部
１４ バラツキ調整部
４１ 予測依拠データ記憶部
４２ 予測データ記憶部
４３ 評価指標記憶部
S Prediction accuracy evaluation apparatus 1 Calculation control unit 3 Output unit 4 Storage unit 12 Variation acquisition unit 13 Evaluation index calculation unit 14 Variation adjustment unit 41 Prediction dependent data storage unit 42 Prediction data storage unit 43 Evaluation index storage unit
Claims (6)
前記バラツキ取得部で取得された各前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算部と、
前記評価指標演算部で求めた前記評価指標を出力する出力部とを備えること
を特徴とする予測精度評価装置。 A variation acquisition for obtaining a variation of a plurality of actual measurement values and a prediction value corresponding to each of the plurality of actual measurement values representing a relationship between a plurality of prediction values within a predetermined numerical range and the appearance degree of the plurality of prediction values. And
Based on the variation of each predicted value acquired by the variation acquisition unit, an evaluation index calculation unit for obtaining an evaluation index representing the degree of quality in the prediction accuracy of the variation of each predicted value;
An output unit that outputs the evaluation index obtained by the evaluation index calculation unit.
を特徴とする請求項１に記載の予測精度評価装置。 The evaluation index calculation unit obtains a cumulative value of the appearance degree as a total cumulative value from a minimum value to a maximum value in the predetermined numerical range for each of the plurality of actually measured values, and the minimum value in the predetermined numerical range from it obtains an accumulated value of the occurrence degree until the measured value as the partial cumulative value, the calculated partial accumulated value divided by the total cumulative value, the evaluation of the histogram of each division results corresponding to the plurality of actual measured values It calculates | requires as a parameter | index. The prediction accuracy evaluation apparatus of Claim 1 characterized by the above-mentioned.
前記評価指標演算部で求めた前記評価指標に基づいて前記バラツキ取得部で新たに取得した前記第２の予測値のバラツキを調整するバラツキ調整部をさらに備えること
を特徴とする請求項１または請求項２に記載の予測精度評価装置。 The variation acquisition unit newly acquires a variation in the second predicted value for the prediction target data to be newly predicted,
The variation adjustment part which adjusts the variation of the said 2nd predicted value newly acquired by the said variation acquisition part based on the said evaluation index calculated | required by the said evaluation index calculating part is further provided. Item 3. The prediction accuracy evaluation apparatus according to Item 2.
前記バラツキ取得部は、前記データ記憶部に記憶されている前記所定の予測依拠情報に基づいて前記予測値のバラツキを演算することによって各前記予測値のバラツキを取得すること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の予測精度評価装置。 A data storage unit that preliminarily stores predetermined prediction dependency information necessary for obtaining variation in the predicted value;
The variation obtaining unit obtains a variation in each predicted value by calculating a variation in the predicted value based on the predetermined prediction dependency information stored in the data storage unit. The prediction accuracy evaluation apparatus according to any one of claims 1 to 3.
前記バラツキ取得部は、前記入力部から前記予測値のバラツキを取得すること
を特徴とする請求項１ないし請求項３のいずれか１項に記載の予測精度評価装置。 It further comprises an input unit for inputting predetermined information,
The prediction accuracy evaluation apparatus according to any one of claims 1 to 3, wherein the variation acquisition unit acquires the variation of the predicted value from the input unit.
前記バラツキ取得工程で取得された前記予測値のバラツキに基づいて、各前記予測値のバラツキの予測精度における良否の度合いを表す評価指標を求める評価指標演算工程と、
前記評価指標演算工程で求めた前記評価指標を出力部に出力する出力工程とを備えること
を特徴とする予測精度評価方法。 A variation for obtaining a variation in a predicted value corresponding to each of the plurality of actually measured values, which represents a relationship between the plurality of actually measured values and a plurality of predicted values within a predetermined numerical range and the appearance degree with respect to each of the plurality of predicted values. Acquisition process;
Based on the variation of the predicted value acquired in the variation acquisition step, an evaluation index calculation step for obtaining an evaluation index representing the degree of quality in the prediction accuracy of the variation of each predicted value;
A prediction accuracy evaluation method comprising: an output step of outputting the evaluation index obtained in the evaluation index calculation step to an output unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014003053A JP6235347B2 (en) | 2014-01-10 | 2014-01-10 | Prediction accuracy evaluation apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014003053A JP6235347B2 (en) | 2014-01-10 | 2014-01-10 | Prediction accuracy evaluation apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015132914A JP2015132914A (en) | 2015-07-23 |
| JP6235347B2 true JP6235347B2 (en) | 2017-11-22 |
Family
ID=53900075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014003053A Expired - Fee Related JP6235347B2 (en) | 2014-01-10 | 2014-01-10 | Prediction accuracy evaluation apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6235347B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003143757A (en) * | 2001-10-30 | 2003-05-16 | Hitachi Ltd | Operation support system |
| JP5220458B2 (en) * | 2008-03-31 | 2013-06-26 | 株式会社神戸製鋼所 | Output value prediction method, apparatus, and program for the method |
| JP6078951B2 (en) * | 2011-04-07 | 2017-02-15 | 横河電機株式会社 | Trend graph display device |
-
2014
- 2014-01-10 JP JP2014003053A patent/JP6235347B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015132914A (en) | 2015-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6458403B2 (en) | Prediction model generation device, prediction model generation method, and program | |
| JP7086803B2 (en) | Anomaly detection device, anomaly detection method and program | |
| JP6737277B2 (en) | Manufacturing process analysis device, manufacturing process analysis method, and manufacturing process analysis program | |
| KR101832653B1 (en) | Rolling process learning control device | |
| KR101339844B1 (en) | Data filtering apparatus using moving standard deviation and filtering method tehreof | |
| JP5068383B1 (en) | Prediction device, prediction method, and prediction program | |
| JP7393244B2 (en) | Time series data prediction device and time series data prediction method | |
| JP5271136B2 (en) | Output value prediction method, apparatus, and program for the method | |
| KR20220112681A (en) | Information processing device, recording medium, and process condition search method | |
| JP7152938B2 (en) | Machine learning model building device and machine learning model building method | |
| JP6594780B2 (en) | System comprising decision support device and decision support method | |
| JP6235347B2 (en) | Prediction accuracy evaluation apparatus and method | |
| JPWO2014188524A1 (en) | Work time estimation device | |
| WO2019224909A1 (en) | Parameter selection method, parameter selection program, and information processing device | |
| JP2015111326A (en) | Electric power estimation method, electric power estimation device, and program | |
| JP7399832B2 (en) | Information processing device, information processing system, information processing method and program | |
| JP5220458B2 (en) | Output value prediction method, apparatus, and program for the method | |
| JP2015228182A (en) | Changing point detection device, changing point detection method and computer program | |
| US20220404792A1 (en) | Method, system and computer program product for monitoring a shaping process | |
| JP5738778B2 (en) | Optimal model estimation apparatus, method, and program | |
| US20150170169A1 (en) | Prediction device, prediction method, and computer readable medium | |
| JP4230890B2 (en) | Model identification device, model identification program, and method of operating model identification device | |
| JP2013041321A (en) | Optimal solution search device and optimal solution search method | |
| JP5826893B1 (en) | Change point prediction apparatus, change point prediction method, and computer program | |
| Jelali et al. | Statistical process control |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160901 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170915 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6235347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |