KR20210064794A

KR20210064794A - Method and apparatus for determining performance degradation using prediction uncertainty

Info

Publication number: KR20210064794A
Application number: KR1020190153399A
Authority: KR
Inventors: 이현용; 김낙우; 이병탁; 이준기
Original assignee: 한국전자통신연구원
Priority date: 2019-11-26
Filing date: 2019-11-26
Publication date: 2021-06-03

Abstract

The present invention relates to a method and device for determining a performance degradation using prediction uncertainty. Specifically, the present invention accurately identifies a degree of performance degradation of a target system by using a prediction uncertainty variable, which shows a close relationship with the prediction performance according to the prediction uncertainty. The method for determining performance degradation comprises: a step of generating a prediction uncertainty variable; a step of generating reference data; a step of deriving reference data; a step of determining a prediction error of usage data; and a step of determining a degree of performance degradation.

Description

Method and apparatus for determining performance degradation using prediction uncertainty {METHOD AND APPARATUS FOR DETERMINING PERFORMANCE DEGRADATION USING PREDICTION UNCERTAINTY}

본 발명은 예측 불확실성을 활용한 성능 저하 판단 방법 및 장치에 관한 것으로, 보다 구체적으로는 예측 가능한 대상 시스템의 환경에서 기대되는 성능에 대비하여 예측 모델의 예측값에 따른 대상 시스템의 성능 저하 정도를 판단하는 방법에 관한 것이다.The present invention relates to a method and apparatus for determining performance degradation using prediction uncertainty, and more particularly, to a method and apparatus for determining the degree of degradation of performance of a target system according to a predicted value of a prediction model in preparation for expected performance in an environment of a predictable target system. it's about how

예측 기술은 입력 데이터에 기반하여 입력된 입력 데이터에 상응하는 출력 데이터를 도출하는 기술이다. 이러한, 예측 기술은 기계 학습 등 다양한 알고리즘에 기반한 예측 모델로 구현될 수 있으며, 여기서, 예측 모델은 알려진 데이터(known data)로부터 입력 데이터와 출력 데이터의 상관 관계를 학습하는 것이다. 학습된 예측 모델은 예측하고자 하는 입력 데이터에 상응하는 출력 데이터를 도출한다.The prediction technique is a technique of deriving output data corresponding to the input data based on the input data. Such a prediction technique may be implemented as a prediction model based on various algorithms such as machine learning, where the prediction model learns a correlation between input data and output data from known data. The learned prediction model derives output data corresponding to the input data to be predicted.

예측 모델은 예측 대상이 되는 대상 시스템이 주어진 조건 혹은 환경에서 보여줄 것으로 기대되는 상태 혹은 성능을 예측할 수 있으므로, 예측에 기반하여 대상 시스템의 정상 동작 여부를 판단하는데 사용할 수 있다.The predictive model can predict the state or performance expected to be exhibited by the target system to be predicted under a given condition or environment, and thus can be used to determine whether the target system is operating normally based on the prediction.

일반적으로 예측 기술에 기반한 대상 시스템의 정상 동작 여부를 판단하는 방법은 예측 모델의 예측값과 대상 시스템의 출력값에 기반한 비교값이 기 설정된 임계값을 초과하면, 대상 시스템이 비정상 상태라고 간주하는 방식을 사용한다. 예를 들어, 예측 모델의 예측값과 대상 시스템의 출력값의 차이가 기설정된 임계값을 초과하면, 대상 시스템의 동작과 관련하여 문제가 발생한 것으로 판단이 가능하다.In general, the method of judging whether the target system is operating normally based on the prediction technology uses a method in which the target system is considered to be in an abnormal state when the comparison value based on the prediction value of the prediction model and the output value of the target system exceeds a preset threshold. do. For example, when the difference between the prediction value of the prediction model and the output value of the target system exceeds a preset threshold, it may be determined that a problem has occurred in relation to the operation of the target system.

하지만, 이러한 방법은 미리 지정된 임계값에 따라 대상 시스템의 정상 동작 여부만을 판단할 뿐, 대상 시스템에 관한 기대 성능에 대비하여 어느 정도 성능이 저하되었는지 파악할 수 없다. 성능을 파악하더라도, 예측 모델의 예측값과 대상 시스템의 출력값 간에 차이를 기반하여 대상 시스템의 성능 저하 정도를 도출하는 것에 그친다. 예를 들어, 대상 시스템의 출력 값이 예측 값 대비 20% 적다면, 대상 시스템이 기대되는 성능에 비해 20%정도 성능이 저하되었다고 판단한다.However, this method only determines whether the target system operates normally according to a predetermined threshold value, and cannot determine to what extent the performance of the target system is degraded compared to the expected performance of the target system. Even if the performance is understood, the degree of degradation of the performance of the target system is only derived based on the difference between the prediction value of the prediction model and the output value of the target system. For example, if the output value of the target system is 20% less than the predicted value, it is determined that the performance of the target system is reduced by about 20% compared to the expected performance.

그러나, 상술한 종래 기술들은 예측의 불확실성을 고려하지 않는다. 자세하게, 예측의 불확실성은 불가피한데 이는, 예측 대상이 되는 대상 시스템의 성능에 영향을 주는 모든 요인을 파악할 수 없을 뿐만 아니라, 파악된 데이터에서 입력과 출력의 상관 관계를 정확하게 학습하는 것이 불가능하기 때문이다.However, the above-described prior art techniques do not take into account uncertainty of prediction. In detail, uncertainty in prediction is unavoidable, because it is not possible to grasp all factors that affect the performance of the target system to be predicted, and it is impossible to accurately learn the correlation between input and output from the identified data. .

또한, 이러한 예측의 불확실성을 고려할 때, 예측 결과와 대상 시스템의 실제 출력을 단순히 비교하여 대상 시스템의 정상 동작 유무를 판단하거나 혹은 대상 시스템의 성능 저하 정도를 판단하는 종래의 방법은 신뢰하기 어렵다고 볼 수 있다.In addition, considering the uncertainty of such prediction, the conventional method of determining whether the target system operates normally by simply comparing the prediction result and the actual output of the target system or the degree of degradation of the target system's performance can be considered unreliable. have.

따라서, 본 발명에서는 전술한 종래 예측 기반 대상 시스템 성능 진단 방법의 한계를 극복하고 대상 시스템의 성능 저하 정도를 정확하게 파악하기 위하여, 예측의 불확실성을 활용한 방법을 제안한다.Accordingly, the present invention proposes a method utilizing the uncertainty of prediction in order to overcome the limitations of the aforementioned conventional prediction-based target system performance diagnosis method and accurately determine the degree of degradation of the target system performance.

본 발명은 대상 시스템의 성능 저하 정도를 판단하기 위해, 기존에 불가피한 요인으로 예측의 불확실성을 활용함으로써, 대상 시스템의 성능 저하 정도를 정확하게 파악하는 예측 불확실성을 활용한 성능 저하 판단 방법 및 장치를 제공할 수 있다.The present invention provides a method and apparatus for determining performance degradation using prediction uncertainty that accurately grasps the degree of performance degradation of a target system by utilizing the uncertainty of prediction as an existing unavoidable factor in order to determine the degree of degradation of the target system. can

본 발명은 성능 저하 정도를 판단하기 위해, 예측의 성능과 밀접한 관계를 갖는 예측 불확실성 변수, 기준 데이터를 활용함으로써, 예측 불확실성 변수의 값에 따라 보다 정확하게 대상 시스템의 성능 저하 정도를 판단하는 예측 불확실성을 활용한 성능 저하 판단 방법 및 장치를 제공할 수 있다.In order to determine the degree of performance degradation, the present invention utilizes a prediction uncertainty variable and reference data that have a close relationship with the prediction performance, thereby reducing the prediction uncertainty for more accurately determining the degree of performance degradation of the target system according to the value of the prediction uncertainty variable. It is possible to provide a method and an apparatus for determining the performance degradation utilized.

일실시예에 따른 성능 저하 판단 방법은 학습에 사용되는 사용 데이터를 입력값으로 하는 예측 모델의 예측값을 이용하여 예측 모델의 예측 불확실성을 나타내는 예측 불확실성 변수를 생성하는 단계; 예측 모델의 학습에 사용되지 않은 미사용 데이터를 이용하여 성능 저하 단위에 따라 시뮬레이션된 결과를 포함하는 기준 데이터를 생성하는 단계; 기준 데이터 중에서 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출하는 단계; 예측 모델의 예측값과 상기 대상 시스템에서 출력된 측정값을 이용하여 사용 데이터의 예측 오차를 결정하는 단계; 및 참조 데이터 및 예측 오차를 이용하여 대상 시스템의 성능 저하 정도를 판단하는 단계를 포함할 수 있다.A performance degradation determination method according to an embodiment includes generating a prediction uncertainty variable representing the prediction uncertainty of the prediction model by using a prediction value of a prediction model using data used for learning as an input value; generating reference data including simulated results according to performance degradation units by using unused data not used for training of the predictive model; deriving reference data having a value similar to a value of a predictive uncertainty variable from among the reference data; determining a prediction error of usage data using a prediction value of a prediction model and a measurement value output from the target system; and determining the degree of degradation in performance of the target system by using the reference data and the prediction error.

일실시예에 따른 예측 불확실성 변수를 생성하는 단계는, 다수의 예측 모델로부터 출력된 예측값들을 이용하는 경우, 예측값들의 표준편차, 분산, 평균 중 적어도 하나를 이용하여 예측 불확실성 변수를 생성할 수 있다.The generating of the prediction uncertainty variable according to an embodiment may include generating the prediction uncertainty variable using at least one of a standard deviation, a variance, and an average of the prediction values when using prediction values output from a plurality of prediction models.

일실시예에 따른 미사용 데이터는, 예측 모델의 학습에 사용되지 않는 데이터로, 미사용 입력 데이터와 미사용 출력 데이터로 구분될 수 있다.Unused data according to an embodiment is data that is not used for training of a predictive model, and may be divided into unused input data and unused output data.

일실시예에 따른 기준 데이터를 생성하는 단계는, 미사용 입력 데이터를 입력값으로 하는 예측 모델의 예측값 및 예측 불확실성 변수를 결정하는 단계; 및 예측 불확실성 변수를 기반으로 예측 모델의 예측값과 미사용 출력 데이터의 측정값을 시뮬레이션하여 미사용 데이터의 예측 오차를 포함하는 기준 데이터를 생성하는 단계를 포함할 수 있다.The generating of the reference data according to an embodiment may include: determining a prediction value and a prediction uncertainty variable of a prediction model using unused input data as an input value; and generating reference data including a prediction error of unused data by simulating the prediction value of the prediction model and the measurement value of unused output data based on the prediction uncertainty variable.

일실시예에 따른 대상 시스템의 성능 저하 정도를 판단하는 단계는, 사용 데이터의 예측 오차가 나타내는 분포 범위를 설정하는 단계; 예측 오차의 분포 범위를 기준으로 사용 데이터의 예측 오차에 관한 퍼센타일(Percentile) 위치를 결정하는 단계; 및 퍼센타일 위치에 따른 절대값 간 차이를 계산하여 상기 대상 시스템의 성능 저하 정도를 결정하는 단계를 포함할 수 있다.Determining the degree of degradation of the performance of the target system according to an embodiment may include: setting a distribution range indicated by a prediction error of usage data; determining a percentile position with respect to the prediction error of the usage data based on the distribution range of the prediction error; and calculating a difference between absolute values according to the position of the percentile to determine the degree of degradation in performance of the target system.

일실시예에 따른 성능 저하 판단 장치는 프로세서를 포함하고, 프로세서는, 학습에 사용되는 사용 데이터를 입력값으로 하는 예측 모델의 예측값을 이용하여 예측 모델의 예측 불확실성을 나타내는 예측 불확실성 변수를 생성하고, 예측 모델의 학습에 사용되지 않은 미사용 데이터를 이용하여 성능 저하 단위에 따라 시뮬레이션된 결과를 포함하는 기준 데이터를 생성하고, 기준 데이터 중에서 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출하고, 예측 모델의 예측값과 상기 대상 시스템에서 출력된 측정값을 이용하여 사용 데이터의 예측 오차를 결정하고, 참조 데이터 및 예측 오차를 이용하여 대상 시스템의 성능 저하 정도를 판단할 수 있다.The apparatus for determining performance degradation according to an embodiment includes a processor, wherein the processor generates a prediction uncertainty variable indicating the prediction uncertainty of the prediction model by using the prediction value of the prediction model having use data used for learning as an input value, Using unused data that is not used for training of the predictive model, generate reference data including simulated results according to the performance degradation unit, derive reference data having a value similar to the value of the predictive uncertainty variable among the reference data, and predict The prediction error of the usage data may be determined using the prediction value of the model and the measurement value output from the target system, and the degree of performance degradation of the target system may be determined using the reference data and the prediction error.

본 발명의 일실시예에 따른 성능 저하 판단 방법 및 장치는 대상 시스템의 성능 저하 정도를 판단하기 위해, 기존에 불가피한 요인으로 예측의 불확실성을 활용함으로써, 대상 시스템의 성능 저하 정도를 정확하게 파악할 수 있다.The performance degradation determination method and apparatus according to an embodiment of the present invention may accurately determine the performance degradation degree of the target system by utilizing the uncertainty of prediction as an existing unavoidable factor in order to determine the performance degradation degree of the target system.

본 발명의 일실시예에 따른 성능 저하 판단 방법 및 장치는 성능 저하 정도를 판단하기 위해, 예측의 성능과 밀접한 관계를 갖는 예측 불확실성 변수, 기준 데이터를 활용함으로써, 예측 불확실성 변수의 값에 따라 보다 정확하게 대상 시스템의 성능 저하 정도를 판단할 수 있다.A performance degradation determination method and apparatus according to an embodiment of the present invention utilizes a prediction uncertainty variable and reference data that have a close relationship with the prediction performance to determine the degree of performance degradation, thereby more accurately according to the value of the prediction uncertainty variable It is possible to determine the degree of performance degradation of the target system.

본 발명의 일실시예에 따른 성능 저하 판단 방법은, 대상 시스템의 성능 저하 정도를 판단함에 있어, 불가피한 예측 확실성을 고려함으로써, 단순히 대상 시스템의 정상 동작 유무를 판단하는 것 뿐만 아니라, 대상 시스템의 성능 저하 정도를 정확하게 판단할 수 있다.In the performance degradation determination method according to an embodiment of the present invention, in determining the degree of performance degradation of a target system, by considering inevitable prediction certainty, not only simply determining whether the target system operates normally, but also the performance of the target system The degree of deterioration can be accurately judged.

본 발명의 일실시예에 따른 성능 저하 판단 방법은 예측 불확실성 변수를 도출할 수 있는 임의의 예측 모델에 적용이 가능할 수 있다.The performance degradation determination method according to an embodiment of the present invention may be applicable to any prediction model from which prediction uncertainty variables can be derived.

도 1은 본 발명의 일실시예에 따른 성능 저하 진단 장치를 포함하는 전반적인 구성을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 프로세서를 포함하는 성능 저하 진단 장치를 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 따른 대상 시스템의 성능 저하 정도를 판단하는 프로세서의 세부 동작을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 기준 데이터를 생성하는 프로세서의 세부 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 기준 데이터를 설명하기 위해 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 대상 시스템의 성능 저하 정도를 판단하는 프로세서의 전반적인 동작을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 기준 데이터로부터 도출된 참조 데이터를 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 참조 데이터를 이용하여 유사성을 판단하는 동작을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따른 예측 대상으로 태양광 발전소의 성능 저하 정도를 판단하는 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 도 8의 태양광 발전소의 성능 저하 정도에 관한 실험 결과를 나타낸 그래프이다.
도 11은 본 발명의 일실시예에 따른 예측 대상으로 자동차 엔진의 성능 저하 정도를 판단하는 동작을 설명하기 위한 도면이다.
도 12는 본 발명의 일실시예에 따른 성능 저하 판단 방법을 설명하기 위한 흐름도이다.1 is a view for explaining an overall configuration including an apparatus for diagnosing performance degradation according to an embodiment of the present invention.
2 is a diagram for explaining an apparatus for diagnosing performance degradation including a processor according to an embodiment of the present invention.
3 is a diagram for explaining a detailed operation of a processor for determining a degree of degradation in performance of a target system according to an embodiment of the present invention.
4 is a diagram for explaining a detailed operation of a processor for generating reference data according to an embodiment of the present invention.
5 is a diagram illustrating reference data according to an embodiment of the present invention.
6 is a diagram for explaining the overall operation of the processor for determining the degree of performance degradation of the target system according to an embodiment of the present invention.
7 is a diagram illustrating reference data derived from reference data according to an embodiment of the present invention.
8 is a diagram for explaining an operation of determining similarity using reference data according to an embodiment of the present invention.
9 is a view for explaining an operation of determining the degree of degradation in performance of a solar power plant as a prediction target according to an embodiment of the present invention.
10 is a graph showing the experimental results regarding the degree of degradation of the performance of the photovoltaic power plant of FIG. 8 according to an embodiment of the present invention.
11 is a diagram for explaining an operation of determining the degree of degradation in performance of a vehicle engine as a prediction target according to an embodiment of the present invention.
12 is a flowchart illustrating a method for determining performance degradation according to an embodiment of the present invention.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 성능 저하 진단 장치를 포함하는 전반적인 구성을 설명하기 위한 도면이다.1 is a diagram for explaining an overall configuration including an apparatus for diagnosing performance degradation according to an embodiment of the present invention.

도 1을 참고하면, 성능 저하 판단 장치(101)는 예측하고자 하는 대상 시스템(103)의 성능 저하 정도를 판단할 수 있다. 성능 저하 판단 장치(101)는 기존에 불가피한 요인으로 예측 불확실성을 활용함으로써, 대상 시스템(103)의 성능 저하 정도를 정확하게 파악할 수 있다. 여기서, 성능 저하 판단 장치(101)는 프로세서(102)를 포함하고, 프로세서(102)는 대상 시스템(103)의 성능 저하 정보를 파악하기 위한 일련의 동작을 수행할 수 있다.Referring to FIG. 1 , the performance degradation determining apparatus 101 may determine the degree of performance degradation of the target system 103 to be predicted. The performance degradation determination apparatus 101 may accurately determine the degree of performance degradation of the target system 103 by utilizing the prediction uncertainty as an unavoidable factor in the past. Here, the performance degradation determining apparatus 101 includes the processor 102 , and the processor 102 may perform a series of operations to determine performance degradation information of the target system 103 .

성능 저하 판단 장치(101)는 예측의 성능과 밀접한 관계를 갖는 예측 불확실성 변수를 생성할 수 있다. 성능 저하 판단 장치(101)는 미리 학습된 예측 모델을 이용하여 입력값으로 사용된 사용 데이터에 따른 예측 결과에 대한 예측 불확실성 변수를 생성할 수 있다. 성능 저하 판단 장치(101)는 예측 불확실성 변수를 이용하여 성능 저하 정도를 판단하는데 사용되는 기준 데이터를 생성할 수 있다. 성능 저하 판단 장치(101)는 데이터 DB(104)와 연동할 수 있으며, 생성된 기준 데이터는 데이터 DB(104)에 저장되어, 관리될 수 있다.The performance degradation determining apparatus 101 may generate a prediction uncertainty variable having a close relationship with prediction performance. The performance degradation determining apparatus 101 may generate a prediction uncertainty variable for a prediction result according to usage data used as an input value by using a pre-trained prediction model. The performance degradation determination apparatus 101 may generate reference data used to determine the degree of performance degradation by using the prediction uncertainty variable. The performance degradation determining device 101 may be linked with the data DB 104 , and the generated reference data may be stored and managed in the data DB 104 .

성능 저하 판단 장치(101)는 기준 데이터를 기반으로 기준 데이터 중에서 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출할 수 있다. 자세하게, 성능 저하 판단 장치(101)는 대상 시스템(103)으로부터 실제로 측정된 대상 시스템의 측정값을 수신할 수 있다. The performance degradation determination apparatus 101 may derive reference data having a value similar to the value of the prediction uncertainty variable from among the reference data based on the reference data. In detail, the performance degradation determining apparatus 101 may receive a measurement value of the target system that is actually measured from the target system 103 .

대상 시스템(103)은 예측 모델을 통해 성능 저하 진단을 적용하고자 하는 대상 시스템으로, 주어진 조건에서 기대되는 성능을 보이는지 여부를 판단할 수 있는 시스템일 수 있다. 일례로, 본 발명은 일사량, 기온, 습도 등 일정 기후 조건일 때, 태양광 발전 시스템이 기대되는 수준의 전력을 생산해내는지 파악하는데 본 발명에서 제안하는 방법을 적용할 수 있다. 다른 일례로, 본 발명은 풍속 등의 일정 기후 조건일 때 풍력 발전 시스템이 기대되는 수준의 전력을 생산해내는지 파악하는데 본 발명에서 제안하는 방법을 적용할 수 있다. 또 다른 일례로, 본 발명은 연료 주입량, 노면 상태 등 일정 조건 하에 자동차가 기대되는 수준의 출력을 보이는지 파악하는데 본 발명에서 제안하는 방법을 적용할 수 있다.The target system 103 is a target system to which a performance degradation diagnosis is to be applied through a predictive model, and may be a system capable of determining whether performance is expected under a given condition. As an example, the present invention can apply the method proposed by the present invention to determine whether the solar power generation system produces an expected level of power under certain climatic conditions such as insolation, temperature, and humidity. As another example, in the present invention, the method proposed in the present invention can be applied to determine whether the wind power generation system produces an expected level of power under constant climatic conditions such as wind speed. As another example, in the present invention, the method proposed in the present invention may be applied to determine whether the vehicle exhibits an expected level of output under certain conditions such as fuel injection amount and road surface condition.

대상 시스템(103)은 예측 모델의 예측 대상이 되었던 시점에 대응하여 대상 시스템(103)에서 측정된 측정값을 성능 저하 판단 장치(101)에 전송할 수 있다. 예측 모델의 입력값으로 사용된 사용 데이터의 예측 시점과 대상 시스템(103)에서 측정값으로 측정된 측정 시점을 동일한 시점을 나타낼 수 있다.The target system 103 may transmit a measurement value measured by the target system 103 to the performance degradation determining device 101 in response to a time when the prediction model became a prediction target. The same time point may represent a prediction time point of the usage data used as an input value of the prediction model and a measurement time point measured as a measurement value in the target system 103 .

일례로, 대상 시스템(103)은 소규모의 분산 자원 설비이며, 예측 모델은 분산 자원 설비의 작년 5월달의 전력 발전량에 관한 사용 데이터를 입력값으로 사용하여, 입력값에 상응하는 예측값을 출력할 수 있다. 대상 시스템(103)은 올해 5월달에 분산 자원 설비에서 실제로 생산된 전력 발전량을 측정값으로 성능 저하 판단 장치(101)에 전달할 수 있다.As an example, the target system 103 is a small-scale distributed resource facility, and the prediction model can output a prediction value corresponding to the input value by using the usage data regarding the power generation amount of last May of the distributed resource facility as an input value. have. The target system 103 may transmit the power generation amount actually produced in the distributed resource facility in May of this year to the performance degradation determination device 101 as a measured value.

성능 저하 판단 장치(101)는 참조 데이터를 이용하여 대상 시스템의 성능 저하 정도를 판단할 수 있다. 구체적으로, 성능 저하 판단 장치(101)는 학습된 예측 모델과 대상 시스템으로부터 각각 예측값과 측정값을 수신하고, 수신한 예측값과 측정값을 기준으로 기준 데이터로부터 예측 불확실성 변수를 포함하는 참조 데이터를 추출할 수 있다. 성능 저하 판단 장치(101)는 참조 데이터를 이용하여 대상 시스템(103)의 성능 저하 진단을 실시한 후, 최종적인 성능 저하 정도를 판단할 수 있다.The performance degradation determining apparatus 101 may determine the degree of performance degradation of the target system by using the reference data. Specifically, the performance degradation determining device 101 receives the predicted values and the measured values from the learned prediction model and the target system, respectively, and extracts reference data including the prediction uncertainty variable from the reference data based on the received predicted values and the measured values. can do. After diagnosing the performance degradation of the target system 103 using the reference data, the performance degradation determination apparatus 101 may determine the final degree of degradation.

도 2는 본 발명의 일실시예에 따른 프로세서를 포함하는 성능 저하 진단 장치를 설명하기 위한 도면이다.2 is a diagram for explaining an apparatus for diagnosing performance degradation including a processor according to an embodiment of the present invention.

도 2를 참고하면, 성능 저하 판단 장치는 프로세서(102)를 포함하고, 프로세서(102)는 일련의 동작을 수행하여, 예측하고자 하는 대상 시스템(103)의 성능 저하 정도를 판단할 수 있다.Referring to FIG. 2 , the performance degradation determining apparatus may include the processor 102 , and the processor 102 may perform a series of operations to determine the degree of performance degradation of the target system 103 to be predicted.

보다 자세하게, 프로세서(102)는 학습에 사용되는 사용 데이터(206)를 입력값으로 하는 예측 모델의 예측값을 이용하여 예측 모델의 예측 불확실성을 나타내는 예측 불확실성 변수를 생성할 수 있다. 프로세서(102)는 다수의 예측 모델을 이용하여 예측 불확실성을 나타내는 예측 불확실성 변수를 생성할 수 있다. 다수의 예측 모델을 이용하는 경우, 프로세서(102)는 복수의 예측값들을 활용한 표준편차, 분산, 평균 중 적어도 하나를 이용하여 예측 불확실성 변수를 생성할 수 있다In more detail, the processor 102 may generate a prediction uncertainty variable representing the prediction uncertainty of the prediction model by using the prediction value of the prediction model using the usage data 206 used for learning as an input value. The processor 102 may generate a prediction uncertainty variable indicative of the prediction uncertainty using the plurality of prediction models. When a plurality of prediction models are used, the processor 102 may generate a prediction uncertainty variable using at least one of standard deviation, variance, and mean using the plurality of prediction values.

프로세서(102)는 예측 모델의 학습에 사용되지 않은 미사용 데이터(207)를 이용하여 기준 데이터를 생성할 수 있다. 여기서, 미사용 데이터(207)는 미사용 입력 데이터와 미사용 출력 데이터로 구분될 수 있다. 프로세서(102)는 성능 저하 단위에 따라 시뮬레이션된 결과를 포함하는 기준 데이터를 생성할 수 있다. 성능 저하 단위는 대상 시스템의 성능 또는, 상태의 정도, 수준, 능률 등이 현저하게 떨어진 상황을 수치로 나타내기 위한 일정한 기준을 의미할 수 있다.The processor 102 may generate reference data by using the unused data 207 that is not used for training the predictive model. Here, the unused data 207 may be divided into unused input data and unused output data. The processor 102 may generate reference data including simulated results according to the degradation unit. The performance degradation unit may mean a certain standard for numerically indicating a situation in which the performance or state of the target system has significantly deteriorated, such as a level, level, or efficiency.

자세하게, 프로세서(102)는 미사용 입력 데이터를 입력값으로 하는 예측 모델의 예측값 및 예측 불확실성 변수를 결정할 수 있다. 프로세서(102)는 예측 불확실성 변수를 기반으로 예측 모델의 예측값과 미사용 출력 데이터의 측정값을 시뮬레이션하여 미사용 데이터의 예측 오차를 포함하는 기준 데이터를 생성할 수 있다.In detail, the processor 102 may determine a prediction value and a prediction uncertainty variable of a prediction model using unused input data as an input value. The processor 102 may generate reference data including a prediction error of the unused data by simulating the prediction value of the prediction model and the measurement value of the unused output data based on the prediction uncertainty variable.

프로세서(102)는 기준 데이터 중 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출할 수 있다. 프로세서(102)는 데이터 DB(104)와 연동하여, 데이터 DB(104)에 저장된 기준 데이터 중 조건(예측 불확실성 변수의 값과 유사한 값)을 만족하는 참조 데이터를 도출할 수 있다.The processor 102 may derive reference data having a value similar to the value of the prediction uncertainty variable among the reference data. The processor 102 may deduce reference data that satisfies a condition (a value similar to the value of the predictive uncertainty variable) among the reference data stored in the data DB 104 in cooperation with the data DB 104 .

프로세서(102)는 학습된 예측 모델의 예측값과 대상 시스템(103)에서 출력된 측정값을 이용하여 사용 데이터의 예측 오차를 결정할 수 있다. 여기서, 예측값과 측정값은 동일한 측정 시점에서의 예측 또는 측정된 값일 수 있다.The processor 102 may determine a prediction error of the usage data by using the prediction value of the learned prediction model and the measurement value output from the target system 103 . Here, the predicted value and the measured value may be predicted or measured values at the same measurement time point.

프로세서(102)는 참조 데이터 및 예측 오차를 이용하여 대상 시스템의 성능 저하 정도를 판단할 수 있다. 자세하게, 프로세서(102)는 대상 시스템(103)의 성능 저하 정도를 판단할 수 있다. 프로세서(102)는 사용 데이터(206)의 예측 오차가 나타내는 분포 범위를 설정할 수 있다. 프로세서(102)는 예측 오차의 분포 범위를 기준으로 사용 데이터의 예측 오차에 관한 퍼센타일 위치를 결정할 수 있다. 프로세서(102)는 퍼센타일 위치에 따른 절대값 간 차이를 계산하여 대상 시스템의 성능 저하 정도를 결정할 수 있다.The processor 102 may determine the degree of degradation in performance of the target system by using the reference data and the prediction error. In detail, the processor 102 may determine the degree of performance degradation of the target system 103 . The processor 102 may set a distribution range indicated by the prediction error of the usage data 206 . The processor 102 may determine a percentile position with respect to the prediction error of the usage data based on the distribution range of the prediction error. The processor 102 may calculate a difference between absolute values according to the position of the percentile to determine the degree of degradation in performance of the target system.

도 3은 본 발명의 일실시예에 따른 대상 시스템의 성능 저하 정도를 판단하는 프로세서의 세부 동작을 설명하기 위한 도면이다.3 is a diagram for explaining a detailed operation of a processor for determining a degree of degradation in performance of a target system according to an embodiment of the present invention.

도 3을 참고하면, 프로세서(102)는 예측 불확실성을 활용한 예측하고자 하는 대상 시스템의 성능 저하 정도를 판단할 수 있다. 이를 위해, 프로세서(102)는 예측 모델 블록(301), 데이터 추출 블록(302), 예측 오차 계산 블록(303) 및 유사성 판단 블록(304)를 포함할 수 있다. 프로세서(102)는 각각의 블록(301, 302, 303, 304)을 통해 일련의 동작을 수행할 수 있다.Referring to FIG. 3 , the processor 102 may determine the degree of degradation of the performance of the target system to be predicted by using the prediction uncertainty. To this end, the processor 102 may include a prediction model block 301 , a data extraction block 302 , a prediction error calculation block 303 , and a similarity determination block 304 . The processor 102 may perform a series of operations through each of the blocks 301 , 302 , 303 , and 304 .

프로세서(102)는 예측 모델 블록(301)을 통해, 예측 모델을 이용하여 입력값에 상응하는 출력으로써, 예측값 및 예측 불확실성 변수를 생성하는 동작을 수행할 수 있다. 여기서, 예측 모델은 입력값에 상응하는 출력값(또는, 예측값)을 도출할 수 있는 임의의 알고리즘에 기반하여 구현될 수 있다. 일례로, 예측 모델은 ARIMA (auto-regressive integrated moving average) 기반의 예측 모델로 구현될 수 있다. 다른 일례로, 예측 모델은 LSTM (long short term memory) 기반의 예측 모델로 구현될 수 있다.The processor 102 may generate a prediction value and a prediction uncertainty variable as an output corresponding to an input value by using the prediction model through the prediction model block 301 . Here, the predictive model may be implemented based on any algorithm capable of deriving an output value (or a predictive value) corresponding to an input value. For example, the prediction model may be implemented as an auto-regressive integrated moving average (ARIMA)-based prediction model. As another example, the prediction model may be implemented as a long short term memory (LSTM)-based prediction model.

예측 모델은 다양한 형태의 사용 데이터(206)를 입력값으로 이용할 수 있다. 일례로, 예측 모델은 1차원의 사용 데이터(206)를 입력값으로 이용할 수 있다. 다른 일례로, 예측 모델은 다차원의 사용 데이터(206)를 입력값으로 이용할 수 있다. 또 다른 일례로, 예측 모델은 지난 K개의 단위 시간(예. 지난 3시간)에 해당하는 사용 데이터(206)를 입력값으로 이용할 수 있다.The predictive model may use various types of usage data 206 as input values. For example, the predictive model may use one-dimensional usage data 206 as an input value. As another example, the predictive model may use multidimensional usage data 206 as an input value. As another example, the predictive model may use the usage data 206 corresponding to the last K unit times (eg, the last 3 hours) as an input value.

예측 모델은 예측하기 위해 이용된 입력값에 상응하여 특정 범주 또는, 일정 값 구간 내 값을 포함하는 예측값을 출력할 수 있다. 다시 말해, 예측 모델의 예측값은 다음 단위 시간에 해당하는 값에 대한 예측값일 수 있다. 일례로, 예측 모델의 예측값은 지난 3시간 동안의 날씨와 생산량 데이터에 기반하여 향후 한 시간 동안 생산될 것으로 기대되는 태양광 생산량을 예측한 값일 수 있다.The prediction model may output a prediction value including a value within a specific category or a predetermined value interval in response to an input value used for prediction. In other words, the prediction value of the prediction model may be a prediction value for a value corresponding to the next unit time. For example, the predicted value of the predictive model may be a value of predicting the amount of solar power expected to be produced in the next one hour based on weather and production data for the past three hours.

또한, 예측 모델의 예측값은 K 단위 시간 후에 해당하는 값에 대해 예측한 값일 수 있다. 일례로, 예측 모델의 예측값은 지난 3시간 동안의 날씨와 생산량 데이터에 기반하여 향후 세 시간 후의 한 시간 동안의 태양광 생산량을 예측한 값일 수 있다.Also, the predicted value of the prediction model may be a value predicted for a corresponding value after K unit time. As an example, the predicted value of the prediction model may be a value of predicting solar power production for one hour in the next three hours based on weather and production data for the past three hours.

예측 모델에 대해서 간략하게 전술하였지만, 본 발명은 임의의 예측 모델에 기반할 수 있는바, 본 발명에서는 특정한 예측 모델과 입/출력 형태를 한정하지 않는다.Although the predictive model has been briefly described above, the present invention may be based on any predictive model, and the present invention does not limit a specific predictive model and input/output form.

프로세서(102)는 사용 데이터(206)를 입력값으로 하는 예측 모델의 예측값 및 예측 불확실성 변수를 생성할 수 있다. 자세하게, 예측 불확실성 변수는 예측 모델의 예측 정확도와 밀접한 상관관계를 가지는 불확실성 변수를 지칭할 수 있다. 일례로, 예측 불확실성 변수는 예측 불확실성 변수 값이 낮을수록 예측 모델의 예측은 정확한 경향을 보일 수 있다.The processor 102 may generate a prediction value and a prediction uncertainty variable of the prediction model using the usage data 206 as an input value. In detail, the prediction uncertainty variable may refer to an uncertainty variable having a close correlation with the prediction accuracy of the prediction model. For example, the prediction uncertainty variable may show a more accurate prediction of the prediction model as the value of the prediction uncertainty variable is lower.

프로세서(102)는 단일의 예측 모델 또는, 다수의 예측 모델을 이용하여 예측 불확실성을 나타내는 예측 불확실성 변수를 생성할 수 있다.The processor 102 may generate a prediction uncertainty variable indicative of a prediction uncertainty using a single prediction model or multiple prediction models.

일례로, 프로세서(102)는 dropout 기법이 적용되는 혹은 적용될 수 있는 심층인공신경망의 경우, dropout 기법을 활용하여 예측 불확실성 변수를 도출할 수 있다. Dropout 기법은 심층인공신경망의 각 층 간의 연결을 지정된 확률에 따라 임의로 단절시킴으로써, 학습시 발생할 수 있는 과적합 문제를 해결하는데 널리 사용될 수 있다.For example, in the case of a deep artificial neural network to which the dropout technique is applied or can be applied, the processor 102 may derive a predictive uncertainty variable by using the dropout technique. The dropout technique can be widely used to solve the overfitting problem that may occur during training by arbitrarily disconnecting the connections between each layer of the deep artificial neural network according to a specified probability.

프로세서(102)는 학습시 활성화되는 dropout 기법을 데이터 적용(test)시에도 활성화시킨 후, 동일한 내용 데이터에 대해서 K번 실행 데이터 적용을 진행하면 K개의 예측 모델을 도출할 수 있다. 프로세서(102)는 K개 예측 모델의 출력 값으로부터 예측 불확실성 변수를 도출할 수 있다. 예를 들어, 프로세서(102)는 여러 개의 예측 모델을 구현할 수 있는 환경이라면, 여러 개의 예측 모델에 동일한 사용 데이터를 적용하여 이에 상응하는 예측값을 도출한 후, 도출된 예측값으로부터 예측 불확실성 변수를 도출할 수 있다.The processor 102 may derive K predictive models by activating the dropout technique that is activated during learning even during data application (test) and then applying K execution data to the same content data. The processor 102 may derive the prediction uncertainty variable from the output values of the K prediction models. For example, if the processor 102 is an environment in which multiple prediction models can be implemented, a prediction uncertainty variable may be derived from the derived prediction value after applying the same usage data to multiple prediction models to derive a corresponding prediction value. can

또한, 프로세서(102)는 다수의 예측 모델의 출력 값으로부터 다양한 형태로 예측 불확실성 변수를 도출할 수 있다. 일례로, 프로세서(102)는 예측 모델의 출력값들의 표준편차(혹은, 분산)을 예측 불확실성 변수로 사용할 수 있다. 다른 일례로, 프로세서(102)는 예측 모델의 출력값들의 표준편차를 다시 출력값들의 평균으로 나눈 값을 예측 불확실성 변수로 사용할 수 있다.In addition, the processor 102 may derive prediction uncertainty variables in various forms from output values of a plurality of prediction models. As an example, the processor 102 may use the standard deviation (or variance) of the output values of the prediction model as the prediction uncertainty variable. As another example, the processor 102 may use a value obtained by dividing the standard deviation of the output values of the predictive model by the average of the output values again as the prediction uncertainty variable.

예측 불확실성 변수에 대해서 간략하게 전술하였지만, 본 발명에서는 특정한 예측 불확실성 도출 방법에 한정하지 않으며, 전술한 바와 같이 예측 모델의 예측 정확도와 밀접한 상관관계를 가지는 임의의 예측 불확실성 변수를 사용할 수 있다.Although the prediction uncertainty variable has been briefly described above, the present invention is not limited to a specific prediction uncertainty derivation method, and as described above, any prediction uncertainty variable having a close correlation with the prediction accuracy of the prediction model may be used.

프로세서(102)는 예측 모델 블록(301)을 통해 예측 모델의 예측값을 예측 오차 계산 블록(303)으로 전달하는 동작을 수행할 수 있다. 또한, 프로세서(102)는 예측 모델 블록(301)을 통해 예측 불확실성 변수를 데이터 추출 블록(302)으로 전달하는 동작을 수행할 수 있다.The processor 102 may perform an operation of transferring the prediction value of the prediction model to the prediction error calculation block 303 through the prediction model block 301 . In addition, the processor 102 may perform an operation of passing the prediction uncertainty variable to the data extraction block 302 through the prediction model block 301 .

프로세서(102)는 데이터 추출 블록(302)을 통해, 예측 불확실성 변수를 기반으로 기준 데이터 중 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출하는 동작을 수행할 수 있다. 프로세서(102)는 데이터 DB(104)와 연동하여, 데이터 DB(104)에 저장된 기준 데이터 중 조건(예측 불확실성 변수의 값과 유사한 값)을 만족하는 참조 데이터를 도출할 수 있다.The processor 102 may perform an operation of deriving reference data having a value similar to a value of the prediction uncertainty variable among reference data based on the prediction uncertainty variable through the data extraction block 302 . The processor 102 may deduce reference data that satisfies a condition (a value similar to the value of the predictive uncertainty variable) among the reference data stored in the data DB 104 in cooperation with the data DB 104 .

프로세서(102)는 예측 오차 계산 블록(303)을 통해, 예측 모델의 예측값과 대상 시스템(103)에서 출력된 측정값을 이용하여 사용 데이터의 예측 오차를 결정하는 동작을 수행할 수 있다.The processor 102 may perform an operation of determining a prediction error of the usage data by using the prediction value of the prediction model and the measurement value output from the target system 103 through the prediction error calculation block 303 .

프로세서(102)는 유사성 판단 블록(304)을 통해, 참조 데이터 및 예측 오차를 이용하여 대상 시스템의 성능 저하 정도를 판단할 수 있다.The processor 102 may determine the degree of degradation in performance of the target system by using the reference data and the prediction error through the similarity determination block 304 .

도 4는 본 발명의 일실시예에 따른 기준 데이터를 생성하는 프로세서의 세부 동작을 설명하기 위한 도면이다.4 is a diagram for explaining a detailed operation of a processor for generating reference data according to an embodiment of the present invention.

도 4를 참고하면, 프로세서(102)는 예측 모델의 학습에 사용되지 않은 미사용 데이터(207)를 이용하여 기준 데이터를 생성할 수 있다. 여기서, 기준 데이터는 예측 불확실성 기반 기준 데이터이며, 예측 모델의 예측 값과 대상 시스템의 실제 출력 값을 기반으로 하여 대상 시스템의 성능 저하 정도를 진단하는데 사용되는 데이터일 수 있다.Referring to FIG. 4 , the processor 102 may generate reference data using unused data 207 that is not used for training of the predictive model. Here, the reference data is prediction uncertainty-based reference data, and may be data used for diagnosing the degree of performance degradation of the target system based on the prediction value of the prediction model and the actual output value of the target system.

이를 위해, 프로세서(102)는 예측 모델 블록(401), 시뮬레이터 블록(402)를 포함할 수 있다. 프로세서(102)는 각각의 블록(401, 402)을 통해 일련의 동작을 수행할 수 있다.To this end, the processor 102 may include a predictive model block 401 and a simulator block 402 . The processor 102 may perform a series of operations through each of the blocks 401 and 402 .

프로세서(102)는 예측 모델 블록(401)을 통해, 미사용 입력 데이터(207)를 입력값으로 하는 예측 모델의 예측값 및 예측 불확실성 변수를 결정할 수 있다. 자세하게, 프로세서(102)는 예측 모델의 학습에 사용되지 않은 알려진 데이터, 즉, 미사용 데이터(207)를 이용할 수 있다.The processor 102 may determine a prediction value and a prediction uncertainty variable of a prediction model using the unused input data 207 as an input value through the prediction model block 401 . In detail, the processor 102 may use known data that is not used for training the predictive model, that is, the unused data 207 .

프로세서(102)는 학습된 예측 모델에 미사용 입력 데이터로, 기상 관측 데이터를 입력값으로 하여 해당 입력값에 상응하는 예측값 및 예측 불확실성 변수의 값을 도출할 수 있다. 프로세서(102)는 예측 모델 블록(401)을 통해, 도출된 예측값과 예측 불확실성 변수의 값을 시뮬레이터 블록(402)로 전달할 수 있다. 그리고, 프로세서(102)는 미사용 출력 데이터로, 태양광 발전소 전력 생산량을 시뮬레이터 블록(402)의 입력값으로 사용할 수 있다.The processor 102 may derive a prediction value and a value of a prediction uncertainty variable corresponding to the input value by using the weather observation data as unused input data to the learned prediction model as input values. The processor 102 may transmit the derived prediction value and the value of the prediction uncertainty variable to the simulator block 402 through the prediction model block 401 . In addition, the processor 102 may use the solar power plant power production as unused output data as an input value of the simulator block 402 .

프로세서(102)는 시뮬레이터 블록(402)을 통해 기준 데이터를 생성할 수 있다. 자세하게, 프로세서(102)는 예측 모델 블록(401)에서 출력된 예측값과 미사용 데이터의 미사용 출력 데이터에 기반하여 예측 오차를 계산할 수 있다. 그리고, 프로세서(102)는 필요에 따라, 예측 값, 예측 불확실성 변수 및 예측 오차를 예측 불확실성 변수 값을 기준으로 오름차순 혹은 내림차순으로 정렬할 수 있다.The processor 102 may generate reference data through the simulator block 402 . In detail, the processor 102 may calculate a prediction error based on the prediction value output from the prediction model block 401 and unused output data of the unused data. In addition, the processor 102 may sort the prediction value, the prediction uncertainty variable, and the prediction error in ascending or descending order based on the prediction uncertainty variable value, if necessary.

도 5는 본 발명의 일실시예에 따른 기준 데이터를 설명하기 위해 도시한 도면이다.5 is a diagram illustrating reference data according to an embodiment of the present invention.

도 5의 표는 각 성능 저하 시뮬레이션 정도에 따른 예측 오차를 나타낸다. 본 발명에서의 성능 저하 판단 장치는 각 미사용 데이터에 대해서, 관찰하고 싶은 성능 저하 단위로 대상 시스템의 실제 출력 데이터를 조정하면서 예측 오차를 계산할 수 있다. 일례로, 2% 단위로 최대 30%까지 성능 저하 정도를 판단하고 싶다면, 프로세서(102)는 대상 시스템의 측정값을 2%씩 줄여가면서 각 경우에 대해 예측 오차를 생성하여 이를 기반으로 기준 데이터를 생성할 수 있다.The table of FIG. 5 shows prediction errors according to each degree of performance degradation simulation. The performance degradation determining apparatus according to the present invention may calculate a prediction error for each unused data while adjusting the actual output data of the target system by the desired performance degradation unit. For example, if you want to determine the degree of performance degradation up to 30% in 2% increments, the processor 102 generates a prediction error for each case while reducing the measured value of the target system by 2%, and based on this, the reference data is generated. can create

도 6은 본 발명의 일실시예에 따른 대상 시스템의 성능 저하 정도를 판단하는 프로세서의 전반적인 동작을 설명하기 위한 도면이다.6 is a diagram for explaining the overall operation of the processor for determining the degree of performance degradation of the target system according to an embodiment of the present invention.

프로세서(102)는 예측 모델 블록(601)을 통해, 예측 모델을 이용하여 입력값에 상응하는 출력으로써, 예측값 및 예측 불확실성 변수를 생성하는 동작을 수행할 수 있다. 또한, 프로세서(102)는 예측 모델 블록을 통해, 학습된 예측 모델에 미사용 입력 데이터로, 기상 관측 데이터를 입력값으로 하여 해당 입력값에 상응하는 예측값 및 예측 불확실성 변수의 값을 도출할 수 있다.The processor 102 may generate a prediction value and a prediction uncertainty variable as an output corresponding to an input value by using the prediction model through the prediction model block 601 . In addition, the processor 102 may derive a prediction value and a prediction uncertainty variable value corresponding to the input value by using the weather observation data as unused input data to the learned prediction model and the input value through the prediction model block.

프로세서(102)는 시뮬레이터 블록(605)을 통해, 예측 모델 블록(601)에서 출력된 예측값과 미사용 데이터의 미사용 출력 데이터에 기반하여 예측 오차를 계산할 수 있다. 그리고, 프로세서(102)는 필요에 따라, 예측 값, 예측 불확실성 변수 및 예측 오차를 활용한 예측 불확실성 변수 값을 기준으로 하는 기본 데이터를 생성할 수 있다.The processor 102 may calculate a prediction error based on the prediction value output from the prediction model block 601 and unused output data of the unused data through the simulator block 605 . In addition, the processor 102 may generate basic data based on the prediction value, the prediction uncertainty variable, and the prediction uncertainty variable value using the prediction error, if necessary.

프로세서(102)는 예측 오차 계산 블록(603)을 통해, 학습된 예측 모델의 예측 값과 대상 시스템의 실제 출력 값을 입력으로 받아 예측 오차를 계산할 수 있다. 본 발명에서 제안하는 방법은 예측 대상이 되는 시점이 지난 후에 예측 값과 예측 대상 시점의 실제 값이 있는 경우에 적용되는 방법이다.The processor 102 may calculate the prediction error by receiving the prediction value of the learned prediction model and the actual output value of the target system as inputs through the prediction error calculation block 603 . The method proposed by the present invention is a method applied when there is a predicted value and an actual value of the prediction target time after the prediction target time has passed.

프로세서(102)는 데이터 추출 블록(602)를 통해, 학습된 예측 모델로부터 예측 불확실성 변수를 입력으로 받고, 이를 기반으로 기준 데이터에서 참조 데이터를 추출할 수 있다. 프로세서(102)는 예측 불확실성 변수를 기반으로 기준 데이터 중 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출하는 동작을 수행할 수 있다. 참조 데이터는 예측 불확실성 변수를 기준으로 추출이 되는데, 이는 예측 불확실성 변수가 예측 정확도와 관련이 있기 때문이다. 다시 말해, 참조 데이터는 기준 데이터에서 대상 예측 불확실성 변수 값과 유사한 값을 보이는 데이터를 지칭할 수 있다.The processor 102 may receive a prediction uncertainty variable from the learned prediction model as an input through the data extraction block 602 , and extract reference data from the reference data based on the received prediction uncertainty variable. The processor 102 may perform an operation of deriving reference data having a value similar to a value of the prediction uncertainty variable among reference data based on the prediction uncertainty variable. The reference data is extracted based on the prediction uncertainty variable, because the prediction uncertainty variable is related to the prediction accuracy. In other words, the reference data may refer to data showing a value similar to the value of the target predictive uncertainty variable in the reference data.

그리고, 프로세서(102)는 도출된 참조 데이터를 유사성 판단 블록(604)에 전달할 수 있다. 프로세서(102)는 유사성 판단 블록(604)을 통해 대상 시스템의 성능 저하 정도를 판단할 수 있다.Then, the processor 102 may transmit the derived reference data to the similarity determination block 604 . The processor 102 may determine the degree of degradation in performance of the target system through the similarity determination block 604 .

도 7은 본 발명의 일실시예에 따른 기준 데이터로부터 도출된 참조 데이터를 설명하기 위해 도시한 도면이다.7 is a diagram illustrating reference data derived from reference data according to an embodiment of the present invention.

도 7의 표는 도 5에 도시된 기준 데이터로부터 입력된 예측 불확실성 변수에 기반하여 추출된 참조 데이터의 예시를 보여준다. 도 7의 표를 참고하면, 참조 데이터는 예측 불확실성 변수의 값이 0.008이며, 예측 불확실성 변수의 값을 기준으로 0.007부터 0.00999까지를 관련된 데이터로 간주할 수 있다.The table of FIG. 7 shows an example of reference data extracted based on the prediction uncertainty variable input from the reference data shown in FIG. 5 . Referring to the table of FIG. 7 , in the reference data, the value of the predictive uncertainty variable is 0.008, and 0.007 to 0.00999 may be regarded as related data based on the value of the predictive uncertainty variable.

이에, 성능 저하 판단 장치는 참조 데이터와 예측 오차에 기반하여 성능 저하 정도를 판단할 수 있다. 보다 자세하게, 성능 저하 판단 장치는 시뮬레이터 블록을 통한 성능 저하 시뮬레이션 정도의 각 경우에 대해서, 주어진 사용 데이터가 속할 확률을 계산하고, 가장 높은 확률을 보이는 경우를 결정함으로써, 대상 시스템의 성능 저하 정도를 판단할 수 있다.Accordingly, the performance degradation determining apparatus may determine the degree of performance degradation based on the reference data and the prediction error. In more detail, the performance degradation determining apparatus determines the degree of degradation of the target system by calculating the probability that the given usage data belongs to each case of the degree of simulation of performance degradation through the simulator block, and determining the case showing the highest probability. can do.

일례로, 성능 저하 판단 장치는 성능 저하 시뮬레이션 정도의 각 경우에 대해서 참조 데이터들이 보이는 예측 오차 분포를 획득할 수 있다. 그리고, 성능 저하 판단 장치는 사용 데이터의 예측 오차가 어느 분포에 잘 들어맞는지 계산할 수 있다. 다시 말해, 성능 저하 판단 장치는 실행 데이터의 예측 오차가 예측 오차 분포에서 보이는 퍼센타일 위치를 계산할 수 있다. 성능 저하 판단 장치는 평균으로 이해되는 50번째 퍼센타일까지의 절대값 차이를 계산해서 계산된 값이 작을수록 해당 경우에 잘 들어맞는다고 판단할 수 있다.As an example, the performance degradation determining apparatus may acquire a prediction error distribution showing reference data for each case of a performance degradation simulation degree. In addition, the performance degradation determining apparatus may calculate to which distribution the prediction error of the usage data fits well. In other words, the performance degradation determining apparatus may calculate a percentile position at which the prediction error of the execution data is seen in the prediction error distribution. The performance degradation determining apparatus may calculate a difference in absolute values up to a 50th percentile, which is understood as an average, and determine that the smaller the calculated value is, the better it fits the case.

도 8은 본 발명의 일실시예에 따른 참조 데이터를 이용하여 유사성을 판단하는 동작을 설명하기 위한 도면이다.8 is a diagram for explaining an operation of determining similarity using reference data according to an embodiment of the present invention.

도 8을 참고하면, 성능 저하 판단 장치는 하나의 실행 데이터에 대해서, 성능 저하 시뮬레이션 정도의 각 경우에 속하는 값(전술한 방법의 경우, 값이 작을수록 더 적합)을 도출할 수 있다. 다시 말해, 도면 8의 경우에, 주어진 사용 데이터는 4%를 성능 저하시킨 시뮬레이션 경우에 가장 적합하다고 볼 수 있다.Referring to FIG. 8 , the performance degradation determining apparatus may derive a value belonging to each case of the performance degradation simulation degree (in the case of the above-described method, the smaller the value is, the more suitable) for one execution data. In other words, in the case of FIG. 8 , it can be seen that the given usage data is most suitable for the simulation case in which the performance is reduced by 4%.

이러한 단계를 다수의 실행 데이터에 대해서 적용할 수 있으며, 이 경우에는 도출된 값들을 누적하여 활용할 수 있다. 도면 8의 경우에는, 4%를 성능 저하시킨 시뮬레이션 경우가 가장 작은 값을 보이므로 이 경우에 가장 적합하다고 볼 수 있다.These steps can be applied to a plurality of execution data, and in this case, the derived values can be accumulated and utilized. In the case of FIG. 8, the simulation case in which the performance is reduced by 4% shows the smallest value, so it can be considered that this case is most suitable.

따라서, 성능 저하 판단 장치는 4%의 성능 저하가 이루어졌다고 판단하며, 최종적으로 성능 저하 판단 장치는 4%의 성능 저하가 이루어진 것으로 결과를 제공할 수 있다. Accordingly, the performance degradation determining device may determine that a performance degradation of 4% is achieved, and finally, the performance degradation determining device may provide a result that a performance degradation of 4% has been made.

도 9는 본 발명의 일실시예에 따른 예측 대상으로 태양광 발전소의 성능 저하 정도를 판단하는 동작을 설명하기 위한 도면이다.9 is a view for explaining an operation of determining the degree of degradation in performance of a solar power plant as a prediction target according to an embodiment of the present invention.

도 9를 참고하면, 학습된 예측 모델(902)은, 최근 이틀간의 시간별 날씨 데이터를 입력으로 하여 최근 이틀 간의 시간별 전력 생산량을 예측하고 그에 대응하는 예측 불확실성 변수를 도출하여 성능 저하 판단 장치(901)로 전달할 수 있다. 또한, 대상 시스템인 태양광 발전소의 최근 이틀간 실측된 시간별 전력 생산량 데이터를 성능 저하 판단 장치 (901)에 전달할 수 있다.Referring to FIG. 9 , the learned prediction model 902 predicts the hourly power production for the last two days by inputting the hourly weather data of the last two days, and derives the prediction uncertainty variable corresponding thereto to determine the performance degradation device 901 can be passed to In addition, hourly power production data measured for the last two days of the solar power plant, which is the target system, may be transmitted to the performance degradation determining device 901 .

성능 저하 판단 장치(901)는 최근 300시간 비사용 학습 데이터 및 2% 단위 성능 저하 시뮬레이션에 기반하여 생성한 기준 데이터로부터 참조 데이터를 추출할 수 있다. 그리고, 성능 저하 판단 장치(901)는 최근 이틀 간의 예측 값과 실측 값에 기반한 예측 오차와 예측 불확실성 변수에 기반하여 최근 이틀동안 관찰된 태양광 발전 성능 저하 정도를 판단하여 제공할 수 있다.The performance degradation determination device 901 may extract reference data from reference data generated based on the recent 300 hours of unused learning data and 2% unit performance degradation simulation. In addition, the performance degradation determining device 901 may determine and provide the degree of deterioration in solar power generation performance observed for the last two days based on a prediction error and a prediction uncertainty variable based on a predicted value and an actual measured value for the last two days.

도 10은 본 발명의 일실시예에 따른 도 8의 태양광 발전소의 성능 저하 정도에 관한 실험 결과를 나타낸 그래프이다.10 is a graph showing the experimental results regarding the degree of degradation of the performance of the photovoltaic power plant of FIG. 8 according to an embodiment of the present invention.

도 10의 그래프는 태양광 발전소의 경우에 대해서, 본 발명에서 제안한 방법에 기반하여 실험을 진행한 결과를 나타낸다. 예측 모델로는 기계학습 모델 중 하나인 boosting 모델을 사용하였으여, 입력 데이터는 기온, 강수량, 습도, 풍속, 운량 등이며 출력 데이터는 태양광 발전소의 전력 생산량이다.The graph of FIG. 10 shows the results of an experiment based on the method proposed in the present invention in the case of a solar power plant. As the prediction model, a boosting model, one of the machine learning models, was used. The input data are temperature, precipitation, humidity, wind speed, cloudiness, etc., and the output data is the power production of the solar power plant.

X 축은 도 8를 통해서 설명된 성능 저하 시뮬레이션 정도를 나타내며, Y 축은 실제 혹은 판단된 성능 저하 정도를 나타낸다.The X-axis represents the simulation degree of performance degradation described with reference to FIG. 8, and the Y-axis represents the actual or determined degree of degradation.

도 10의 그래프의 결과는 50개의 실행 데이터에 대해서 성능 저하 판단 장치를 구현한 경우이며, 도면 10의 결과에서 보여지듯이, 본 발명의 방법에 따르면 실제 성능 저하 정도와 큰 차이없이 성능 저하를 진단하는 것을 볼 수 있다.The result of the graph of FIG. 10 is a case in which a performance degradation determination device is implemented for 50 pieces of execution data, and as shown in the result of FIG. 10, according to the method of the present invention, it is possible to diagnose performance degradation without much difference from the actual performance degradation degree. you can see

도 11은 본 발명의 일실시예에 따른 예측 대상으로 자동차 엔진의 성능 저하 정도를 판단하는 동작을 설명하기 위한 도면이다.11 is a diagram for explaining an operation of determining the degree of degradation in performance of a vehicle engine as a prediction target according to an embodiment of the present invention.

도 11을 참고하면, 학습된 예측 모델은, 최근 10분간의 초당 차량 세팅 데이터(예. 실린더 압축비, 연료 주입량 등)를 입력으로 하여 최근 10분 간의 초당 엔진 출력을 예측하고 그에 대응하는 예측 불확실성 변수를 도출하여 성능 저하 판단 장치로 전달할 수 있다. 또한, 대상 시스템인 차량의 실측된 엔진 출력을 성능 저하 판단 장치로 전달할 수 있다.Referring to FIG. 11 , the learned prediction model predicts engine output per second for the last 10 minutes by inputting vehicle setting data per second (eg, cylinder compression ratio, fuel injection amount, etc.) for the last 10 minutes, and predicts uncertainty variables corresponding thereto. can be derived and transmitted to the performance degradation determination device. In addition, the measured engine output of the vehicle, which is the target system, may be transmitted to the performance degradation determining device.

성능 저하 판단 장치는 최근 24시간 비사용 학습 데이터 및 1% 단위 성능 저하 시뮬레이션에 기반하여 생성한 기준 데이터로부터 참조 데이터를 추출할 수 있다. 성능 저하 판단 장치는 최근 10분 간의 예측 값과 실측 값에 기반한 예측 오차와 예측 불확실성 변수에 기반하여 최근 10분동안 관찰된 엔진의 출력 저하 정도를 판단하여 제공할 수 있다.The performance degradation determination apparatus may extract reference data from reference data generated based on the last 24 hours of unused training data and 1% unit performance degradation simulation. The performance degradation determination apparatus may determine and provide the degree of decrease in engine output observed for the last 10 minutes based on a prediction error and a prediction uncertainty variable based on a predicted value and an actual measured value for the last 10 minutes.

도 12는 본 발명의 일실시예에 따른 성능 저하 판단 방법을 설명하기 위한 흐름도이다.12 is a flowchart illustrating a method for determining performance degradation according to an embodiment of the present invention.

단계(1201)에서 성능 저하 판단 장치는 학습에 사용되는 사용 데이터를 입력값으로 하는 예측 모델의 예측값 및 예측 모델의 예측 불확실성을 나타내는 예측 불확실성 변수를 생성할 수 있다.In operation 1201 , the performance degradation determination apparatus may generate a prediction uncertainty variable indicating a prediction value of a prediction model using data used for learning as an input value and a prediction uncertainty of the prediction model.

단계(1202)에서 성능 저하 판단 장치는 예측 모델의 학습에 사용되지 않은 미사용 데이터를 이용하여 성능 저하 단위에 따라 시뮬레이션된 결과를 포함하는 기준 데이터를 생성할 수 있다.In operation 1202, the performance degradation determination apparatus may generate reference data including a simulated result according to a performance degradation unit by using unused data that is not used for training of the predictive model.

단계(1203)에서 성능 저하 판단 장치는 기준 데이터 중에서 예측 불확실성 변수의 값과 유사한 값을 갖는 참조 데이터를 도출할 수 있다.In operation 1203, the performance degradation determining apparatus may derive reference data having a value similar to the value of the prediction uncertainty variable from among the reference data.

단계(1204)에서 성능 저하 판단 장치는 예측 모델의 예측값과 상기 대상 시스템에서 출력된 측정값을 이용하여 사용 데이터의 예측 오차를 결정할 수 있다.In operation 1204, the performance degradation determining apparatus may determine a prediction error of the usage data by using the prediction value of the prediction model and the measurement value output from the target system.

단계(1205)에서 성능 저하 판단 장치는 참조 데이터 및 예측 오차를 이용하여 대상 시스템의 성능 저하 정도를 판단할 수 있다.In operation 1205, the performance degradation determining apparatus may determine the degree of degradation of the target system by using the reference data and the prediction error.

한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.Meanwhile, the method according to the present invention is written as a program that can be executed on a computer and can be implemented in various recording media such as magnetic storage media, optical reading media, and digital storage media.

본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.Implementations of the various techniques described herein may be implemented in digital electronic circuitry, or in computer hardware, firmware, software, or combinations thereof. Implementations may be implemented for processing by, or for controlling the operation of, a data processing device, eg, a programmable processor, computer, or number of computers, a computer program product, ie an information carrier, eg, a machine readable storage It may be embodied as a computer program tangibly embodied in an apparatus (computer readable medium) or a radio signal. A computer program, such as the computer program(s) described above, may be written in any form of programming language, including compiled or interpreted languages, as a standalone program or in a module, component, subroutine, or computing environment. It can be deployed in any form, including as other units suitable for use in A computer program may be deployed to be processed on one computer or multiple computers at one site or to be distributed across multiple sites and interconnected by a communications network.

컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.Processors suitable for processing a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. In general, a processor will receive instructions and data from read only memory or random access memory or both. Elements of a computer may include at least one processor that executes instructions and one or more memory devices that store instructions and data. In general, a computer may include one or more mass storage devices for storing data, for example magnetic, magneto-optical disks, or optical disks, receiving data from, sending data to, or both. may be combined to become Information carriers suitable for embodying computer program instructions and data are, for example, semiconductor memory devices, for example, magnetic media such as hard disks, floppy disks and magnetic tapes, Compact Disk Read Only Memory (CD-ROM). ), optical recording media such as DVD (Digital Video Disk), magneto-optical media such as optical disk, ROM (Read Only Memory), RAM (RAM) , Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and the like. Processors and memories may be supplemented by, or included in, special purpose logic circuitry.

또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.In addition, the computer-readable medium may be any available medium that can be accessed by a computer, and may include both computer storage media and transmission media.

본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 다수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.While this specification contains numerous specific implementation details, they should not be construed as limitations on the scope of any invention or claim, but rather as descriptions of features that may be specific to particular embodiments of particular inventions. should be understood Certain features that are described herein in the context of separate embodiments may be implemented in combination in a single embodiment. Conversely, various features that are described in the context of a single embodiment may also be implemented in multiple embodiments, either individually or in any suitable subcombination. Furthermore, although features operate in a particular combination and may be initially depicted as claimed as such, one or more features from a claimed combination may in some cases be excluded from the combination, the claimed combination being a sub-combination. or a variant of a sub-combination.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.Likewise, although acts are depicted in the drawings in a particular order, it should not be construed that all acts shown must be performed or that such acts must be performed in the specific order or sequential order shown to achieve desirable results. In certain cases, multitasking and parallel processing may be advantageous. Further, the separation of the various device components of the above-described embodiments should not be construed as requiring such separation in all embodiments, and the program components and devices described may generally be integrated together into a single software product or packaged into multiple software products. You have to understand that you can.

한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the present specification and drawings are merely presented as specific examples to aid understanding, and are not intended to limit the scope of the present invention. It will be apparent to those of ordinary skill in the art to which the present invention pertains that other modifications based on the technical spirit of the present invention can be implemented in addition to the embodiments disclosed herein.

102: 프로세서
103: 대상 시스템
104: 데이터 DB
206: 사용 데이터
207: 미사용 데이터
601: 예측 모델 블록
602: 데이터 추출 블록
603: 예측 오차 계산 블록
604: 유사성 판단 블록
605: 시뮬레이터 블록102: processor
103: target system
104: data DB
206: usage data
207: Unused data
601: predictive model block
602: data extraction block
603: prediction error calculation block
604: similarity determination block
605: simulator block

Claims

generating a prediction uncertainty variable representing the prediction uncertainty of the prediction model by using the prediction value of the prediction model using data used for learning as an input value;
generating reference data including a simulated result according to a performance degradation unit using unused data not used for training of the predictive model;
deriving reference data having a value similar to a value of a prediction uncertainty variable from among the reference data;
determining a prediction error of the usage data using a prediction value of the prediction model and a measurement value output from the target system; and
Determining the degree of degradation in performance of the target system using the reference data and the prediction error
A method for judging performance degradation, including.