KR102434460B1 - Apparatus for re-learning predictive model based on machine learning and method using thereof - Google Patents
Apparatus for re-learning predictive model based on machine learning and method using thereof Download PDFInfo
- Publication number
- KR102434460B1 KR102434460B1 KR1020190091126A KR20190091126A KR102434460B1 KR 102434460 B1 KR102434460 B1 KR 102434460B1 KR 1020190091126 A KR1020190091126 A KR 1020190091126A KR 20190091126 A KR20190091126 A KR 20190091126A KR 102434460 B1 KR102434460 B1 KR 102434460B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- model
- machine learning
- prediction
- necessary
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Abstract
본 발명은 기계학습 기반 예측 모델 재학습 장치 및 그 방법에 관한 것이다.
본 발명에 따른 기계학습 기반 예측 모델 재학습 장치는 복수의 기계학습 예측 모델로부터 예측값을 수신하는 입력부와, 예측값을 이용하여 예측 모델의 재학습 필요 시기를 판단하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 예측값을 이용하여 산출한 오차와 임계값을 비교하여 모델 재학습 필요 여부를 판단하는 것을 특징으로 한다. The present invention relates to a machine learning-based predictive model re-learning apparatus and method.
The machine learning-based predictive model re-learning apparatus according to the present invention includes an input unit for receiving prediction values from a plurality of machine learning prediction models, and a memory storing a program for determining when re-learning of the predictive model is required using the prediction values and executing the program It includes a processor, and the processor compares an error calculated using the predicted value with a threshold value to determine whether the model re-learning is necessary.
Description
본 발명은 기계학습 기반 예측 모델 재학습 장치 및 그 방법에 관한 것이다. The present invention relates to a machine learning-based predictive model re-learning apparatus and method.
기계학습 기법은 에너지, 금융, 의료, 운송, 영업 등 다양한 분야에서 예측 및 진단 모델로 사용되고 있다. Machine learning techniques are being used as predictive and diagnostic models in various fields such as energy, finance, medical care, transportation, and sales.
종래 기술에 따른 기계학습 기법은 환경변화에 따라 예측 출력 결과와 실제 결과의 차이가 발생되는 문제점을 해결하기 위하여, 여러 재학습 방법을 제안하고 있지만, 재학습 방법 적용에 많은 비용이 요구되는 문제점, 불필요한 재학습을 수행하거나 재학습이 필요한 타이밍을 놓치는 문제점 등을 여전히 가지고 있다. The machine learning technique according to the prior art proposes several re-learning methods in order to solve the problem that the difference between the predicted output result and the actual result according to the change of environment occurs, but the problem that a lot of cost is required to apply the re-learning method, There are still problems such as performing unnecessary re-learning or missing the timing when re-learning is required.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 환경 변화에 따라 기계학습 예측 모델의 재학습이 필요한 시기를 판단함으로써, 보다 효율적이고 정확한 기계학습 모델 운용이 가능한 장치, 시스템 및 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and by determining when re-learning of a machine learning prediction model is necessary according to an environmental change, to provide an apparatus, system and method capable of operating a machine learning model more efficiently and accurately. There is a purpose.
본 발명에 따른 기계학습 기반 예측 모델 재학습 장치는 복수의 기계학습 예측 모델로부터 예측값을 수신하는 입력부와, 예측값을 이용하여 예측 모델의 재학습 필요 시기를 판단하는 프로그램이 저장된 메모리 및 프로그램을 실행시키는 프로세서를 포함하고, 프로세서는 예측값을 이용하여 산출한 오차와 임계값을 비교하여 모델 재학습 필요 여부를 판단하는 것을 특징으로 한다. The machine learning-based predictive model re-learning apparatus according to the present invention includes an input unit for receiving prediction values from a plurality of machine learning prediction models, and a memory storing a program for determining when re-learning of the predictive model is required using the prediction values and executing the program It includes a processor, and the processor compares an error calculated using the predicted value with a threshold value to determine whether model retraining is required.
본 발명에 따른 기계학습 기반 예측 모델 재학습 시스템은 동일한 입력데이터를 수신하여 각각의 예측값을 출력하는 복수의 예측 진단 모델과, 예측값을 수신하여 모델 재학습 필요 여부를 판단하는 모델 재학습 판단부 및 모델 재학습 필요 여부에 따라 예측 진단 모델을 갱신하는 모델 재학습부를 포함하는 것을 특징으로 한다. A machine learning-based predictive model re-learning system according to the present invention includes a plurality of predictive diagnostic models that receive the same input data and output respective prediction values, and a model re-learning determination unit that receives the prediction values and determines whether model re-learning is necessary; It is characterized in that it comprises a model re-learning unit for updating the predictive diagnostic model according to whether or not model re-learning is required.
본 발명에 따른 기계학습 기반 예측 모델 재학습 방법은 복수의 기계학습 예측 모델로부터 예측값을 수신하는 단계와, 예측값을 수신하여 모델 재학습 필요 여부를 판단하는 단계 및 판단 결과에 따라 모델 재학습을 수행하는 단계를 포함하는 것을 특징으로 한다. The machine learning-based predictive model re-learning method according to the present invention includes the steps of receiving prediction values from a plurality of machine learning prediction models, receiving the prediction values to determine whether model re-learning is necessary, and performing model re-learning according to the determination result It is characterized in that it comprises the step of
본 발명의 실시예에 따르면, 적절한 시기에 기계학습 예측 모델의 재학습이 이루어지도록 함으로써, 불필요한 재학습 과정을 줄이고, 예측 진단 모델의 정확도를 향상시키는 효과가 있다. According to an embodiment of the present invention, by allowing the re-learning of the machine learning prediction model to be performed at an appropriate time, there is an effect of reducing the unnecessary re-learning process and improving the accuracy of the predictive diagnostic model.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to those mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 종래 기술에 따른 기계학습 예측 모델 구조 및 방식을 나타내는 도면이다.
도 2는 종래 기술에 따른 무조건 재학습 방법을 나타내는 도면이다.
도 3은 종래 기술에 따른 예측 오차가 크면 재학습하는 방법을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 장치를 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 복수 개의 예측 모델을 이용하는 기계학습 기반 예측 모델 재학습 장치를 나타내는 블록도이다.
도 6은 본 발명의 실시예에 따른 실제 결과값과 복수 개의 예측 모델을 이용하는 기계학습 기반 예측 모델 재학습 장치를 나타내는 블록도이다.
도 7은 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 시스템을 나타내는 블록도이다.
도 8은 본 발명의 실시예에 따른 페어 모델 에러 매트릭스(pair model error matrix)를 도시한다.
도 9는 본 발명의 실시예에 따른 모델 간 예측값 차이의 시계열 변화를 나타내는 그래프이다.
도 10은 본 발명의 실시예에 따른 재학습용 데이터 셋 구성예를 도시한다.
도 11은 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 방법을 나타내는 순서도이다. 1 is a diagram showing the structure and method of a machine learning prediction model according to the prior art.
2 is a diagram illustrating an unconditional re-learning method according to the prior art.
3 is a diagram illustrating a method of re-learning when a prediction error according to the prior art is large.
4 is a block diagram illustrating an apparatus for re-learning a machine learning-based predictive model according to an embodiment of the present invention.
5 is a block diagram illustrating a machine learning-based predictive model re-learning apparatus using a plurality of predictive models according to an embodiment of the present invention.
6 is a block diagram illustrating a machine learning-based predictive model re-learning apparatus using an actual result value and a plurality of predictive models according to an embodiment of the present invention.
7 is a block diagram illustrating a machine learning-based predictive model re-learning system according to an embodiment of the present invention.
8 shows a pair model error matrix according to an embodiment of the present invention.
9 is a graph illustrating a time-series change of a difference in predicted values between models according to an embodiment of the present invention.
10 shows a configuration example of a data set for re-learning according to an embodiment of the present invention.
11 is a flowchart illustrating a machine learning-based predictive model re-learning method according to an embodiment of the present invention.
본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. The above and other objects, advantages and features of the present invention, and a method of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only the following examples are provided to those of ordinary skill in the art to which the present invention pertains to the purpose of the invention, It is only provided to easily inform the composition and effect, and the scope of the present invention is defined by the description of the claims.
한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, the terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, "comprises" and/or "comprising" means that a referenced element, step, operation and/or element is the presence of one or more other elements, steps, operations and/or elements. or added.
이하에서는, 당업자의 이해를 돕기 위하여 본 발명이 제안된 배경에 대하여 먼저 서술하고, 본 발명의 실시예에 대하여 서술하기로 한다. Hereinafter, in order to facilitate the understanding of those skilled in the art, a background in which the present invention is proposed will be first described, and embodiments of the present invention will be described.
기계학습 기법은 에너지, 금융, 의료, 운송, 영업 등 다양한 분야에서 예측 및 진단 모델로 사용되고 있다. Machine learning techniques are being used as predictive and diagnostic models in various fields such as energy, finance, medical care, transportation, and sales.
일반적으로 '시스템'이라는 것은 입력 데이터를 넣으면 출력 데이터가 나오는 구조이다. In general, a 'system' is a structure in which input data is input and output data is output.
이러한 시스템의 입력 데이터에 대해 출력 데이터를 예측하는 기계학습 예측 시스템은, 수많은 입력 데이터 셋과 출력 데이터 셋을 기계학습 예측 시스템에 넣어 학습 시켜, 나중에 입력 데이터를 넣으면 출력 데이터가 나오도록 만드는 것이다. A machine learning prediction system that predicts the output data for the input data of such a system is to put a number of input data sets and output data sets into the machine learning prediction system to learn it, and then to make the output data come out when the input data is put in later.
도 1은 종래 기술에 따른 기계학습 예측 모델 구조 및 방식을 나타내는 도면이다. 1 is a diagram showing the structure and method of a machine learning prediction model according to the prior art.
도 1의 (a)에 도시된 바와 같이, 학습 과정에서는 과거의 입력 데이터 및 출력 데이터를 이용하여 예측 모델(10)이 구축된다. As shown in FIG. 1A , in the learning process, the
도 1의 (b)에 도시된 바와 같이, 적용 과정에서는 실제 데이터인 입력 데이터가 예측 모델(10)에 입력되고, 예측 출력 데이터가 출력된다. As shown in (b) of FIG. 1 , in the application process, input data that is actual data is input to the
도 1에 도시한 바와 같은 기계학습 예측 방식은 학습된 데이터를 이용하여 예측하기 때문에, 시스템 환경이 변화하지 않을 때는 오류 없이 잘 동작한다.Since the machine learning prediction method as shown in FIG. 1 predicts using the learned data, it works well without errors when the system environment does not change.
그러나, 실제 시스템을 운용하면서 환경이 변화하면, 예측 모델이 예측하는 출력결과와 실제 결과의 차이가 크게 나타난다. However, when the environment changes while operating the actual system, the difference between the output result predicted by the predictive model and the actual result is large.
환경 변화에는, 기후변화, 시스템 노후화, 운용형태의 변화 등 내외적인 변화가 포함되는데, 기계학습 예측 모델이 학습한 데이터는 환경변화가 일어나기 전 과거데이터이므로 예측 오류가 나타난다.Environmental changes include internal and external changes such as climate change, system aging, and changes in operating patterns. Since the data learned by the machine learning prediction model is past data before environmental changes, prediction errors appear.
이를 해결하는 직관적인 방법은, 최신 데이터를 이용하여 기계학습 모델을 다시 학습하는 것으로, 도 2는 종래 기술에 따른 무조건 재학습 방법을 나타낸다. An intuitive way to solve this is to re-learn the machine learning model using the latest data, and FIG. 2 shows an unconditional re-learning method according to the prior art.
기계학습 모델은 매번 또는 주기적으로, 기존 학습하였던 데이터에 최신 운용 데이터를 추가한 다음, 다시 모델을 학습한다. The machine learning model adds the latest operational data to the previously trained data every time or periodically, and then trains the model again.
모델 재학습부(22)에 의해 재학습된 모델은 다시 예측진단 모델(21)에 적용되어, 다음 예측에 사용된다.The model retrained by the model re-learning unit 22 is again applied to the
기계학습 모델을 학습하는 데는 많은 시간과 에너지, 전용 하드웨어가 요구되는데, 기계학습 모델의 복잡도에 따라 학습을 위해 수 일 내지는 수 개월이 소요될 수 있다. Learning a machine learning model requires a lot of time, energy, and dedicated hardware, and depending on the complexity of the machine learning model, it may take days or months to learn.
즉, 도 2에 도시한 무조건 재학습 방법 적용에는 많은 비용이 요구되므로, 실제 적용하는 데 어려움이 있다.That is, since a lot of cost is required to apply the unconditional re-learning method shown in FIG. 2 , it is difficult to actually apply it.
또한 새로운 데이터와 과거 데이터를 모두 결합하여 학습하기 때문에, 새로운 데이터에 의한 영향력이 약하게 나타나게 되므로, 환경 변화에 따른 영향을 예측 모델에 빠르게 반영하기 어렵다.In addition, since both new data and past data are combined and learned, the influence of the new data is weak, so it is difficult to quickly reflect the influence of the environmental change in the predictive model.
도 3은 종래 기술에 따른 예측 오차가 크면 재학습하는 방법을 나타내는 도면으로, 오차 비교부(32)는 예측 진단 모델(31)의 예측값과 실제 측정값의 오차를 비교하여, 오차가 일정한 수준을 초과하는 경우 모델 재학습부(33)를 통해 재학습을 수행한다. 3 is a diagram illustrating a method of re-learning when a prediction error is large according to the prior art. The
도 2를 참조하여 전술한 '무조건 재학습 방법'은 환경변화가 없어, 예측이 정확히 이루어지고 있는 상황에서도 모델을 재학습하기 때문에 불필요한 과정이 이루어지게 된다. In the 'unconditional re-learning method' described above with reference to FIG. 2 , an unnecessary process is performed because the model is re-learned even in a situation where the prediction is made accurately because there is no environmental change.
반면 도 3에 도시한 '예측 오차가 크면 재학습하는 방법'은, 예측 모델의 예측값과 실제 측정값의 차이를 비교하여 일정한 수준(Threshold)을 벗어나면, 환경이 변화했다고 판단하고, 최신 데이터를 이용하여 모델을 재학습하는 방법으로, 무조건 재학습 방법의 비효율성을 개선할 수 있다.On the other hand, the 're-learning method when the prediction error is large' shown in FIG. 3 compares the difference between the predicted value of the prediction model and the actual measured value, and if it deviates from a certain level (Threshold), it is determined that the environment has changed, and the latest data As a method of re-learning the model using the
다만, 이러한 방법을 실제 적용하기에는 몇 가지 문제가 있다.However, there are several problems in practical application of this method.
첫 번째는, Threshold 결정 문제이다. The first is the threshold determination problem.
예측 오차가 어느 정도 벗어날 때 모델을 재학습해야 하는지 판단을 해야 하는데, 통상 경험을 통해 그 값을 결정하는 경우가 많고, 이 경우 불필요한 재학습을 하게 되거나, 재학습이 필요한 타이밍을 놓치는 경우가 발생할 수 있다.When the prediction error deviates, it is necessary to determine whether the model should be retrained. Usually, the value is determined through experience. In this case, unnecessary retraining or missing the timing for retraining may occur can
두 번째는, 예측 모델에 따라 오차를 구하기 어려운 경우가 있다. Second, it may be difficult to obtain an error depending on the prediction model.
예측 모델 중에는 거의 즉시 그 오차를 알 수 있는 경우도 있지만, 시스템의 건전성을 예측하는 경우는, 예측 오차를 판별하는데 많은 시간이 요구되는 경우도 있다. In some predictive models, the error can be known almost immediately, but when predicting the health of the system, a lot of time is required to determine the predictive error.
예를 들어, 이 시스템의 잔여수명(RUL, Remaining Useful Life)을 예측하는 경우, 그것을 검증하기에는 수 개월 내지는 수 년이 걸릴 수도 있는 문제이다. For example, when predicting the Remaining Useful Life (RUL) of this system, it is a problem that may take months or years to verify.
따라서 이러한 경우에는 '예측 오차가 크면 재학습하는 방법'을 적용하기 어렵다.Therefore, in this case, it is difficult to apply the 'relearning method if the prediction error is large'.
세 번째는, 오차 고려 문제이다. The third is the problem of error consideration.
실제 시스템의 측정값에는 오차가 포함되는데, 이러한 일시적인 오차에 대한 고려 없이 판단을 하게 되면, 불필요한 재학습을 하거나, 적절한 재학습 시기를 놓치게 된다.An error is included in the measurement value of the actual system, and if a judgment is made without considering such a temporary error, unnecessary re-learning or an appropriate re-learning time is missed.
본 발명은 전술한 종래 기술에 따른 기계학습 기반 모델 재학습 기술의 문제점을 해결하기 위하여 제안된 것으로, 기계학습 재학습 시기를 결정하는 방법과 그 시스템 구조를 제시한다.The present invention has been proposed to solve the problems of the machine learning-based model re-learning technique according to the prior art, and provides a method for determining a machine learning re-learning time and a system structure thereof.
즉, 환경 변화에 의해 기계학습 예측 모델이 재학습이 필요한 시기를 판단하는 방법을 제시하며, 이를 구현하기 위한 시스템의 구조를 제시하여, 보다 효율적이고 정확한 기계학습 모델이 운용될 수 있도록 한다.In other words, it suggests a method for determining when a machine learning prediction model needs re-learning by environmental changes, and suggests a system structure for implementing this, so that a more efficient and accurate machine learning model can be operated.
도 4는 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 장치를 나타내는 블록도이다. 4 is a block diagram illustrating an apparatus for re-learning a machine learning-based predictive model according to an embodiment of the present invention.
본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 장치는 복수의 기계학습 예측 모델로부터 예측값을 수신하는 입력부(110)와, 예측값을 이용하여 예측 모델의 재학습 필요 시기를 판단하는 프로그램이 저장된 메모리(120) 및 프로그램을 실행시키는 프로세서(130)를 포함하되, 프로세서(130)는 예측값을 이용하여 산출한 오차와 임계값을 비교하여 모델 재학습 필요 여부를 판단한다. The machine learning-based predictive model re-learning apparatus according to an embodiment of the present invention includes an
프로세서(130)는 복수의 기계학습 예측 모델로부터 각각 수신한 예측값의 차이와 임계값을 비교하여, 모델 재학습 필요 여부를 판단한다, The
이 때, 입력부(110)가 실제 결과를 수신하면, 프로세서(130)는 실제 결과와 복수의 기계학습 예측 모델로부터 수신한 예측값의 차이를 고려하여 모델 재학습 필요 여부를 판단한다. At this time, when the
프로세서(130)는 기존 학습 데이터로부터 획득된 복수의 기계학습 예측 모델들 간의 예측값의 차이의 합을 이용하여 임계값을 결정한다. The
프로세서(130)는 복수의 기계학습 예측 모델들 간의 예측값의 차이의 합을 산출하고, 산출된 결과의 분포를 이용하여 재학습 여부 판단의 기준이 되는 임계값을 결정한다. The
프로세서(130)는 복수의 기계학습 예측 모델들 간의 예측값의 차이의 평균 및 표준편차를 이용하여 모델 재학습 필요 여부를 판단한다. The
프로세서(130)는 복수의 기계학습 예측 모델들 간의 예측값의 차이의 합의 시계열 변화를 고려하여 모델 재학습 필요 여부를 판단한다. The
프로세서(130)는 기존 학습 데이터의 일부를 삭제하고, 새로운 운용 데이터 셋을 추가하여 재학습용 데이터 셋을 구성한다. The
도 5는 본 발명의 실시예에 따른 복수 개의 예측 모델을 이용하는 기계학습 기반 예측 모델 재학습 장치를 나타내는 블록도이다. 5 is a block diagram illustrating a machine learning-based predictive model re-learning apparatus using a plurality of predictive models according to an embodiment of the present invention.
본 발명의 실시예에 따르면, 재학습 시기를 결정하기 위해 2개 이상의 예측진단 모델을 이용한다. According to an embodiment of the present invention, two or more predictive diagnostic models are used to determine the re-learning time.
즉, 서로 다른 기계학습 방식을 사용하는 복수개의 모델의 예측값을 서로 비교하여, 그 차이가 기설정 수치보다 큰 경우에만 모델 재학습을 수행한다. That is, the prediction values of a plurality of models using different machine learning methods are compared with each other, and model re-learning is performed only when the difference is greater than a preset value.
도 5를 참조하면, 제1 예측 진단 모델(510a)과 제2 예측 진단 모델 (510b)는 동일한 새 입력데이터를 받아 각각 제1 예측값 및 제2 예측값을 예측한다. Referring to FIG. 5 , a first predictive
모델 재학습 판단부(520)는 제1예측값 및 제2 예측값 간의 차이를 비교하여, 그 오차가 일정한 수준(Threshold)을 초과하는 경우, 최신 운용 데이터를 이용하여 모델 재학습을 수행하도록 한다. The model
재학습은 제1 모델 재학습부(530a) 및 제2 모델 재학습부(530b)를 통해 각 모델 별로 수행되며, 새로 학습된 모델 파라메터를 이용하여 각각 제1 예측 진단 모델(510a) 및 제2 예측 진단 모델(510b)을 갱신하고, 다음 예측부터는 새로 재학습된 모델로 예측을 수행한다.Re-learning is performed for each model through the first
모델 재학습 판단부(520)의 판단 결과, 모델 간 예측 오차가 일정 수준(Threshold) 미만인 경우에는, 재학습 없이 예측진단 모델이 운용된다. As a result of the determination of the model
이 때, 복수 개의 예측값들에 대해서는 평균을 내거나, 가중치를 반영하여 결합하는 등 앙상블(Ensemble) 방법을 통하여 하나의 값으로 만들어 예측값으로 활용한다.At this time, a plurality of predicted values are averaged or combined by reflecting weights to form a single value and use it as a predicted value through an ensemble method.
이 방법은 잔여수명(RUL) 예측과 같은 시스템의 실제 측정값을 알기 어려운 경우에도 적용할 수 있다.This method can be applied even when it is difficult to know the actual measurement value of the system, such as predicting the remaining life (RUL).
본 발명의 다른 실시예에 따르면, 시스템의 실제 측정값 또한 하나의 모델로 취급할 수 있는데, 도 6은 본 발명의 다른 실시예에 따른 실제 결과 값과 복수 개의 예측 모델을 이용하는 기계학습 기반 예측 모델 재학습 장치를 나타내는 블록도이다. According to another embodiment of the present invention, the actual measured value of the system can also be treated as a model, and FIG. 6 is a machine learning-based prediction model using the actual result value and a plurality of predictive models according to another embodiment of the present invention. It is a block diagram showing a re-learning apparatus.
모델 재학습 판단부(520)는 실제 결과와 제1 예측값과의 차이, 실제 결과와 제2 예측값와의 차이, 제1 예측값 및 제2 예측값의 차이를 모두 고려하여 모델 재학습 필요 여부를 판단한다. The model
모델 재학습 판단부(520)는 실제 결과와 제1 예측값과의 차이가 제1 임계값 초과인지 여부를 확인하고, 초과인 경우 제1 모델 재학습부(530a)는 제1 예측 진단 모델(510a)을 갱신한다. The model
모델 재학습 판단부(520)는 실제 결과와 제2 예측값과의 차이가 제2 임계값 초과인지 여부를 확인하고, 초과인 경우 제2 모델 재학습부(530b)는 제2 예측 진단 모델(510b)을 갱신한다. The
모델 재학습 판단부(520)는 제1 및 제2 예측값의 차이가 제3 임계값 초과인지 여부를 확인하고, 초과인 경우 실제 결과를 고려하여 재학습할 모델을 확인하고, 후속적으로 해당 예측 진단 모델의 갱신이 이루어진다. The model
도 7은 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 시스템을 나타내는 블록도로서, 실제 적용 가능한 전체 시스템의 구조를 도시한다. 7 is a block diagram illustrating a machine learning-based predictive model re-learning system according to an embodiment of the present invention, and shows the structure of the entire system that can be applied in practice.
현장 운용 시스템(710)이란 제품을 생산하거나, 에너지를 발전하거나, 기계 내지 장비를 제어 운용하거나, 서비스를 운용하는 등 실제 동작하는 시스템을 말한다. The
예측진단 시스템(720)은 도 7에서 현장 운용 시스템(710)과 논리적으로 분리하여 도시하였으나, 물리적으로는 현장 운용 시스템(710)의 일부로 배치되거나, 별도로 배치될 수 있다. Although the
현장 예측진단 모델(721)은, 현장 운용 시스템(710)으로부터 새로운 데이터를 받아 예측 또는 진단을 수행한다. The field
예측은 에너지 소비 예측, 생산량 예측, 제품 생산량 예측 등이며, 진단은 고장 또는 정상 상태, 잔여수명 등에 대한 예측을 말한다. Prediction is energy consumption prediction, production prediction, product production prediction, etc., and diagnosis refers to prediction of failure or normal state, remaining life, etc.
현장 예측진단 모델(721)의 예측진단결과에 따라, 경보 제공부(723)는 시스템에 경고 또는 경보를 보낸다. According to the predictive diagnosis result of the on-site
예컨대, 현장 예측진단 모델(721)이 현재 상태를 비정상이라고 예측하면, 경보 제공부(723)는 고장 또는 비정상이라는 경보를 관리자에게 전파한다.For example, if the on-site
현장 예측진단 모델(721)의 예측값은 운전 제어부(722)에 의해, 현장 운용 시스템(710)의 제어신호로 사용될 수 있다. The predicted value of the on-site
현장 예측진단 모델(721)은 재학습이 필요한 경우, 필요한 최신 운용(측정) 데이터를 모델 재학습 서버(730)로 전송하고, 재학습을 요청한다.When re-learning is required, the on-site predictive
모델 재학습 서버(730)는, 현장에 설치되는 대용량 고성능 하드웨어를 갖추고 있는 서버이거나, 클라우드 서비스 상의 소프트웨어일 수 있다. The
모델 재학습 서버(730)는 기존 데이터 및 최신 데이터를 이용하여 예측진단 모델을 재학습하고, 학습한 모델(기계학습 예측 모델 구조 및 가중치 파라메터 등)을 현장 예측진단 모델(721)로 전송한다.The
본 발명의 실시예에 따르면, 복수의 예측 진단 모델들의 예측값로부터 하나의 차이값으로 합할 필요가 있는데, 이를 [수학식 1]과 같이 표현한다. According to an embodiment of the present invention, it is necessary to sum the prediction values of a plurality of predictive diagnostic models into one difference value, which is expressed as [Equation 1].
[수학식 1][Equation 1]
D sum 은 예측 진단 모델들간의 차이(거리)의 합을 나타낸다. D sum represents the sum of differences (distances) between predictive diagnostic models.
yi 와 yj 는 각각 모델 i의 예측값과 모델 j의 예측값을 말한다. y i and y j refer to the predicted value of model i and the predicted value of model j, respectively.
n은 모델의 수를 말하고, d()함수는 두 값의 거리를 나타낸다. n is the number of models, and the d() function is the distance between two values.
두 값의 거리를 나타내는 함수에는 기하학적 거리를 나타내는 유클리안 거리가 대표적이며, 상기 [수학식 1]에 ||~|| 로 표시되어 있다. A representative function representing the distance between two values is the Euclidean distance representing the geometric distance, and in
예를 들어 모델1, 2, 3의 예측값이 각각 10, 13, 12 인 경우, 모델 1과 모델 2의 차이(거리)는 3, 모델 2와 모델 3의 차이는 1, 모델 3과 모델 1의 차이는 2이기 때문에 Dsum 은 6이 된다.For example, if the predicted values of
본 발명의 실시예에 따른 모델 재학습 판단부(520)에서는, 기존의 학습데이터를 이용하여, Dsum 들을 구한 후, 그 분포를 이용하여 재학습 여부를 판단하는 임계값(Theshold)을 결정한다. The model
예를 들어, 기존 학습데이터를 이용한 Dsum 의 범위가 0~100인 경우, 임계값을 100으로 설정할 수 있다. For example, when the range of D sum using the existing training data is 0 to 100, the threshold value may be set to 100.
다른 방법으로는 Dsum 의 분포를 고려하여, Dsum 의 평균이 100이고, 표준편차가 10이라면, 약 99.9% 수준은 μ+3σ = 100+3*10 = 130 이므로, 130을 임계값으로 설정할 수 있다.Alternatively, considering the distribution of D sum , if the mean of D sum is 100 and the standard deviation is 10, the level of about 99.9% is μ+3σ = 100+3*10 = 130, so 130 is set as the threshold. can
각 모델 간 예측값의 차이의 편차는 그 특성이 서로 다를 수 있다. The deviation of the difference in the predicted values between each model may have different characteristics.
예를 들어, 모델1과 모델2간의 예측값 차이가 평상시 0~3사이였는데 이번 예측값 차이가 2인 경우와, 모델2와 모델3간의 예측값 차이가 평상시 0~1사이였는데 이번 예측값 차이가 2인 경우는 그 차이의 심각성 정도가 서로 다르다. For example, when the difference between the predicted values between
따라서 단순히 모델 간 예측값 차이값을 합치는 것 보다는 모델 간 예측값 차이의 분포를 고려하는 것이 바람직하다. Therefore, it is preferable to consider the distribution of the difference between the predicted values rather than simply summing the differences between the predicted values.
즉, 평균과의 거리가 표준편차의 몇 배인지를 나타내는 마할로노비스 거리(Mahalanobis distance)를 이용하면, 모델 간 예측값 차이의 분포를 고려하여, 다음 [수학식 2]와 같이 MDsum (각 모델 간 예측값의 마할로노비스 거리의 합)을 구할 수 있으며, 이 값이 임계값를 넘어서면 재학습을 하도록 판단한다.That is, if the Mahalanobis distance, which indicates how many times the distance from the mean is the standard deviation, is used, taking into account the distribution of the difference between the predicted values between models, MD sum (each model) as shown in
[수학식 2][Equation 2]
mi,j 는 모델 i의 예측값과 모델 j의 예측값 차이의 마할로노비스의 거리를 나타낸다. m i,j represents the Mahalonovis distance of the difference between the predicted value of model i and the predicted value of model j.
di,j는 모델 i의 예측값과 모델 j의 예측값 차이이다. d i,j is the difference between the predicted value of model i and the predicted value of model j.
도 8은 본 발명의 실시예에 따른 페어 모델 에러 매트릭스(pair model error matrix)를 도시하며, 
모델 2와 모델3의 관계에서, 평균 μ2,3 은 40이고, 표준편차는 σ2,3은 7이다. 이때 새로운 입력으로부터 모델1,2,3의 예측값이 각각 100,120,150 이었다면, d1,2 = 20, d2,3 = 30, d3,1 = 50이고, MDsum = (20-20)2/5 + (30-40)2/7 + (50-30)2/6 = 80.95 가 된다.In the relationship between
최신 측정 입력, 출력 데이터에는 일시적인 비정상적인 상황에 의한 요소의 영향을 받거나, 잡음이 포함되어 있을 수 있다. The latest measurement input and output data may be affected by factors caused by temporary abnormal conditions, or may contain noise.
따라서 최신 데이터 하나만을 이용해 재학습 여부를 바로 판단하는 경우, 불필요한 재학습이 이루어질 수 있으며, 일시적인 잡음이 포함된 데이터로 학습하는 경우, 예측 성능의 저하가 발생할 수 있다. Therefore, when re-learning is immediately determined using only the latest data, unnecessary re-learning may be performed, and when learning with data containing temporary noise, prediction performance may deteriorate.
본 발명의 실시예에 따르면, 이러한 문제점을 해결하기 위하여 일정 기간동안 데이터를 관찰한 뒤 판단하는 시계열 임계값(threshold) rth를 정의하여 사용한다. According to an embodiment of the present invention, in order to solve this problem, a time series threshold r th that is determined after observing data for a certain period is defined and used.
즉, 모델 간 예측값의 차이(거리)가 시간에 따라 점점 증가하는 경우 또는 지속되는 경우에만 재학습 하기로 결정하며, 이는 [수학식 3]과 같이 표현된다. That is, re-learning is determined only when the difference (distance) between the prediction values between models gradually increases or continues over time, which is expressed as [Equation 3].
[수학식 3][Equation 3]
Dsum은 전술한 바와 같이 모델 간 예측값 차이의 거리합이며, Dsum 대신 MDsum을 사용하는 것도 가능하다. D sum is the distance sum of the difference between predicted values as described above, and it is also possible to use MD sum instead of D sum .
정해진 시간 구간에서의 Dsum의 변화를 r이라고 했을 때, 그 값이 시계열 임계값(rth) 를 넘으면, 재학습하기로 결정한다.When the change in D sum in a predetermined time interval is r, if the value exceeds the time series threshold (r th ), re-learning is decided.
도 9는 본 발명의 실시예에 따른 모델 간 예측값 차이의 거리합에 대한 시계열 변화를 나타내는 그래프로서, 도 9의 (a)의 경우 모델 거리가 감소하고 있으며, 도 9의 (b)의 경우 모델 거리가 증가하고 있다. 9 is a graph showing a time series change with respect to the distance sum of the difference between prediction values between models according to an embodiment of the present invention. In the case of (a) of FIG. 9, the model distance is decreasing, and in the case of FIG. distance is increasing.
도 9의 (b)이 경우와 같이 모델 거리가 증가하는 경우, 환경 변화에 의해 예측 성능이 떨어지고 있는 것으로 판단하여, 재학습을 하도록 한다.When the model distance increases as in the case of FIG. 9(b), it is determined that the prediction performance is falling due to an environmental change, and re-learning is performed.
도 10은 본 발명의 실시예에 따른 재학습용 데이터 셋 구성예를 도시한다. 10 shows a configuration example of a data set for re-learning according to an embodiment of the present invention.
재학습시 데이터는, 기존 학습된 데이터에 새로운 운용 데이터가 추가된다. In the case of re-learning, new operational data is added to the previously learned data.
기존 학습데이터와 새로운 데이터를 합쳐서 새로 학습하는 경우, 새로운 데이터의 영향력이 상대적으로 약하게 학습될 수 있으므로, 본 발명의 실시예에 따르면 기존 학습 데이터의 오래된 일부를 버리고, 새로운 운용데이터 셋을 추가하여 재학습용 데이터 셋을 구성한다, When new learning is performed by combining existing learning data and new data, the influence of new data may be relatively weakly learned. construct a training data set,
도 11은 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 방법을 나타내는 순서도이다. 11 is a flowchart illustrating a machine learning-based predictive model re-learning method according to an embodiment of the present invention.
본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 방법은 복수의 기계학습 예측 모델로부터 예측값을 수신하는 단계(S1101)와, 예측값을 수신하여 모델 재학습 필요 여부를 판단하는 단계(S1102) 및 판단 결과에 따라 모델 재학습을 수행하는 단계(S1103)를 포함한다. The machine learning-based predictive model re-learning method according to an embodiment of the present invention includes the steps of receiving prediction values from a plurality of machine learning prediction models (S1101), receiving the prediction values and determining whether model re-learning is necessary (S1102) and and performing model re-learning according to the determination result (S1103).
S1102 단계는 예측값의 차이와 임계값을 비교하여 모델 재학습 필요 여부를 판단하는데, S1101단계에서 실제결과를 더 수신하는 경우, 실제결과와 예측값의 차이를 함께 고려하여 모델 재학습 필요 여부를 판단한다. In step S1102, it is determined whether model retraining is necessary by comparing the difference between the predicted values and the threshold. .
S1102 단계는 예측값의 차이의 합을 산출하여, 산출 결과, 산출 결과의 분포 및 시계열 추이 중 적어도 어느 하나를 이용하여 모델 재학습 필요 여부를 판단한다. In step S1102, it is determined whether the model re-learning is necessary by calculating the sum of the differences between the predicted values and using at least one of the calculation result, the distribution of the calculation result, and the time series trend.
S1102단계는 예측값의 차이의 평균 및 표준 편차를 이용하여 복수의 기계학습 예측 모델 간의 마할로노비스 거리의 합을 산출하여 모델 재학습 필요 여부를 판단한다. In step S1102, the sum of the Mahalonovis distances between a plurality of machine learning prediction models is calculated using the average and standard deviation of the difference between the prediction values to determine whether the model re-learning is necessary.
S1102 단계는 마할로노비스 거리의 합의 시계열 추이를 고려하여 모델 재학습 필요 여부를 판단한다. In step S1102, it is determined whether model re-learning is necessary in consideration of the time series trend of the sum of Mahalonovis distances.
S1103 단계는 기존 학습 데이터의 일부를 삭제하고, 새로운 운용 데이터 셋을 추가하여 재학습용 데이터 셋을 구성한다. Step S1103 deletes some of the existing learning data, and adds a new operational data set to configure a data set for re-learning.
한편, 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 방법은 컴퓨터 시스템에서 구현되거나, 또는 기록매체에 기록될 수 있다. 컴퓨터 시스템은 적어도 하나 이상의 프로세서와, 메모리와, 사용자 입력 장치와, 데이터 통신 버스와, 사용자 출력 장치와, 저장소를 포함할 수 있다. 전술한 각각의 구성 요소는 데이터 통신 버스를 통해 데이터 통신을 한다.Meanwhile, the machine learning-based predictive model re-learning method according to an embodiment of the present invention may be implemented in a computer system or recorded in a recording medium. The computer system may include at least one processor, memory, a user input device, a data communication bus, a user output device, and storage. Each of the above-described components performs data communication through a data communication bus.
컴퓨터 시스템은 네트워크에 커플링된 네트워크 인터페이스를 더 포함할 수 있다. 프로세서는 중앙처리 장치(central processing unit (CPU))이거나, 혹은 메모리 및/또는 저장소에 저장된 명령어를 처리하는 반도체 장치일 수 있다. The computer system may further include a network interface coupled to the network. The processor may be a central processing unit (CPU) or a semiconductor device that processes instructions stored in a memory and/or storage.
메모리 및 저장소는 다양한 형태의 휘발성 혹은 비휘발성 저장매체를 포함할 수 있다. 예컨대, 메모리는 ROM 및 RAM을 포함할 수 있다.The memory and storage may include various types of volatile or non-volatile storage media. For example, memory may include ROM and RAM.
따라서, 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 방법은 컴퓨터에서 실행 가능한 방법으로 구현될 수 있다. 본 발명의 실시예에 따른 기계학습 기반 예측 모델 재학습 방법이 컴퓨터 장치에서 수행될 때, 컴퓨터로 판독 가능한 명령어들이 본 발명에 따른 재학습 방법을 수행할 수 있다.Therefore, the machine learning-based predictive model re-learning method according to an embodiment of the present invention may be implemented as a computer-executable method. When the machine learning-based predictive model re-learning method according to an embodiment of the present invention is performed in a computer device, computer-readable instructions may perform the re-learning method according to the present invention.
한편, 상술한 본 발명에 따른 기계학습 기반 예측 모델 재학습 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.Meanwhile, the machine learning-based predictive model re-learning method according to the present invention described above may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes any type of recording medium in which data that can be read by a computer system is stored. For example, there may be a read only memory (ROM), a random access memory (RAM), a magnetic tape, a magnetic disk, a flash memory, an optical data storage device, and the like. In addition, the computer-readable recording medium may be distributed in computer systems connected through a computer communication network, and stored and executed as readable codes in a distributed manner.
이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far, the embodiments of the present invention have been mainly looked at. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.
Claims (20)
상기 예측값을 이용하여 예측 모델의 재학습 필요 시기를 판단하는 프로그램이 저장된 메모리; 및
상기 프로그램을 실행시키는 프로세서를 포함하되,
상기 프로세서는 상기 예측값을 이용하여 산출한 오차와 임계값을 비교하여 모델 재학습 필요 여부를 판단하고,
상기 프로세서는 상기 복수의 기계학습 예측 모델들 간의 예측값의 차이의 합을 산출하고, 산출된 결과의 분포 및 시계열 변화를 고려하여 재학습 필요 여부를 판단하는 것
인 기계학습 기반 예측 모델 재학습 장치.
an input unit for receiving prediction values from a plurality of machine learning prediction models;
a memory in which a program for determining when re-learning of a predictive model is required using the prediction value is stored; and
A processor for executing the program,
The processor compares the error calculated using the prediction value with a threshold value to determine whether model retraining is necessary,
The processor calculates the sum of the differences between the prediction values between the plurality of machine learning prediction models, and determines whether re-learning is necessary in consideration of the distribution of the calculated results and time series changes
A machine learning-based predictive model retraining device.
상기 프로세서는 상기 복수의 기계학습 예측 모델들 간의 예측값의 차이의 평균 및 표준편차를 이용하여 상기 임계값을 결정하는 것
인 기계학습 기반 예측 모델 재학습 장치.
According to claim 1,
The processor determines the threshold value using the average and standard deviation of the difference between the prediction values between the plurality of machine learning prediction models
A machine learning-based predictive model retraining device.
상기 프로세서는 기존 학습 데이터의 일부를 삭제하고, 새로운 운용 데이터 셋을 추가하여 재학습용 데이터 셋을 구성하는 것
인 기계학습 기반 예측 모델 재학습 장치.
According to claim 1,
The processor deletes a part of the existing learning data, and adds a new operational data set to configure a data set for re-learning
A machine learning-based predictive model retraining device.
상기 예측값을 수신하여 모델 재학습 필요 여부를 판단하는 모델 재학습 판단부; 및
모델 재학습 필요 여부에 따라 상기 예측 진단 모델을 갱신하는 모델 재학습부를 포함하고,
상기 모델 재학습 판단부는 상기 각각의 예측값의 차이의 합을 산출하고, 산출된 결과, 산출된 결과의 분포 및 산출된 결과의 시계열 추이를 고려하여 모델 재학습 필요 여부를 판단하는 것
인 기계학습 기반 예측 모델 재학습 시스템.
a plurality of predictive diagnostic models receiving the same input data and outputting respective predictive values;
a model re-learning determination unit for receiving the prediction value and determining whether model re-learning is necessary; and
A model re-learning unit for updating the predictive diagnostic model according to whether or not model re-learning is required,
The model re-learning determination unit calculates the sum of the differences between the respective predicted values, and determines whether the model re-learning is necessary in consideration of the calculated results, the distribution of the calculated results, and the time series trend of the calculated results
A machine learning-based predictive model retraining system.
상기 모델 재학습 판단부는 상기 각각의 예측값의 차이의 평균 및 표준편차를 이용하여 모델 재학습 필요 여부를 판단하는 것
인 기계학습 기반 예측 모델 재학습 시스템.
10. The method of claim 9,
The model re-learning determination unit is to determine whether the model re-learning is necessary using the average and standard deviation of the difference between the respective prediction values
A machine learning-based predictive model retraining system.
상기 모델 재학습부는 기존 학습 데이터의 일부를 삭제하고, 새로운 운용 데이터 셋을 추가하여 재학습용 데이터 셋을 구성하는 것
인 기계학습 기반 예측 모델 재학습 시스템.
10. The method of claim 9,
The model re-learning unit deletes a part of the existing training data and adds a new operational data set to configure a re-learning data set
A machine learning-based predictive model retraining system.
(a) 복수의 기계학습 예측 모델로부터 예측값을 수신하는 단계;
(b) 상기 예측값을 수신하여 모델 재학습 필요 여부를 판단하되, 상기 예측값의 차이의 합을 산출하여, 산출 결과, 산출 결과의 분포 및 시계열 추이를 이용하여 모델 재학습 필요 여부를 판단하는 단계; 및
(c) 상기 (b) 단계에서의 판단 결과에 따라 모델 재학습을 수행하는 단계
를 포함하는 기계학습 기반 예측 모델 재학습 방법.
In the machine learning-based predictive model re-learning method in which each step is performed by a machine learning-based predictive model re-learning system,
(a) receiving prediction values from a plurality of machine learning prediction models;
(b) receiving the prediction value and determining whether model re-learning is necessary, calculating the sum of the difference between the prediction values, and determining whether model re-learning is necessary using the calculation result, the distribution of the calculation result, and the time series trend; and
(c) performing model re-learning according to the determination result in step (b)
A machine learning-based predictive model retraining method comprising a.
상기 (b) 단계는 상기 예측값의 차이의 평균 및 표준 편차를 이용하여 상기 복수의 기계학습 예측 모델 간의 마할로노비스 거리의 합을 산출하여 모델 재학습 필요 여부를 판단하는 것
인 기계학습 기반 예측 모델 재학습 방법.
16. The method of claim 15,
The step (b) is to calculate the sum of the Mahalonovis distances between the plurality of machine learning prediction models using the average and standard deviation of the difference between the predicted values to determine whether the model re-learning is necessary
A machine learning-based predictive model retraining method.
상기 (b) 단계는 상기 마할로노비스 거리의 합의 시계열 추이를 고려하여 모델 재학습 필요 여부를 판단하는 것
인 기계학습 기반 예측 모델 재학습 방법. 20. The method of claim 19,
The step (b) is to determine whether the model re-learning is necessary in consideration of the time series trend of the sum of the Mahalonovis distances
A machine learning-based predictive model retraining method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190091126A KR102434460B1 (en) | 2019-07-26 | 2019-07-26 | Apparatus for re-learning predictive model based on machine learning and method using thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190091126A KR102434460B1 (en) | 2019-07-26 | 2019-07-26 | Apparatus for re-learning predictive model based on machine learning and method using thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210012791A KR20210012791A (en) | 2021-02-03 |
| KR102434460B1 true KR102434460B1 (en) | 2022-08-22 |
Family
ID=74572405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190091126A KR102434460B1 (en) | 2019-07-26 | 2019-07-26 | Apparatus for re-learning predictive model based on machine learning and method using thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102434460B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11720088B2 (en) * | 2021-03-26 | 2023-08-08 | Lynceus Sas | Real-time AI-based quality assurance for semiconductor production machines |
| KR20220135498A (en) * | 2021-03-30 | 2022-10-07 | 삼성전자주식회사 | Electronic apparatus and control method thereof |
| US11567488B2 (en) | 2021-05-27 | 2023-01-31 | Lynceus, Sas | Machine learning-based quality control of a culture for bioproduction |
| KR102366922B1 (en) * | 2021-08-27 | 2022-02-28 | 팩트얼라이언스 주식회사 | heavy electric equipment deterioration prediction system based on time-series isolation diagnostic information and method therefor |
| KR102367409B1 (en) * | 2021-11-02 | 2022-02-24 | 주식회사 데이탄소프트 | Method, server and computer program for predicting it service failure using pre-learned failure prediction model |
| KR20230083550A (en) * | 2021-12-03 | 2023-06-12 | 주식회사 아이센스 | Method for predicting biometrics |
| WO2024029682A1 (en) * | 2022-08-02 | 2024-02-08 | Samsung Electronics Co., Ltd. | Method and electronic device for automated machine learning model retraining |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070220034A1 (en) | 2006-03-16 | 2007-09-20 | Microsoft Corporation | Automatic training of data mining models |
| JP2012022558A (en) | 2010-07-15 | 2012-02-02 | Hitachi Ltd | Distributed computation system |
| JP2017068710A (en) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | Distributed processing system, learning model creating method, data processing method, learning model creating program, and data processing program |
| JP2018156415A (en) * | 2017-03-17 | 2018-10-04 | 株式会社リコー | Diagnosis device, diagnosis system, diagnosis method and program |
-
2019
- 2019-07-26 KR KR1020190091126A patent/KR102434460B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070220034A1 (en) | 2006-03-16 | 2007-09-20 | Microsoft Corporation | Automatic training of data mining models |
| JP2012022558A (en) | 2010-07-15 | 2012-02-02 | Hitachi Ltd | Distributed computation system |
| JP2017068710A (en) * | 2015-09-30 | 2017-04-06 | 富士通株式会社 | Distributed processing system, learning model creating method, data processing method, learning model creating program, and data processing program |
| JP2018156415A (en) * | 2017-03-17 | 2018-10-04 | 株式会社リコー | Diagnosis device, diagnosis system, diagnosis method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210012791A (en) | 2021-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102434460B1 (en) | Apparatus for re-learning predictive model based on machine learning and method using thereof | |
| US10192170B2 (en) | System and methods for automated plant asset failure detection | |
| JP7105932B2 (en) | Anomaly detection using deep learning on time series data related to application information | |
| US11558272B2 (en) | Methods and systems for predicting time of server failure using server logs and time-series data | |
| US11288577B2 (en) | Deep long short term memory network for estimation of remaining useful life of the components | |
| US11283283B2 (en) | Advanced smart battery analytic and diagnostic systems and methods | |
| EP3278224B1 (en) | Storage device failure policies | |
| CN108509325B (en) | Method and device for dynamically determining system timeout time | |
| US7020569B2 (en) | Intelligent modelling of process and tool health | |
| JP7201844B2 (en) | Fault prediction using gradient-based sensor identification | |
| CN111459692B (en) | Method, apparatus and computer program product for predicting drive failure | |
| CN112148768A (en) | Index time series abnormity detection method, system and storage medium | |
| EP3798778A1 (en) | Method and system for detecting an anomaly of an equipment in an industrial environment | |
| CN114943321A (en) | Fault prediction method, device and equipment for hard disk | |
| CN111179591A (en) | Road network traffic time sequence characteristic data quality diagnosis and restoration method | |
| KR20180116577A (en) | Method and apparatus for diagnosing building system | |
| CN112128950B (en) | Machine room temperature and humidity prediction method and system based on multiple model comparisons | |
| JP2023537562A (en) | Federated learning for anomaly detection | |
| CN116991615A (en) | Cloud primary system fault self-healing method and device based on online learning | |
| KR20230072920A (en) | Iterative Learning Method and Apparatus for Unsupervised Anomaly Detection Under Data Contamination in IoT Environment | |
| CN111095868A (en) | Data traffic management in software defined networks | |
| KR102475484B1 (en) | Method for vibration prediction on rotational machinery and apparatus for performing the same | |
| CN117114454B (en) | DC sleeve state evaluation method and system based on Apriori algorithm | |
| CN117318052B (en) | Reactive power prediction method and device for phase advance test of generator set and computer equipment | |
| JP7347547B2 (en) | Event analysis support device, event analysis support method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |