KR102038703B1 - Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof - Google Patents

Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof Download PDF

Info

Publication number
KR102038703B1
KR102038703B1 KR1020170180576A KR20170180576A KR102038703B1 KR 102038703 B1 KR102038703 B1 KR 102038703B1 KR 1020170180576 A KR1020170180576 A KR 1020170180576A KR 20170180576 A KR20170180576 A KR 20170180576A KR 102038703 B1 KR102038703 B1 KR 102038703B1
Authority
KR
South Korea
Prior art keywords
dynamic transition
real
models
time
model
Prior art date
Application number
KR1020170180576A
Other languages
Korean (ko)
Other versions
KR20190078850A (en
Inventor
이기천
임태훈
최동근
Original Assignee
(주)가디엘
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)가디엘, 한양대학교 산학협력단 filed Critical (주)가디엘
Priority to KR1020170180576A priority Critical patent/KR102038703B1/en
Publication of KR20190078850A publication Critical patent/KR20190078850A/en
Application granted granted Critical
Publication of KR102038703B1 publication Critical patent/KR102038703B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/008Reliability or availability analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법방법 및 그 시스템이 제공된다.
상기 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은 실시간 다변량 시계열 예측시스템이 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하는 단계, 상기 실시간 다변량 시계열 예측시스템이 실시간 데이터를 입력받아 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계를 포함한다.
A method and system for predicting real-time multivariate time series using a dynamic transition ensemble model are provided.
In the real-time multivariate time series prediction method using the dynamic transition ensemble model, the real-time multivariate time series prediction system selects a predetermined number of a plurality of dynamic transition models to define a dynamic transition ensemble model based on selected models, the real-time multivariate time series The prediction system receives real-time data and performs prediction in real time while updating the weight of each selection model or model coefficients of each selection model included in the dynamic transition ensemble model.

Description

동적 전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법 및 그 시스템{Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof}Method for estimation on online multivariate time series using ensemble dynamic transfer models and system approximate method

본 발명은 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법 및 그 시스템에 관한 것으로, 보다 상세하게는 복수의 동적전이 모형들을 복합적으로 이용한 앙상블 모형을 이용하여 효과적으로 다변량 환경에서 실시간 시계열 예측을 할 수 있는 방법 및 그 시스템에 관한 것이다.The present invention relates to a method and system for predicting real-time multivariate time series using a dynamic transition ensemble model. More particularly, the present invention can effectively predict real-time time series in a multivariate environment using an ensemble model using a plurality of dynamic transition models. It relates to a method and a system thereof.

기존의 다양한 APM 솔루션이나 CCTV 네트워크 기타 시계열 예측 모형을 통해 실시간으로 특정 이벤트(예컨대, 오류 또는 장애 등)를 예측하는 시도가 존재하였다.Attempts have been made to predict specific events (eg errors or failures) in real time through a variety of existing APM solutions, CCTV networks and other time series prediction models.

하지만 시스템의 성능에 영향을 미치는 독립적인 인자가 다수 개가 되는 다변량 환경에서 종래의 기술들은 실시간 분석을 통해 예측까지 가능한 것이 아니라 단순히 모니터링을 하는 수준에 그치고 있다.However, in a multivariate environment with many independent factors affecting the performance of the system, the conventional techniques are not merely predictable through real-time analysis but merely monitoring.

또한 종래의 다변량 시계열 예측 모형으로 알려진 VAR(Vector Autoregressive) 모델은 여러 가지 가정을 이용한 예측 모형이며, 하나의 모형을 이용해서 변수들을 한꺼번에 예측하는 모형이라는 특징으로 인해 여러 상황에 대처하기 어려운 문제가 있고 다변량 데이터를 이용하면서 타겟 변수 하나를 예측하는데는 어려움이 있다.In addition, the VAR (Vector Autoregressive) model, which is known as a conventional multivariate time series prediction model, is a predictive model using various assumptions, and it is difficult to cope with various situations due to the feature of predicting variables at once using one model. It is difficult to predict one target variable while using multivariate data.

따라서 본 발명은 복수의 동적전이 모형을 결합한 앙상블 모형을 이용하여 예측의 정확도를 높일 수 있는 방법 및 그 시스템을 제공하는 것이다. Accordingly, the present invention provides a method and system for improving the accuracy of prediction using an ensemble model combining a plurality of dynamic transition models.

또한 실시간 다변량 시계열 데이터를 이용하여 많은 변수들 중에서 타겟이 되는 반응변수를 설정하여 예측력을 향상시킬 수 있는 방법 및 그 시스템을 제공하는 것이다.In addition, by using a real-time multivariate time series data to provide a method and system that can improve the predictive power by setting the target response variable among many variables.

또한 오프라인 학습을 통해 모형을 선별하여 온라인에서 실시간으로 정확도 높은 예측을 할 수 있는 방법 및 시스템을 제공하는 것이다. In addition, it provides a method and system that can select models through offline learning and make accurate predictions online in real time.

본 발명의 일 측면에 따르면, 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은 실시간 다변량 시계열 예측시스템이 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하는 단계, 상기 실시간 다변량 시계열 예측시스템이 실시간 데이터를 입력받아 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계를 포함한다.According to an aspect of the present invention, in the real-time multivariate time series prediction method using the dynamic transition ensemble model, the real-time multivariate time series prediction system selects a predetermined number of a plurality of dynamic transition models to define a dynamic transition ensemble model based on selected models. The real-time multivariate time series prediction system receives real-time data and performs prediction in real time while updating the weight of each selection model or model coefficients of each selection model included in the dynamic transition ensemble model. Include.

상기 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은, 상기 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 상기 복수의 동적전이 모형들을 생성하는 단계를 더 포함할 수 있다.The real-time multivariate time series prediction method using the dynamic transition ensemble model may further include generating, by the real-time multivariate time series prediction system, the plurality of dynamic transition models through training data.

상기 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 복수의 동적전이 모형들을 생성하는 단계는 종속변수 Y에 대해 상기 종속변수 Y의 자기 회귀 영향과 현재 시점의 독립변수 x들의 영향을 선형 결합하여 상기 동적전이 모형들을 생성하는 단계를 포함할 수 있다.The generating of the plurality of dynamic transition models through the training data by the real-time multivariate time series prediction system includes linearly combining the autoregressive influence of the dependent variable Y and the influence of the independent variable x at the present time on the dependent variable Y. Generating the models.

상기 동적전이 모형들은 다음의 수식에 의해 생성되는 것일 수 있다.The dynamic transition models may be generated by the following equation.

[수학식][Equation]

Figure 112017129603856-pat00001
Figure 112017129603856-pat00001

여기서 Y는 종속변수, B는 backshift operator, d는 차분차수(difference factor), p는 자기회귀차수, I는 표시함수,

Figure 112017129603856-pat00002
는 자기회귀계수,
Figure 112017129603856-pat00003
는 회귀모델 상수,
Figure 112017129603856-pat00004
는 독립변수 x에 대한 1차 회귀계수,
Figure 112017129603856-pat00005
는 오차항, m은 독립변수의 개수를 나타낸다. Where Y is the dependent variable, B is the backshift operator, d is the difference factor, p is the autoregressive order, I is the display function,
Figure 112017129603856-pat00002
Is the autoregressive coefficient,
Figure 112017129603856-pat00003
Is the regression model constant,
Figure 112017129603856-pat00004
Is the first-order regression coefficient for the independent variable x,
Figure 112017129603856-pat00005
Is the error term and m is the number of independent variables.

상기 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 상기 복수의 동적전이 모형들을 생성하는 단계는,

Figure 112017129603856-pat00006
개(여기서, q는 독립변수 선택개수)의 동적전이 모형들을 생성하는 것을 특징으로 할 수 있다.The real-time multivariate time series prediction system to generate the plurality of dynamic transition models through the training data,
Figure 112017129603856-pat00006
Q, where q is the number of independent variable choices.

상기 실시간 다변량 시계열 예측시스템이 생성된 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하는 단계는 상기 복수의 동적전이 모형들 중에서 예측성능이 뛰어난 K개를 상기 선택 모형들로 뽑는 것을 특징으로 할 수 있다.The step of defining a dynamic transition ensemble model based on selected models by selecting a predetermined number of the plurality of dynamic transition models generated by the real-time multivariate time series prediction system includes K excellent performances among the plurality of dynamic transition models. It can be characterized in that the selection to the selection models.

상기 동적전이 앙상블 모형은 다음과 같은 수식에 의해 정의되는 것을 특징으로 할 수 있다.The dynamic transition ensemble model may be defined by the following equation.

Figure 112017129603856-pat00007
Figure 112017129603856-pat00007

여기서 w는 각각의 선택모형들의 가중치.Where w is the weight of each selection model.

상기 실시간 다변량 시계열 예측시스템이 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계는 다음의 수학식을 이용하여 상기 가중치를 업데이트하는 것을 특징으로 할 수 있다.The real-time multivariate time series prediction system may perform the prediction in real time while updating the weight of each of the selection models included in the dynamic transition ensemble model or the model coefficient of each of the selection models using the following equation. The weight may be updated.

Figure 112017129603856-pat00008
Figure 112017129603856-pat00008

상기 실시간 다변량 시계열 예측시스템이 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계는 미리 정해진 윈도 사이즈를 이용하여 전진 업데이트를 하면서 RLS방법을 통해 상기 선택 모현들 각각의 모형 계수를 업데이트하는 것을 특징으로 할 수 있다.The real-time multivariate time series prediction system performing the prediction in real time while updating the weight of each of the selection models included in the dynamic transition ensemble model or the model coefficient of each of the selection models is advanced using a predetermined window size. While updating, the model coefficients of each of the selected models may be updated through the RLS method.

상기 실시간 다변량 시계열 예측시스템이 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계는 현재 시점 t에서는 이전 시점인 (t-1)에서의 예측한 오차를 이용하여 가중치를 구하는 것을 특징으로 할 수 있다.The real-time multivariate time series prediction system performing the prediction in real time while updating the weight of each of the selection models included in the dynamic transition ensemble model or the model coefficient of each of the selection models is a previous point in time t ( The weight may be obtained by using the predicted error in t-1).

상기 기술적 과제를 해결하기 위한 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 상기 복수의 동적전이 모형들을 생성하는 단계, 상기 실시간 다변량 시계열 예측시스템이 생성한 상기 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 이용하여, 실시간 데이터를 입력받아 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계를 포함한다.The real-time multivariate time series prediction method using the dynamic transition ensemble model for solving the technical problem is a step in which the real-time multivariate time series prediction system generates the plurality of dynamic transition models through the training data, the real-time multivariate time series prediction system Using a dynamic transition ensemble model based on selected models by selecting a predetermined number of the plurality of dynamic transition models, receiving real-time data and updating the weight of each of the selection models or the model coefficient of each of the selection models. Performing prediction in real time.

상기 방법은 데이터 처리장치에 설치되며 기록매체에 기록된 컴퓨터 프로그램에 의해 구현될 수 있다.The method may be implemented by a computer program installed in a data processing apparatus and recorded on a recording medium.

상기 기술적 과제를 해결하기 위한 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템은 복수의 동적전이 모형들 각각에 대한 정보가 저장되는 DB, 상기 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하기 위한 앙상블 모형모듈, 실시간 데이터를 입력받아 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하기 위한 제어모듈을 포함한다.The real-time multivariate time series prediction system using the dynamic transition ensemble model for solving the technical problem is a DB that stores information on each of the plurality of dynamic transition models, a selection model selected by selecting a predetermined number of the plurality of dynamic transition models Ensemble model module for defining a dynamic transition ensemble model based on a field, receiving real-time data and predicting in real time while updating the weight of each of the selection models included in the dynamic transition ensemble model or model coefficients of each of the selection models It includes a control module for performing the.

상기 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템은 학습데이터를 통하여 학습을 수행하여 상기 복수의 동적전이 모형들을 생성하는 동적전이 모형모듈을 더 포함할 수 있다.The real-time multivariate time series prediction system using the dynamic transition ensemble model may further include a dynamic transition model module configured to generate the plurality of dynamic transition models by performing learning through learning data.

상기 기술적 과제를 해결하기 위한 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템은 프로세서 및 상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 방법을 수행할 수 있다.A real-time multivariate time series prediction system using a dynamic transition ensemble model for solving the technical problem includes a processor and a memory for storing a computer program executed by the processor, wherein the computer program, when executed by the processor, The method can be performed.

본 발명의 기술적 사상에 따르면, 복수의 동적전이 모형을 결합한 앙상블 모형을 이용하여 예측의 정확도를 높일 수 있는 효과가 있다. 또한 복수의 동적전이 모형들 각각의 가중치 및/또는 모형계수를 실시간으로 업데이트하면서 실시간 예측성능을 향상시킬 수 있는 효과가 있다. According to the technical idea of the present invention, it is possible to increase the accuracy of prediction by using an ensemble model combining a plurality of dynamic transition models. In addition, it is possible to improve the real-time prediction performance while updating the weights and / or model coefficients of each of the plurality of dynamic transition models in real time.

또한 오프라인 학습을 통해 모형을 선별하여 온라인에서 실시간으로 정확도 높은 예측을 할 수 있는 효과가 있다.In addition, the model can be selected through off-line learning to make accurate predictions online and in real time.

또한 실시간 다변량 시계열 데이터를 이용하여 많은 변수들 중에서 타겟이 되는 반응변수를 설정하여 예측력을 향상시킬 수 있는 효과가 있다. 따라서 종래의 애플리케이션 성능관리 솔루션이나 CCTV 네트워크 등에서 실시간으로 장애를 예측하는데 이용될 수 있을 뿐만 아니라, 기타 다양한 데이터베이스나 서버에서 발생하는 로그 데이터나 성능 데이터 등과 같이 서버 네트워크 시스템에서 발생하는 실시간 다변량 시계열 데이터를 이용해서 분석, 예측이 필요한 산업에서 적용이 가능한 효과가 있다. 적절한 임계치를 설정할 수 있는 경우 이상치 탐지 분야에도 적용이 가능하며, 의료 산업에서 발생하는 데이터를 이용해 질병을 판단하거나, 네트워크 상의 침입 탐지와 같은 분야에도 적용 될 수 있는 효과가 있다.In addition, by using real-time multivariate time series data, it is possible to set a response variable among many variables to improve prediction power. Therefore, it can be used to predict failures in real time in a conventional application performance management solution or CCTV network, as well as real-time multivariate time series data generated in a server network system such as log data or performance data generated in various other databases or servers. It can be applied to industries that require analysis and prediction. If an appropriate threshold can be set, it can be applied to the field of outlier detection, and it can be applied to areas such as intrusion detection on the network or to detect diseases using data generated in the medical industry.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 기술적 사상에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템의 일 예를 나타낸다.
도 2는 본 발명의 일실시 예에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법을 구현하기 위한 개략적인 플로우 차트를 나타낸다.
도 3은 및 도 4는 본 발명의 일 실시 예에 따른 학습 데이터의 실시 예를 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따라 복수의 동적전이 모형들 중에서 선택된 선택모형의 예시를 나타낸다.
도 6은 본 발명의 실시 예에 따른 앙상블 모형에서의 선택보형들 각각의 가중치 변화를 예시적으로 나타낸다.
도 7은 본 발명의 기술적 사상에 따른 예측결과를 나타내는 도면이다.
BRIEF DESCRIPTION OF THE DRAWINGS In order to better understand the drawings cited in the detailed description of the invention, a brief description of each drawing is provided.
1 illustrates an example of a real-time multivariate time series prediction system using a dynamic transition ensemble model according to the spirit of the present invention.
2 is a schematic flowchart for implementing a real-time multivariate time series prediction method using a dynamic transition ensemble model according to an embodiment of the present invention.
3 and 4 are views illustrating an embodiment of training data according to an embodiment of the present invention.
5 illustrates an example of a selection model selected from a plurality of dynamic transition models according to an embodiment of the present invention.
6 exemplarily shows a weight change of each of the selection prostheses in the ensemble model according to the embodiment of the present invention.
7 is a diagram illustrating a prediction result according to the technical spirit of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the inventive concept allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 명세서에 있어서, “포함하다”또는 “가지다”등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this specification, the terms "comprise" or "having" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of features, numbers, steps, operations, components, parts, or a combination thereof.

또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.In addition, in the present specification, when one component 'transmits' data to another component, the component may directly transmit the data to the other component, or through at least one other component. Means that the data may be transmitted to the other component. On the contrary, when one component 'directly transmits' data to another component, it means that the data is transmitted from the component to the other component without passing through the other component.

이하, 첨부된 도면들을 참조하여 본 발명의 실시 예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. Like reference numerals in the drawings denote like elements.

도 1은 본 발명의 기술적 사상에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템의 일 예를 나타낸다.1 illustrates an example of a real-time multivariate time series prediction system using a dynamic transition ensemble model according to the spirit of the present invention.

도 1을 참조하면, 본 발명의 기술적 사상에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법을 구현하기 위해서 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템(이하, '예측시스템' , 100)이 구비될 수 있다.Referring to FIG. 1, in order to implement a real-time multivariate time series prediction method using a dynamic transition ensemble model according to the technical idea of the present invention, a real-time multivariate time series prediction system using a dynamic transition ensemble model (hereinafter, 'prediction system', 100) It may be provided.

상기 예측시스템(100)은 소정의 유저의 단말기에 클라이언트 형태로 설치되거나 또는 서버 측에 설치되는 시스템일 수 있다. 상기 예측시스템(100)은 소정의 데이터 처리장치에 설치되며 본 발명의 기술적 사상을 구현하기 위해 구현되는 소프트웨어(예컨대, 애플리케이션)와 상기 소프트웨어를 구동하기 위한 상기 데이터 처리장치의 하드웨어가 유기적으로 결합하여 구현되는 시스템일 수 있다.The prediction system 100 may be installed in the form of a client in a terminal of a predetermined user or may be installed in a server side. The prediction system 100 is installed in a predetermined data processing apparatus, and the software (eg, an application) implemented to implement the technical idea of the present invention and the hardware of the data processing apparatus for driving the software are organically combined. It may be a system implemented.

상기 예측시스템(100)은 본 발명의 기술적 사상에 따라 다수의 독립변수가 존재하는 환경 즉, 다변량 환경에서 특정 변수의 시계열 데이터를 예측하기 위한 시스템일 수 있다. 이러한 상기 예측시스템(100)은 종래의 다변량 시계열 예측시스템(예컨대, Var 등)이 단일모형을 이용하여 한꺼번에 모든 변수들을 예측하는 방법에 비해 하나 또는 소수 개의 특정 변수(예컨대, 독립변수에 영향을 받는 종속변수)를 예측하는데 유리한 효과가 있다. The prediction system 100 may be a system for predicting time series data of a specific variable in an environment in which a plurality of independent variables exist, that is, in a multivariate environment, according to the spirit of the present invention. The prediction system 100 may be affected by one or a few specific variables (eg, independent variables) compared to a conventional multivariate time series prediction system (eg, Var, etc.) predicting all variables at once using a single model. It has a favorable effect on the prediction of the dependent variable.

이하 본 명세서에서 예시하는 학습 데이터 및 모형들은 얘츨리케이션 성능관리(Application Performance Management) 시스템에 적용된 일 예들이며, 본 발명의 권리범위가 이에 한정되지는 않는다.The training data and models exemplified herein below are examples applied to an application performance management system, and the scope of the present invention is not limited thereto.

상기 예측시스템(100)은 제어모듈(110) 및 앙상블 모형모듈(120)을 포함한다.The prediction system 100 includes a control module 110 and an ensemble model module 120.

상기 예측시스템(100)은 소정의 DB(130) 및/또는 동적전이 모형모듈(140)을 더 포함할 수 있다. 본 발명의 실시 예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시 예에 따라 상기 예측시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.The prediction system 100 may further include a predetermined DB 130 and / or dynamic transition model module 140. According to an embodiment of the present invention, some of the above-described elements may not necessarily correspond to the elements necessary for the implementation of the present invention, and according to the embodiment, the prediction system 100 Of course, more components may be included.

상기 예측시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 예측시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. The prediction system 100 may include hardware resources and / or software necessary to implement the technical idea of the present invention, and does not necessarily mean one physical component or one device. . That is, the prediction system 100 may mean a logical combination of hardware and / or software provided to implement the technical idea of the present invention, and if necessary, are installed in devices spaced apart from each other to perform respective functions. As a result, it may be implemented as a set of logical configurations for implementing the technical idea of the present invention.

또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들면, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.In addition, the term "module" in the present specification may mean a functional and structural combination of hardware for performing the technical idea of the present invention and software for driving the hardware. For example, the module may mean a logical unit of a predetermined code and a hardware resource for performing the predetermined code, and does not necessarily mean a physically connected code or a kind of hardware. It can be easily inferred by the average expert in the technical field of the present invention.

상기 제어모듈(110)은 상기 예측시스템(100)에 포함된 다른 구성들 예를 들면, 앙상블 모형모듈(120), DB(130), 및/또는 동적전이 모형모듈(140) 등의 기능 및/또는 리소스를 제어할 수 있다.The control module 110 may include other components included in the prediction system 100, for example, an ensemble model module 120, a DB 130, and / or a dynamic transition model module 140. Or you can control resources.

본 발명의 기술적 사상에 따른 예측시스템(100)은 다변량 시계열 예측에 대한 가정이 많고 다변량 데이터를 이용하여 특정 변수 하나에 대한 예측이 어려우면 다양한 상황에 강인하지 못한 문제점을 보완하기 위해 복수의 동적전이 모형들을 결합한 동적전이 앙상블 모형을 이용하는 특징이 있다.The prediction system 100 according to the technical spirit of the present invention has a plurality of dynamic transitions in order to compensate for a problem that many assumptions about multivariate time series prediction are difficult and prediction of one specific variable using multivariate data is not robust to various situations. It is characterized by the use of dynamic transition ensemble models that combine models.

이를 위해 상기 앙상블 모형모듈(120)은 미리 정의된 복수의 동적전이 모형들 중 소정 개수를 선택할 수 있다. 그리고 선택된 동적전이 모형들 즉, 선택모형에 기초한 동적전이 앙상블 모형을 정의할 수 있다. 이러한 동적전이 앙상블 모형은 다음과 같은 수학식으로 정의될 수 있다.To this end, the ensemble model module 120 may select a predetermined number of a plurality of predefined dynamic transition models. Then, the selected dynamic transition models, that is, the dynamic transition ensemble model based on the selection model can be defined. This dynamic transition ensemble model can be defined by the following equation.

[수학식 1][Equation 1]

Figure 112017129603856-pat00009
Figure 112017129603856-pat00009

여기서 w는 각각의 선택모형들의 가중치이고,

Figure 112017129603856-pat00010
는 k 번째 선택모형을 의미할 수 있다.Where w is the weight of each selection model,
Figure 112017129603856-pat00010
May mean the kth selection model.

상기 앙상블 모형모듈(120)은 다수의 동적전이 모형들 중에서 K 개의 동적전이 모형들을 선택모형으로 선택할 수 있다. 물론, 상기 앙상블 모형모듈(120)은 예측성능이 뛰어난 모형들 순으로 상기 K 개의 선택모형을 선택할 수도 있고, 다양한 방식의 선택이 가능할 수 있다. The ensemble model module 120 may select K dynamic transition models from among a plurality of dynamic transition models as a selection model. Of course, the ensemble model module 120 may select the K selection models in order of models having excellent predictive performance, and may select various methods.

다수의 동적전이 모형들에 대한 정보는 상기 DB(130)에 저장되어 있을 수 있다. Information about a plurality of dynamic transition models may be stored in the DB (130).

또한, 상기 DB(130)에는 상기 다수의 동적전이 모형들을 학습시키기 위한 학습 데이터, 학습결과에 따른 동적전이 모형들에 대한 정보(즉, 동적전이 모형들을 정의하기 위한 모형계수 및 오차 등), 각각의 동적전이 모형들의 성능측정결과에 대한 정보가 더 저장되어 있을 수 있다.In addition, the DB 130 includes training data for learning the plurality of dynamic transition models, information about the dynamic transition models according to the learning results (that is, model coefficients and errors for defining the dynamic transition models), respectively. More information about the performance measurement results of the dynamic transition models may be stored.

상기 동적전이 모형들은 오프라인 학습을 통해 구축된 다변량 시계열 모형일 수 있다. 즉, 각각의 동적전이 모형들이 하나의 다변량 시계열 모형으로 동작할 수 있다. The dynamic transition models may be multivariate time series models constructed through offline learning. In other words, each dynamic transition model can operate as a multivariate time series model.

상기 동적전이 모형들은 학습데이터를 통해 학습될 수 있으며, 학습의 결과를 통해 동적전이 모형을 정의하기 위한 계수들이 정의될 수 있다.The dynamic transition models may be learned through learning data, and coefficients for defining the dynamic transition model may be defined through the learning results.

상기 동적전이 모형모듈(140)은 이러한 동적전이 모형들 다수를 생성할 수 있다. 생성된 동적전이 모형들에 대한 정보 및 관련정보(예컨대, 학습데이터, 성능 등)는 상기 DB(130)에 저장될 수 있음은 물론이다.The dynamic transition model module 140 may generate a plurality of such dynamic transition models. Information about the generated dynamic transition models and related information (eg, training data, performance, etc.) may be stored in the DB 130.

상기 동적전이 모형모듈(140)은 자기 회귀 영향 부분 및 현재 시점의 독립변수(

Figure 112017129603856-pat00011
)들의 영향을 선형 결합하여 상기 동적전이 모형들을 생성할 수 있다.The dynamic transition model module 140 is an independent variable of the autoregressive influence portion and the current time point (
Figure 112017129603856-pat00011
The dynamic transition models can be generated by linearly combining the effects of

이러한 동적전이 모형들은 다음과 같은 수학식을 통해 생성될 수 있다.These dynamic transition models can be generated through the following equation.

[수학식 2][Equation 2]

Figure 112017129603856-pat00012
Figure 112017129603856-pat00012

여기서 자기회귀 영향 부분은

Figure 112017129603856-pat00013
으로 표현될 수 있다. Where the regression impact
Figure 112017129603856-pat00013
It can be expressed as.

또한 현재 시점의 독립변수(

Figure 112017129603856-pat00014
)들의 영향은
Figure 112017129603856-pat00015
로 표현될 수 있다.Also, the independent variable at this time (
Figure 112017129603856-pat00014
)
Figure 112017129603856-pat00015
It can be expressed as.

또한, Y는 종속변수, B는 후진작용소(backshift operator), d는 차분차수(difference factor), p는 자기회귀 차수(autoregressive order), I는 표시함수(indicator function)

Figure 112017129603856-pat00016
,
Figure 112017129603856-pat00017
는 자기회귀 계수(autoregression coefficient),
Figure 112017129603856-pat00018
는 회귀모델 상수,
Figure 112017129603856-pat00019
는 독립변수에 대한 1차 회귀 계수(simple linear regression coefficient),
Figure 112017129603856-pat00020
는 오차, m은 독립변수의 개수를 의미할 수 있다.Also, Y is the dependent variable, B is the backshift operator, d is the difference factor, p is the autoregressive order, and I is the indicator function.
Figure 112017129603856-pat00016
,
Figure 112017129603856-pat00017
Is the autoregression coefficient,
Figure 112017129603856-pat00018
Is the regression model constant,
Figure 112017129603856-pat00019
Is the linear linear regression coefficient for the independent variable,
Figure 112017129603856-pat00020
Is an error, and m may mean the number of independent variables.

일 실시 예에 의하면, 도 3에 도시된 바와 같은 데이터가 학습 데이터가 될 수 있다. According to an embodiment, the data as shown in FIG. 3 may be learning data.

도 3은 본 발명의 일 실시 예에 따른 학습데이터의 일 예를 나타내며, 이러한 학습데이터는 애플리케이션 성능관리 솔루션에 이용되는 학습데이터일 수 있다.3 illustrates an example of learning data according to an embodiment of the present invention, and the learning data may be learning data used in an application performance management solution.

도 3에 도시된 바와 같이 학습데이터 중 응답속도(response)가 종속변수 Y가 될 수 있고, 나머지 변수들(예컨대, Totla_mem, Free_mem, Used_mem, Usage, sys_cpu, user_cpu, count, http, javad, jdbc)이 모두 독립변수(x)가 될 수 있다. 따라서 이러한 학습데이터들을 이용해 상기 독립변수들이 어떤 값을 각각 가지면서 시계열적으로 변화될 때 상기 응답속도를 예측하기 위한 것이 본 발명의 기술적 사상에 따른 동적전이 앙상블 모형일 수 있다.As shown in FIG. 3, the response speed of the learning data may be the dependent variable Y, and the remaining variables (eg, Totla_mem, Free_mem, Used_mem, Usage, sys_cpu, user_cpu, count, http, javad, and jdbc). All of these can be independent variables (x). Therefore, the dynamic transition ensemble model according to the technical idea of the present invention may be used to predict the response speed when the independent variables have a certain value and change in time series using the learning data.

상기 동적전이 모형모듈(140)은 수학식 2를 이용하여 다수의 동적전이 모형을 생성할 수 있다. The dynamic transition model module 140 may generate a plurality of dynamic transition models using Equation 2.

예컨대, 상기 동적전이 모형모듈(140)은,For example, the dynamic transition model module 140,

[수학식 3][Equation 3]

Figure 112017129603856-pat00021
Figure 112017129603856-pat00021

개(여기서, q는 독립변수 선택개수)의 동적전이 모형들을 생성할 수 있다.We can generate dynamic transition models, where q is the number of independent variable choices.

즉, 가능한 자기회귀 차수(p)와 가능한 차분차수(d) 및 종속변수에 영향을 미치는 독립변수 개수 q개일 경우, 가능한 서로 다른 모든 수학식 2의 개수가 수학식 3일 수 있다. 여기서

Figure 112017129603856-pat00022
는 독립변수가 q개인 경우 전체 독립변수의 개수(m) 중에서 서로 다른 1개를 뽑을 수 있는 조합의 수부터 서로 다른 q개까지 뽑을 수 있는 조합의 수를 의미할 수 있다. 즉, [수학식 3]은 종속변수에 영향을 미치는 독립변수가 q개 이하라고 가정할 경우, 생성될 수 있는 모든 서로 다른 수학식 2의 개수가 될 수 있다.That is, when the number of independent variables affecting the possible autoregression order p, the possible difference order d, and the dependent variable, all possible equations 2 may be equation 3. here
Figure 112017129603856-pat00022
When q is an independent variable, it may mean the number of combinations from which the number of combinations from which one can be extracted from the total number of independent variables (m) to q different from each other is determined. That is, Equation 3 may be the number of all the different equations 2 that can be generated, assuming that q or less independent variables affecting the dependent variable.

이처럼 다수 개(예컨대, 수학식 3의 개수)의 서로 다른 동적전이 모형들이 생성되고 학습되면 학습된 동적전이 모형은 각각 상기 DB(130)에 저장될 수 있다.As described above, when a plurality of different dynamic transition models are generated and learned, the learned dynamic transition models may be stored in the DB 130.

일 실시 예에 의하면, 상기 동적전이 모형모듈(140)은 학습데이터들(예컨대, 4000개) 중 일부(예컨대, 3000개)를 이용하여 동적전이 모형을 생성하고, 나머지 일부(예컨대, 1000개)를 이용하여 생성한 동적전이 모형을 업데이트할 수 있다. 그리고 각각의 모형의 성능을 평가할 수 있는 소정의 측정치(예컨대, RMSE : Root Meas Square Error)를 상기 DB(130)에 같이 저장할 수도 있다.According to an embodiment of the present disclosure, the dynamic transition model module 140 generates a dynamic transition model using some of the training data (eg, 4000) (eg, 3000), and generates a remaining portion (eg, 1000). You can update the generated dynamic transition model using. In addition, a predetermined measurement (eg, root meas square error) that may evaluate the performance of each model may be stored together in the DB 130.

예컨대, 도 5에 도시된 데이터는 성능측정치(예컨대, RMSE)를 기준으로 높은순으로 정렬한 동적전이 모형의 식별번호들을 나타내고 있다. 즉, 1628번째 동적전이 모형이 가장 높은 성능측정치(예컨대, 0.3679042)를 가짐을 의미할 수 있다.For example, the data shown in FIG. 5 shows the identification numbers of the dynamic transition model sorted in ascending order based on a performance measure (eg, RMSE). That is, it may mean that the 1628 th dynamic transition model has the highest performance measurement (eg, 0.3679042).

그러면 상기 앙상블 모형모듈(120)은 상기 DB(130)에 저장된 서로 다른 동적전이 모형들 중 소정의 개수(예컨대, K개)를 동적전이 앙상블 모형에 이용할 모형 즉, 선택모형으로 선택할 수 있다. 물론 상기 앙상블 모형모듈(120)은 각각의 동적전이 모형의 성능평가결과가 좋은 순으로 K개의 동적전이 모형을 선택모형을 선택할 수 있다. 여기서 K 개는 임의로 선택될 수도 있고, 다수의 반복 시뮬레이션을 통해 학습데이터의 개수나 기타 다양한 상황에 적합한 K개가 결정되는 과정을 거칠 수도 있다.Then, the ensemble model module 120 may select a predetermined number (eg, K) among different dynamic transition models stored in the DB 130 as a model to be used for the dynamic transition ensemble model, that is, a selection model. Of course, the ensemble model module 120 may select a selection model of K dynamic transition models in order of good performance evaluation results of each dynamic transition model. Here, the K pieces may be arbitrarily selected, or the K pieces suitable for the number of learning data or other various situations may be determined through a plurality of iterative simulations.

그러면 상기 앙상블 모형모듈(120)에 의해 정의되는 동적전이 앙상블 모형은 전술한 수학식 1과 같을 수 있다.Then, the dynamic transition ensemble model defined by the ensemble model module 120 may be the same as Equation 1 described above.

이처럼 동적전이 앙상블 모형이 정의되면, 상기 제어모듈(110)은 실시간 데이터를 입력받아 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 및/또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행할 수 있다. 즉, 앙상블 모형이 동적전이가 되면서 실시간으로 시계열적 예측을 수행할 수 있다. As such, when the dynamic transition ensemble model is defined, the control module 110 receives real-time data and updates the weight of each of the selection models included in the dynamic transition ensemble model and / or model coefficients of each of the selection models. Predictions can be performed in real time. In other words, as the ensemble model becomes a dynamic transition, time series prediction can be performed in real time.

상기 제어모듈(110)이 선택모형들 각각의 가중치를 업데이트한다고 함은, 실시간으로 각각의 선택모형들의 영향력 또는 성능이 동적전이 됨을 의미할 수 있다. 또한 선택모형들 각각의 모형계수(예컨대,

Figure 112017129603856-pat00023
Figure 112017129603856-pat00024
등)는 선택모형을 정의하는 파라미터 자체가 실시간으로 동적 전이됨을 의미할 수 있다. The updating of the weight of each of the selection models by the control module 110 may mean that the influence or performance of each selection model is dynamic. In addition, the model coefficients of each of the selection models (eg,
Figure 112017129603856-pat00023
Figure 112017129603856-pat00024
Etc.) may mean that the parameter itself defining the selection model is dynamically transitioned in real time.

이처럼 상기 제어모듈(110)은 실시간 데이터가 입력됨에 따라 실시간으로 동적전이하면서 동적전이 앙상블 모형을 업데이트하여 예측성능을 향상시키는 효과가 있다.As such, the control module 110 updates the dynamic transition ensemble model in real time as the real time data is input, thereby improving the predictive performance.

상기 제어모듈(110)은 다음과 같은 수학식을 이용하여 선택모형들 각각의 가중치를 업데이트할 수 있다.The control module 110 may update the weight of each of the selection models by using the following equation.

[수학식 4][Equation 4]

Figure 112017129603856-pat00025
Figure 112017129603856-pat00025

여기서

Figure 112017129603856-pat00026
는 동적전이 모형에 의해 예측된 예측값을 의미할 수 있으며, 수학식 4의 왼쪽 식은 현재 시점의 다음시점부터 예측하고자 하는 시간 타임 개수(T)까지의 실제 데이터(
Figure 112017129603856-pat00027
)와 예측값(
Figure 112017129603856-pat00028
)의 차이의 제곱의 합에 반비례하여 해당 동적전이 모형의 가중치가 연산됨을 의미할 수 있다. 또한 수학식 4의 오른쪽 식은 선택모형들 각각의 가중치의 합은 1이 됨을 의미할 수 있으며 각각의 가중치는 전체 가중치의 합에서 차지하는 해당 가중치의 비율을 나타냄을 의미할 수 있다.here
Figure 112017129603856-pat00026
May represent the predicted value predicted by the dynamic transition model, and the left formula of Equation 4 represents actual data (T) from the next time point to the current time point to be predicted.
Figure 112017129603856-pat00027
) And the predicted value (
Figure 112017129603856-pat00028
Inversely proportional to the sum of the squares of the difference of), it may mean that the weight of the dynamic transition model is calculated. In addition, the right expression of Equation 4 may mean that the sum of the weights of each of the selection models is 1, and each weight may represent the ratio of the corresponding weights to the sum of the total weights.

한편, 상기 제어모듈(110)은 상기 선택모형들 각각의 모형계수를 업데이트할 수 있으며, 이때에는 널리 알려진 바와 같이 미리 정해진 윈도 사이즈를 이용하여 전진 업데이트를 하면서 RLS(Recursive Least Square)방법을 통해 상기 선택 모형 들 각각의 모형 계수를 업데이트할 수 있다.On the other hand, the control module 110 may update the model coefficients of each of the selection models, in this case, as is well known by performing a forward update using a predetermined window size through the Recursive Least Square (RLS) method You can update the model coefficients for each of the selected models.

한편, 상기 제어모듈(110)은 수학식 5에 의하면, 현재 시점의 바로 다음 시점을 예측하는 경우라고 하면, 현재 시점 t에서는

Figure 112017129603856-pat00029
을 이용하여 해당
Figure 112017129603856-pat00030
번째 선택모형의 가중치를 구해야하지만 온라인(실시간)으로 순차적으로 데이터가 입력되는 상황이므로
Figure 112017129603856-pat00031
이 존재하지 않게 된다. 따라서 이때에는 (t-1)의 시점에서의 오차 즉,
Figure 112017129603856-pat00032
를 이용하여 가중치
Figure 112017129603856-pat00033
를 구할 수도 있다.On the other hand, according to Equation 5, the control module 110 is a case of predicting the immediately next time point of the current time point,
Figure 112017129603856-pat00029
Using
Figure 112017129603856-pat00030
The weight of the first selection model needs to be calculated, but since the data is sequentially entered online (real time)
Figure 112017129603856-pat00031
This will not exist. Therefore, at this time, the error at the time of (t-1),
Figure 112017129603856-pat00032
Weight using
Figure 112017129603856-pat00033
You can also get

마찬가지로 현재 시점이 t일 경우, 그 이후의 시점의 가중치(예컨대, t+n)은 (t-n)의 시점에서의 오차인

Figure 112017129603856-pat00034
를 이용하여 가중치
Figure 112017129603856-pat00035
를 구할 수도 있다.Similarly, if the current view is t, then the weight of the subsequent view (e.g., t + n) is the error at the view of (tn)
Figure 112017129603856-pat00034
Weight using
Figure 112017129603856-pat00035
You can also get

이러한 본 발명의 기술적 사상에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법을 정리하면 도 2와 같을 수 있다.The real-time multivariate time series prediction method through the dynamic transition ensemble model according to the technical idea of the present invention may be as shown in FIG. 2.

도 2는 본 발명의 일실시 예에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법을 구현하기 위한 개략적인 플로우 차트를 나타낸다.2 is a schematic flowchart for implementing a real-time multivariate time series prediction method using a dynamic transition ensemble model according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 기술적 사상에 따른 예측시스템(100)은 학습데이터를 입력받아 오프라인에서 학습을 수행할 수 있다(S100, S110). Referring to FIG. 2, the prediction system 100 according to the technical spirit of the present invention may receive learning data and perform learning offline (S100 and S110).

그 결과 전술한 바와 같이 복수 개(예컨대, 수학식 3)의 동적전이 모형들이 생성될 수 있다(S120). 각각의 동적전이 모형은 수학식 2에 의해 정의될 수 있다.As a result, as described above, a plurality of dynamic transition models (eg, Equation 3) may be generated (S120). Each dynamic transition model may be defined by Equation 2.

그러면 상기 예측시스템(100)은 복수 개의 동적전이 모형들 중 K개를 선택하여 동적전이 앙상블 모형을 구축할 수 있다(S130). 구축되는 동적전이 앙상블 모형은 수학식 1과 같을 수 있다. Then, the prediction system 100 may build a dynamic transition ensemble model by selecting K of the plurality of dynamic transition models (S130). The dynamic transition ensemble model constructed may be the same as Equation 1.

그러면 상기 예측시스템(100)은 실시간으로(온라인) 입력데이터를 획득하고(S140), 이에 따라 실시간으로 각각의 선택모형의 가중치 및/또는 모형계수를 업데이트하면서 예측을 수행할 수 있다(S150).Then, the prediction system 100 may obtain input data in real time (online) (S140), and thus perform prediction while updating weights and / or model coefficients of each selection model in real time (S150).

이러한 본원발명의 기술적 사상에 따른 실시 예는 도 3 내지 도 7을 참조하여 설명하도록 한다.An embodiment according to the spirit of the present invention will be described with reference to FIGS. 3 to 7.

도 3은 및 도 4는 본 발명의 일 실시 예에 따른 학습 데이터의 실시 예를 나타내는 도면이고, 도 5는 본 발명의 실시 예에 따라 복수의 동적전이 모형들 중에서 선택된 선택모형의 예시를 나타내며, 도 6은 본 발명의 실시 예에 따른 앙상블 모형에서의 선택모형들 각각의 가중치 변화를 나타내고, 도 7은 본 발명의 기술적 사상에 따른 예측결과를 나타내는 도면이다.3 and 4 are views showing an embodiment of training data according to an embodiment of the present invention, Figure 5 shows an example of a selection model selected from a plurality of dynamic transition models according to an embodiment of the present invention, 6 is a view showing a weight change of each of the selection models in the ensemble model according to an embodiment of the present invention, and FIG. 7 is a diagram showing a prediction result according to the technical spirit of the present invention.

본 발명의 실시 예에 따르면 도 3에 도시된 바와 같은 종류의 학습데이터를 이용하여 전술한 바와 같이 애플리케이션의 선능관리 솔루션에 적용하기 위한 예측을 수행하였다. 이때 예측하고자 하는 종속변수는 응답속도이다.According to an exemplary embodiment of the present invention, prediction is applied to the application management solution of the application as described above using the type of learning data as shown in FIG. 3. The dependent variable to be predicted is the response speed.

실제 학습데이터는 4000개를 사용하였고, 이렇게 사용된 학습데이터는 도 4에 도시된 바와 같다.4000 pieces of actual learning data were used, and the learning data used in this way is shown in FIG. 4.

이러한 4000개의 학습데이터들 중 상기 예측시스템(100)은 3000개의 학습데이터를 이용하여 다수의 동적전이 모형들을 구축하였고, 나머지 1000개의 학습데이터를 이용하여 각각의 동적전이 모형들을 업데이트하였다.Of these 4000 training data, the prediction system 100 constructed a plurality of dynamic transition models using 3000 training data, and updated each dynamic transition model using the remaining 1000 training data.

그리고 도 5에 도시된 바와 같이 각각의 동적전이 모형들의 성능치(예컨대, RMSE)를 이용하여 K(예컨대, 40개)개의 선택모형을 선택하였다. 도 5에서는 t+6의 예측성능에 따라 선택된 선택모형과 해당 선택모형의 성능치를 나타낸다.As shown in FIG. 5, K (eg, 40) selection models were selected using the performance values (eg, RMSE) of the respective dynamic transition models. 5 shows a selection model selected according to the predictive performance of t + 6 and performance values of the selection model.

그리고 선택된 K개의 선택모형을 이용한 동적전이 앙상블 모형을 정의하고, 이를 이용하여 가중치와 모형계수들을 업데이트하면서 예측을 수행하였다.We then defined a dynamic transition ensemble model using the selected K selection models and performed predictions by updating the weights and model coefficients.

온라인에서 초기 실시간 데이터 200개가 들어온 시점 이후부터 예측을 시작하였고, 그 결과 도 6에서와 같이 K개(40개)의 선택모형의 가중치가 변화되는 것을 확인할 수 있었다.Prediction was started after the initial 200 real-time data entered online, and as a result, as shown in FIG. 6, the weights of the K (40) selection models were changed.

또한 도 7은 위와 같은 환경에서 t+6의 예측결과를 나타내는데, 검은 실선이 실제 데이터이고 붉은 실선이 본 발명의 실시 예에 따른 동적전이 앙상블 모형을 통한 예측치를 나타낸다. 그리고 도 7에 도시된 바와 같이 상대적으로 우수한 예측성능이 발휘됨을 알 수 있다.In addition, Figure 7 shows the prediction result of t + 6 in the above environment, the solid black line is the actual data and the red solid line represents the prediction value through the dynamic transition ensemble model according to an embodiment of the present invention. And as shown in Figure 7 it can be seen that relatively excellent predictive performance is exhibited.

본 발명의 기술적 사상에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은 다양한 데이터베이스나 서버에서 발생하는 로그 데이터나 성능 데이터 등과 같이 서버 네트워크 시스템에서 발생하는 실시간 다변량 시계열 데이터를 이용해서 분석, 예측이 필요한 산업에서 적용이 가능할 수 있다. 또한 적절한 임계치를 설정할 수 있는 경우 이상치 탐지 분야에도 적용이 가능하며, 의료 산업에서 발생하는 데이터를 이용해 질병을 판단하거나, 네트워크 상의 침입 탐지와 같은 분야에도 적용 될 수도 있다.The real-time multivariate time series prediction method using the dynamic transition ensemble model according to the technical concept of the present invention is analyzed and predicted using real-time multivariate time series data generated in a server network system such as log data or performance data generated in various databases or servers. It may be applicable in the industry required. In addition, if an appropriate threshold value can be set, it can be applied to an anomaly detection field, and may be applied to an area such as an intrusion detection on a network or a disease determination using data generated in the medical industry.

한편, 본 발명의 실시 예에 따른 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the real-time multivariate time series prediction method using the dynamic transition ensemble model according to an embodiment of the present invention may be implemented in a computer-readable program command form and stored in a computer-readable recording medium. The control program and the target program according to the present invention can also be stored in a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored.

기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.The program instructions recorded on the recording medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the software art.

컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, floppy disks, and the like. Included are hardware devices specifically configured to store and execute the same magneto-optical media and program instructions such as ROM, RAM, flash memory, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Examples of program instructions include not only machine code generated by a compiler, but also devices that process information electronically using an interpreter, for example, high-level language code that can be executed by a computer.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.The foregoing description of the present invention is intended for illustration, and it will be understood by those skilled in the art that the present invention may be easily modified in other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included in the scope of the present invention. .

Claims (15)

실시간 다변량 시계열 예측시스템이 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하는 단계;
상기 실시간 다변량 시계열 예측시스템이 실시간 데이터를 입력받아 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 예측을 수행하는 단계를 포함하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
Selecting, by the real-time multivariate time series prediction system, a predetermined number of the plurality of dynamic transition models to define a dynamic transition ensemble model based on the selected selection models;
The real-time multivariate time series prediction system receives real-time data and performs prediction while updating the weight of each of the selection models included in the dynamic transition ensemble model or the model coefficient of each of the selection models. Real-time Multivariate Time Series Prediction Using Models.
제1항에 있어서, 상기 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법은,
상기 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 상기 복수의 동적전이 모형들을 생성하는 단계를 더 포함하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
The method of claim 1, wherein the real-time multivariate time series prediction method using the dynamic transition ensemble model comprises:
And generating, by the real-time multivariate time series prediction system, the plurality of dynamic transition models through training data.
제2항에 있어서, 상기 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 복수의 동적전이 모형들을 생성하는 단계는,
종속변수 Y에 대해 상기 종속변수 Y의 자기 회귀 영향과 현재 시점의 독립변수 x들의 영향을 선형 결합하여 상기 동적전이 모형들을 생성하는 단계를 포함하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
The method of claim 2, wherein the real-time multivariate time series prediction system generates a plurality of dynamic transition models through training data,
And generating the dynamic transition models by linearly combining the autoregressive influence of the dependent variable Y and the influence of the independent variable x of the current time point on the dependent variable Y. The multivariate time series prediction method using the dynamic transition ensemble model.
제3항에 있어서, 상기 동적전이 모형들은 다음의 수식에 의해 생성되는 것인 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
[수학식]
Figure 112019503455747-pat00036

여기서 Y는 종속변수, B는 backshift operator, d는 차분차수(difference factor), p는 자기회귀차수, I는 표시함수,
Figure 112019503455747-pat00037
는 자기회귀계수,
Figure 112019503455747-pat00038
는 회귀모델 상수,
Figure 112019503455747-pat00039
는 독립변수 x에 대한 1차 회귀계수,
Figure 112019503455747-pat00040
는 오차항, m은 독립변수의 개수를 나타낸다.
4. The method of claim 3, wherein the dynamic transition models are generated by the following equation.
[Equation]
Figure 112019503455747-pat00036

Where Y is the dependent variable, B is the backshift operator, d is the difference factor, p is the autoregressive order, I is the display function,
Figure 112019503455747-pat00037
Is the autoregressive coefficient,
Figure 112019503455747-pat00038
Is the regression model constant,
Figure 112019503455747-pat00039
Is the first-order regression coefficient for the independent variable x,
Figure 112019503455747-pat00040
Is the error term and m is the number of independent variables.
제4항에 있어서, 상기 실시간 다변량 시계열 예측시스템이 학습데이터를 통해 상기 복수의 동적전이 모형들을 생성하는 단계는,
Figure 112017129603856-pat00041
개(여기서, q는 독립변수 선택개수)의 동적전이 모형들을 생성하는 것을 특징으로 하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
The method of claim 4, wherein the real-time multivariate time series prediction system generates the plurality of dynamic transition models through training data,
Figure 112017129603856-pat00041
A method for predicting real-time multivariate time series using a dynamic transition ensemble model, wherein the dynamic transition models are generated, wherein q is an independent variable selection number.
제1항에 있어서, 상기 실시간 다변량 시계열 예측시스템이 생성된 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하는 단계는,
상기 복수의 동적전이 모형들 중에서 예측성능이 뛰어난 K개를 상기 선택 모형들로 뽑는 것을 특징으로 하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
The method of claim 1, wherein the real-time multivariate time series prediction system selects a predetermined number of the generated dynamic transition models to define a dynamic transition ensemble model based on the selected selection models.
Real-time multivariate time series prediction method using the dynamic transition ensemble model, characterized in that the K of the predictive performance of the plurality of dynamic transition models are selected as the selection models.
제1항에 있어서, 상기 동적전이 앙상블 모형은 다음과 같은 수식에 의해 정의되는 것을 특징으로 하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
Figure 112017129603856-pat00042

여기서 w는 각각의 선택모형들의 가중치.
The method of claim 1, wherein the dynamic transition ensemble model is defined by the following equation.
Figure 112017129603856-pat00042

Where w is the weight of each selection model.
제1항에 있어서, 상기 실시간 다변량 시계열 예측시스템이 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계는,
다음의 수학식을 이용하여 상기 가중치를 업데이트하는 것을 특징으로 하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
Figure 112017129603856-pat00043

The method of claim 1, wherein the real-time multivariate time series prediction system performs prediction in real time while updating weights of each of the selection models included in the dynamic transition ensemble model or model coefficients of each of the selection models.
Real-time multivariate time series prediction method using a dynamic transition ensemble model, characterized in that for updating the weight using the following equation.
Figure 112017129603856-pat00043

제1항에 있어서, 상기 실시간 다변량 시계열 예측시스템이 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계는,
미리 정해진 윈도 사이즈를 이용하여 전진 업데이트를 하면서 RLS방법을 통해 상기 선택 모형들 각각의 모형 계수를 업데이트하는 것을 특징으로 하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
The method of claim 1, wherein the real-time multivariate time series prediction system performs prediction in real time while updating weights of each of the selection models included in the dynamic transition ensemble model or model coefficients of each of the selection models.
A real-time multivariate time series prediction method using a dynamic transition ensemble model, wherein the model coefficients of each of the selected models are updated through an RLS method while performing a forward update using a predetermined window size.
제1항에 있어서, 상기 실시간 다변량 시계열 예측시스템이 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 실시간으로 예측을 수행하는 단계는,
현재 시점 t에서는 이전 시점인 (t-1)에서의 예측한 오차를 이용하여 가중치를 구하는 것을 특징으로 하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
The method of claim 1, wherein the real-time multivariate time series prediction system performs prediction in real time while updating weights of each of the selection models included in the dynamic transition ensemble model or model coefficients of each of the selection models.
A real-time multivariate time series prediction method using a dynamic transition ensemble model, wherein a weight is obtained using a predicted error at a current time t at a current time t.
실시간 다변량 시계열 예측시스템이 학습데이터를 통해 복수의 동적전이 모형들을 생성하는 단계;
상기 실시간 다변량 시계열 예측시스템이 생성한 상기 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 이용하여, 실시간 데이터를 입력받아 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 예측을 수행하는 단계를 포함하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측방법.
Generating, by the real-time multivariate time series prediction system, a plurality of dynamic transition models through the training data;
The real-time multivariate time series prediction system receives real-time data using a dynamic transition ensemble model based on selection models selected from a plurality of dynamic transition models generated by the real-time multivariate time series prediction system. A method for predicting real-time multivariate time series using a dynamic transition ensemble model, comprising performing prediction while updating model coefficients of each of the selected models.
데이터 처리장치에 설치되며 제1항 내지 제11항 중 어느 한 항에 기재된 방법을 수행하기 위한 기록매체에 기록된 컴퓨터 프로그램.
A computer program installed in a data processing apparatus and recorded on a recording medium for performing the method according to any one of claims 1 to 11.
복수의 동적전이 모형들 각각에 대한 정보가 저장되는 DB;
상기 복수의 동적전이 모형들 중 소정 개수를 선택하여 선택된 선택 모형들에 기초한 동적전이 앙상블 모형을 정의하기 위한 앙상블 모형모듈;
실시간 데이터를 입력받아 상기 동적전이 앙상블 모형에 포함된 상기 선택 모형들 각각의 가중치 또는 상기 선택 모형들 각각의 모형 계수를 업데이트하면서 예측을 수행하기 위한 제어모듈을 포함하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템.
A DB for storing information about each of the plurality of dynamic transition models;
An ensemble model module for selecting a predetermined number of the plurality of dynamic transition models to define a dynamic transition ensemble model based on selected models;
Real-time multivariate through the dynamic transition ensemble model, which receives a real-time data and includes a control module for performing prediction while updating weights of each of the selection models included in the dynamic transition ensemble model or model coefficients of each of the selection models. Time series prediction system.
제13항에 있어서, 상기 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템은,
학습데이터를 통하여 학습을 수행하여 상기 복수의 동적전이 모형들을 생성하는 동적전이 모형모듈을 더 포함하는 동적전이 앙상블 모형을 통한 실시간 다변량 시계열 예측시스템.
The system of claim 13, wherein the real-time multivariate time series prediction system using the dynamic transition ensemble model comprises:
Real-time multivariate time series prediction system through a dynamic transition ensemble model further comprising a dynamic transition model module for performing the learning through the training data to generate the plurality of dynamic transition models.
프로세서; 및
상기 프로세서에 의하여 실행되는 컴퓨터 프로그램을 저장하는 메모리를 포함하며,
상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 수행하도록 하는 데이터 처리장치.
A processor; And
A memory storing a computer program executed by the processor,
The computer program, when executed by the processor, to perform the method according to any one of claims 1 to 10.
KR1020170180576A 2017-12-27 2017-12-27 Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof KR102038703B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180576A KR102038703B1 (en) 2017-12-27 2017-12-27 Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180576A KR102038703B1 (en) 2017-12-27 2017-12-27 Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof

Publications (2)

Publication Number Publication Date
KR20190078850A KR20190078850A (en) 2019-07-05
KR102038703B1 true KR102038703B1 (en) 2019-11-26

Family

ID=67225030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180576A KR102038703B1 (en) 2017-12-27 2017-12-27 Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof

Country Status (1)

Country Link
KR (1) KR102038703B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823077B2 (en) 2020-08-13 2023-11-21 International Business Machines Corporation Parallelized scoring for ensemble model
KR20240039729A (en) 2022-09-20 2024-03-27 고려대학교 산학협력단 Device and method for multivariate to multivariate time series forecasting using self-attention based convolutional autoencoder and temporal convolutional network

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062792B2 (en) 2017-07-18 2021-07-13 Analytics For Life Inc. Discovering genomes to use in machine learning techniques
US11139048B2 (en) 2017-07-18 2021-10-05 Analytics For Life Inc. Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
KR102608732B1 (en) * 2021-09-06 2023-12-01 울산대학교 산학협력단 Surrogate Filter Operating method and data assimilation method using thereof

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677008B1 (en) 2015-11-20 2016-11-17 (주)엔키아 Method for Data Forecasting based on Time Series Decomposition

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100640264B1 (en) * 2002-03-02 2007-02-28 김용대 Apparatus and method for construction model of data mining using ensemble machines
KR101039717B1 (en) * 2009-07-07 2011-06-09 한국전자통신연구원 Cyber Threat Forecasting Engine System for Predicting Cyber Threats and Method for Predicting Cyber Threats Using the Same System
KR20140140361A (en) * 2013-05-29 2014-12-09 창원대학교 산학협력단 Water Quality Forecasting of the River Applying Ensemble Streamflow Prediction
KR101538306B1 (en) * 2013-11-11 2015-07-21 (주)큐버솔루션 Analogous Typhoon analysis forecast System and Analogous Typhoon analysis forecast method using Thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677008B1 (en) 2015-11-20 2016-11-17 (주)엔키아 Method for Data Forecasting based on Time Series Decomposition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823077B2 (en) 2020-08-13 2023-11-21 International Business Machines Corporation Parallelized scoring for ensemble model
KR20240039729A (en) 2022-09-20 2024-03-27 고려대학교 산학협력단 Device and method for multivariate to multivariate time series forecasting using self-attention based convolutional autoencoder and temporal convolutional network

Also Published As

Publication number Publication date
KR20190078850A (en) 2019-07-05

Similar Documents

Publication Publication Date Title
KR102038703B1 (en) Method for estimation on online multivariate time series using ensemble dynamic transfer models and system thereof
US20180349757A1 (en) Learning service providing apparatus
JP6609050B2 (en) Anomalous fusion in temporal causal graphs
US7778715B2 (en) Methods and systems for a prediction model
US9286573B2 (en) Cost-aware non-stationary online learning
Jamaludin et al. N4SID and MOESP subspace identification methods
US20140330402A1 (en) Computer Apparatus And Method using Model Structure Information of Model Predictive Control
JP6718500B2 (en) Optimization of output efficiency in production system
JPWO2018150798A1 (en) Model estimation system, method and program
CN113037577A (en) Network traffic prediction method, device and computer readable storage medium
WO2022009010A1 (en) Model fidelity monitoring and regeneration for manufacturing process decision support
KR102293791B1 (en) Electronic device, method, and computer readable medium for simulation of semiconductor device
US10248462B2 (en) Management server which constructs a request load model for an object system, load estimation method thereof and storage medium for storing program
CN108897673B (en) System capacity evaluation method and device
KR102134682B1 (en) System and method for generating prediction model for real-time time-series data
US20210133494A1 (en) Anomaly detection apparatus, anomaly detection method, and program
Palm Multiple-step-ahead prediction in control systems with Gaussian process models and TS-fuzzy models
US20230222385A1 (en) Evaluation method, evaluation apparatus, and non-transitory computer-readable recording medium storing evaluation program
KR102124425B1 (en) Method and apparatus for estimating a predicted time series data
JP7152938B2 (en) Machine learning model building device and machine learning model building method
CN113825165A (en) 5G slice network congestion early warning method and device based on time chart network
WO2023160922A1 (en) Automatically quantifying an uncertainty of a prediction provided by a trained regression model
Aguayo-Lara et al. Sensor placement for distinguishability and single structure observer design in continuous timed Petri nets
US20150212974A1 (en) Fast and automated arima model initialization
CN115860856A (en) Data processing method and device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant