KR101919076B1

KR101919076B1 - 시계열 데이터 예측 시스템

Info

Publication number: KR101919076B1
Application number: KR1020170176373A
Authority: KR
Inventors: 최영진; 최재영; 임진욱
Original assignee: (주)지오시스템리서치; 한국외국어대학교 연구산학협력단
Priority date: 2017-12-20
Filing date: 2017-12-20
Publication date: 2018-11-19

Abstract

본 발명은 딥러닝 기술을 이용하여 시계열 데이터의 미래값 및 증감 패턴을 추정하기 위한 예측시스템에 관한 것으로서, 다중 시계열 데이터 상관도 계산을 통한 다중 시계열 데이터 선택 및 활용 방법이 적용된다.

Description

시계열 데이터 예측 시스템{Time-series data predicting system}

본 발명은 딥러닝 기술을 이용하여 시계열 데이터의 미래값 및 증감 패턴을 추정하기 위한 예측시스템에 관한 것이다.

기온, 주가, 환율, 해수면 높이 등과 같이, 데이터가 시계열상에서 일정 패턴으로 변화하는 데이터를 시계열 데이터라고 하며, RNN(Recurrent Neural Network) 및 LSTM(Long short-term mempry) 딥러닝 기술을 활용하여 과거 시계열 데이터를 기반으로 미래 시계열 데이터를 예측할 수 있다.

종래의 시계열 데이터 예측 시스템은 일반적으로 1종의 데이터에 대한 단일 시계열 데이터만을 적용하고, 딥 러닝 학습이 아닌 전통적인 회귀 모델(regression mode)을 활용하는바, 시간에 따른 불규칙성이 심하고 일정한 패턴 추정이 어려운 시계열 데이터의 경우에는 예측이 부정확한 문제가 있다.

공개특허 제2017-0078256호(시계열의 데이터를 예측하는 방법 및 장치)는 대상 시계열 데이터의 클러스터를 결정하기 위한 최적의 기준 모델을 자동으로 생성하고, 상기 최적의 기준 모델을 이용하여 예측 기간의 상기 대상 시계열 데이터의 클러스터를 결정하는 방법 및 그 장치를 제공하는 바, 시계열 예측을 위한 기준모델을 구성하는 방법에 있어서 본 발명의 다중 시계열 데이터의 통합구성 및 활용 과 차이가 있다.

본 발명은 관련된 다종 데이터인 다중 시계열 데이터를 딥 러닝 예측모델의 입력으로 활용하여 양의 상관성(positive correlation)이 존재하는 시계열 데이터를 선택하여 예측성능을 극대화한 시계열 데이터 예측 시스템을 제공한다.

본 발명은 장단기 기억 네트워크(Long short-term memory, LSTM) 딥러닝 모델에 과거 시계열 데이터를 입력하여 미래 시계열 데이터를 예측하는 시계열 데이터 예측 시스템에 있어서, M개의 시계열 데이터를 입력받는 다중 시계열 데이터 입력부; 상기 다중 시계열 데이터(독립변수)와, 이로부터 예측되는 종속 시계열 데이터(종속변수) 사이의 상관도(correlation)를 계산하는 다중 시계열 데이터 상관도 계산부; 상기 독립변수와 종속변수 간에 설정된 기준값 이상의 상관도를 가지는 시계열 데이터들만을 선택하는 다중 시계열 데이터 선택부; 상기 선택된 다중 시계열 데이터들을 단일 시계열 데이터로 결합하는 다중 시계열 데이터 결합부; 상기 결합된 단일 시계열 데이터를 입력으로 하여 처리하되, 설정된 횟수(Sequence Length) 만큼 연속 수행하여 예측 시계열 데이터를 생성하는 딥 러닝 예측모델; 및 상기 예측 시계열 데이터값 또는 증감패턴을 표시하는 시각화 처리부;를 포함하는 시계열 데이터 예측 시스템을 제공한다.

본 발명에 따르면, 다중 시계열 데이터를 단일 시계열 데이터로 활용하여 딥 러닝 예측모델과 연동시킴으로써 불규칙하여 패턴 추정이 어려운 시계열 데이터에 대해서도 미래 시계열 데이터의 예측 정확성을 극대화할 수 있다.

도 1은 본 발명에 따른 시계열 데이터 예측 시스템의 구성 블록도이다.
도 2는 본 발명에 따른 다중 시계열 데이터의 단일 시계열 데이터로의 결합 개요도이다.
도 3은 본 발명에 따른 딥 러닝 예측모델의 데이터 구조 개요도이다.
도 4는 본 발명에 따른 딥 러닝 예측모델의 아키텍쳐 개요도이다.
도 5는 본 발명에 따른 시각화 표시 실시예이다.

이하에서는 도면을 참조하여 본 발명의 기술적 특징을 상세히 설명한다.

도 1은 본 발명에 따른 시계열 데이터 예측 시스템의 구성을 나타내는바, 딥러닝 예측 모델에 과거 시계열 데이터를 입력하여 미래 시계열 데이터를 예측하는 시계열 데이터 예측 시스템에 있어서, 다중 시계열 데이터 입력부(101), 다중 시계열 데이터 상관도 계산부(102), 다중 시계열 데이터 선택부(103), 다중 시계열 데이터 결합부(104), 딥 러닝 예측모델(105) 및 시각화 처리부(106)를 포함한다.

다중 시계열 데이터 입력부(101)는 M 개의 시계열 데이터(100)를 입력받는다.

M 개의 시계열 데이터(100)는 상호 관련성 있는 이종(異種)의 시계열 데이터가 M 개 있음을 의미하며, 본 발명은 이를 다중 시계열 데이터라고 한다.

다중 시계열 데이터는 각 데이터 간의 스케일(Scale) 차이가 있기 때문에, 다중 시계열 데이터를 단일 시계열 데이터로 변환하기 위해서는 다중 시계열 데이터의 입력값(x)에 대해 min-max normalization 방법(식 1)으로 정규화한다.

다중 시계열 데이터 상관도 계산부(102)는 상기 다중 시계열 데이터(독립변수)와, 이로부터 예측되는 종속 시계열 데이터(종속변수) 사이의 상관도(correlation)를 계산한다.

상관도 계산은 아래 식 2와 같은 피어슨 상관계수(Pearson correlation coefficient)를 구하는 식을 이용할 수 있으며, r 이란 X와 Y가 함께 변하는 정도를 X와 Y가 따로 변하는 정도로 나눈 값이다.

산출된 r값은 X 와 Y 가 완전히 동일하면 +1, 전혀 다르면 0, 반대방향으로 완전히 동일하면 1 을 가진다.

결정계수 (coefficient of determination) 는 r^2 로 계산하며 이것은 X 로부터 Y 를 예측할 수 있는 정도를 의미한다.

일반적으로, 피어슨 상관계수를 아래와 같이 해석한다.

r이 -1.0과 -0.7 사이이면 강한 음적 선형관계, r이 -0.7과 -0.3 사이이면 뚜렷한 음적 선형관계, r이 -0.3과 -0.1 사이이면 약한 음적 선형관계, r이 -0.1과 +0.1 사이이면 거의 무시될 수 있는 선형관계, r이 +0.1과 +0.3 사이이면 약한 양적 선형관계, r이 +0.3과 +0.7 사이이면 뚜렷한 양적 선형관계, r이 +0.7과 +1.0 사이이면 강한 양적 선형관계이다.

다중 시계열 데이터들이 있을 때, 예측에 사용되는 X1, X2 … Xn 를 독립변수, 예측되는 종속 시계열 데이터를 종속 변수라 한다.

다중 시계열 데이터 선택부(103)는 상기 해석을 기준으로 상기 독립변수와 종속변수 간에서 설정된 기준값(threshold) 이상의 상관도를 가지는 시계열 데이터들만을 선택하는바, 독립변수(X1,X2…Xn)와 종속변수의 각각의 상관도가 상기 해석 기준 중, 예를 들어, 유의미하다고 볼 수 있는 아래 기준에 포함되면 해당 변수를 선택하는 것이다.

<r이 -1.0과 -0.7 사이인, 강한 음적 선형관계, r이 -0.7과 -0.3 사이인, 뚜렷한 음적 선형관계, r이 +0.3과 +0.7 사이인, 뚜렷한 양적 선형관계, r이 +0.7과 +1.0 사이인, 강한 양적 선형관계>

다중 시계열 데이터 결합부(104)는 상기 선택된 다중 시계열 데이터들을 단일 시계열 데이터로 결합하는바, 도 2에 도시된 바와 같이, 다중 시계열 데이터들(A,B,C)을 시계열 데이터 C를 예측하기 위해 재구성된 시계열 데이터인 단일 시계열 데이터를 구성한다.

즉, A,B,C가 시계열 데이터이고, 시계열 C가 A,B 시계열을 이용하여 예측된다고 할 때, 도 2와 같이 A,B,C 3개의 시계열을 D 라는 1개의 시계열로 결합할 수 있는바, 이 방법을 이용하여 A,B만 주어지더라도 C를 예측(추론) 할 수 있다.

딥 러닝 예측모델(105)은 상기 결합된 단일 시계열 데이터를 입력으로 하여 처리하되, 설정된 횟수(Sequence Length) 만큼 연속 수행하여 예측 시계열 데이터를 생성하는 바, 장단기 기억 네트워크(Long short-term memory, LSTM)를 이용할 수 있으며, 딥 러닝 아키텍쳐의 데이터 구조는 도 3과 같은 모양(Shape)을 따라야 한다.

이를 위해서는, 시계열 데이터의 종류인 data dimension 변수와 연속실행횟수인 sequence length 변수가 설정되어야 한다.

도 4는 본 발명에 따른 딥 러닝 예측모델의 전체적인 아키텍쳐 구조의 실시예로서, 딥러닝 예측모델이 훈련되며 테스트 데이터에 대한 테스트 능력을 갖게 된다.

도 4의 모델은 data dimension = n, sequence length = 5로 설정되어, n 개의 시계열데이터가 결합한 단일 시계열 데이터(x)를 입력받아, 5회 연속 LSTM cell이 수행되며, 히든층에서 output dimension은 10으로 각 단계별 예측값(H1 ~ H5)이 출력되고 최종 예측값(Y)를 생성한다.

훈련과정에서 딥 러닝 예측모델(105)은 아래 식 3에 의해 참값(true value)과 예측값(predicted value)을 비교하여 구해진 RMSE(Root Mean Square Error)(오차(Error)를 제곱(Square)해서 평균(Mean)한 값의 제곱근(Root))값을 내부값으로 자동 변경한다.

시각화 처리부(106)는 상기 예측 시계열 데이터값 또는 증감패턴을 표시하는 바, 상기 다중 시계열 데이터 입력부(101)에 의해 스케일 정규화된 상기 다중 시계열 데이터를 원래의 스케일로 역변환(식 4)하여 사용한다.

상기 시각화 처리부(106)는 사용된 시계열데이터, 에러정도, 반복횟수 또는 딥 러닝 예측모델의 아키텍쳐 파라미터를 시각화하여 출력할 수 있으며, 도 5는 시각화 표시의 실시예를 나타낸다.

100 : 다중 시계열 데이터 101 : 다중 시계열 데이터 입력부
102 : 다중 시계열 데이터 계산부 103 : 다중 시계열 데이터 선택부
104 : 다중 시계열 데이터 결합부 105 : 딥 러닝 예측모델
106 : 시각화 처리부

Claims

딥러닝 모델에 과거 시계열 데이터를 입력하여 미래 시계열 데이터를 예측하는 시계열 데이터 예측 시스템에 있어서,
M개의 시계열 데이터를 입력받는 다중 시계열 데이터 입력부;
상기 다중 시계열 데이터(독립변수)와, 이로부터 예측되는 종속 시계열 데이터(종속변수) 사이의 상관도(correlation)를 계산하는 다중 시계열 데이터 상관도 계산부;
상기 독립변수와 종속변수 간에 설정된 기준값 이상의 상관도를 가지는 시계열 데이터들만을 선택하는 다중 시계열 데이터 선택부;
상기 선택된 다중 시계열 데이터들을 단일 시계열 데이터로 결합하는 다중 시계열 데이터 결합부;
상기 결합된 단일 시계열 데이터를 입력으로 하여 처리하되, 설정된 횟수(Sequence Length) 만큼 연속 수행하여 예측 시계열 데이터를 생성하는 딥 러닝 예측모델; 및
상기 예측 시계열 데이터값 또는 증감패턴을 표시하는 시각화 처리부;를 포함하는 시계열 데이터 예측 시스템.
제1항에 있어서,
상기 딥 러닝 예측모델은 아래 식에 의해 참값(true value)(
)과 예측값(predicted value)(
)을 비교하여 구해진 RMSE(Root Mean Square Error) 값을 내부값으로 변경하는 시계열 데이터 예측 시스템,

.
제1항에 있어서,
상기 다중 시계열 데이터 입력부는 다중 시계열 데이터 간의 스케일(Scale)을 min-max normalization 방법으로 정규화하고,
상기 시각화 처리부는 상기 다중 시계열 데이터의 원래의 스케일로 역변환하여 사용하는 시계열 데이터 예측 시스템.
제1항에 있어서,
상기 시각화 처리부는 사용된 시계열데이터, 에러정도, 반복횟수 또는 딥 러닝 예측모델의 아키텍쳐 파라미터를 시각화하여 출력하는 시계열 데이터 예측 시스템.