KR20190099811A

KR20190099811A - 순환신경망 기반 시계열 신호 예측 장치 및 방법

Info

Publication number: KR20190099811A
Application number: KR1020180019741A
Authority: KR
Inventors: 김낙우; 고석갑; 이현용; 이병탁; 이동수
Original assignee: 한국전자통신연구원
Priority date: 2018-02-20
Filing date: 2018-02-20
Publication date: 2019-08-28

Abstract

본 발명에서는 RNN기반의 시계열 예측에 있어 신호 해상도 정규화를 위한 계수 학습을 위해 GAN 모델 구조를 활용한 계수 업데이트 장치 및 방법을 제안한다. 본 발명에 따른 장치는, 다계층 시계열 신호 데이터를 각 계층별로 전처리하여 하기의 주예측부(120)에 입력하기 위한 데이터구조로 변환하는 입력처리부(110), 각 계층별 순환신경망 기반으로 구성하여 일차적인 데이터 예측을 하는 주예측부(120), 오류값 최소화를 위한 순환신경망 구성을 기반으로 하고, 주예측부(120)와의 Loss를 최소화하기 위한 구조를 통해 하기의 신호량증감부(140)에 이전 계층에서 예측된 데이터를 전달하는 참조예측부(130), 주예측부(120)와 참조예측부(130) 간 손실(Loss)을 최소화하기 위한 심층학습망 기반으로 구성되며, 다계층 시계열 신호 중 이전 계층 신호와 다음 계층 신호간 데이터 해상도를 정규화하는 신호량증감부(140), 주예측부(120) 또는 참조예측부(130) 출력을 기반으로 데이터 예측값을 결정하는 출력처리부(150)로 구성된다.

Description

순환신경망 기반 시계열 신호 예측 장치 및 방법 {Method and apparatus for predicting time series signal using RNN}

본 발명은 심층학습을 이용한 다계층 시계열신호 예측 기법에 관한 것이다.

일반적으로 기계학습은 데이터 분석 및 학습, 이를 통한 판단 및 예측을 통해 의사결정 기준을 결정하는 것을 의미한다. 최근 이러한 기계학습의 경향으로 심층학습이 널리 활용되고 있다. 심층학습은 인공신경망을 구현하기 위한 머신러닝의 한 형태이다. 기존의 하나의 입력층과 은닉층 그리고 출력층으로 구성된 다층퍼셉트론(Multi-Layer Perceptron; MLP) 인공신경망과 달리, 심층학습을 위한 심층신경망은 보다 많은 은닉층과 각 층간 연결된 무수히 많은 계수를 가지며, 이러한 은닉층은 데이터 추상화 과정을 통해 데이터의 잠재적 구조를 파악할 수 있도록 한다. 이러한 심층신경망은 정답(Label) 유무에 따라 지도학습과 비지도학습으로 나뉘는 데, 이 중 지도학습을 위한 네트워크는 크게 시계열 데이터 학습을 위한 RNN(순환신경망) 모델과 2차원 구조의 입력데이터 인식을 위한 합성곱신경망(Convolutional Neural Network; CNN)으로 구분할 수 있다.

또한, 최근 비지도학습과 지도학습의 중간단계로 준지도학습(Semi-Supervised Learning; SSL)을 통해 적은 수의 데이터에서도 심층학습을 가능하게 하는 기술이 등장하고 있는데, 이의 대표적 기술이 생산적 적대 신경망(Generative Adversarial Network; GAN) 기술이다. GAN 모델은 구별모델과 생성모델의 정합을 통해, 구별모델 학습을 기반으로 생성모델에서 신규 생성한 데이터의 적정성 여부를 판단하는 기법이다.

기존의 심층학습 기반의 시계열 예측 방법은 일반적으로 하나의 End-to-End 학습 구조 모델로 구성되어 있다. 즉, 하나의 입력층과 다수의 은닉층 그리고 하나의 출력층으로 연결된 구조의 네트워크로 구성된 경우가 대부분이며, CNN 모델이 아닌 RNN 모델로 구성하더라도 네트워크 구조는 유사한 형상을 갖는다. 이러한 네트워크는 시계열 데이터 입력시 동일 계층에서의 정규화 데이터 입력이 요구되며, 출력 역시 동일 계층에서만 예측 가능하다는 문제가 발생한다.

기존 시계열 신호 예측 방법은 일반적인 순환신경망을 활용하거나 회귀모델, 혹은 SVR 등을 널리 사용하였으나, 이러한 기법은 출력 예측에 대한 정확도가 높지 않거나 입력 데이터와 동일 신호해상도의 단일 출력 만을 예측하는 등의 문제가 있었다. 따라서, 보다 성능이 높고, 동시에 서로 다른 시계열 신호 해상도가 입력되는 상황에서, 다른 계층에서의 입력 데이터에 대해서도 비교적 정확한 신호 예측이 가능하도록 하는 기법이 요구된다.

본 발명은 이러한 RNN 기반의 시계열 예측 기술을 보다 정교화하거나 높은 확장성을 갖도록 성능을 높이는 장치 및 방법을 제안한다. 특히, 본 발명에서는 RNN기반의 시계열 예측에 있어 신호 해상도 정규화를 위한 계수 학습을 위해 GAN 모델 구조를 활용한 계수 업데이트 장치 및 방법을 제안한다.

일련의 시계열 데이터 출력을 예측하는 기법에 있어, 종래에는 동일 단위 및 동일 계층(예; 시/일/월/년 등)을 갖는 데이터를 입력으로 받아 선형회귀모델(Linear Regression), 회귀모델(Regression Model), 지지벡터 회귀모델(Support Vector Regression; SVR) 등의 방법을 통해 데이터를 분석처리하고, 이를 통해 향후 가까운 미래의 데이터 출력을 예측하는 방법을 이용하였다. 최근에는 이러한 기존 모델과 함께 심층학습(Deep Learning) 기반의 순환신경망(Recurrent Neural Network; RNN)을 이용한 시계열 데이터 예측이 널리 활용되고 있다. RNN 모델은 기존의 방법보다 훨씬 많은 학습데이터와 대규모 학습파라미터를 기반으로 보다 정확한 출력 데이터 예측을 가능하게 한다.

본 발명은 이러한 심층학습 기반 순환신경망을 이용하여, 우선 각 계층에서의 출력 손실값을 학습하고(가령, 신경망으로 구성된 주예측부 및 참조예측부를 이용하여), 심층학습망으로 구성된 신호량증감부를 통해 상호 계층 간 신호 해상도를 정규화한 후, 이를 다음 계층의 참조예측부 입력으로 이용하여, 주예측부 출력 및 참조예측부 출력을 해당 계층에서의 출력 예측에 함께 이용함으로써, 예측 성능을 높임과 동시에, 각 계층에서의 출력 예측을 계층 간 상호 참조 예측을 기반으로 진행함으로써, 타 계층의 데이터 입력이 부재한 상황이 발생하더라도, 어느 한 계층의 데이터 입력을 기반으로 모든 계층의 출력 예측이 가능하도록 하는 시계열 신호의 다계층 출력 예측 방법을 제공한다.

구체적으로, 본 발명의 한 측면에 따르면, 순환신경망 기반으로 구성하여 일차적인 데이터 예측을 위한 주예측부, 오류값 최소화를 위한 순환신경망 구성을 기반으로 하고, 주예측부와의 Loss를 최소화하기위한 구조를 통해 하기의 신호량증감부에 이전 계층에서의 예측데이터를 전달하는 기능을 담당하는 참조예측부, 주예측부와 참조예측부 간 Loss를 최소화하기 위한 심층학습망 기반으로 다계층 시계열 신호 중 이전계층 신호와 다음계층 신호 간 데이터 해상도를 정규화하는 기능을 갖는 신호량증감부를 포함하는 순환신경망 기반 시계열 신호 예측 장치가 제공된다.

본 장치는, 상기 시계열 신호의 입력 해상도에 따른 각 계층에서의 출력 손실값을 상기 주예측부 및 참조예측부의 신경망을 통해 학습하고, 상기 신호량증감부를 통해 상호 계층 간 신호 해상도를 정규화한 후, 이를 다음 계층의 참조예측부에 입력하여, 상기 주예측부 출력 및 참조예측부 출력을 해당 계층에서의 출력 예측에 함께 이용함으로써 예측 성능을 높히는 것을 특징으로 한다.

다른 실시예에서, 본 장치에는, 각 계층별 시계열 신호 데이터를 전처리하여 주예측부 입력 데이터구조로 변환하기 위한 입력처리부가 추가로 포함될 수 있다.

또다른 실시예에서, 본 장치에는, 상기 주예측부 혹은 참조예측부 출력을 기반으로 데이터 예측값을 결정하는 출력처리부가 추가로 포함될 수 있다.

한편, 본 발명의 다른 측면에 따르면, 시계열 신호의 입력 해상도에 따른 각 계층에서의 출력 손실값을 주예측부 및 참조예측부의 신경망을 통해 학습하고, 신호량증감부를 통해 상호 계층 간 신호 해상도를 정규화한 후, 이를 다음 계층의 참조예측부에 입력하여, 주예측부 출력 및 참조예측부 출력을 해당 계층에서의 출력 예측에 함께 이용함으로써 예측 성능을 높히는, 순환신경망 기반 시계열 신호 예측 방법이 제공된다.

또한, 본 발명의 또다른 측면에 따르면, 상기 장치 및 방법을 통해 각 계층에서의 출력 예측을 계층간 상호 참조 예측을 기반으로 진행함으로써, 타 계층의 데이터 입력이 부재한 상황이 발생하더라도, 어느 한 계층의 데이터 입력을 기반으로 모든 계층의 출력 예측이 가능하도록 하는 방법이 제공된다.

이와 같이, 본 발명에 따르면, 각 계층의 주예측부와 이전 계층의 신호량증감부를 통한 정규화 신호 입력에 대한 참조예측부 출력을 서로 비교하여 그 차분에 대한 학습을 진행함으로써 기존의 심층학습 방법보다 정확한 시계열 예측 결과를 출력함과 동시에, 각 참조예측부, 주예측부, 신호량증감부가, 최초 학습된 이후로는 각 계층에서의 입력이 어느 하나만 제공되더라도 타 계층의 출력 예측을 모두 제공할 수 있는 모델을 구성하도록 할 수 있다.

본 발명은 정규화된 동일 신호 해상도의 출력 예측에 한정된 종래의 시계열 신호 예측 기법과 달리, 주예측부(120) 및 참조예측부(130)의 두 신경망 출력을 비교하여 이를 예측에 이용함으로써 예측 성능을 높임과 동시에, 신호량증감부를 통해 정규화된 각 계층에서의 출력 예측을 계층 간 상호 참조 예측을 기반으로 진행함으로써, 타 계층의 데이터 입력이 부재한 상황이 발생하더라도, 어느 한 계층의 데이터 입력을 기반으로 모든 계층의 출력 예측이 가능하도록 하는 효과가 있다.

일례로 본 발명의 시계열 신호 예측 기법을 전력예측 학습모델에 적용할 경우, 시/일/월/년 등 다양한 시간영역에 걸친 전력생산량, 전력수요량, 전력가격 등의 예측 모델에 활용할 수 있으며, 이를 포괄한 전력최적운용 예측모델, 전력장치나 전력시설에서 관측된 센싱 데이터를 기반으로 한 고장예지진단, 수명예측 등, 에너지 분야의 핵심기술로 활용이 가능하다. 이 외에도, 대표적 시계열 신호인 주가 예측, 현물시장 예측, 보험상품 평가, 교통운영 시스템 예측 등 폭넓은 분야의 핵심 기술에 활용이 가능하다.

도 1은 발명의 한 실시예에 따른 순환신경망 기반 시계열 신호 예측 장치(10)의 구성도
도 2와 도 3은 순환신경망 기반 시계열 신호 예측의 동작 설명도로, 도 2는 신호량감쇠기(141)가 이용된 경우, 도 3은 신호량증강기(142)가 이용된 경우의 설명도
도 4와 도 5는 신호량증감부(140)의 계수 선학습 기법의 예시도로, 도 4는 신호량감쇠기(141)의 계수 선학습 기법의 예, 도 5는 동일 구조에서 신호량증강기(142)의 계수 선학습 기법의 예
도 6과 도 7은 순환신경망 기반 시계열 신호의 다계층 예측 기법 순서도로, 도 6은 각 계층의 참조예측부(130) 및 신호량감쇠기(141)가 도 2와 도 4의 과정을 통해 학습되어 있을 경우, 도 7은 도 6과 유사하나 입력신호의 해상도에 따른 출력이 다른 경우의 예
도 8은 순환신경망 기반 전력최적운용 예측모델 구성시에 본 발명의 기법을 적용한 실시예
도 9는 본 발명의 기법을 적용하여 신재생에너지장치 xEMS 데이터 분석 서버를 구성하는 실시예

도 1은 발명의 한 실시형태에 따른 순환신경망 기반 시계열 신호 예측 장치(10)의 구성도이다. 구성요소는 다음과 같다.

다계층 시계열 신호 데이터를 각 계층별로 전처리하여 하기의 주예측부(120)에 입력하기 위한 데이터구조로 변환하는 입력처리부(110),

각 계층별 순환신경망 기반으로 구성하여 일차적인 데이터 예측을 하는 주예측부(120),

오류값 최소화를 위한 순환신경망 구성을 기반으로 하고, 주예측부(120)와의 Loss를 최소화하기 위한 구조를 통해 하기의 신호량증감부(140)에 이전 계층에서 예측된 데이터를 전달하는 참조예측부(130),

주예측부(120)와 참조예측부(130) 간 손실(Loss)을 최소화하기 위한 심층학습망 기반으로 구성되며, 다계층 시계열 신호 중 이전 계층 신호와 다음 계층 신호간 데이터 해상도를 정규화하는 신호량증감부(140) - 신호량증감부(140)에는 신호량감쇠기(141), 신호량증강기(142), 유효성검증기(143)가 포함됨,

주예측부(120) 또는 참조예측부(130) 출력을 기반으로 데이터 예측값을 결정하는 출력처리부(150)로 구성된다.

도 2와 도 3은 본 발명의 한 실시형태에 따른, 시계열 신호의 순환신경망 기반 예측의 동작 설명도이다.

먼저, 도 2에서 i번째(i^th) 계층의 월단위 입력 신호 데이터(입력(월) 데이터)는 순환신경망 기반으로 구성된 주예측부(120)로 입력된다. 이에 주예측부(120)는 순환신경망 학습을 통해 입력 신호 데이터의 예측 결과를 출력한다.

여기서 계층은 신호데이터의 해상도 차이에 따라 나뉘는데, 본 실시형태의 예에서는 일/월/년 단위의 신호 구분으로 계층을 나눈다. 즉, 월 신호 데이터는 일 신호데이터의 1/30 신호 해상도에 해당하며, 년 신호데이터는 월 신호 데이터의 1/12 신호 해상도에 해당한다.

한편, 이전의 (i―1)번째 계층의 신호량증감부(140)를 통해(정확하게는, (i―1)번째 계층의 신호량증감부(140)의 신호량감쇠기(141)를 통해) i번째 계층의 참조예측부(130)로 입력된 월단위 신규 생성 신호 데이터는 순환신경망 기반으로 구성된 i번째 계층의 참조예측부(130)에서의 순환신경망 학습을 통해 예측되어 출력된다. i번째 계층의 주예측부(120)와 참조예측부(130) 간의 Loss는 (i―1)번째 계층의 신호량감쇠기(141)의 학습에 이용된다.

여기서, 주예측부(120)의 학습은 비용값(정답과 예측값의 차분)을 최소화하는 방향으로 진행되며, 참조예측부(130)의 학습은 오류값(주예측부(120)의 예측값과 참조예측부(130)의 예측값의 차분)을 최소화하는 방향으로 진행된다. i번째 계층의 출력값(즉, 출력(월))은 다음 월의 신호 예측값이 될 것이다. i번째 계층의 참조예측부(130)에서 i번째 계층의 신호량감쇠기(141)로 전달되는 데이터의 크기는 입력 데이터의 크기와 같다. 예를 들어, 입력(월) 데이터가 지난 1년간의 월 데이터의 배치값이라면, 신호량감쇠기(141에 대한의 입력 또한 같은 배치값을 갖는다. 다만, i번째 계층의 신호량감쇠기(141)의 출력은 다음 (i+1)번째 계층의 입력(년) 데이터 배치값과 같은 신호를 갖도록 정규화된 데이터를 신규 생성한다.

도 2가 (i―1)번째 계층에서 i번째 계층 및 (i+1)번째 계층으로 점차 입력 신호량을 감소시키는 형태의 시계열 신호 예측 구조인 반면에, 도 3은 반대로, (i―1)번째 계층에서 i번째와 (i+1)번째 계층으로 점차 입력 신호량을 증강시키는 형태의 구조이다. 따라서 도 3에서는 신호량감쇠기(141) 대신 신호량증강기(142)가 이용되며 입력데이터 크기에 따른 계층 또한 도 2와 반대 방향을 갖는다.

도 4와 도 5는 신호량증감부(140)의 신호량감쇠기(141) 및 신호량증강기(142)의 계수를 선학습시키는 방법의 예를 보인 것이다.

도 4에서 신호량감쇠기(141)는 다계층 시계열 신호 중 이전 계층 신호와 다음 계층 신호 간 데이터 해상도를 정규화하는 기능을 갖는데, 두 계층의 참조예측부(130) 사이에 존재하여 심층학습망 기반으로 데이터를 학습한다. 이 때, 신호량감쇠기(141)의 계수를 미리 학습하기 위해 GAN 모델 구조를 활용할 수 있다. 도 4의 시간별, 일별, 월별(.../시/일/월) 입력 데이터는 신호량감쇠기(141)를 통해 일별, 월별, 년별(일/월/년/...) 데이터로 감쇠되어 생성되는데, 이 때 유효성검증기(143)가 일/월/년/... 정답 데이터와 신호량감쇠기(141) 출력과의 비교를 통해 신호량감쇠기(141) 학습이 제대로 이루어졌는지 유효성을 검증한다. 이를 통해 학습된 신호량감쇠기(141)의 계수는 선학습 계수로 도 2의 신호량감쇠기(141)의 계수로 활용된다.

도 5는 동일 구조에서 신호량증강기(142)의 계수를 선학습시키는 방법의 예를 보인 것이다. 일/월/년/... 입력 데이터가 신호량증강기(142)를 통해 .../시/일/월 별로 증강되어 생성되는데, 이 때 유효성검증기(143)가 .../시/일/월 정답 데이터와 신호량증강기(142) 출력을 비교하여 신호량증강기(142)의 학습이 제대로 이루어졌는지 유효성을 검증한다. 이를 통해 학습된 신호량증강기(142)의 계수는 선학습 계수로 도 3의 신호량증강기(142)의 계수로 활용된다.

도 6과 도 7은 순환신경망에 기반한, 시계열 신호의 다계층 예측 방법의 설명도이다.

상기 도 2 및 도 3은 모든 계층에서 신호 입력이 발생하는 상황에서의 시계열 신호 예측 방법을 나타낸 반면, 도 6과 도 7은 각 계층의 참조예측부(130) 및 신호량감쇠기(141) 그리고 신호량증강기(142)가 도 2 및 도 4, 도 3 및 도 5의 과정을 통해 선학습되어 있을 경우에 (i―1)번째 계층의 입력만 있을 때에도 각 계층에서 신호 해상도가 다른 예측 신호가 출력되는 방법을 설명하고 있다.

도 2와 도 3에서 각 계층의 주예측부(120)의 출력과 참조예측부(130)의 출력은 Loss가 최소화되는 방향으로 학습되므로, 주예측부(120) 출력과 참조예측부(130) 출력은 서로 유사한 결과가 도출되며, 이를 통해 i번째 계층과 (i+1)번째 계층에서의 출력 예측 신호는 참조예측부(130)의 출력만으로 신호 예측이 가능하게 된다. 도 6에서 신호량감쇠기(141) 및 참조예측부(130)의 학습은 비용값(정답과 과거 예측값의 차분)을 최소화하는 방향으로 진행된다.

도 7은 도 6과 유사하나 입력신호의 해상도에 따른 출력이 다른 경우의 예이다.

도 8은 순환신경망 기반 전력최적운용 예측모델(41) 구성시에 본 발명을 적용한 실시예를 나타낸다.

본 발명의 순환신경망 기반 시계열 신호 예측 장치 및 방법을 통해, 과거 전력생산량 데이터 기반의 전력생산량 예측모델, 과거 전력수요량 데이터 기반의 전력수요량 예측모델, 과거 전력가격 데이터 기반의 전력가격 예측모델 등의 구성이 가능하며, 이러한 모델은 비단 전력생산량 데이터, 전력수요량 데이터, 전력가격 데이터 뿐 아니라, 날씨데이터(온습도 등), 환경데이터(특정위치, 특정일, 특정행사 등) 등을 입력값으로 활용 가능하다. 이러한 전력생산량, 전력수요량, 및 전력가격 예측모델의 출력값을 입력으로 한 새로운 순환신경망을 구성하여, 전력최적운용 예측모델(41)을 만들고, 전력의 계통연결, 자체부하로의 사용, ESS 저장 등의 최적 해를 자율적으로 선택하도록 학습시킬 수 있다. 이에 대해서는 도 9를 통해서 보다 구체적으로 알 수 있다.

도 9는 본 발명의 장치 및 방법을 적용하여 신재생에너지장치 xEMS 데이터 분석 서버(30)를 구성하는 실시형태의 예를 나타낸다.

본 발명의 순환신경망 기반 시계열 신호 예측 장치 및 방법을 통해 전력예측학습모델(40)을 만들고, 이러한 전력예측학습모델(40)을 기반으로 전력생산량 예측모델(42), 전력수요량 예측모델(43), 전력가격 예측모델(44)을 구성한다. 도 8에서의 전력최적운용 예측모델(41)까지 구성하여 xEMS 데이터 분석 서버(30)를 구축할 수 있다. 센서군(50)을 통해 날씨데이터, 환경데이터 등을 취득하고, 신재생에너지(60)는 PCS(Power Conditioning System)(65)를 거쳐 전력을 공급한다. xEMS 데이터 분석 서버(30)는 전력최적운용 예측모델(41)을 통해 전력의 계통연결(70), 자체부하로의 사용(80), ESS 저장(90) 등의 최적해를 자율적으로 선택한다.

도 1 중 설명부분이 없는 도면부호 - 141: 신호량감쇠기, 142: 신호량 증강기, 143: 유효성검증기

Claims

순환신경망 기반으로 구성하여 일차적인 데이터 예측을 위한 주예측부,
오류값 최소화를 위한 순환신경망 구성을 기반으로 하고, 주예측부와의 Loss를 최소화하기위한 구조를 통해 하기의 신호량증감부에 이전 계층에서의 예측데이터를 전달하는 기능을 담당하는 참조예측부,
주예측부와 참조예측부 간 Loss를 최소화하기 위한 심층학습망 기반으로 다계층 시계열 신호 중 이전계층 신호와 다음계층 신호 간 데이터 해상도를 정규화하는 기능을 갖는 신호량증감부를 포함하는 순환신경망 기반 시계열 신호 예측 장치.