KR102614096B1 - 예측 모델 생성 장치 및 방법 - Google Patents

Abstract

본 발명은 과거의 데이터를 분석하여 미래에 발생할 상황에 대한 결과를 예측하는 예측 모델을 생성하기 위한 기술로서, 보다 상세하게는 사전 학습 데이터셋을 이용하여 생성된 사전 학습 모델의 마지막 출력 층을 초기화하고 나머지 파라미터는 고정한 후, 초기화된 출력층에 대해서만 타겟 학습 데이터셋을 이용해 추가 학습을 진행하는 전이학습을 수행하여 예측 모델을 생성하는 장치 및 방법에 관한 것이다.

Description

예측 모델 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING PREDICTION MODEL}

본 발명은 과거의 데이터를 분석하여 미래에 발생할 상황에 대한 결과를 예측하는 예측 모델을 생성하기 위한 기술로서, 보다 상세하게는 사전 학습 데이터셋을 이용하여 생성된 사전 학습 모델의 마지막 출력 층을 초기화하고 나머지 파라미터는 고정한 후, 초기화된 출력층에 대해서만 타겟 학습 데이터셋을 이용해 추가 학습을 진행하는 전이학습을 수행하여 타켓 관측소를 위한 예측 모델을 생성하는 장치 및 방법에 관한 것이다.

과거의 데이터를 분석하여 미래에 발생할 상황에 대한 결과를 예측하는 방법은 대표적으로 직접예측(direct prediction) 방법이 있다. 직접예측(direct prediction) 방법은 자기회귀성분, 즉 과거 관측값만을 이용하여 예측을 수행하는 방법이다. 직접예측(direct prediction) 방법은 비교적 긴 연속적인 시계열 관측 데이터가 필요하다.

그런데, 기존 관측소는 오랜 기간 축적된 데이터를 보유하고 있으나, 신규 관측소의 경우에는 일정 수준의 예측 성능을 달성하기 위해 필요한 최소 데이터의 양을 확보하기까지 2∼3년의 기간이 지나야 한다. 이에 따라 신규 관측소는 일정한 성능 이상의 예측 모델을 조기에 생성할 수 없다는 문제점이 있었다.

특히, 신규 지하수 관측소를 통한 수자원의 효과적인 관리 및 운영을 위해 지하수위 변화를 분석하고 예측하는 것은 대단히 중요하다. 이에 신규 지하수 관측소를 위한 미래 지하수위를 예측할 수 있는 예측 모델을 필요로 하고 있는 실정이다.

한국특허등록공보 제10-1463425호(등록일 : 2014년11월13일) 한국특허등록공보 제10-14502331호(등록일 : 2014년10월06일)

본 발명은 상술한 배경에서 제안된 것으로서, 예측을 위해 필요한 데이터의 양이 부족하더라도 전이학습을 통해 타켓 관측소를 위한 예측 모델을 생성할 수 있는 예측 모델 생성 장치 및 방법을 제공한다.

또한, 본 발명은 신규 지하수 관측소를 위한 미래 지하수위를 예측할 수 있는 예측 모델 생성 장치 및 방법을 제공한다.

상술한 기술적 과제를 달성하기 위해, 본 발명의 일 양상에 따른 예측 모델 생성 장치는, 사전 학습 데이터셋을 이용하여 사전 학습 모델을 생성하는 사전 학습 모델 생성부와;

타겟 데이터셋을 이용하여 타겟 학습 모델을 생성하되, 상기 사전 학습 모델의 일부를 초기화하고 초기화된 부분을 상기 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 상기 타겟 학습 모델을 생성하는 타겟 학습 모델 생성부를 포함한다.

또한, 본 발명에 따르면, 상기 사전 학습 데이터셋이 전국 관측소에서 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋이고,

상기 타겟 데이터 셋은 타겟 관측소에서의 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋인 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 사전 학습 모델과 타겟 학습 모델은 과거 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위가 예측되는 모델인 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 사전 학습 모델은 GRU 스택 구조와 완전연결 계층을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따르면, 상기 타겟 학습 모델 생성부에서 실행되는 추가 학습(FINE TUNING)은 상기 사전 학습 모델의 완전연결 계층만을 초기화하고, 나머지 부분의 가중치 파라미터는 그대로 유지하되, 상기 초기화된 완전연결 계층만을 상기 타겟 데이터 셋으로 학습하는 것을 특징으로 한다.

본 발명의 다른 양상에 따른 예측 모델 생성 방법은, 사전 학습 데이터셋을 이용하여 사전 학습 모델을 생성하는 단계와; 상기 사전 학습 모델의 일부를 초기화하는 단계와; 상기 사전 학습 모델의 초기화된 부분을 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 타겟 학습 모델을 생성하는 단계를 포함한다.

또한, 본 발명에 따른 예측 모델 생성 방법은, 상기 사전 학습 데이터셋이 전국 관측소에서 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋이고, 상기 타겟 데이터 셋은 타겟 관측소에서의 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋인 것을 특징으로 한다.

또한, 본 발명에 따른 예측 모델 생성 방법은, 상기 사전 학습 모델과 타겟 학습 모델은 과거 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위가 예측되는 모델인 것을 특징으로 한다.

또한, 본 발명에 따른 예측 모델 생성 방법은, 상기 사전 학습 모델은 GRU 스택 구조와 완전연결 계층을 포함하는 것을 특징으로 한다.

또한, 본 발명에 따른 예측 모델 생성 방법은 상기 사전 학습 모델의 초기화된 부분을 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 타겟 학습 모델을 생성하는 단계에서,

상기 추가 학습(FINE TUNING)은 상기 사전 학습 모델의 완전연결 계층만을 초기화하고, 나머지 부분의 가중치 파라미터는 그대로 유지하되, 상기 초기화된 완전연결 계층만을 상기 타겟 데이터 셋으로 학습하는 것을 특징으로 한다.

전술한 본 발명의 예측 모델 생성 장치 및 방법에 의하면 다음과 같은 장점이 있다.

첫째, 타겟 데이터셋을 이용하여 타겟 학습 모델을 생성하되, 사전 학습 모델의 일부를 초기화하고 초기화된 부분을 상기 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 상기 타겟 학습 모델을 생성하도록 구현됨으로써, 일정 수준의 예측 성능을 달성하기 위해 필요한 최소 데이터의 양이 현저히 줄어들어, 데이터가 부족한 타켓 관측소를 위한 예측 모델의 생성 기간을 획기적으로 단축할 수 있다.

둘째, 상기 사전 학습 모델과 타겟 학습 모델은 과거 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위가 예측되는 모델로 구현됨으로써, 신규 지하수 관측소도 수 개월의 관측 데이터만으로도 미래 지하수위를 예측할 수 있다.

도 1 은 본 발명에 따른 전체 시스템을 도시한다.
도 2 는 본 발명에 따른 예측 모델 생성 장치의 구성을 도시한다.
도 3 은 본 발명에 따른 사전 예측 모델을 설명하기 위한 예시도이다.
도 4 는 본 발명에 따른 타켓 예측 모델을 설명하기 위한 예시도이다.
도 5 는 본 발명의 일 실시예에 따른 예측 모델 생성 방법을 도시한다.

발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 "부", "모듈", "장치", "단말기", "서버" 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.

이하에서는, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.

도 1 은 본 발명에 따른 전체 시스템을 도시한다.

도 1을 참조하면, 복수의 관측 장비(111, 112)와 네트워크로 연결되는 타켓 관측소 서버(200)를 포함하여 구현될 수 있다. 복수의 관측 장비(111, 112)는 관측 데이터를 연속적으로 관측하며, 타켓 관측소 서버(200)는 복수의 관측 장비(111, 112)로부터 입력되는 데이터를 관측 장소, 관측 날짜 및 시간 순서대로 저장한다. 예를 들어 관측 데이터는 풍속, 풍향, 온도, 습도, 지하수의 수위, 강수량 등일 수 있다.

타켓 관측소 서버(200)는 관측 데이터를 분석하여 미래에 발생할 상황에 대한 결과를 예측하는 장치일 수 있다. 그러나 타켓 관측소가 개소한지 얼마되지 않은 경우 타켓 관측소 서버(200)에 저장된 데이터의 양이 부족하여 예측 성능이 떨어질 수 있다. 이를 해결하기 위해, 타켓 관측소 서버(200)는 다른 관측소의 통신장치와 네트워크로 연결될 수 있다. 타켓 관측소 서버(200)는 부족한 데이터를 충분히 확보하기 위해 네트워크로 연결된 다른 관측소로부터 데이터를 입력받아 사전 학습 데이터셋으로 이용하여 사전 학습 모델을 생성하고, 생성된 사전 학습 모델을 변형한 후 타겟 데이터셋을 이용하여 타겟 학습 모델을 생성할 수 있다.

타켓 관측소 서버(200)는 타켓 학습 모델을 이용하여 복수의 관측 장비(111, 112)에서 관측된 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위를 예측하는 장치로 구현될 수 있다.

도 2 는 본 발명에 따른 예측 모델 생성 장치의 구성을 도시한 것이고, 도 3 은 본 발명에 따른 사전 예측 모델을, 도 4 는 본 발명에 따른 타켓 예측 모델을 설명하기 위한 예시도이다.

먼저, 도 2를 참조하면, 본 발명에 따른 예측 모델 생성 장치는 노트북, PC, 태블릿 PC와 같은 장치일 수 있으며, 사용자 입력부(210)와 표시부(220)와 통신부(230)와 저장부(240)와 제어부(250)를 포함하여 구현될 수 있다.

사용자 입력부(210)는 키패드, 마이크로폰, 음성인식수단 등과 같은 주변장치이다. 표시부(220)는 LCD 디스플레이, LED 디스플레이로 구현된다. 통신부(230)는 블루투쓰나 와이파이, LTE 3/4/5 통신모뎀을 포함하여 구현될 수 있다. 휴대용저장매체(240)는 USB 메모리, 외장형 하드디스크로 구현될 수 있다. 저장부(240)는 실행프로그램과 응용프로그램 및 데이터를 저장하는 하드디스크 또는 SSD메모리로 구현될 수 있다.

제어부(250)는 저장부(240)에 저장된 실행프로그램 또는 응용프로그램을 구동한다. 제어부(250)는 사전 학습 모델 생성부(251)와 타겟 학습 모델 생성부(252)를 포함하여 구현될 수 있다.

사전 학습 모델 생성부(251)는 시계열적으로 기록된 사전 학습 데이터셋을 이용하여 사전 학습 모델을 생성한다. 타겟 학습 모델 생성부(252)는 사전 학습 모델과 타겟 데이터셋을 이용하여 타겟 학습 모델을 생성한다.

이하 도 3를 참조하여, 사전 학습 모델을 설명한다. 도 3에서 사전 학습 데이터셋은 전국 관측소에서 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋을 사용하였다. 예를 들어 지하수위 데이터(31)와 강수량 데이터(32)는 전국 89개 관측소에서 획득한 지하수위 및 강수량 데이터의 과거 60일 데이터로서, 강수량 및 지하수위값으로 구성된 60×2 matrix 형태이다.

사전 학습 모델은 순환 신경망(Recurrent Neural Network, RNN)(310)과 상기 순환 신경망(310)의 출력층에 연결되는 완전연결 계층(320)을 포함하여 구현될 수 있다. 순환신경망(RNN)은 입력과 출력을 시퀀스 단위로 처리하는 모델이다. 여기서 시퀀스란 연관된 연속의 데이터를 의미하며, 순환신경망은 시계열 데이터에 적합한 신경망 모델이다. 순환신경망(RNN)은 장단기 메모리(Long-Short Term Memory, 이하 ‘LSTM’이라 함)와 게이트 순환 유닛(Gated Recurrent Unit, 이하 ‘GRU’라 함)이 있다. LSTM에서는 출력, 입력, 삭제 게이트라는 3개의 게이트가 존재하는 반면, GRU에서는 업데이트 게이트와 리셋 게이트 두 가지 게이트만이 존재한다. GRU는 LSTM과 비교하여 성능은 유사하나 학습 속도가 빠르다.

순환 신경망(310)은 게이트 순환 유닛(GRU)으로 구현된다. 도 3을 참조하면 순환 신경망(310)은 방대한 양의 지하수위 데이터와 강수량 데이터를 정확하고 빠르게 처리할 수 있도록 복수의 게이트 순환 유닛(GRU)(311, 312)이 서로 연결되어 스택(stacked) 구조로 형성된다.

순환 신경망(310)의 손실함수는 평균제곱오차(Mean squared error)이다. 평균제곱오차(Mean squared error)는 실제 데이터와 예측 데이터의 편차의 제곱합(오차제곱합)을 데이터 크기로 나눠 평균으로 만든 것이다. 평균제곱오차(Mean squared error)를 사용하는 이유는 오차의 제곱의 값은 항상 양수이며, 데이터가 많을수록 오차제곱합은 기하급수적으로 커진다. 이로 인해, 오차제곱합으로는 실제 오차가 커서 값이 커지는 것인지 데이터의 양이 많아서 커지는 것인지를 구분할 수 없게 된다. 이에 데이터셋의 양이 많은 경우 순환 신경망의 손실함수로 평균제곱오차(Mean squared error)를 사용하는 것이 정확한 예측 성능을 구현할 수 있다.

순환 신경망(310)의 옵티마이저는 아담 옵티마이저(Adam optimizer)이다. 옵티마이저는 딥러닝의 성능을 좌우하는 것으로 학습 데이터(Train data)셋을 이용하여 모델을 학습할 때 데이터의 실제 결과와 모델이 예측한 결과를 기반으로 손실함수를 잘 줄일 수 있게 만들어주는 역할을 한다.

완전연결 계층(320)은 순환 신경망(310)의 출력층에 연결된다. 완전연결 계층(320)은 순환 신경망(310)의 출력층과 동일한 개수의 뉴런으로 구성된 입력층과 1개의 뉴런으로 구성된 출력층으로 구성될 수 있다. 완전연결 계층(320)의 출력층을 구성하는 1개의 뉴런은 지하수위 예측 값을 나타낸다. 도 3을 참조하면, 예를 들어, 게이트 순환 유닛(GRU)(311, 312)을 통과한 입력자료는 20개의 출력 뉴런으로 출력되고 이는 완전연결 계층(320)에 연결되므로, 완전연결 계층(320)은 20개의 입력 뉴런으로 구성된다.

순환 신경망(310)의 게이트 순환 유닛(GRU)(311, 312) 및 뉴런층과의 연결에는 Rectified Linear Unit(ReLU) 활성화 함수가 사용된다. ReLU 활성화 함수는 양수는 그대로, 음수는 0으로 반환하며 특정 양수 값에 수렴하지 않는다. 이에 출력값의 범위가 넓고, 양수인 경우 그대로 반환하기 때문에, 딥러닝에서 시그모이드 함수를 활성화 함수로 사용하는 경우 발생했던 기울기 소실(Vanishing Gradient) 문제가 발생하지 않는다. 또한, ReLU 활성화 함수는 공식이 단순하여 다른 활성화 함수에 비해 학습 속도가 매우 빠르다. 예를 들어 확률적 경사하강법(SGD)을 쓴다고 할 때, 시그모이드 함수나 하이퍼볼릭 탄젠트 함수에 비해 속도가 약 6배 가까이 빠르다. 또한, ReLU 활성화 함수는 편미분(기울기) 시 1로 일정하므로, 가중치 업데이트 속도가 매우 빠르다.

이하, 도 4를 참조하여 타켓 학습 모델을 설명한다. 도 4에서 타겟 데이터 셋은 타겟 관측소에서의 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋을 사용하였다.

도 4를 참조하면, 타켓 학습 모델은 게이트 순환 유닛(GRU)(311, 312)이 서로 연결되어 스택(stacked) 구조로 형성된 순환 신경망(310)과 완전연결 계층(410)을 포함하여 구현된다.

타켓 학습 모델의 순환 신경망(310)은 사전 학습 모델의 순환 신경망의 파라미터(예컨대 가중치, 활성화 함수, 옵티마이저, 손실함수)를 고정한 것이다. 타켓 학습 모델의 완전연결 계층(410)은 사전 학습 모델의 완전연결 계층의 파라미터(예컨대 가중치)를 초기화한 것이다.

도 4를 참조하면, 타켓 학습 모델은 신규 관측소에서 시계열적으로 기록된 과거 지하수위 데이터(41)와 강수량 데이터(42)를 입력 데이터로 이용하여 초기화된 완전연결 계층(410)의 가중치(W1, W2, W3, …, W18, W19, W20)를 구하고 타켓 관측소용 지하수위 예측 모델을 생성한다. 타켓 관측소용 지하수위 예측 모델은 관측 지점의 미래 지하수위를 예측할 수 있다.

도 5 는 본 발명의 일 실시예에 따른 예측 모델 생성 방법을 도시한다.

본 발명에 따른 예측 모델 생성방법은 프로세서(processor)와 상기 프로세서에 의해 실행되는 하나 이상의 명령들이 저장된 메모리(memory)를 포함하는 컴퓨팅장치에서 실행되는 것으로 가정하여 설명한다.

도 5를 참조하면, 컴퓨팅장치는 사전 학습 데이터셋을 이용하여 사전 학습 모델을 생성한다(S511). 사전 학습 데이터셋은 예를 들어 전국 89개 관측소에서 획득한 지하수위 및 강수량 데이터의 과거 60일 데이터로서, 강수량 및 지하수위값으로 구성된 60×2 matrix 형태일 수 있다.

상기 사전 학습 모델은 GRU 스택 구조를 포함하는 순환 신경망과 완전연결 계층을 포함할 수 있다. 완전연결 계층은 순환 신경망의 출력층과 동일한 개수의 뉴런으로 구성된 입력층과 1개의 뉴런으로 구성된 출력층으로 구성될 수 있다.

컴퓨팅장치는 사전 학습 모델을 생성한 후, 상기 사전 학습 모델의 순환 신경망의 파라미터, 예를 들어 활성화 함수, 가중치, 옵티마이저, 손실함수를 고정하고 상기 완전연결 계층의 파라미터, 예컨대 가중치를 초기화하여 상기 사전 학습 모델을 변형시킨다(S512).

컴퓨팅장치는 사전 학습 모델의 초기화된 부분을 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 타겟 학습 모델을 생성한다(S513). 타겟 데이터 셋은 예를 들어, 타겟 관측소에서의 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋일 수 있다. 사전 학습 모델과 타겟 학습 모델은 과거 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위가 예측되는 모델로 구현될 수 있다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

310 : 순환 신경망(RNN)
311, 312 : 게이트 순환 유닛(GRU)
320, 410 : 완전연결 계층

Claims (10)

1. 사전 학습 데이터셋을 이용하여 사전 학습 모델을 생성하는 사전 학습 모델 생성부와;
   타겟 데이터셋을 이용하여 타겟 학습 모델을 생성하되, 상기 사전 학습 모델의 일부를 초기화하고 초기화된 부분을 상기 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 상기 타겟 학습 모델을 생성하는 타겟 학습 모델 생성부;
   를 포함하고,
   상기 사전 학습 모델은,
   업데이트 게이트와 리셋 게이트를 갖는 게이트 순환 유닛(GRU)이 복수 개 연결되어 스택 구조를 형성하는 순환 신경망; 및
   상기 순환 신경망의 출력층에 연결되는 완전연결 계층;
   을 포함하며,
   상기 순환 신경망은,
   실제 데이터와 예측 데이터의 편차의 제곱합을 데이터 크기로 나눠 평균으로 만드는 평균제곱오차 손실함수를 사용하되, 아담 옵티마이저를 적용하여 모델 학습 시 데이터의 실제 결과와 모델이 예측한 결과를 기반으로 손실함수를 감소시키며,
   상기 완전연결 계층은,
   상기 순환 신경망의 출력층과 동일한 개수의 뉴런으로 구성되는 입력층; 및
   지하수위 예측 값을 나타내는 1개의 뉴런으로 구성되는 출력층;
   을 포함하고,
   상기 사전 학습 데이터셋이 전국 관측소에서 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋이고,
   상기 타겟 데이터 셋은 타겟 관측소에서의 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋인 것을 특징으로 하며,
   상기 사전 학습 모델과 타겟 학습 모델은 과거 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위가 예측되는 모델인 것을 특징으로 하고,
   상기 타겟 학습 모델 생성부에서 실행되는 추가 학습(FINE TUNING)은 상기 사전 학습 모델의 완전연결 계층만을 초기화하고, 나머지 부분의 가중치 파라미터는 그대로 유지하되, 상기 초기화된 완전연결 계층만을 상기 타겟 데이터 셋으로 학습하는 것을 특징으로 하는, 예측 모델 생성 장치.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 사전 학습 모델 생성부에서 사전 학습 데이터셋을 이용하여 사전 학습 모델을 생성하는 단계와;
   타겟 학습 모델 생성부에서 상기 사전 학습 모델의 일부를 초기화하는 단계와;
   타겟 학습 모델 생성부에서 상기 사전 학습 모델의 초기화된 부분을 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 타겟 학습 모델을 생성하는 단계를 포함하며,
   상기 사전 학습 모델은,
   업데이트 게이트와 리셋 게이트를 갖는 게이트 순환 유닛(GRU)이 복수 개 연결되어 스택 구조를 형성하는 순환 신경망; 및
   상기 순환 신경망의 출력층에 연결되는 완전연결 계층;
   을 포함하며,
   상기 순환 신경망은,
   실제 데이터와 예측 데이터의 편차의 제곱합을 데이터 크기로 나눠 평균으로 만드는 평균제곱오차 손실함수를 사용하되, 아담 옵티마이저를 적용하여 모델 학습 시 데이터의 실제 결과와 모델이 예측한 결과를 기반으로 손실함수를 감소시키며,
   상기 완전연결 계층은,
   상기 순환 신경망의 출력층과 동일한 개수의 뉴런으로 구성되는 입력층; 및
   지하수위 예측 값을 나타내는 1개의 뉴런으로 구성되는 출력층;
   을 포함하고,
   상기 사전 학습 데이터셋이 전국 관측소에서 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋이고,
   상기 타겟 데이터 셋은 타겟 관측소에서의 시계열적으로 기록된 과거 지하수위 데이터와 강수량 데이터 셋인 것을 특징으로 하며,
   상기 사전 학습 모델과 타겟 학습 모델은 과거 지하수위 데이터와 강수량 데이터가 입력되면 미래 지하수위가 예측되는 모델인 것을 특징으로 하고,
   상기 사전 학습 모델의 초기화된 부분을 타겟 데이터셋으로 추가 학습(FINE TUNING)하여 타겟 학습 모델을 생성하는 단계에서,
   상기 추가 학습(FINE TUNING)은 상기 사전 학습 모델의 완전연결 계층만을 초기화하고, 나머지 부분의 가중치 파라미터는 그대로 유지하되, 상기 초기화된 완전연결 계층만을 상기 타겟 데이터 셋으로 학습하는 것을 특징으로 하는, 예측 모델 생성 방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images