KR20020017110A

KR20020017110A - 진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측시스템

Info

Publication number: KR20020017110A
Application number: KR1020000050208A
Authority: KR
Inventors: 신대진
Original assignee: 신대진
Priority date: 2000-08-28
Filing date: 2000-08-28
Publication date: 2002-03-07

Abstract

본 발명은 슈퍼 컴퓨터를 이용하지 않고도 보다 신속 정확하게 태풍을 예측할 수 있는, 진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측 시스템에 관한 것으로, 위도, 경도 및 중심기압 각각을 분석하는 3개의 신경망을 구비하여 태풍의 중심 위치와 그 중심기압을 분석하는 태풍 예측시스템에 있어서, 상기 각각의 신경망에 입력되는 위도, 경도 및 중심기압 각각의 3개 입력 데이터는 시계열 예측을 위한 3차원 입력 패턴으로써, 각 입력 데이터에 해당하는 여러개의 가중치들을 곱하여 은닉층을 형성하고, 회귀성 신경망을 적용, 각 은닉층의 결과를 다시 입력으로 사용하고, 반복 실험을 통하여 최적의 학습율을 결정하고, 회귀성 신경망의 2개의 활성화 함수 기울기는 진화전략을 통하여 구하고, 학습을 진행하면서 학습오차가 증가할 경우, 학습을 중단한 후 활성화 함수의 기울기를 조절하여 지엽적 최소점에 빠진 모든 가중치들을 재 계산하고, 활성화 함수의 기울기는 진화전략을 이용하여 조절하고, 진화전략을 통하여 얻은 최적의 활성화 함수 기울기 및 각 가중치를 이용하여, 입력된 경도, 위도 및 중심기압 값으로부터 실제 태풍의 진로와 그 중심기압을 예측하는 태풍예측 시스템을 제공한다.

Description

진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측 시스템{Typhoon prediction system by using evolution strategy and bilinear recurrent neural network}

본 발명은 태풍 경로 예측 시스템에 관한 것으로, 특히 진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측 시스템에 관한 것이다.

지구상에서 발생하는 기상현상 중에서 인간에게 가장 많은 피해를 입히는 자연재해 중 하나가 태풍이다. 태풍은 북태평양 서부에서 주로 발생하며 중심 최대풍속이 17m/s이상의 강한 폭풍우를 동반하고 있는 열대저기압을 말한다. 평균 17개의 태풍이 매년 발생하며, 그중 3개 정도의 태풍이 한반도를 통과한다. 태풍의 위력은 대단하기 때문에 인간의 힘으로 막을 방법이 없으나, 태풍이 언제, 어디로, 얼마만큼의 세력으로 접근하는가를 미리 예측하여 그 피해를 최소화 할 수 있다.

지금까지 태풍의 진로 및 세력을 예측하기 위해 많은 물리, 기상학자들이 수십 년간 연구하였으나, 아직까지 태풍을 정확히 예측하기에는 많은 어려움이 있다. 최근 기상청에서는 일본에서 도입한 수치모델과 슈퍼컴퓨터를 이용하여 태풍을 예보하고 있다. 이러한 수치모델은 태풍의 초기위치에 따라 예보 가능구역의 제한이 있을 뿐 아니라, 많은 계산이 요구되므로 이러한 계산을 위해서는 슈퍼컴퓨터가 필수적으로 도입되어야 한다.

수치모델은 기온, 바람, 습도 등 기상요소의 변화를 컴퓨터 계산에 의해 정량적으로 예측하는 예보 기법으로써, 이와 같은 예측을 위해서는 먼저 3차원적인 초기자료의 분석이 필요하다. 대기를 수평 및 수직으로 일정한 간격의 격자점을 정하고, 각 격자점마다 지구상에 분포된 관측소에서 측정한 관측 값을 입력하여 기상요소의 값을 결정한다. 분석된 격자점 값을 수치예보모델에 입력하여 각 격자점에서 기상요소의 변화를 향후 5분, 10분, 15분으로 계속 계산하며, 정해진 시간까지 계산, 예보 값을 생산하게 된다.

수치예보 모델에 의해 예측된 각 기상요소들은 예보관의 지식과 경험을 통해 일기현상으로 해석되어 예보로 발표되며, 또 자체 가공을 통하여 최고, 최저기온, 강수확률 등 각종 예보 및 정보를 생산하게 된다. 또한 수치예보자료는 해상풍 모델, 대기오염모델 등 2차 응용모델의 입력자료로 사용되어 필요한 정보를 산출하게 된다. 현재 기상청에서는 전 지구대기를 예보대상으로 하는 전지구예보모델(GDAPS), 아시아지역을 예보대상으로 하는 지역예보모델(RDAPS)과 태풍진로예보를 위한 태풍예보모델(KTM, GFDK, BATS 등 3종)을 운영하며, 2차 응용모델로 파랑모델인 해상풍·해상파고모델과 통계모델인 최고/최저기온예보모델 및 강수확률예보모델을 운영하고 있고, 국지적 집중호우등 악기상 예측을 위한 중규모모델로 국지 악기상 예보 모델인 ARPS(Advanced Regional Prediction System)와 MM5(Mesoscale Model 5)를 시험운영하고 있다. 이들 수치예보모델의 계산처리를 위하여 기상예보용컴퓨터(Fuzitsu VPX220/10)와 한국전자통신연구원 슈퍼컴퓨터센터(전 시스템공학연구소, SERI)의 슈퍼컴퓨터(벡터형 Cray C90, 병렬형 T3E)등을 이용하고 있다.

다른 방법으로는 클리퍼 모델(Clipper Model)을 이용하는 방법이 있다. 노이만(Neumann)과 랜드리아리즌(Randrianarison)에 의해 개발된 통계의존형 태풍진로 예보 모델인 클리퍼 모델은 북서 대서양에서 발생하는 태풍의 사례에 적용된 이후, 이와 비슷한 방식이 여러 지역의 태풍의 진로를 예보하는데 개발되어 사용 되어오고 있다. 클리퍼 모델을 이용하는 방법은 과거 태풍의 자료로부터 태풍의 진로를 가장 잘 묘사하는 회귀 방정식을 세워서 현재의 태풍에 적용하여, 그 진로를 예보하는 것이다. 회귀 방정식을 구성하는 예보인자들 중에는 태풍의 현재 위치와 날짜, 또한 현재와 과거 몇 시간전의 진행 속도 등이 있다. 이 모델의 장점은 그 사용이 비교적 간단하고, 결과 또한 신속하게 처리되어 복잡한 모델의 결과를 기다리는 중에 하나의 예보 지표로 사용될 수 있다는 것이다.

그러나, 노이만 등의 클리퍼 모델을 한국에 접근하는 태풍에 대해서만 적용해 보았을 때 상당한 예보 오차가 있다고 보고되고 있다. 이와 같이 클리퍼 모델은 수치모델에 비해서 그 계산이 비교적 간단하고 비용이 적게든다는 장점이 있지만, 예측성능이 비교적 좋지 않다는 단점이 있다.

그에 반해 신경망은 기존의 클리퍼 모델이나 수치모델등과 같은 통계적인 방법보다 예측의 정확도나 예측하는데 걸리는 시간 등의 관점에서 많은 이점을 가지고 있다.

태풍의 진로를 예측하기 위해서는 태풍데이터들을 시계열(Time Series)로 변환하여야 한다. 시계열은 정해진 순간마다 측정된 값(x₁,x₂,x₃,...,x_n)들의 모임을 말하며, 시계열 예측은 사업계획수립, 일기예보, 주가예측과 다양한 신호처리분야 등에서 활발히 응용발전하고 있다. 일반적으로 시계열은 혼돈된 신호이거나 불규칙적인 특성을 가지고 있어 이들을 함수로 모델링 하기에는 부족함이 있다. 따라서 근래에는 시계열에서 퍼지규칙과 적당한 소속함수를 선택하여 시계열을 모델링 하려는 경향이 있다.

다시 말하면 종래에는 태풍 예측 방법으로 수치모델 또는 클리퍼 모델을 사용하는데, 통계적 방법인 글리퍼 모델은 예측성능면에서 수치모델보다 그 성능이 떨어지고, 반면에 수치모델의 성능은 클리퍼 모델에 비해 우수하나 슈퍼컴퓨터를 이용하여야만 예보가 가능한 제약점을 가지고 있다.

상기와 같은 문제점을 해결하기 위한 본 발명은 슈퍼 컴퓨터를 이용하지 않고도 보다 신속 정확하게 태풍을 예측할 수 있는, 진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측 시스템을 제공하는데 그 목적이 있다.

도 1은 입력층 뉴런의 개수가 3개, 중간층 뉴런의 개수와 출력 뉴런의 개수가 각각 하나인 고차수 신경망의 구성을 보이는 개략도,

도 2는 입력변수 3개, 은닉층 뉴런 1개, 2차의 회귀도, 그리고 한개의 출력변수를 가지는 쌍선형 회귀성 신경망의 구성을 보이는 개략도,

도 3은 N개의 입력과 M개의 은닉층 뉴런 및 K차의 회귀항을 갖는 쌍선형 회귀성 신경망의 구성을 보이는 개략도,

도 4는 본 발명에 따라 다회원 진화전략을 이용하여 쌍선형 회귀성 신경망 중 활성함수의 기울기를 결정하는 절차를 보이는 순서도,

도 5는 본 발명에 따른 진화전략과 쌍선형 회귀성 신경망을 이용한 태풍 예측 시스템의 태풍의 경도 학습 성능을 보이는 그래프,

도 6은 진화전략을 이용한 쌍선형 회귀성 신경망이 학습을 끝낸 곳을 확대하여 보이는 그래프,

도 7은 진화전략을 이용한 쌍선형 회귀성 신경망을 적용한 학습 결과와 종래 MLPNN를 비교하여 보이는 그래프,

도 8 및 도 9는 본 발명에 따른 태풍예측 시스템으로부터 얻은 데이터중 임의 2개 태풍의 위도, 경도, 중심기압을 3차원으로 보이는 그래프,

도 10 내지 도 13은 4개의 태풍에 대한 측정치와 본 발명에 따른 태풍 예측 시스템으로부터 얻은 예측치의 비교를 지도와 함께 도시한 평면도.

상기와 같은 목적을 달성하기 위한 본 발명은 위도, 경도 및 중심기압 각각을 분석하는 3개의 신경망을 구비하여 태풍의 중심 위치와 그 중심기압을 분석하는 태풍 예측시스템에 있어서, 상기 각각의 신경망에 입력되는 위도, 경도 및 중심기압 각각의 3개 입력 데이터는 시계열 예측을 위한 3차원 입력 패턴으로써, 각 입력 데이터에 해당하는 여러개의 가중치들을 곱하여 은닉층을 형성하고, 회귀성 신경망을 적용, 각 은닉층의 결과를 다시 입력으로 사용하고, 회귀성 신경망에는 적절한 결과를 산출하기 위하여 반복 실험을 통하여 최적의 학습율을 결정하고, 회귀성 신경망의 2개의 활성화 함수 기울기는 진화전략을 통하여 구하고, 학습을 진행하면서 학습오차가 증가할 경우, 학습을 중단한 후 활성화 함수의 기울기를 조절하여 지엽적 최소점에 빠진 모든 가중치들을 재 계산하고, 활성화 함수의 기울기는 진화전략을 이용하여 조절하고, 진화전략을 통하여 얻은 최적의 활성화 함수 기울기 및 각 가중치를 이용하여, 입력된 경도, 위도 및 중심기압 값으로부터 실제 태풍의 진로와 그 중심기압을 예측하는 태풍예측 시스템을 제공한다.

본 발명은 태풍의 진로와 중심기압을 시계열화 하고, 그 분석을 위해 신경망과 진화전략을 사용하는 시스템을 제공하는데 그 특징이 있다. 본 발명에서 사용된 신경망 학습 알고리즘은 쌍선형 회귀성 신경망이며, 이를 좀더 보완하고자 쌍선형 회귀성 신경망에 진화전략을 적용한다.

자연계에 존재하는 어떤 성질을 알아내기 위해 그 외형적으로 나타난 현상을 포착하여 그것을 적당한 형태의 데이터로 표현하고, 그 데이터에서 역으로 자연계의 현상을 이해하고 앞으로 발생할 수 있는 유사한 현상을 예측하는 것은 예측시스템이 추구하는 주된 목표이다. 이 경우 두 가지 형태의 지식을 확보하고자 하는데, 하나는 나타난 현상을 지배하는 법칙에 대한 지식이고, 다른 하나는 포착된 현상에 존재하는 경험적 규칙성에 대한 최소한의 지식이 그것이다. 그런데, 이러한 지식을 확보하려 할 때 문제가 되는 것은 존재하는 법칙을 알아내는 것이 매우 어려울 뿐만 아니라, 그 경험적 규칙성은 우리가 알 수 있을 만큼 명확하지도 않고, 종종은노이즈(noise)에 더럽혀져 있다는 점들이다. 이렇게 주어진 데이터를 이용하여 주어진 계의 성질을 알아내고자 할 때, 최근 들어 신경망을 이용하는 기법이 여러 학자들에 의해 연구가 활발히 진행되고 있다.

신경망을 이용하는 기법이 이렇게 널리 이용되고 있는 이유는 신경망이 포착된 현상의 데이터를 이용해 그 데이터를 지배하는 어떤 경험적 규칙성을 배우고 알아내는데 다른 기법보다 탁월한 성능을 지니고 있기 때문이다. 즉, 데이터를 제공하고 그 학습 알고리즘을 사용하여 학습시키면, 그 데이터에 내재하는 규칙성이 수학적으로는 표현될 수 없지만, 신경망 내부의 가중치에 저장되어지고, 이후 비슷한 입력이 존재하면, 신경망은 학습된 결과에 따라 비슷한 출력을 낼 수 있는 기능을 가지고 있다. 신경망이 여러 분야에 응용되어 좋은 결과를 얻고 있는 가운데 특히, 시계열(Time series)의 예측에 관한 문제는 고전적인 통계학적 방법에 비해 예측의 정확도나 예측하는데 걸리는 시간 등의 관점에서 많은 이점을 가지고 있다. 최근에는 고차수 신경망이 개발되었는데, 선형적인 일차의 순방향에 비하여 계산시간, 메모리 요구량, 패턴인식, 그리고 학습성질 등에서 많은 장점을 지니고 있다. 복잡한 비선형 판별표면을 만들어 내기 위해, 많은 수의 은닉층 뉴런을 필요로 하는 선형적인 일차 순방향 신경망에 비해 고차수 신경망은 상대적으로 적은 수의 은닉층 뉴런만 필요로 한다.

그러나 고차수 신경망은 보통의 차원과 차수에 대해서 매우 복잡한 모델이 요구되는 단점이 있다. 예를 들어, 신경망의 입력이 N 차원이고 차수가 k 일때 N^k-1개의 계수를 필요로 하게된다. 이러한 이유로 차수 k는 일반적으로 낮을 수밖에 없다.

한편, 간략화된 형태의 볼테라 급수(Volterra Series)는 시간적으로 변하지않는 비선형 시스템의 인식에 많이 이용되어 왔으며, 쌍선형 다항식(Bilinear Polynomial) 모델은 회귀성 비선형 시스템의 인식에 많이 이용되어 왔다. 특히 쌍선형 다항식 모델은 볼테라 급수 보다 매우 적은 수의 계수를 이용해서 많은 종류의 비선형 함수를 모델링 할 수 있다.

다음은 볼테라 급수와 고차수(High-order) 신경망에 대한 설명이다.

x[n]과 y[n]이 각각 비선형 임의 계(causal system)의 입, 출력 신호라고 가정할 때 N번까지 회귀를 제한하는 K차 볼테라 급수 확장은 다음의 수학식1과 같이 정의된다.

상기 수학식1에서Cm ₁ Cm ₂ ...Cm _k는 계의 K차 볼테라 커넬(Volterra Kernel)이라고 알려져 있다. 이 경우 O(N^k)개의 계수가 필요하며, 보통 쓰이는 N과 K에 대해서도 O(N^k)는 매우 큰 숫자가 된다.

이렇게 많은 수의 계수를 필요로 하는 볼테로 급수에 기초를 둔 고차수 신경망은, 다음과 같은 이유에 의해 고차수로 쓰이지 못하고 저차수(Low-order)에 머물 수 밖에 없는 상황이 발생한다. 도 1은 입력층 뉴런의 개수가 3개, 중간층 뉴런의 개수와 출력 뉴런의 개수가 각각 하나인 고차수 신경망의 구성을 보이는 개략도이다.

도 1에서와 같이 만일 신경망을 시계열 예측에 이용한다면, 주어진 x(t)에 대해 x(t-1)과 x(t-2)가 동시에 출력에 영향을 미치게 된다. 만일 더욱 오래된 과거의 값이 출력에 기여하려면, N의 수는 커져야 하며, 그로 인해 생성되는 계수의 숫자 N^k는 매우 커지게 되므로 필연적으로 그 학습 시간이 지수함수적으로 증가하게 되어 실시간 응용에 많은 어려움을 주게 된다. 즉, 고차수 신경망은 그 이용가능성은 인정되지만, 실제 상황에서 사용되기에는 그 계수의 과다로 인해 유용성은 제한적일 수밖에 없다.

복잡한 비선형 시스템을 최소한의 계수로 효율적으로 모델링하는 대안으로 쌍선형 회귀성 신경망이 있다. 쌍선형 회귀성 신경망은 피드포워드형(feedforward type) 신경망보다 동적인 시스템의 인식이나 시계열 예측에서 보다 유용하여 실제적인 문제에 응용되고 있다.

이하, 쌍선형 회귀성 신경망의 구조와 학습방법을 보다 상세하게 설명한다.

도 2는 입력변수 3개, 은닉층 뉴런 1개, 2차의 회귀도, 그리고 한개의 출력변수를 가지는 쌍선형 회귀성 신경망의 구성을 개략적으로 보이고 있다.

이는 다음의 수학식2와 같이 표현될 수 있다. 상기 수학식2에서는 도 2보이는 활성화 함수(activation function) 'f(sum)'은 고려되지 않는다.

수학식 2에서 x[n]는 입력, y[n]는 출력, 그리고 N은 회귀 차수이다.

도 3은 수학식 2의 일반적인 식, 즉, N개의 입력과 M개의 은닉층 뉴런 및 K(=N-1)차의 회귀항을 갖는 쌍선형 회귀성 신경망의 구성을 보이고 있다. 도 3에서o[n]은 n번째 데이터에 대한 출력을,O _M [n-K] 는 M번째 은닉층 뉴런에서의 K차 회귀하는 회귀항을 나타낸다.

도 3에서 입력 벡터(vector)와 출력 벡터 각각을 수학식 3 및 수학식 4와 정의할 수 있다.

따라서, 회귀항은 수학식 5와 같이 M ×K(=N-1)의 형태로 나타낼 수 있다.

수학식 4에서 p는 1, 2, …, M을 나타낸다.

또한, 각 은닉 뉴런에서의 합을S _p [n]이라 정의하면, 위 식의 M ×K 회귀항 정리를 이용해 다음의 수학식 6과 같이 표현할 수 있다.

수학식 6에서 '' 회귀항의 가중치 벡터(weight vector)이며, 'B _p '는 회귀항과 포워드층의 가중치 행렬(weight matrix), ''는 포워드층의 가중치 벡터이다. 여기에 활성화 함수()을 고려한 마지막 출력, 즉 'o[n]'은 수학식 7과 같이 정의할 수 있다.

수학식 7에서 'w_o'는 최종 출력단의 바이어스(bias)이고, 'w_op'는 은닉층의 각각 출력에 해당하는 가중치이다. 즉, 쌍선형 회귀성 신경망에서 은닉층과 출력층 사이의 연결은 보통의 포워드형 신경망에서 쓰이는 관계식과 같다.

다음, 쌍선형 회귀성 신경망의 학습 알고리즘에 대해 설명한다. 이는 기본적으로 기울기 감소(gradient descent) 방법에 의해 구해지며, 오류(error)는 수학식 8과 같이 정의된다.

수학식 8에서 'N_o'는 출력층 뉴런의 수이며, 'd _l [n]'은l번째 출력층 데이터에 대한 목표값(target)이다. 기울기 감소(gradient descent) 방법에 의한 가중치 조정은 수학식 9와 같이 표현된다.

수학식 9에서 'η'는 학습 이득이고, 'w _ij '는 j에서 i사이의 가중치(weight)를 나타낸다. 수학식 9의 적당한 미분값을 구하여 대입하면, 매 상호작용(iteration) 마다의 가중치 변화는 다음의 수학식 10 내지 수학식 13과 같다.

수학식 10 내지 13에서δ[n]은 델타 규칙(delta rule)에 의해 구해진 가중치의 변화율을 나타내며, 'δ _l [n]'는 바이어스의 가중치를, 'δ _p [n]'는 입력 및 회귀항 가중치의 변화율을 나타낸다.

수렴 조건은 앞에서 정의한 수학식 8의 미분치가 음수가 되기 위한 필요한 조건이므로 이들을 정리하면, 학습이득(η)의 범위는 수학식 14와 같이 표현된다.

따라서, 각 학습이득(η)에 따른 수렴 조건은 다음의 수학식 15 내지 수학식 18과 같다.

수학식 15 내지 수학식 18에서x _m =sup(x[n-i]),w _m =sup(w _ij ),z _m =sup(s _p [n-i]) 이며N은 입력 뉴런수이다.

다음은 진화전략에 대해 상세하게 설명한다.

진화 전략은 매개변수 최적화 문제를 해결할 수 있는 방법으로써 자연 진화의 원리를 모방한 알고리즘이다. 초기의 진화 전략은 돌연변이 연산자만을 가지고 부동점 표현이 사용된 진화 프로그램으로 인식될 수 있다. 그러나 최근에는 교배연산자도 돌연변이와 함께 쓰이고 있다. 초기 진화 전략은 연속적으로 변하는 매개변수들을 갖는 다양한 최적화 문제들에 적용해 왔으나 이산 문제들에 대해서 적용이 확장되었다.

초기 진화 전략은 하나의 개체만으로 구성된 개체집단을 사용하였고, 또한진화과정에서 단 하나의 유전 연산자(돌연변이)만을 사용하였다. 즉,v= (x , σ) , 여기서 첫 번째 벡터x는 탐색 공간내의 하나의 점을 나타내고, 두 번째 벡터σ는 표준 편차들의 벡터이다. 돌연변이는x를 다음의 수학식 19와 같이 표현함으로써 실현된다.

수학식 19에서N( O ,σ)는 평균이 0이고 표준편차가σ인 독립적인 랜덤 가우시안(Gaussian) 숫자이다.

자손세대가 만약 좀더 좋은 적합도를 갖고 모든 구속 조건들이 만족된다면 개체 집단의 부모세대와 자손세대의 교체가 일어나게 된다. 즉, 적합도 함수를f(x)라 정의하면, 자손세대(x ^t+1 ,σ)는f(x ^t+1 ) >f(x ^t )일 때만 그것들의 부모세대와 바뀐다. 만약 그렇지 않을 경우 자손세대는 제거되고 개체 집단은 변화 없이 남는다. 그러므로 경쟁단계에서는 자손세대와 부모세대가 같이 경쟁하므로 이를 두회원 진화전략이라고 부른다.

한편, 이전의 두회원 진화 전략과 개체집단의 크기에서 다른 다회원 진화전략이 있다. 다회원 진화전략의 특징은 집단 내의 모든 개체들은 같은 교배 확률을 갖고 교배 연산자에 의해 교배한다는 점이다. 즉, 두 부모세대는 수학식 20과 같이 정의될 수 있다.

이때의 자식세대는 수학식 21과 같이 된다.

수학식 21에서 'q_i'는 1 또는2 이고 모든 'i'는 1부터 n까지에 대해서 동등한 확률을 갖는다.

이러한 연산자들은 전역적인 형태로 적용될 수 있는데, 새로운 부모 세대들의 쌍은 자손세대 벡터의 각 원소를 위해서 선택되어 진다. 또한, 돌연변이를 통해 생성된 새로운 자손세대를 수학식 22와 같이 표현할 수 있다.

수학식 22에서 'Δσ' 는 매개 변수가 된다.

진화 전략은 실수 함수 최적화 문제들을 위해서 만들어졌기 때문에, 실수 수치 문제 영역 안에서 매우 좋은 성능을 나타낸다.

본 발명에서는 다회원 진화전략을 이용하여 쌍선형 회귀성 신경망 중 시그모이드(sigmoid)의 기울기를 결정한다. 도 4는 그 절차를 보이고 있다. 시그모이드는 활성화함수(activation function)이라 불리우며, 이는 신경망의 결과물을 적절하게 펼치는(mapping) 역할을 하게된다. 그러므로 시그모이드는 신경망에서 학습의 속도를 향상시키고 보다 나은 결과를 만들기 위해서 필수적이며, 활성화 함수의 기울기에 따라 신경망의 학습이 빨라지고 정확해진다.

대한민국 기상청과 일본 기상청 등에서는 측정된 태풍관련 데이터를 디지털화하여 관리 및 보관하고 있다. 태풍데이터는 1960년 4월 21일부터 1996년 12월 29일까지의 기간동안 6시간 간격인 데이터로서 계절에 상관없이 열대폭풍단계(Tropical Storm Stage)에서부터 이름이 붙여진 태풍들을 사용하였다. 이는 총 1,003개, 36,397개의 패턴으로 구성되어 있다.

다음의 표 1은 데이터별 사용용도를 보인다.

학습을 위한 네트워크는 위도 예측을 위한 네트워크, 경도 예측을 위한 네트워크, 중심기압 예측을 위한 네트워크 등 총 3개의 네트워크로 구성한다. 각 네트워크에 요구되는 매개변수들은 실험을 통하여 결정하였고, 선형적인 함수의 기울기는 진화전략을 이용해서 찾게된다. 또한 초기 가중치는(Initial Weight) 0에서 1 사이의 랜덤한 값들로 정하고, 입력패턴은 슬라이딩 윈도우(Sliding window) 기법을 이용하며,x(t),x(t-1),x(t-2)로 정하였고, 출력 패턴으로는x(t+2) 로 정하였다. 이는 12시간 후 태풍의 위치 예측을 의미한다. 태풍진로 예측은 태풍의 전향점을 기준으로 다른 네트워크를 사용하던 기존방법과는 달리 어떤 태풍이더라도 12시간 예측을 가능하게 하기 위해 하나의 네트워크로써 그 전향여부에 상관없이 학습하였으며, 또한 각 태풍을 유형별로 나누지 않고, 태풍 발생 후 6 단계(step) 즉, 36시간만에 소멸된 태풍을 제외하고는 모든 태풍을 학습 입력으로 사용한다.

그 결과의 한 예로 태풍의 경도를 학습한 결과를 다음 도 5에 도시하였다.

도 6은 진화전략을 이용한 쌍선형 회귀성 신경망(이하, ES_BLRNN이라 함)이 학습을 끝낸 곳을 확대하여 도시한 것으로 ES_BLRNN의 성능을 쉽게 비교해 볼 수 있다. 도 5 및 도 6에 보여지듯 ES_BLRNN을 적용한 학습은 쌍선회 회귀성 신경망을 적용한 경우에 비교하여 과도 학습(over training)이나 과소 학습(under training)없이 정확하게 학습을 하게 되며, 진화전략의 영향으로 최적의 활성화 함수(sigmoid 함수) 기울기를 갖게 된다.

ES_BLRNN을 적용한 학습 결과와 종래 태풍의 위치를 예측하기 위해 고안된 네트워크인 MLPNN(MultiLayer Perceptron NeuralNetwork)과 비교한 그래프를 도 7에 나타내었다. 도 7에서 MLPNN의 그 성능은 MSE(Mean Square Error) 표현되었고, MLPNN과 비교하기 위해 ES_BLRNN을 MSE로 바꾸어 표시하였다. 훈련시 각 가중치가 지엽적 최소점에 빠진다는것과 다른 알고리즘이 접목되지 않는 이상 과도학습이나 과소학습을 하게되어 적절한 학습을 하지 못하는 커다란 단점을 가진 MLPNN에 비하여 ES_BLRNN을 적용할 경우 학습 결과가 양호해짐을 알 수 있다.

신경망의 더 우수한 출력을 위해서 각 데이터들을 가공할 필요가 있다. 각각의 데이터는 편차와 평균치가 서로 다르므로 신경망을 적용할 경우 평균치가 큰 데이터에 가중치가 많이 적용되어진다. 그러므로 각 데이터를 0에 가까운 값에서부터 1에 가까운 값으로 변환하여 그 편차 및 평균치를 거의 동일하게 적용하고, 데이터 상호간에 그 편차 혹은 평균치로 인한 잘못된 학습이 진행됨을 막을 수 있다. 이는 데이터의 정규화(normalize)라 불리며, 신경망에서 가장 중요한 절차 중 하나라고 말할 수 있다.

본 발명에서 제공한 시스템에 적용된 데이터중 위도의 경우를 살펴보면, 위도의 데이터는 0 °부터 90 °까지의 분포하며, 각 태풍은 그 생성된 위치 및 소멸된 위치가 서로 다르다. 따라서 만약 위도성분 데이터를 정규화 없이 입력패턴으로 사용한다면, 적도부근에서 발생된 태풍 즉, 위도성분이 0에 가까운 태풍들은 그 가중치가 작아지며 적도에서 떨어져 발생한 태풍일수록 입력이 20에서 60정도의 실수가 사용되게 되므로 활성화 함수(sigmoid 함수 적용)의 출력은 항상 1이 된다. 그러므로 적절한 학습이 진행되지 않으며, 또한 진행하고자 할 경우에는 보다 복잡한 초기 가중치들의 선정과 보다 정밀한 학습율 및 선형전이함수의 기울기가 요구된다. 따라서, 본 발명의 시스템에 적용된 각 데이터는 0.1에서 0.9까지로 변환하였다.

도 7은 ES_BLRNN과 역전파 알고리즘의 학습 성능을 비교한 그래프이다. 도 7에서 볼 수 있듯 ES_BLRNN은 기존의 MLPNN이나 BLRNN보다 그 성능이 매우 우수하다는 것을 알 수 있다. 표 2에 알고리즘별 학습성능 및 학습회수(epoch)를 나타내었다.

상기 표2의 결과는 ES_BLRNN을 이용할 경우에 MLPNN이나 BLRNN을 이용하는 경우보다 적은 학습 회수로서 효과적인 학습 성능을 얻을 수 있음을 보이고 있다.

학습에 사용된 데이터는 1966년 1월 1일부터 1990년 12월 31일까지 681개의 태풍 25,299개의 패턴이며, 각 데이터는 정규화 된 데이터이다. 표 3은 데이터별 학습결과를 보이고 있다.

(α: 은닉층 시그모이드 함수의 기울기β: 출력층 시그모이드 함수의 기울기)

예측시 사용된 네트워크는 학습시 사용한 네트워크와 동일하며, 학습의 결과로 얻어지는 최종 가중치를 전달받아 예측하게 된다. 예측으로 사용된 데이터는 1991년 1월 1일부터 1996년 12월 31일 까지 총 146개의 태풍 4,455개의 패턴을 사용하고, 12시간 예측을 위해 발생 후 6단계 (36시간)안에 소멸한 태풍을 제외하였다. 표 4는 예측에 사용된 모든 태풍데이터를 예측한 결과이다.

ES_BLRNN 성능을 구체적으로 설명하기 위하여 도 8 및 도 9에 예측된 데이터중 임의 2개 태풍의 위도, 경도, 중심기압을 3차원으로 나타낸다. 도 8 및 도 9에서 보여지듯 태풍의 데이터는 그 비선형성이 매우 크다고 할 수 있으나, ES_BLRNN을 이용하여 위도, 경도및 중심기압을 비교적 정확하게 예측할 수 있다.

도 10 내지 도 13은 91년부터 96년까지 총 146개의 태풍중 임의의 4개의 태풍에 대한 측정치와 본 발명에 따른 태풍 예측 시스템으로부터 얻은 예측치의 비교를 지도와 함께 나타낸 것이다. 입력 패턴으로는 6시간 간격의 태풍의 위치(위도, 경도), 중심최저기압 및 날짜를 사용하였으며, 12시간 후의 태풍의 위치와 중심최저기압을 출력 패턴으로 사용하였다.

도 10 내지 도 13에서 점선은 측정된 데이터를 나타내고, 실선은 ES_BLRNN을 이용하여 예측된 데이터를 나타낸다.

본 발명은 상술한 실시예와 첨부된 도면에 의해 그 기술적 사상이 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 기술을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 그리고 변경이 가능하다는 것을 명백하게 알 수 있을 것이다.

상기와 같이 이루어지는 본 발명은 태풍의 진로와 세기를 ES_BLRNN을 이용해 예측함으로써, 슈퍼컴퓨터를 이용하지 않고도 태풍을 예측할 수 있다.

그 뿐만 아니라 수치모델을 슈퍼컴퓨터로 계산할 경우 약 30분 정도가 소요되는데 반하여, ES_BLRNN의 경우는 681개의 태풍을 학습하는데 약 5분 정도의 시간만이 소요된다. 그러나, 본 발명에서 제시한 태풍 예측 시스템을 PC에 적용하여 146개의 태풍을 예측하는데 걸리는 시간은 약 3초 정도 소요되어 슈퍼컴퓨터를 필요로하는 수치모델이나 클리퍼 모델에 비해 훨씬 빠르게 결과를 볼 수 있다.

또한 입력 데이터를 바꿈으로써 아시아권이 아닌 다른 지역의 열대폭풍에 쉽게 적용할 수 있다. 이는 태풍예보나, 선박의 항로 결정 등에 응용할 수 있을 것이며, 그 외 다른 기상분야에도 신경망 모델을 적용함으로써, 기상 예측모델을 구상할 수 있다.

Claims

위도, 경도 및 중심기압 각각을 분석하는 3개의 신경망을 구비하여 태풍의 중심 위치와 그 중심기압을 분석하는 태풍 예측시스템에 있어서,

상기 각각의 신경망에 입력되는 위도, 경도 및 중심기압 각각의 3개 입력 데이터는 시계열 예측을 위한 3차원 입력 패턴으로써, 각 입력 데이터에 해당하는 여러개의 가중치들을 곱하여 은닉층을 형성하고,

회귀성 신경망을 적용, 각 은닉층의 결과를 다시 입력으로 사용하고,

회귀성 신경망에는 적절한 결과를 산출하기 위하여 반복 실험을 통하여 최적의 학습율을 결정하고,

회귀성 신경망의 2개의 활성화 함수 기울기는 진화전략을 통하여 구하고,

학습을 진행하면서 학습오차가 증가할 경우, 학습을 중단한 후 활성화 함수의 기울기를 조절하여 지엽적 최소점에 빠진 모든 가중치들을 재 계산하고,

활성화 함수의 기울기는 진화전략을 이용하여 조절하고,

진화전략을 통하여 얻은 최적의 활성화 함수 기울기 및 각 가중치를 이용하여, 입력된 경도, 위도 및 중심기압 값으로부터 실제 태풍의 진로와 그 중심기압을 예측하는

태풍예측 시스템.