KR0131847B1 - 비선형 회귀를 위한 가속 간편 학습 방법 - Google Patents

Abstract

본 발명은 연속적으로 입력된 자료에 대하여 주어진 근사정도에 따라 3층의 구조, 즉 입력층, 은닉층 그리고 출력층으로 이루어진 추정망을 이용하여 자료가 의미하는 동력학을 식별하기 위한 학습방법에 대한 것이다.

여기서 추정망의 입력층과 출력층은 선형함수로 이루어진 것에 반해, 은닉층은 가우스 요소함수로 이루어졌다.

제안된 가속 간편학습방법은 기존의 간편학습방법에 비하여 계산시간은 비슷한 반면, 좋은 변수추정치를 얻은 수 있는 장점이 있다. 제안된 학습방법을 M-G혼돈시계열 예측기에 적용한 결과, 기존의 간편학습방법을 적용한 M-G혼돈시계열 예측기에 비해서 좋은 예측결과를 얻었다.

Description

비선형 회귀를 위한 가속 간편 학습 방법

제1도는 가우스 요소 함수를 이용한 비선형 회귀 모델.

제2도는 본 발명에 따른 가속 간편 학습 방법의 흐름도.

제3도는 맥키-글래스 혼돈 시계열(Mackey-Glass Chaotic Time-series).

제4도는 각 학습 방법에 대한 학습 회수에 따른 정규 평균 자승근 오차 곡선.

제5도는 각 학습 방법의 오차 및 계산 시간.

제6도는 각 학습 방법에 대한 가우스 요수 함수의 갯수에 따른 정규 평균 자승근 오차 곡선.

본 발명은 연속적으로 입력되는 자료에 대하여 주어진 근사정도에 따라 3층 구조의 추정망을 이용하여 자료가 의미하는 동력학을 식별하기 위한 가속 간편 학습 방법(Accelerated Quick and Dirty Algorithm)에 대한 것이다.

본 발명에서 제시된 추정망은, 제1도에 도시된 바와 같이, 3층의 구조 즉, 입력패턴 x(t),x(t-1),…x(t-N)을 받아 들이는 입력층(Input Layer)과, 가우스 요소함수 Ψ₁, Ψ₂, …, Ψ_k로 이루어지는 은닉층(Hidden Layer) 그리고 출력층(Output Layer)으로 이루어졌다. 제1도에서, 입력층과 출력층은 선형함수로 이루어지는데 반해, 은닉층은 가우스 요소함수로 이루어진다.

이것은 수식으로 표시하면 다음과 같이 주어진다:

여기서, M은 요소함수 Ψ의 갯수를 표시하고, c₁는 i번째 요소함수에 연결된 출력가중치를 표시하고, p₁는 i번째 요소함수의 형태와 관련된 변수벡터를 표시한다.

한편, 가우스 형태의 요소함수 Ψ₁는 다음과 같이 정의된다.

Ψ₁=Ψ(x,pi)=e^-d(x,p1)/2 (2)

여기서, m₁와 σ₁는 각각 i번째 가우스 요소 함수의 평균벡터 및 표준편차를 표시한다.

이제부터 간편 학습 방법(Quick and Dirty Algorithm; 이하, 'QDA'라 약칭함)에 대해 설명하겠다.

설명에 앞서, 초기조건으로서, 추정망이 어느 정도의 성능을 갖도록 학습되었다고 가정하고 그 결과 k개의 요소함수가 은닉층에 보충되었다고 가정한다(이에 대한 자세한 방법은 R. M. Kil. Function approximation based on a network with kernel functions of bounds and locality : An approach of non-para-metric estimation. ETRI journal, 15(2):1-17, 1993. 참조).

S={(x_k, y_k)｜k=1, …, N}(4)

여기서 S는 학습패턴 집합을 표시하고, x_k와 y_k는 각각 k번째 입력패턴 및 출력패턴을 각각 표시한다.

이러한 학습패턴은 다음과 같은 식으로 표시된다고 가정할 수 있다 :

여기서,는 x_k에 대한 추정망의 실제 출력을 표시하고, θ는 θ=[θ₁,θ₂, …, θ_M]^T로 정의되는 추정망의 변수벡터를 나타내고, w_k는 일반적인 백색잡음을 표시한다.

위의 식에 θ₀를 주변으로 테일러 전개(Taylor-series expansion)를 적용하면 다음과 같이 주어진다 :

여기서, 또한 t6 를 다음과 같이 정의 하자.

여기서, h_k는로 정의되는 벡터를 표시한다. 식(9)로부터 최적 변수벡터 θ는 선형최소자 승오차의 관점에서 구해진다.

여기서, 결과적으로 구해진 k+1번째 변수벡터 θ_k+1는 다음과 같이 주어진다. (A. E. Albert and Jr. L. A. Garner. Stochastic Approximation and Nonlinear Regression. MIT Press, 1966. 참조)

θ_k+1=θ_k+a_ke_k(10)

a_k=B_kh_kand(11)

여기서, ek는 k번째 학습패턴에 대한 추정오차로서,로 주어진다.

식(10)~(12)로 주어지는 추정방법은 순환 최소 자승(Recursive Least Squares : RLS)방법이라 불리운다.

그러나 순환식(12)의 계산은 각 반복마다 계산양이 매우 크다.

(12)의 계산에는 O(M²)에 해당하는 수의 곱셈이 필요함.

이러한 계산양을 줄이기 위하여, 보다 계산적으로 간단한 소위 간편 학습 방법(QDA)이 제안되었다(A. E. Albert and Jr. L. A. Garner. Stochastic Approximation and Nonlinear Regression. MIT Press, 1966. 참조).

이러한 간편 학습 방법(QDA)은 다음과 같이 주어진다.

이 방법은 빠른 반면에 (13)의 계산에는 O(M)에 해당하는 수의 곱셈이 필요하고, 최적의 변수벡터를 발견하기 힘들다는데 문제가 있다. 하지만 이 방법은 통계학적 근사라는 면에서 안정되어 있는데, 그 이유는 다음의 수렴조건들을 만족하기 때문이다.

이에 대한 증명은 R. M. Kil and K. Jung. Convergence analysis on the quick and dirty learning algorithm for a network with gaussian kernel functions. Technical report, Electronics and Telecommunications Research Institute, November 1993.에 기술되어 있다.

간편학습방법(13)은 빠른 변수추정을 가능하게 하지만, 오차의 최소화라는 관점에서 좋은 변수추정치를 주지 못한다.

이러한 연유로, 본 발명에서는, 가속 간편학습방법(Accelerated QDA ; 이하, 'AQDA'라 함)이라 불리우는 개선된 간편학습방법을 제안한다.

본 발명에 따른 가속 간편학습방법의 목적은 빠른 변수추정이 가능하게 하고 보다 개선된 변수추정치를 제공하는데 있다.

본 발명은 R. M. Kil. Approximation and Inverse Mapping of Continuous Functions in the Paradigms of Connectionist Models : Theries and Applications. PhD thesis, University of Southern California, 1991.에서 제안된 비선형방정식의 해를 구하는 방법에 기반을 두고 있는데, 다음과 같은 식으로 주어진다.

여기서, E_k와 H_k는 각각 e_k와h_k 의 지수적 이동평균(exponentially wighted moving average)을 표시한다.

그러나, 여기서, 어떠한 형태의 이동평균방법이 사용되어도 무방하다. 또한, λ는 0과 1사이의 실수를 표시한다.

식 (16)과 (17)을 이용하여 a_k는 다음과 같이 표시된다 :

여기서, d는 상수 그리고 p는 추정망 변수의 갯수를 표시한다. 식(18)에서 t_k는 AQDA의 안정적 수렴을 보장한다.

그 이유는 식(18)의 a_k가 t_k로 인하여 식(14)와 (15)의 수렴조건을 만족하기 때문이다.

또한, 식(18)에서 H_k로 인하여 비교적 편안한 오차곡면상에서 가속을 얻음을 알 수가 있다.

요약하면, 본 발명의 가속 간편학습방법은 주어진 학습패턴을 식(5)와 같이 모델링하고, 변수벡터, θ에 대하여 식(10),(18),(19)와 같이 추정한다.

본 발명의 학습방법은 제2도에 설명되어 있다.

제2도를 참조하여, 먼저, 주어진 학습패턴 x_k에 대하여의 형태로 모델링한다(여기서,는 x_k에 대한 추정망의 실제 출력, θ는 θ=[θ₁,θ₂,…,θ_M]^T로 정의되는 추정망의 변수벡터, w_k는 일반적인 백색잡음을 각각 표시함.).

이어, k=1로 하고, 다음의 식들, k번째 학습패턴에 대한 추정오차와,를 이용하여 k+1번째의 변수벡터 θ_k+1=θ_k+a_ke_k를 구한다.(여기서, h_k는로 정의되는 벡터, d는상수, p는 추정망 변수의 갯수, E_k와 H_k는각각 e_k와h_k 의 이동평균 표시함.).

이어, k의 값을 1증가시킨 후, 평균자승근오차가 규정오차보다 작은지의 여부를 판별하고, 규정오차보다 작지 않으면 위에서 설명된 바와 같은 변수벡터 산출단계로 복귀하여 다음의 변수벡터를 구하는 반면, 규정오차 보다 작으면 종료한다.

실시예

본 발명의 가속 간편학습방법을 실험하기 위하여 그것을 혼돈시계열 예측기에 적용하였다.

혼돈시계열 예측문제의 대상으로는 임의성(randomness)과 비선형성(nonlinearity)이 강한 Mackey-Glass(M-G)혼돈시계열 예측문제(A. S. Lapedes and R. Farber. Nonlinear signal processing using neural networks : Prediction and system modeling. Technical Report LA-UR-87-2662, Los Alamos National Laboratory, 1987.)를 선택하였다.

M-G혼돈 시계열은 다음과 같다.

여기서, a=0.1, b=0.2, τ=17로 했을때 임의성과 비선형성이 강한 혼돈시계열이 발생된다(제3도 참조).

추정모델의 입력으로는 x(t), x(t-6), x(t-12), x(t-18)의 4개의 과거 데이터가 사용된다.

예측하고자 하는 미래데이터는 85스텝뒤의 x(t+8₅)이 된다.

초기추정망 설정을 위하여 식(20)에 의해 생성된 500개의 데이타를 사용하여 R. M. Kil. Function approximation based on a network with kernel functions of bounds and locality : An approach of nonparametric estimation. ETRI journal, 15(2) : 1-17,1993.에서 제시한 학습방법으로 구성하였다.

변수추정 과정에서는 식(10), (18), (19)의 가속 간편학습방법을 적용하였다. 이 실험에서는 λ=0.5, t_k=1로 설정하였다.

t_k=1로 설정한 이유는 식(19)가 나타내고 있는 안정성을 위한 요소를 고려하지 않아도 제시된 알고리즘이 변수추정에 안정성이 있음을 보여주기 위함이다.

기존의 알고리즘과의 비교를 위하여 순환최소자승방법(RLS) 및 간편 학습방법(QDA)에 의한 실험결과를 포함하여 각 방법에 대한 훈련반복횟수(number of epochs)에 따른 정규평균자승오차(normalized root mena squred error)의 결과를 제4도에 첨부한다.

제5도에서 제시된 표는 실험에 이용된 각 학습방법들에 대한 평균자승오차 및 중앙처리시간(CPU time)을 썬 스팍 10(SUN Sparc 10) 워크스테이션에서 수행된 결과이다.

표에서 보는 바와 같이 제시된 가속 간편학습방법의 예측정확도가 순환최소자승법과 거의 차이가 없으며, 중앙처리시간은 간편학습방법과 거의 비슷함을 알 수 있다.

망의 크기에 따른 각 학습방법들의 성능을 평가하기 위하여 추정망의 은닉층에 해당하는 가우스 요소함소의 갯수를 변화시켜 가면서 실험을 실시하였다.

제6도는 각 학습방법에 대하여 망의 크기가 변화함에 따라, 그에 해당하는 정규평균자승근오차를 나타낸 것이다.

이 실험의 결과들이 보여주고 있는 것은, 첫째, 훈련학습패턴에 대한 정규오차는 요소함수의 크기가 증가함에 따라 감소하고 있으나(R. M. Kil. Function approximation based on a network with kernel functions of bounds and locality : An approach of non-parametric estimation, ETRI journal, 15(2) : 1-17, 1993 및 R. M. Kil and J. Y. Choi. Time-series prediction based on global and local estimation models.World Congress on Neual Network,4 : 617-621, July 1993. 참조.).

둘째, 시험학습패턴에 대하여는 요소함수의 개수가 130여개에서는 정규오차가 거의 변화가 없다는 것이다(본 발명의 학습방법과, J. Moody and C. J. Darken. Fast learning in Networks of locally-tuned processing units.Neural Computation,1 : 281-294, 1989.에 제시된 방법을 비교할 때, 본 발명이 방법은 J. Moody and C. J. Darken의 방법과 비슷한 성능을 갖는데는 그 방법에 비해 시험학습패턴과 요소함수의 갯수가 훨씬 적게 필요하였음.)

즉, 크기가 500인 훈련패턴으로는 추정망의 일반화 능력을 충족시키기가 곤란하다는 것을 시사하고 있다.

여기서, 가우스 요소함수의 갯수가 지나치게 많으면 예측오차를 줄이는데 효과적이지 못하다는 것을 보여주는데, 그 이유는 망의 변수가 변화할 수 있는 자유도(drgree of freedom)가 작아지기 때문이다. 또한 제6도는 망의 크기가 증가함에 따라, 비록 가속 간편학습법이 순환최소자승법보다 예측능력이 우수하지 못하지만 간편학습법보다 성능이 지속적으로 우수함을 보여 준다.

그러나 순환최소자승방법의 계산복잡도는 요소함수의 갯수가 증가함에 따라 제곱치수로 증가한다.

Claims (1)

1. 입력학습패턴을 받아 들이는 입력층과, 가우스 요소함수로 이루어지는 은닉층 그리고 출력층을 포함하는 비선형회귀 모델을 위한 간편학습방법에 있어서 ; 주어진 학습패턴 x_k에 대하여의 형태로 모델링한다(여기서,는 x_k에 대한 추정망의 실제 출력, θ는 θ=[θ₁,θ₂,…,θ_M]^T로 정의되는 추정망의 변수벡터, w_k는 일반적인 백색잡음을 각각 표시함.)하는 단계와 ; k=1로 하고, 다음의 식들, k번째 학습패턴에 대한 추정 오차와,를 이용하여 k+1번째의 변수벡터 θ_k+1=θ_k+a_ke_k를 산출하는 단계와 ; (여기서, h_k는로 정의되는 벡터, d는상수, p는 추정망 변수의 갯수, E_k와 H_k는각각 e_k와h_k 의 이동평균 표시함.).

   상기 k의 값을 1증가시킨 후, 평균자승근오차가 규정오차보다 작은 지의 여부를 판별하고, 상기 평균자승근오차가 상기 규정오차보다 작지 않으면 상기 변수벡터 산출단계로 복귀하여 다음의 변수벡터를 구하고, 상기 평균자승근오차가 상기 규정오차 보다 작으면 종료하는 단계를 포함하는 것을 특징으로 하는 비선형 희귀를 위한 가속 간편 학습 방법.