KR0131862B1 - 융기함수 형성 유니트를 갖는 신경회로망 모델 - Google Patents

Abstract

본 발명은 입력층(Input Layer)과 은닉층(Hidden Layer) 및 출력층(Output Layer)으로 이루어지는 인공 신경 회로망(Artificial Neural Network)에 관한 것으로, 입력차원에 관계없이 하나의 유니트로 융기함수(Bump Function)를 형성할 수 있는 신경 회로망 모델이다.

은닉층을 이루는 복수의 은닉 유니트 각각은 특정 국부 영역의 중심점을 매개변수로서 갖고 방사형기저 함수를 생성하는 RF노드(201)와 상수값을 포함하는 입력을 가중합을 출력하는 LF노드(202)를 포함하고, 출력층(300)은 복수의 은닉 유니트 내 RF노드들로부터 각각 제공되는 입력들의 합의 역을 출력하는 조절노드(301)와 복수의 은닉 유니트 내 곱노들들로부터 각각 제공되는 융기함수들의 합을 출력하는 적분노드(302)를 포함한다.

이로써, 융기함수를 생성하기 위해 다층인식자 모델과는 달리 입력차원에 관계없이 하나의 유니트가 필요하고, 방사형기저 망에 비해 다양한 형태의 융기함수를 생성하며, 기존의 신경망방법에 비해 현저히 적은 계산시간을 요하고, 학습 속도가 빠르며, 원하는 성능을 얻기 위해 자동으로 땅을 구성함으로써 국부최소점 문제가 해결된다.

Description

융기함수 형성 유니트를 갖는 신경회로망 모델

제1도는 본 발명에 따른 퍼지추론방식 신경회로망의 구조를 나타낸 도면.

제2도는 융기함수 유니트에서 발생하는 다양한 형태를 나타낸 도면.

제3도는 제안된 신경회로망 구조에 의한 1차원 함수근사의 예.

제4도는 제안된 신경회로망 훈련을 위한 자료를 나타낸 도면.

제5도는 훈련된 신경회로만의 예측성능을 시험하기 위한 자료를 나타낸 도면이다.

본 발명은 입력층(Input Layer)과 은닉층(Hidden Layer) 및 출력층(Output Layer)으로 이루어지는 인공 신경 회로망(Artificial Neural Network)에 관한 것으로, 더 구체적으로 입력차원에 관계없이 하나의 유니트로 융기함수(Bump Function)를 형성할수 있는 신경 회로망 모델에 관한것이다.

인공신경회로망은 입력으로부터 출력을 사상(mapping) 또는 추론(infenrence)하는 기능을 수행할 수 있음으로써, 시스템 식별, 제어, 미래 예측, 인식 등에 널리 사용될 수 있다.

이러한 신경 회로망 모델은 크게 두가지 형태로 나누어진다.

한 형태의 모델은 생물학적 뉴런(Neuron)에서 착안된 것으로 입력요소들이 가중합(weighted sum)에 기반한다.

다른 한 형태의 모델은 저장된 패턴과 입력 간의 거리에 기반한다. 전자의 대표적인 모델로는 다층인식자(Multilayer Perceptron) 모델이 있다(K. Hornic. Approximation capabilityies of multilayer feedforward networks. Neural Networks, vol. 4, pp. 251-257. 1991).

후자의 대표적인 모델로는 방사형기저함수망(Radial Basis Function Network)이 있다(D. F. Specht. Ageneral regression neural network. IEEE Trans. Neural Networks. vol. 2, no. 6, pp. 568-576. Nov. 1991).

이 두가지 형태의 신경회로망 모델에 대해 망의 규모, 학습속도, 일반화 성능 등에 관하여 많은 논의가 있었다.

방사형기저함수망은 빠른 학습속도를 갖고 있으나 다층인식자에 비해 많은 매개변수를 필요로 하는 것으로 보고되어 있다.

한편 다층인식자는 학습속도가 느려서 온라인(on-line)적응을 요하는 응용분야에는 적합하지 않는 것으로 알려져 있다.

최근에 다층인식자 모델의 느린 학습속도를 보완하기 위하여, 몇개의 시그모이드(sigmoid) 유니트가 모여 융기함수(bump function)(여기서, 흉기함수란 기준면으로부터 국부적으로 돌출된 형태의 함수를 말한다.)를 발생하도록 하는 학습방법이 제안되었다(S. Geva and J. Sitte. A constructive method for multivariate function approximation by multilayer perceptrons. IEEE Trans. Neural Networks. vol.3, no.4, pp. 621-624. July 1992).

이 방법에 의하면 다양한 형태의 융기함수를 발생할 수 있으나, 융기함수당 필요한 시그모이드 유니트가 입력의 차원에 비례하여 증가되는 문제가 발생된다.

본 발명의 목적은 입력차원에 관계없이 하나의 유니트로 다양한 형태의 융기함수들을 형성할 수 있는 신경회로망 모델을 제공하는 것이다.

이제부터 첨부된 도면들을 참조하면서 본 발명에 대해 상세히 설명하도록 하겠다.

제1도는 본 발명에 따른 신경회로망의 구조를 나타낸 것이다.

제1도를 참조하여, 본 발명에 따른 신경회로망 모델은 복수의 입력(x₁, x₂, …, x_n)이 인가되는 입력층(100)과, 기준면에서 돌출된 형태의 융기함수 형성하는 은닉층(200) 및, 은닉층(200)에 의해 형성된 융기함수들을 합하여 출력하는 출력층(300)으로 구성된다.

은닉층(200)은 융기함수 형성 유니트(Bump Function Shaping Unit)들로 구성되어 있으며, 각 유니트는 RF노드(Receptive Field node)(201)와 LF노드(Linear Fitting node)(202) 및 곱 노드(203)를 포함한다.

RF노드(201)는 특정 국부영역의 중심점을 매개변수로 갖고 있으며, 다음과 같은 방사형 기저함수(radial basis function)g(x)에 따라서 출력을 발생한다.

g(x)=exp(-d²(x)/)(1)

여기서, d(x)는 입력 x와 중심점 c간의 유클리디안 거리x-c를 의미하며,는 국부영역의 크기를 결정하는 경쟁변수이다.

LF 노드(202)의 출력은 다음과 같이 상수값을 포함한 입력의 가중합(Weighted Sum)으로 표현된다.

여기서, w_ij과 x_j는 각각 가중치 벡터 w_i와 입력벡터 x의 j번째 요소이다.

RF 노드(201)의 출력과 LF노드(202)의 출력은 곱 노드(203)에 의해 상호 곱해져서 각 은닉 유니드(200)의 출력으로서 출력층(300)으로 제공된다.

즉, i번째 은닉 유니트의 출력은 다음과 같이 주어진다.

h₁(x)=μ₁(x)Ψ₁(x)(3)

또한, RF노드(201)의 출력은 그대로 출력 유니트(300)로 전달된다.

출력 유니트(200)는 조절 노드(Regulationg node)(301)와 적분 노드(Integrating node)(302) 및 곱노드(303)를 포함한다.

조절 노드(301)는 은닉층(200)의 RF노드들(201)의 출력을 조절하는데, 이는 RF노드들의 합이 단위 분할(Partition of Unity ; M. Spivak, Calculus on Manifild. W. A. Benjamin. New York. 1965) 조건을 만족하도록 하기 위한 것이다.

이 조절 노드(301)는 입력 합의 역을 출력한다.

한편, 적분 노드(302)는 은닉 유니트들에 의해 발생된 융기합수들은 단순히 합산한다.

조절 노드(301)의 출력과 적분 노드의 출력은 곱 노드(303)에 의해 곱해져서 출력 유니트(300)의 출력으로 최종적으로 출력된다. 이 신경회로망에 의해 발생되는 함수는 다음과 같이 표현된다.

이 된다.

각 유니트에 의해 발생되는 융기함수, 즉는 제2도에 도시된 바와 같이 다양한 형태를 생성한다.

이 형태를 조정하기 위해서는 LF노드(202)에 의해 발생되는 선형평면의 기울기를 조절하면 된다.

이 융기함수들을 식(4)에서와 같이 합하면 임의의 연속면(Continuous Surface)을 생성할 수 있다.

다음에는 본 발명에 따른 신경회로망의 학습방법을 설명한다.

여기서 제안되는 학습방법에 의하면 주어진 입력 패턴에 따라 은닉 유니트(200)가 자동적으로 생성된다.

새로운 입력패턴이 인가되었을 때 조절 노드(301)의 출력값이 임의의 문턱값(T)보다 크면 해당 국부영역(Receptive Field)을 담당하는 유니트가 없는 것으로 간주되고, 새로운 은닉층 유니트를 생성한다.

RF노드(201)의 중심은 입력벡터에 의해 초기화되고, LF노드(202)의 가중치는 임의로 설정된다.

그렇지 않고, 조절 노드(301)의 출력이 임의의 문턱값(T)보다 작으면 출력값이 가장 큰 은닉 유니트의 매개변수를 조정한다.

RF노드(201)의 중심은 다음의 식에 의해 갱신된다.

여기서, k는 i번째 RF노드의 중심 c₁의 갱신횟수이다.

또한, i번째 LF노드(202)의 가중치는 다음식에 의해 훈련(갱신)된다.

G₁(x)=R₁(k-1)x^-TR₁(k-1)x (8)

R₁(k)=R₁(k-1)-G₁(k)x^-TR₁(k-1)x (9)

R₁(0)=aI.(10)

여기서, t6는 (n+1) 차원 벡터[x1]이고, I는 단위행열이며 a는 a≫1을 만족하는 상수이다.

본 발명에 따른 신경회로망의 은닉 유니트(200)의 역할을 살펴보기 위해 다음의 1차원 함수를 근사화하는 신경회로망을 구성하였다.

제3도의 (a)는 5개의 은닉 유니트에 의해 근사화된 결과를 보여준다. 이때 각 유니트에 의해 발생된 융기함수들의 제3도의 (b)에 도시된 바와 같이 다양한 형태를 취한다.

제3도의 (c)는 20개의 유니트에 의해 잘 근사된 결과를 보여주고 있다.

또한, 발명의 효과를 알아보기 위해서, 임의성(randomness)과 비선형성(nonlinearity)이 강한 Mackey-Glass(M-G) 혼돈 시계열 예측 문제에 본 발명을 적용하였다.

M-G시계열을 다음과 같다.

여기서, a=0.1, b=0.2와 τ=17로 했을때 임의성과 비선형성이 강한 시계열이 발생된다(제4도 참조).

신경회로망의 입력으로서는 x(t), x(t-6), x(t-12), x(t-18)의 4개 과거 데이터가 사용된다.

예측하고자 하는 미래 데이타는 85 스텝 뒤의 x(t+85)이 된다.

본 발명에 따른 모델의 구성 및 매개변수를 훈련시키기 위하여 식(12)에서 초기치 x(0)=0.9에 대해서 t=2000부터 생성된 500개의 데이타를 사용하였으며(제4도), 예측성능을 시험하기 위하여 그 다음 500개의 데이터를 사용하였다(제5도).

모의실험에서는 학습법의 변수를 T=1,000, a=10,000로 설정하였다. γ는 0.0001부터 0.0019까지 0.0001간격으로 증가시키며 19개의 신경회로망을 구성하였다.

γ에 따라서, 각 신경회로망은 67~383개의 은닉층 유니트를 생성하였다. 이중에서 322/290/243개 유니트를 갖는 신경회로망 각각은 4.6% / 4.7% / 5.7%의 E_nras(평균자승오차의 제곱근을 출력값의 표준편차로 나눈값)의 성능을 얻었다.

4.8%의 경우 제5도에서 보듯이 추정오차는 육안으로 거의 식별이 불가능하다.

또한 이의 학습을 위해서 SUN SPARC 2(22 Mips)에서 1분 정도밖에 소요되지 않았다.

다층인식자 모델은 541매개 변수로서 5%의 E_nras를 얻었으나 학습을 위해 Cray X-MP(90-Mflops)에서 30-60분 정도 소요되었다(A. S. Lapedes and R. Farber. Nonlinear signal processing using neural networks : Prediction and system modeling. Technical Report LA-UR-87-2662, Losalamos National Laboratory, 1987).

이 학습시간은 SUN SPARC 2에서는 1주일 이상에 해당하는 시간이다. 한편 방사형기저망을 이용하는 경우, Moody 및 Darken은 6%의 성능을 얻기 위해 1,000유니트를 갖는 망을 이용하였으며, 10,000개의 학습데이타를 사용했다.

학습속도는 SUN 3/60(90 Kflops)에서 31분 소요되었다(J. Moody and Darken. Fast learning networks of locally-tuned processing units. Neural Com-putation, 1, pages 281-283, 1990).

이들 모델들과 비교하였을 때, 제안된 신경망은 적절한 망의 규모로 좋은 성능을 보여주며, 특히 매우 빠른 학습속도를 가지고 있어 고속 온라인 적응(Fast On-line Adapation)을 필요로 하는 응용분야에 적합한 것으로 평가된다.

본 발명에 의하면 다음과 같은 장점을 얻을 수 있다.

·융기함수(Bump Function)를 생성하기 위해 다층인식자 모델과는 달리 입력차원에 관계없이 하나의 유니트가 필요하며, 방사형기저망에 비해 다양한 형태의 융기함수를 생성한다.

·기존의 신경망방법에 비해 현저히 적은 계산시간을 요하고, 학습속도가 빠르다.

·원하는 성능을 얻기위해 자동으로 망을 구성함으로써 국부최소점 문제가 해결된다.

·본 발명 모델에서는 한번 학습시 한 유니트만 학습에 참가함으로써 온칩학습을 위한 하드웨어가 현격히 줄어 온칩학습(On-chip Learning)이 가능한 VLSI로 구현이 용이하다.

·비선형성, 시변성 불안정성이 강한 이동통신의 신호수신기 및 통신채널 적응 이퀄라이저 등 실시간 적응학습을 요하는 분야의 응용에 적합하다.

Claims (1)

1. 복수의 입력(x₁, x₂,… x_n)을 각각 받아들이는 복수의 입력 유이트를 갖는 입력층과 ; 상기 입력층으로부터 제공되는 상기 복수의 입력으로부터 기준면에서 돌출된 형태의 유기함수를 각각 발생하는 복수의 은닉 유니트를 갖는 은닉층과 ; 상기 은닉층에서 형성된 융기함수들을 합하여 출력하는 출력층을 포함하고 ; 상기 복수의 은닉 유니트 각각은 특정 국부 영역의 중심점을 매개변수로서 갖고 방사형 기저함수를 생성으로 RF노드(201)와, 상수값을 포함하는 입력을 가중합을 출력하는 LF노드(202)와, 상기 RF노드(201)의 출력과 상기 LF노드(202)의 출력을 곱하여 융기함수로서 출력하는 곱노드(203)를 포함하며 ; 상기 출력층은 상기 복수의 은닉 유니트 내 RF노드들로부터 각각 제공되는 입력들의 합의역을 출력하는 조절노드(301)와, 상기 복수의 은닉 유니트 내 곱노드들로부터 각각 제공되는 융기함수들의 합을 출력하는 적분노드(302)와, 상기 조절노드(301)의 출력과 상기 적분노드(302)의 출력을 곱하여 출력하는 다른 하나의 곱노드(303)를 포함하는 것을 특징을 하는 융기함수 형성 유니트를 갖는 신경회로망 모델.