KR0169036B1 - 가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망

2. 발명이 해결하려고 하는 기술적 과제

종래의 호프필드(Hopfield) 연상 메모리 신경망 회로는 다양한 응용 범위를 갖고 있지만, 아주 제한된 메모리 용량을 갖는다는 단점을 갖고 있다. 이를 해결하기 위한 고차 연상 메모리 신경망 회로는 잡음에 대한 영향을 크게 받고, 지수(Exponential)연상 메모리 신경망 회로는 실제 하드웨어 구현시 전기회로의 제한된 다이나믹 레인지(dynamic range) 때문에 이론 결과보다 실제의 성능은 많이 떨어지는 문제점이 있었음.

3. 발명의 해결 방법의 요지

가우시안 비선형 함수로 이루어진 비선형 망을 이용해 메모리의 용량을 증가시키면서 안정성(stability)을 보장할 수 있는 연상 메모리 신경망 회로를 제공하고자 함.

4. 발명의 중요한 용도

연상 메모리 신경망 회로에 이용됨.

Description

가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망

제1도는 종래의 호프필드(Hopfield) 연상 메모리 신경 회로망의 구조도.

제2도는 종래의 BAM(Bidirectional Associative Memory) 신경 회로망의 구조도.

제3도는 본 발명에 따른 가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망의 개략적인 구조도.

제4a도 및 4b도는 본 발명에 따른 가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망의 상세 구조도.

* 도면의 주요부분에 대한 부호의 설명

1 : 입력 내적 계산부 2 : 비선형 연상망

3 : 출력 내적 계산부 21 : 유클리디언 거리 계산부

22 : 비선형 함수 연산부 23 : 승산부

24: 가산부

본 발명은 가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망에 관한 것이다.

호프필드(Hopfield) 연상 메모리 모델이 1980년도 초에 발표되면서 신경 회로망에 대한 관심이 다시 고조되고 있다. 종래의 연상 메모리 신경 회로망으로는 호프필드(Hopfield) 모델, BAM(Bidirectional Associative Memory) 모델, 고차 연상 메모리 모델 등이 있다. 호프필드(Hopfield) 연상 메모리 모델이 대표적인데, 그 구조는 다음과 같다.

제1도는 종래의 호프필드(Hopfield) 연상 메모리 신경 회로망의 구조도를 나타낸다.

호프필드(Hopfield) 연상 메모리 신경 회로망은 어떤 패턴의 잡음 제거에 쓰이거나 최적화 문제에 사용된다. 즉, 입력 X가 출력 X로 매핑되도록 하는 것인데, 입력 X에 잡음이 들어오면 그것을 제거하는데 이용된다.

호프필드(Hopfield) 연상 메모리 신경 회로망의 상호연결 T_ij는로 나타낼 수 있다.

제2도는 종래의 BAM(Bidirectional Associative Memory) 신경 회로망의 구조도를 나타낸다.

BAM의 신경회로망은 호프필드(Hopfield) 신경 회로망과 똑같은데, 단지 출력이 입력과 다르다. 즉, (x , y)패턴 쌍을 갖고 있다면, 상호연결 T_ij는로 해서 구성된다.

여기서, 인덱스 s는 수록하는 패턴을 나타내는 인덱스이다. 또한, 고차 연상 메모리는 입력의 차수를 높인 것이다.

BAM의 신경회로망에서 임의의 출력값은이다.

여기서, Q(a)함수는 a0이면 '1'이고, a≤0이면 '0'의 값을 갖는다. 반면에, 고차 연상 메모리는이다.

여기서,이다. 혹은 내적 방식으로 표현하면이 된다.

상기와 같은 종래의 호프필드(Hopfield) 연상 메모리 신경망 회로는 다양한 응용 범위를 갖고 있지만, 아주 제한된 메모리 용량을 갖는다는 단점을 갖고 있다. 이를 해결하기 위해 고차 연상 메모리(Higher-order associative memory) 신경망 회로와 지수(Exponential)연상 메모리 신경망 회로가 제안되었으나, 고차 연상 메모리 신경망 회로는 잡음에 대한 영향을 크게 받고, 지수(Exponential)연상 메모리 신경망 회로는 실제 하드웨어 구현시 전기회로의 제한된 다이나믹 레인지(dynamic range) 때문에 이론 결과보다 실제의 성능은 많이 떨어지는 문제점이 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위하여 안출된 본 발명은 가우시안 비선형 함수를 이용해 메모리의 용량을 증가시키면서 안정성(stability)을 보장할 수 있는 연상 메모리 신경망 회로를 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명은, 임의의 수 M개의 입력 노드와 임의의 수 M개의 출력 노드로 구성된 입력 내적 계산수단과 비선형 연산수단 그리고 출력 내적 계산수단을 구비한 연상 메모리 신경망 회로에 있어서, 입력 값과 신경망 회로에 수록된 임의의 수 M개의 패턴 각각에 대해 내적을 계산하는 입력 내적계산수단; 상기 입력 내적 계산수단에서 계산된 내적 값과 수록된 임의의 수 M개의 패턴을 이용해 패턴 각각에 대해 유클리디언 거리를 계산하고, 패턴 각각의 유클리디언 거리를 비선형 함수에 적용하여 패턴 각각의 가중치를 계산한 후, 패턴 각각의 가중치를 더한 값과 각각의 패턴에 패턴 각각의 가중치를 곱한 값을 패턴 각각의 가중치를 더한 값으로 나누어 출력하는 출력 내적 계산수단을 구비하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 일실시예를 상세히 설명한다.

제 3 도는 본 발명에 따른 가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망의 개략적으로 구조를 나타낸 것으로, 도면에서 '1'은 입력 내적 계산부, '2'는 비선형 연산망, '3'은 출력 내적 계산부를 각각 나타낸다.

연상 메모리 신경망 회로는 3개의 부분으로 나뉘어 지는데, 제일 첫부분은 입력 내적 계산부(1)로서 외부로부터 들어오는 입력(x)과 M개의 메모리 패턴(x^s)과의 내적 계산을 수행한다. 두 번째 부분인 비선형 연산망(2)은 제일 중요한 부분으로서, 어떤 비선형 함수를 도입하느냐에 따라 모델이 여러개로 나뉜다. 즉, 고차 연상 메모리 신경망 회로는 f(·)=(·)^r함수를 도입한 것이고, 지수(Exponential)연상 메모리 신경망 회로는 f(·)=a^(·)의 비선형 함수를 도입한 것이다. 본 발명에서는 비선형 함수가 아니라 비선형 망(Nonlinear Network) 즉, 가우시안 비선형 함수로 이루어진 망을 도입한다. 본 발명에서는 가우시안 비선형 망을 특정화하여 설명하지만, 가우시안 비선형 망은 여러 가지가 있다. 즉, 원통형 함수 혹은 원뿔형 함수 등 여러 가지가 가능하다.

마지막으로 세 번째 부분인 출력 내적 계산부(3)는 M개의 출력 메모리 패턴에 가우시안 비선형 연산망으로부터 출력 값을 곱하고, 정규화하여 다시 입력측으로 피드백하도록 되어있다.

본 발명을 제4a도 및 4b도를 참조하여 보다 상세히 설명하면 다음과 같다.

제4a도 및 4b도는 본 발명에 따른 가우시안 비선형 함수를 갖는 연상 메모리 신경 회로망의 상세 구조도로서, 제4a도는 본 발명을 개략적인 상호연결관계를 나타낸 것이고, 제4b도는 본 발명을 기능 블록으로 표현한 것이다.

입력 x가 입력될 때, 출력측의 임의의 뉴론에서의 값는 다음과 같이 나타낼 수 있다.

여기서, B^μ(I)는 가우시안 비선형 연산망 임의의 μ번째 노드를 나타내는 것으로 다음과 같다.

여기서, α² _μ과 m^μν는 임의의 μ번째 가우시안 비선형 연산망 노드의 분산과 중심점을 각각 나타낸다. α² _μ는 본 발명에서 가장 중요한 파라미터로서 각 수록된 패턴의 인력 반경(attractor radius)을 결정한다. 이 변수가 크면 인력 반경(attractor radius)이 커져 큰 입력 잡음에도 입력 패턴을 잘 복원할 수 있지만, 수록 패턴 수, 즉 메모리 용량이 줄어든다. 반면에, 이변수 값이 작으면 인력 반경(attractor radius)이 작아지는 반면, 메모리 용량이 늘어나기 때문에 이 변수를 잘 조절할 필요가 있다.

제4b도를 참조해 본 발명을 보다 상세히 설명하면 다음과 같다.

입력 내적 계산부(1)는 입력 x 와 수록된 패턴 (x¹, x², …, x^M)각각과 내적을 취하여 I를 계산하는 기능을 수행한다.

비선형 함수 연산망(2)은 유클리디언 거리 계산부(21), 비선형 함수 연산부(22), 승산부(23) 그리고 가산부(24)로 구성되는데, 유클리디언 거리 계산부(21)는 먼저, 수록된 패턴 (x¹, x², …, x^M)과 입력 x를 이용하여 중점 패턴(M¹, M², …, M^M)을 구한다. 중점 패턴M¹은 [x¹, x², x²,x¹…, x^M, x¹]와 같이 구해지며, M^M은 [x¹,x^M, x², x^M…, x^M, x^M]와 같이 구해진다. 그리고, 이렇게 계산된 각각의 중점패턴과 상기 입력 내적 계산부(1)에서 얻어진 내적 계산 값 I를 이용하여 유클리디언 거리를 계산하여 (a^1,a²,…, a^M)을 구한다.

비선형 함수 연산부(22)는 상기 유클리디언 거리 계산부(21)에서 계산된 값(a^1,a²,…, a^M)에 비선형 함수를 계산하여 가충치로 출력한다.

승산부(23)는 수록된 패턴(x¹, x², …, x^M) 각각에 상기 비선형함수 연산부(22)에서 계산된 각각의 가중치(b¹, b², …, b^M)를 곱하여 출력한다.

그리고 가산부(24)는 상기 비선형 함수 연산부(22)에서 계산된 각각의 가충치를 더하여 출력한다.

출력 내적 계산부(3)는 상기 승산기(23)에서 출력되는 각각의 값을 상기 가산부(24)에서 가산한 값으로 나누어 그 값을 출력한다.

따라서, 본 발명은 수록된 패턴과 입력 값이 가장 근접한 경우에만 비선형함수 연산부(22)에서 계산되는 가중치가 '1'에 가깝고, 그렇지 않은 경우는 '0'에 가까우므로 결국 입력 값과 동일한 패턴이 출력되게 된다.

본 발명의 안정성(stability)을 증명하기 위해 에너지 함수를 정의하면 다음과 같이 정의 할 수 있다.

이 에너지 함수를 바탕으로 입력의 상태가 x에서 x'로 바뀌었을 때, 에너지의 차이가 항상 '0'보다 작은 것을 보이면 되는데, 이것은 다음과 같이 보일 수 있다.

여기서, B_μ(I(x))0이고, Δx_i=x_i-x_i이다. 또한, 위의 결과를 얻기 위해 다음의 부등식을 이용한다.

e^-a'-e^-a≥-e^-a(a'-a)

따라서, 에너지 함수의 차이는 항상 감소함을 알 수 있고, 또한 출력값을 입력측으로 피드백 함으로써 안정한 상태로 도달해 감을 알 수 있다.

따라서, 상기와 같이 구성되어 동작하는 본 발명은 연상 메모리 신경망 회로에 가우시안 비선형 함수를 도입하여 메모리 용량을 늘릴 수 있을 뿐만 아니라 안정성(stability)을 보장할 수 있는 효과가 있다.

이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로, 전술한 실시예 및 도면에 한정되는 것이 아니다.

Claims (2)

1. 임의의 수 N개의 입력 노드와 N개의 출력 노드로 구성된 입력 내적 계산수단과 비선형 연산수단 그리고 출력 내적 계산수단을 구비한 연상 메모리 신경망 회로에 있어서, 입력값과 신경망 회로에 수록된 임의의 수 M 개의 패턴 각각에 대해 내적을 계산하는 입력 내적 계산수단(1); 상기 입력 내적 계산수단(1)에서 계산된 내적 값과 수록된 임의의 M 개의 패턴을 이용해 패턴 각각에 대해 유클리디언 거리를 계산하고, 패턴 각각의 유클리디언 거리를 비선형 함수에 적용하여 패턴 각각의 가중치를 계산한 후, 패턴 각각의 가중치를 더한 값과, 각각의 패턴에 패턴 각각의 가중치를 곱한 값을 출력하는 비선형 연산수단(2); 및 상기 비선형 연산수단(2)으로부터 입력된 각각의 패턴에 패턴 각각의 가중치를 곱한 값을 패턴 각각의 가중치를 더한 값으로 나누어 출력하는 출력내적 계산수단(3)을 구비하는 것을 특징으로 하는 연산 메모리 신경망 회로.
2. 제 1 항에 있어서, 상기 비선형 연산 수단(2)은, 임의의 M 개의 수록된 패턴과 상기 입력 내적 계산수단(1)에서 얻어진 내적 계산 값을 이용하여 중점 패턴을 구하고, 이렇게 구해진 임의의 M 개의 중점패턴에서 상기 입력 내적 계산부(1)에서 얻어진 내적 계산 값을 감산하여 절대값을 취한 후, 다시 이를 자승하여 유클리디언 거리를 계산하는 유클리디언 거리 계산수단(21); 상기 유클리디언 거리 계산수단(21)에서 계산된 임의의 M개의 유클리디언 거리 값을 비선형 함수(단, u=1,2,…,M)에 적용하여 계산한 임의의 M개의 가중치를 출력하는 비선형 함수 연산수단(22); 수록된 패턴 각각에 상기 비선형 함수 연산수단(22)에서 계산된 각각의 가중치를 곱하여 출력하는 승산수단(23); 및 상기 비선형 함수 연산수단(22)에서 계산된 각각의 가중치를 더하여 출력하는 가산수단(24)을 구비하는 것을 특징으로 하는 연상 메모리 신경망 회로.