KR100342886B1

KR100342886B1 - 이진 시스템 학습 방법

Info

Publication number: KR100342886B1
Application number: KR1019997009692A
Authority: KR
Inventors: 젱탕
Original assignee: 히로시마 히사야스; 가부시키가이샤 쇼와켄쿠쇼
Priority date: 1998-02-20
Filing date: 1999-02-18
Publication date: 2002-07-04
Also published as: PE20001190A1; AR017461A1; JP2002024199A; KR20010020137A; IL132367A; NO995089L; RU2187841C2; CN1256771A; NO995089D0; BR9904836A; US6611826B1; ZA991361B; TW497041B; ID23914A; PE20000591A1; AU742285B2; AU2547599A; DE978791T1; CA2287933A1; WO1999042928A1

Abstract

복수의 이진 입력 단자로 이루어진 입력층과, 접속층과, 복수의 동종 논리 소자로 이루어진 제 1 이진 게이트층과, 복수의 동종 논리 소자로 이루어진 제 2 이진 게이트층과, 출력층으로 이루어져서, 각 층 내부의 결합은 없고, 각 층간의 결합은 입력층에서 출력층으로 한 방향으로만 되도록 학습 네트워크를 구성하여, 출력층의 실제 출력과 모니터 신호의 오차를 감소시키거나 또는 제거시키도록 하기 위하여, 접속층을 구성하는 입력층의 각 유니트로부터 제 1 이진 게이트층의 각 유니트로의 접속 상태를 변경함으로써 학습을 수행하는 이진 시스템 학습 방법에 있어서, 상기 접속 상태는

(1) 직접 접속

(2) 인버터를 통한 접속

중 어느 한가지 상태를 변경하는 것을 특징으로 한다.

Description

이진 시스템 학습 방법{METHOD OF LEARNING BINARY SYSTEM}

학습 시스템으로서는 신경망(Neural network)을 들 수 있다.

신경망이라고 하는 것은 생체 정보 처리의 기본 단위로서, 신경 세포의 기능을 모방한 신경 세포 의사 소자(이하 뉴런(Neuron)이라 칭한다)를 네트워크로 구성시킨 회로이다. 문자 인식과 연상 기억, 운동 제어 등에 응용되고 있다.

도 17에 의하면, 하나의 유니트로서의 뉴런 NE는 다른 뉴런으로부터 입력을 받는 부분(11)과 해당 입력을 일정한 규칙에 따라 변환하는 결합부(12)와 임계치부(13)와 출력부(14)로 구성된다. 다른 뉴런과의 결합부에는 결합의 강도를 나타내는 가중치「W_ij」를 포함하고 있다. 또한, 이러한 결합에는 다른 뉴런으로 부터의 입력이 클수록 자신의 출력이 커지는, 이른바 흥분 결합(W_ji0)과, 반대로 다른 뉴런으로부터의 입력이 클수록 자신의 출력이 작아지는 억제 결합(W_ji<0)이 있다. 이러한 가중치 W_ij와 임계치 θ_i를 변화시키면 네트워크의 구조가 변하게 된다.네트워크에서의 학습이란 이러한 가중치 W_ij와 임계치 θ_j를 변화시키는 것이다.

도 18은 상기와 같은 뉴런 NE으로 이루어지는 신경망을 나타내는 도면이다. 해당하는 네트워크는 입력층과 중간층 및 출력층으로 구성되어 있다. 각 층 내부에는 결합이 없고, 중간층은 복수의 층을 사용하는 것이 가능하다. 이러한 구성의 네트워크의 동작은, 입력층에 입력되는 신호가 중간층에 전파되고, 중간층에서 결합계수 혹은 가중치 및 임계치를 처리하여 얻어진 결과를 출력층에 전파한다. 출력층에서 또한, 가중치 및 임계치를 처리하고 나서, Z를 출력한다. 중간층과 출력층의 뉴런의 입력값 NEX는 이하의 (수학식 19)에서 계산된다.

따라서, 뉴런의 입력 NEX에 대하여 비선형처리를 하여 출력한다. 중간층 또는, 출력층의 출력값 Y_j와 Z_j는 보통 (수학식 20)에 나타나는 시그모이드(Sigmoid) 함수를 이용하여 구한다.

학습이라고 하는 것은, 해당하는 실제 출력값 Z_j와 원하는 출력값 T_j(모니터 신호라 칭한다)의 오차를 감소시키거나 또는 제로가 되도록 가중치와 임계치를 변경하는 것이다. 이러한 변경량을 구하는 데에는 오차 역(Inverse) 전파법 등이 사용된다. 또한, 이러한 변화량을 구하기 위하여 사용하는 방정식은 뉴런이 입력층인지 중간층인지에 따라 차이가 난다.

상기한 바와 같은 네트워크를 실현하는 아날로그 회로로서는, 입력과 출력의 신호의 강도를 전압으로 나타내고, 뉴런의 가중치는 각 뉴런 라인을 연결하는 저항값으로 나타내며, 뉴런의 출력 함수(시그모이드 함수)는 증폭기의 전달 함수로서 나타내는 방법이 있다. 또한, 뉴런 사이의 결합의 훙분성과 억제성을 나타내기 위하여, 상기 증폭기의 출력을 두 개로 나누어서, 한쪽의 출력을 인버터로 반전시킴으로써 양,음의 신호를 생성하고, 훙분 결합인지 억제 결합인지를 나타내도록 할 수 있다.

그러나, 이러한 아날로그 회로 방식에 있어서는 다음과 같은 문제점이 있다.

1. 우선, 온도 특성에 따른 뉴런 소자 작동의 어긋남이 존재한다.

2. 또한, 상기의 실제 출력 Z 와 모니터 신호 T 사이의 오차를 조정하는 경우에, 각 중간층과 출력층에서 가중치를 수정하기 때문에, 오차 수정 회로가 복잡하게 될 뿐만 아니라, 오차를 제로로 만드는 것도 불가능하다.

3. 더욱이, 증폭기 등을 사용하기 때문에, 회로가 복잡하고, 대형화되며, 게다가 연산 시간도 길어져서 대규모의 네트워크를 실현하는 것이 곤란하다.

한편, 특개평5-108594호에는 신경망을 실현하는 디지털 회로를 제안했다. 상기에 의하면, 뉴런 소자는 전부 논리 소자로 되고, 온도 특성에 의한 뉴런 소자 작동상의 어긋남은 나타나지 않는다.

그러나, 상기와 같은 디지털 회로 방식은 여전히 다음과 같은 문제점이 있다.

1. 우선, 각 층 사이의 신호전파는 펄스를 이용하고, 실제로는 아날로그 신호 값을 펄스 밀도(단위 시간 당 펄스 수)로 표현하는 것이다. 이 때문에, 오차를 제로로 수렴시키는 것이 불가능할 뿐만 아니라, 연산 시간도 길어진다.

2. 또한, 하나의 뉴런 소자의 체적은 커져서, 네트워크 전체는 아주 크게 팽창한다.

3. 지금까지 알려져 있는 신경망의 구조를 사용하면서, 학습하는 경우에 가중치 및 임계치의 변화량 수정은 종래의 각 중간층 및 출력층에 해당한다.

상기와 같은 문제점을 해결하기 위하여, 본 출원의 발명자는 본 출원의 선출원(미국특허출원 USA08/744, 299)에서 도면에 도시된 논리 소자로 이루어진 새로운 학습 네트워크를 구축하는 방법으로, 이진 시스템 학습 방법을 제안했다.

도 1에 도시된 학습 네트워크는 복수의 이진 입력 단자 X1, X2, ... , Xn으로 구성되는 입력층(21)과, 접속층(22), 복수의 동종 논리 소자(예를 들면 논리곱 AND)로 이루어지는 제 1 이진 게이트층(AND 층, 23), 복수의 동종 논리 소자(예를 들면, 논리합 OR)로 이루어지는 제 2 이진 게이트층(OR 층, 24), 출력층(25)으로 구성되고, 각 층은 내부의 결합은 없고, 층 사이의 결합은 입력층으로부터 출력층으로의 한 방향 결합만으로 되어 있다(Feed forward type).

또한, 접속층에 있는 입력층의 각 유니트에서 AND 층의 각 유니트로의 접속은 하기의 방법으로 된다.

(1) 직접 접속

(2) 인버터를 경유하는 접속

(3) 항상 1 접속

(4) 항상 0 접속

상기한 바와 같은 접속을 실현하기 위한 접속층은, 의사 뉴런으로 구성될 수 있다. 따라서, 도 14에 도시된 학습 네트워크가 가능하다.

도 14에 의하면, 설명을 간단하게 하기 위하여 OR 층(24)의 유니트를 하나로 하고, 따라서 출력층(25)의 출력단 Z도 하나로 된다.

도 12에 도시된 바와 같이, 의사 뉴런 소자 NE는 하나의 입력과, 하나의 출력이 있어서, 입력에서의 가중치 W_ij는 1 대 1로 대응되고, 임계치 θ_ij는 -1.5, -0.5, 0.5, 1.5 중의 어느 하나의 값을 갖는다.

따라서, 도 13에 도시된 바와 같이 입력 X_i와 가중치 W_ij와 임계치 θ_ij에 의한 출력 Y_ij는 모두 상기 네 가지의 접속 상태로 표현된다. 즉, Y_ij는 아래의 (수학식 3) 또는 (수학식 4)로 계산한다.

또는,

으로 된다.

여기에서, 출력은 하나이기 때문에,

로 된다.

= Z - T

여기에서, M은 ANDi 외의 모든 입력의 최대값이다. 즉,

= 1

이것은 도 15에 도시된다.

으로 된다.

마찬가지로, 각 입력의 AND 게이트에 있어서 다음과 같은 연속 함수로서 근사화하는 것이 가능하다.

여기에서, m은 ANDi 외의 전체 입력의 최소값이다. 즉,

이것은 도 16에 도시되었다.

따라서,

마지막으로,

여기에서, X = W_ijX_i-

이기 때문에,

= Sgn( m - Y_ij) = 1 Y_ij≤ m

f' (X) ＞ 0 이기 때문에, f' (X) = 1 이라고 한다면, 가중치와 임계치의 수정량W_ij및는

= 2 ,= 1 이라고 하면,

로 된다.

상기 식에 의하면, 모든 양은 이진수이기 때문에, 수정량은 출력 Z, 모니터 신호 T, AND 의 출력 ANDi, 출력 Y_i및 입력 X_i와 간단한 논리 관계로 된다.

= f' (X) ㆍ X_i

그러나, 상기 선출원의 학습 네트워크는 접속층의 유니트 출력은 이진수이지만, 접속 상태가 네 가지로 된다. 만일, 이러한 접속 상태를 두 가지로 나타낼 수 있으면, 하드웨어(Hardware)의 실현에서 접속층의 유니트, 오차 수정 회로, 특히학습 네트워크 전체의 구성이 간단하게 바뀌게 된다. 따라서, 상기 선출원에 게재되어 있는 학습 방법을 변경하여 개선시킬 필요가 있다.

본 발명은 상기의 문제점에 착안한 것으로서, 상기 목적을 달성하기 위하여, 학습이 확실하고 신속하게 되고, 게다가 학습 네트워크의 구조를 변경하여 간단하게 할 수 있는 이진 시스템의 학습 방법을 제공하는데 그 목적이 있다.

본 발명은 문자 인식, 로봇 등의 운동 제어, 연상 기억 등에 응용되는 학습 시스템에 속한다.

도 1은 AND 층과 OR 층으로 구성된 이진 시스템 학습 방법에 의한 학습 네트워크를 도시한 블록도이고, 도 2는 도 11에 도시된 진리표에 의한 논리 회로이고,도 3은 학습 네트워크의 출력을 1 비트로 하여 나타내는 네트워크 도면이고, 도 4는 접속 회로를 구현하기 위한 논리 회로를 도시한 도면이고, 도 5는 학습 방법을 구현하기 위한 제어 회로를 도시한 도면이고, 도 6은 2-to-1 셀렉터 논리 회로의 한 가지 예를 나타낸 도면이고, 도 7은 OR 층과 AND 층으로 구성된 이진 시스템 학습 방법에 의한 학습 네트워크를 나타낸 블록도이고, 도 8은 중간 NAND 층과 출력 NAND 층으로 구성된 이진 시스템 학습 방법에 의한 학습 네트워크를 나타낸 블록도이고, 도9는 중간 NOR 층과 출력 NOR 층으로 구성된 이진 시스템 학습 방법에 의한 학습 네트워크를 나타낸 블록도이고, 도 10은 중간 EXOR 층과 출력 EXOR 층으로 구성된 이진 시스템 학습 방법에 의한 학습 네트워크를 나타내는 블록도이고, 도 11은 논리 함수의 진리표이고, 도 12a는 의사 유니트의 임계치 함수를 나타낸 그래프이고, 도 12b는 의사 뉴런의 수학적 모식도이고, 도 13은 의사 뉴런에 의한 접속 상태를 설명하는 도표이고, 도 14는 의사 뉴런을 이용한 이진 시스템 학습 방법에 의한 학습 네트워크를 나타낸 개념도이고, 도 15는 OR을 근사화한 함수를 나타낸 그래프이고, 도 16은 AND를 근사화시킨 함수를 나타내는 그래프이고, 도 17은 유니트로서 뉴런 NE를 나타내는 설명도이고, 도 18은 뉴런 NE로 이루어진 신경망을 도시한 도면이다.

(도면의 주요 부분에 대한 부호의 명칭)

2: OR 게이트

3: AND 게이트

5: 접속 회로

11: RS-FF

12: 2-to-1 셀렉터

13, 14, 16, 17, 18, 19: AND 게이트

15: OR 게이트

21: 입력층

22: 접속층

23: AND층

24: OR층

25: 출력층

T: 모니터 신호

X: 입력 단자

X1, X2, ... , Xi: 입력 패턴

Z: 출력

상기한 목적을 달성하기 위하여, 본 발명의 이진 시스템 학습 방법은 복수의 이진 입력 단자로 이루어진 입력층과, 접속층과, 복수의 동종 논리 소자로 이루어진 제 1 이진 게이트층과, 복수의 동종 논리 소자로 이루어진 제 2 이진 게이트층과, 출력층으로 이루어져서, 각 층 내부는 결합이 되지 않고, 각 층 사이의 결합은 입력층에서 출력층의 한 방향으로만 되도록 학습 네트워크가 이루어지고, 출력층의 실제 출력과 모니터 신호의 오차를 감소시키거나 제거하도록, 접속층에 의한 입력층의 각 유니트로부터 제 1 이진 게이트층의 각 유니트로의 접속 상태를 변경시키도록 학습을 행하는 이진 시스템의 학습 방법에 있어서, 상기 접속 상태는

(2) 인버터를 통한 접속

중의 어느 한 가지 상태로 변경되는 것을 특징으로 한다.

(1) 실제 출력과 모니터 신호가 동일하면, 학습을 수행하지 않고, 상기 두 신호가 다르면, 학습을 수행한다.

(2) 제 1 이진 게이트층의 최상위 유니트로부터 최하위 유니트의 순서로 입력층의 입력단과 제 1 이진 게이트층의 유니트 사이의 접속 상태를 변경하여 학습을 행하고, 그리고 동일한 해당 유니트에 있어서 모든 입력단이 동시에, 또는 입력층의 최상위 입력단으로부터 최하위 입력단의 순서로 학습을 행한다.

(3) 제 1 이진 게이트층의 최하위 유니트까지 이미 학습을 수행했지만, 아직 학습을 계속하는 경우에는 다시 최상위 유니트로부터 상기의 순서로 학습을 행한다.

상기 제 1 이진 게이트층과 상기 제 2 이진 게이트층은 각각 복수의 논리 소자 AND 게이트와, 복수의 논리 소자 OR 게이트로 구성되는 것을 특징으로 한다.

상기 제 1 이진 게이트층과 상기 제 2 이진 게이트층은 각각 복수의 논리 소자 OR 게이트와, 복수의 논리 소자 AND 게이트로 구성되는 것을 특징으로 한다.

상기 제 1 이진 게이트층과 상기 제 2 이진 게이트층은 각각 복수의 논리 소자 NAND 게이트와, 복수의 논리 소자 NAND 게이트로 구성되는 것을 특징으로 한다.

상기 제 1 이진 게이트층과 상기 제 2 이진 게이트층은 각각 복수의 논리 소자 NOR 게이트와, 복수의 논리 소자 NOR 게이트로 구성되는 것을 특징으로 한다.

상기 제 1 이진 게이트층과 상기 제 2 이진 게이트층은 각각 복수의 논리 소자 EXOR 게이트와, 복수의 논리 소자 EXOR 게이트로 구성되는 것을 특징으로 한다.

이하, 첨부한 도면에 의거하여 본 발명의 이진 시스템 학습 방법의 실시형태를 설명한다.

제 1 이진 게이트와 제 2 이진 게이트가 각각 AND층과 OR층으로 구성된 AND-OR 네트워크를 도시한 도 1에 의해서, 본 발명의 학습 방법에 따른 학습 네트워크의 일실시 형태를 설명한다.

본 발명의 학습 방법은, 복수의 이진 입력 단자 X1, X2, ..., Xn으로 이루어진 입력층(21)과, 접속층(22), 복수의 논리곱 AND로 이루어진 제 1 이진 게이트층(AND층, 23), 복수의 논리합 OR로 이루어진 제 2 이진 게이트층(OR층, 24), 상기 OR층(24)의 각 유니트의 출력단으로 이루어진 출력층(25)을 네트워크로 하여 구성된 것이다.

또한, 이러한 학습 네트워크는 각 층 내부의 결합이 없으며, 층간 결합은 입력층(21)에서 출력층(24)으로 한 방향의 결합(Feed forward type)으로 하고, AND층(23)과 OR층(24)과의 접속은 일정하게 하여, 학습은 접속층(22)에 의한 입력층(21)의 각 유니트로부터 AND층(23)의 각 유니트로의 접속 상태를 이하의 어느 한 상태로 변경함으로써 행한다.

(1) 직접 접속

(2) 인버터를 통한 접속

접속층(22)은 입력층(21)의 각 유니트로부터 AND층(23)의 각 유니트로의 접속에 의한 것이다.

이하, 상기 실시예의 원리에 대해서 설명한다.

예를 들어, 도 11에 도시된 진리표에 나타난 논리 변수의 관계로부터 이하의 논리 함수를 얻을 수 있다.

이 식을 논리 소자로 표시하면, 도 2에 도시된 논리 회로로 나타낼 수 있다.

따라서, 도 1에 있어서는, X1, X2, ..., Xi로 이루어진 복수의 관련성 있는 입력 패턴(예컨대, 동일개념을 나타내는 복수 형태의 입력 패턴)에 대해서 동일한 출력 Z를 얻는 것은, 입력층(21)과 AND층(23)과의 접속상태(즉, 접속층(22)의 상태)를 변경함으로써 구현할 수 있다.

따라서, 도 1에 도시된 학습 네트워크에서의 학습이란, X1, X2, ...,Xi로 이루어진 일정한 입력 패턴에서의 출력 Z를 모니터 신호 T와 일치시키도록 접속층(22), 즉, 입력층(21)의 각 유니트와 AND층(23)의 각 유니트와의 접속 상태를 변경하는 것이다.

이진 시스템에 있어서 신호는 1이나 0 두 개밖에 없기 때문에, 이러한 접속 상태는 집적 접속이나 인버터를 통한 접속 중 어느 하나로 나타낼 수 있다.

입력층(21)과 AND층(23) 사이의 2 개의 접속상태, 즉, 직접 접속 또는 인버터를 통한 접속을 설정하는 것은 1 비트로 나타낼 수 있다. 예를 들어, 1을 직접 접속으로 하고, 0을 인버터를 통한 접속으로 할 수 있다.

도 2에서 입력단을 4개, 출력 Z가 1일 때 X1, X2, X3, X4로 부터의 입력 패턴 수를 6개로 할 경우, 논리 소자 AND의 수는 적어도 6개이다.

도 1에 있어서는, 입력층(21)의 입력단을 n개, Z1, Z2, Z3, ...,Zn로 이루어진 동일 출력 패턴에서의 입력 패턴 수를 2_n-1+ 1(즉 2n의 반) 이하로 하면, 제 1 이진 게이트층의 AND층(23)에는, 2_n-1+ 1개의 유니트 AND가 있으면 충분하다.

이하, 상기한 실시예를 회로도를 이용하여 설명한다.

예를 들어, 도 1에 도시된 학습 네트워크를 1 비트 출력으로 표시하면, 도 3에 도시된 네트워크 도면이 된다. 여기서, 배타적 OR1(Exclusive OR)은 모니터 신호 T와 실제 출력 Z에 의해서 오차 신호(ERROR)를 제공한다. AND 게이트(3)에 각 입력 X1, ...,Xn이 각각 자신의 접속 회로(5)를 통해 입력되고, 여기에 제어 회로(4)의 신호가 입력된다. 여기서 게이트 ANDj는 OR 게이트(2)에 입력되는 AND 게이트의 하나이다.

접속 회로(5)는 제어 회로(4)로부터 상태 갱신 신호를 접수하여, 입력 X1이 1이면 입력 X가 직접, 입력 X가 0이면 입력 X가 인버터를 통해서 AND 게이트에 접속되는 회로이다. 도 4는 이러한 접속 회로를 구현하기 위한 논리 회로를 도시한 도면이다.

도면에 있어서, RS-FF(11)는 입력 단자 X와 AND층의 AND 게이트의 접속 상태를 나타내는데 이용되는 RS 플립플롭(Flip-Flop)이다. 「2-to-1 셀렉터」(12)는 RS-FF(11)의 상태에 따라서 X와 AND에 직접 또는 인버터 접속으로 접속시키는 것이다.

RS-FF(11)에 있어서, S = 1, R = 0일 때, RS-FF가 세트(Set)되어 1이 출력된다. S = 0, R = 1일 때, RS-FF가 리셋(Reset)되어 0이 출력된다. S = R = 0일 때에 RS-FF는 이전 신호를 유지하는 기억 상태에 있다. 따라서 제어 회로(4)로부터 상태 갱신 신호가 1이 되면, 도 4에 도시된 바와 같이 AND 게이트(13,14)에 의해서 RS의 상태가 갱신된다. 즉, X가 1이면, AND 게이트(14)에 1이 출력되고, AND게이트(13)에 0이 출력되어, RS-FF(11)가 1로 세트된다. 반대로 X가 0이면, AND 게이트(13)에 1이 출력되고, AND 게이트(14)에 0이 출력되기 때문에, RS-FF(11)가 0으로 리셋 된다.

「2-to-1 셀렉터」(12)는 2개의 입력단(I0,I1)과 선택단 S를 갖는다. S단의 신호가 0이면 I0의 신호를 선택하고, S단의 신호가 1이면 I1단의 신호를 선택한다. 「2-to-1 셀렉터」(12)는 도 6에 도시된 논리 회로를 이용할 수 있다.

따라서, 입력 X가 1이면 RS-FF(11)가 1로 세트되기 때문에, 「2-to-1 셀렉터」(12)가 I1을 선택하고, X가 직접 AND 게이트에 접속되게 된다. 입력 X가 0이면, RS-FF(11)가 리셋 되기 때문에, 「2-to-1 셀렉터」(12)가 I0을 선택하고, X가 인버터(20)를 통해 AND 게이트에 접속되게 된다.

제어 회로(4)는 학습 신호(LEARNING), 리셋 신호(RESET), 오차신호(ERROR) 및 AND 게이트의 출력에 의해서, 각각의 AND 게이트가 학습을 수행했는지 안했는지의 학습 상태를 나타내고, 동시에 접속 회로에 상태 갱신 신호(LEARNING ENABLE)를 제공하는 기능 회로이다.

학습을 하기 전에, 우선 제어 회로(4)를 리셋 신호(RESET)에 의해서 0으로 초기화한다. 즉, 모든 AND 게이트 출력을 0으로 한다.

학습을 하는 경우에, 입력 X, 출력 Z, 모니터 신호 및 AND 게이트의 출력에 의해서, 접속 상태를 변경했는지의 여부를 결정한다. 구체적으로 하기의 학습 규칙을 이용할 수 있다.

(1) 실제의 출력 Z와 모니터 신호 T가 동일하면 학습을 하지 않지만, 상기두 신호가 서로 다른 경우에는 학습한다. 상기 오차 신호는 실제의 출력 X와 모니터 신호 T의 배타적 OR(Exclusive OR)로 얻어진다. 즉, 실제의 출력 Z와 모니터 신호 T가 다른 경우에 EXOR은 1을 출력하고, 동일하면 0을 출력한다.

(2) AND층의 최상위 AND 게이트에서 최하위 AND 게이트 순서로, 즉, AND1, AND2, ...,ANDn의 순서로 제어 회로 및 각 접속 상태를 변경하도록 학습을 행한다.

도 5는, 이러한 학습 방법을 구현하기 위한 제어 회로를 도시한 것이다.

도 5에 있어서, RS-FF(11)는 AND층의 유니트 ANDj와 접속하여, 학습 상태를 나타내는데 이용되는 RS-FF이다. RS-FF(11)의 출력이 1이면, 상기 AND 게이트에 대해서 학습을 수행했음을 나타내고, AND 게이트의 출력은 입력 및 접속 상태에 따라서 결정된다. RS-FF(11)의 출력이 0이면, AND 게이트는 입력과 관계없이 항상 0을 출력하게 된다. 즉, 학습을 하지 않음을 나타낸다.

리셋 신호(RESET)가 1이 되면, OR 게이트(15)와 AND 게이트(16)에 의해서 RS-FF이 0으로 리셋 된다. 즉, 제어 회로를 0으로 초기화할 수 있다.

학습을 하는 경우에, 학습 신호(LEARNING)가 1이 된다. 오차 신호(ERROR)가 0이면, OR 게이트(15)와 AND 게이트(16, 17, 18)에 의해서, RS-FF의 입력이 0으로 되기 때문에, RS-FF는 이전의 상태를 유지한다. 즉, 학습을 하지 않게 된다.

한편, 오차 신호(ERROR)가 1이면 학습이 행해진다.

모니터 신호가 1이고 실제의 출력 Z가 0일 때, 오차 신호(ERROR)는 1이 된다. 각 학습 상태 RS-FF(11)에 있어서는, 학습되지 않은 RS-FF의 출력은 Q = 0, 즉, Q = 1이기 때문에, AND 게이트(18)에 의해서 선택된다. 또한, AND 게이트(19)에 의해서 상위 AND 게이트의 학습 상태, 즉 Qj-2, Qj-1, Q′j-1 등에서 상위에서부터 제일 첫 번째로 학습되지 않은 RS-FF이 선택된다. 여기서, Qj-2, Qj-1은 제 j-2, j-1 번째 RS-FF의 출력이고, Q′j-1은 Qj-2, Qj-1 및 Q′j-2의 논리곱이다. ANDj는 0이지만 선택된 RS-FF만은 R = 0, S = 1이 된다. 그리고, 상기 RS-FF은 1로 세트되고, 동시에 상태 갱신 신호(LEARNING ENABLE)를 제공한다.

오차 신호(ERROR)가 1이다. 또한, 모니터 신호 T가 0이고 실제 출력 Z가 0일 때, 모든 1을 출력하고 있는 AND 게이트가 AND 게이트(17)에 의해서 선택되고, RS-FF(11)가 강제적으로 0으로 리셋 된다. 예를 들어, AND_j가 1이면, AND 게이트(17, 16) 및 OR 게이트(15)에 의해서 RS-FF가 강제적으로 0으로 리셋 된다.

상기한 실시예에 나타난 바와 같이, 학습 네트워크에서의 학습은, 입력층(21)의 입력단과 AND층의 각 유니트의 접속 상태를 변경함으로써 수행되고, 또한 이러한 상태는 직접 또는 인버터를 통한 접속의 2 가지밖에 없기 때문에, 오차 수정 회로의 구성이 간단하게 바뀌고, 극히 단시간으로 소정의 학습 효과를 얻을 수 있다. 또한, 실제의 출력과 모니터 신호와의 오차는 반드시 0으로 수렴할 수 있다.

상기한 실시예에서는, 제 1 이진 게이트층과 제 2 이진 게이트층으로서 각각 AND층(23)과 OR층을 이용하는데, 그 이외에, 도 7, 도 8, 도 9 또는 도 10에 도시된 바와 같이, 제 1 이진 게이트는 복수의 논리 소자 OR로 이루어진 OR층, 복수의 논리 소자 NAND로 이루어진 중간 NAND층, 복수의 논리 소자 NOR로 이루어진 중간NOR층, 또는 복수의 논리 소자 EXOR로 이루어진 중간 EXOR층으로 하고, 제 2 이진 게이트는 복수의 논리 소자 AND로 이루어진 AND층, 복수의 논리 소자NAND로 이루어진 출력 NAND층, 복수의 논리 소자 NOR로 이루어진 출력 NOR층, 또는 복수의 논리 소자 EXOR로 이루어진 출력 EXOR층으로 구성하는 것도 가능하다.

본 발명에 관한 이진 시스템의 학습 방법에 의하면, 복수의 이진 입력 단자로 이루어진 입력층과, 접속층과, 복수의 동종 논리 소자로 이루어진 제 1 이진 게이트층과, 복수의 동종 논리 소자로 이루어진 제 2 이진 게이트층과, 출력층을, 각 층 내부의 결합이 없으며, 각 층간의 결합이 입력층으로부터 출력층으로의 한 방향의 결합만으로 이루어진 학습 네트워크를 구성하여, 접속층에 의한 입력층의 각 유니트로부터 제 1 게이트층의 각 유니트로의 접속 상태를 직접 접속 또는 인버터를 통한 접속으로 변경함으로써 학습을 행하기 때문에, 학습 네트워크의 오차 수정 회로의 구성은 간단하게 되고, 극히 단시간으로 소정의 학습 효과를 얻을 수 있다. 또한, 실제의 출력과 모니터 신호와의 오차는 반드시 0으로 수렴하도록 하는 것이 가능하다.

Claims

이진 학습 시스템에 있어서,

복수의 이진 입력 단자로 이루어진 입력층;

접속층;

복수의 제 1 동종 논리 소자로 이루어진 제 1 이진 게이트층;

복수의 제 2 동종 논리 소자로 이루어진 제 2 이진 게이트층; 및

출력층으로 이루어져서,

인접한 층들 사이의 결합 방향은 입력 부분으로부터 출력 부분으로의 한 방향으로만 제한되고, 각 층은 상호간의 결합 상태없이 독립적인 경로를 가지며, 접속층은 입력층의 각 신호 유니트로부터 제 1 이진 게이트층의 각 신호 유니트로 향하는 경로에 대하여, 직접적인 접속 상태와, 인버터를 통하여 연결되는 접속 상태 중 한 가지를 선택하는 수단을 포함하여서, 선택된 접속층은 출력층의 실제 출력 신호와 신경망 학습 네트워크의 모니터 신호 사이의 상대적인 오차가 0으로 수렴하도록 신경망 학습 네트워크를 형성하는 것을 특징으로 하는 이진 학습 시스템.
복수의 이진 입력 단자로 이루어진 입력층;

접속층;

복수의 제 1 동종 논리 소자로 이루어진 제 1 이진 게이트층;

복수의 제 2 동종 논리 소자로 이루어진 제 2 이진 게이트층; 및

출력층으로 이루어져서,

인접한 층들 사이의 결합 상태는 입력 부분으로부터 출력 부분으로의 한 방향으로만 제한되고, 각 층은 상호간의 결합 상태없이 독립적인 경로를 가지며, 접속층은 입력층의 각 신호 유니트로부터 제 1 이진 게이트층의 각 신호 유니트로 향하는 경로에 대하여, 직접적인 접속 상태와, 인버터를 통하여 연결되는 접속 상태 중 한 가지를 선택하는 수단을 포함하여서, 선택된 접속층은 출력층의 실제 출력 신호와 학습 네트워크의 모니터 신호 사이의 상대적인 오차를 제거하거나 감소시키도록 학습 네트워크를 형성하는 이진 학습 시스템을 이용하여 이진 학습을 수행하는 프로세스에 있어서,

(1) 본래의 출력 신호가 모니터 신호와 다른 경우에는 복수의 접속 상태 중 어느 한 가지를 선택하고, 상기 두 신호가 동일한 경우에는 학습을 수행하지 않는 단계;

(2) 제 1 이진 게이트층의 최상위로부터 최하위까지의 순서로 입력층의 신호 유니트와 제 1 이진 게이트층의 신호 유니트 사이의 접속 상태 중 한가지를 선택하는 경우에,

각 유니트의 모든 입력 단자를 동시에 선택하거나, 또는 입력층의 최상위에서 최하위까지의 순서로 선택하여 학습을 수행하는 단계;

(3) 최하위 유니트까지 접속 상태를 선택한 후에는

최상위에서부터 학습을 다시 수행하는 단계를 포함하는 것을 특징으로 하는 이진 학습 수행 방법.
제 1 항에 있어서,상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 OR 게이트와, AND 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 1 항에 있어서,상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 AND 게이트와 OR 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 1 항에 있어서,상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 NAND 게이트와 NAND 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 1 항에 있어서,상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 NOR 게이트와 NOR 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 1 항에 있어서,상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 EXOR 게이트와 EXOR 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 2 항에 있어서, 상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 OR 게이트와, AND 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 2 항에 있어서, 상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 AND 게이트와 OR 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 2 항에 있어서, 상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 NAND 게이트와 NAND 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 2 항에 있어서, 상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 NOR 게이트와 NOR 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.
제 2 항에 있어서, 상기 복수의 제 1 및 제 2 논리 소자는

각각 복수의 EXOR 게이트와 EXOR 게이트를 포함하는 것을 특징으로 하는 이진 학습 시스템.