KR930009066B1 - 다층신경회로망 및 그 회로설계방법 - Google Patents
다층신경회로망 및 그 회로설계방법 Download PDFInfo
- Publication number
- KR930009066B1 KR930009066B1 KR1019900012915A KR900012915A KR930009066B1 KR 930009066 B1 KR930009066 B1 KR 930009066B1 KR 1019900012915 A KR1019900012915 A KR 1019900012915A KR 900012915 A KR900012915 A KR 900012915A KR 930009066 B1 KR930009066 B1 KR 930009066B1
- Authority
- KR
- South Korea
- Prior art keywords
- input
- layer
- neuron
- value
- output
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 44
- 238000000034 method Methods 0.000 title description 12
- 238000013461 design Methods 0.000 title description 8
- 210000002569 neuron Anatomy 0.000 claims description 65
- 210000000225 synapse Anatomy 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012546 transfer Methods 0.000 claims description 9
- 230000001537 neural effect Effects 0.000 claims description 5
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 claims 1
- 229910052709 silver Inorganic materials 0.000 claims 1
- 239000004332 silver Substances 0.000 claims 1
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 210000002364 input neuron Anatomy 0.000 description 5
- 210000004205 output neuron Anatomy 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 102100028043 Fibroblast growth factor 3 Human genes 0.000 description 3
- 102100024061 Integrator complex subunit 1 Human genes 0.000 description 3
- 101710092857 Integrator complex subunit 1 Proteins 0.000 description 3
- 108050002021 Integrator complex subunit 2 Proteins 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000007667 floating Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000946 synaptic effect Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- RCZJVHXVCSKDKB-UHFFFAOYSA-N tert-butyl 2-[[1-(2-amino-1,3-thiazol-4-yl)-2-(1,3-benzothiazol-2-ylsulfanyl)-2-oxoethylidene]amino]oxy-2-methylpropanoate Chemical class N=1C2=CC=CC=C2SC=1SC(=O)C(=NOC(C)(C)C(=O)OC(C)(C)C)C1=CSC(N)=N1 RCZJVHXVCSKDKB-UHFFFAOYSA-N 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Neurology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Semiconductor Integrated Circuits (AREA)
- Logic Circuits (AREA)
Abstract
내용 없음.
Description
제 1 도는 종래의 다층신경회로망의 개념도.
제 2 도는 종래의 다층신경회로망의 학습에서 사용한 시그모이드함수의 특성그래프선도.
제 3 도는 본 발명에 의한 다층신경회로망의 개념도.
제 4 도는 본 발명에 의한 다층신경회로망의 학습에서 사용한 스텝함수의 특성그래프선도.
제 5a 도는 본 발명에 의한 다층신경회로망의 일실시회로도.
제 5b 도는 제 5a 도의 시냅스구조를 설명하기 위한 부분회로도.
제 6a 도는 XY좌표상의 나선패턴도.
제 6b 도는 본 발명에 의한 다층신경회로망의 회로설계방법에 따른 제 6a 도의 나선패턴을 학습을 통하여 얻은 각층의 나선패턴도.
* 도면의 주요부분에 대한 부호의 설명
L0 : 입력층 L1, L2 : 은닉층
L3 : 출력층
N01∼L05, N11∼N13, N21∼N23, N31∼N33 : 뉴런 또는 노드
INT1, INT2 : CMOS인버터 S1 : 입력시냅스군
S1, S2 : 전달시냅군 S4 : 바이어스시냅스군
본 발명은 다층신경회로망과 그 회로설계방법에 관한 것으로, 특히 다층신경회로망의 VLSI회로 구현을 용이하게 달성할 수 있는 다층신경회로망과 그 회로설계방법에 관한 것이다.
최근, 패턴인식분야에서는 실시간처리를 위하여 대규모 병렬처리가 가능한 신경회로망의 도입이 활발히 진행되고 있다. 1988년 벨연구소의 Hans P. Graf등은 매트릭스상의 저항성 결합소자를 통하여 그들의 입출력이 상호연결되는 증폭기들로 신경회로의 시냅스와 뉴런을 구성하고 뉴런과 뉴런사이의 연결을 위하여 한쌍의 메모리셀들(RAM)에 기억된 내용에 따라 스위칭되는 한쌍의 스위치를 구비한 패턴인식 신경회로망을 발표하였다.
본원 발명자는 PMOS 또는 NMOS트랜지스터로 시냅스를 구성하고 한쌍의 CMOS인버터를 종속연결한 버퍼로 뉴런을 구성한 신경회로를 이용하여 가산기(미국출원 07/473, 653), 곱셈기(07/473, 633), A/D변환기(07/473, 631, 07/473, 634) 패턴분류기(07/473, 464)등을 출원중에 있다. 상술한 종래의 신경회로들은 다층신경회로망 모델을 이용한 것들로서, 선형적으로 분리가능한 문제들을 해결할 수는 있으나, 선형적으로 분리할 수 없는 비선형적인 문제들은 해결할 수 없었다. 따라서 그 적용범위가 극히 제한적일 수밖에 없었다. 예컨대, 배타논리합회로 즉 XOR회로는 다층신경회로망으로는 그 해를 구할 수 없다. 이와 같은 다층신경회로망의 제한성은 다층신경회로망에 의해 극복될 수 있고 다층신경회로망은 오류역행전달 알고리즘(Back propagation)에 의해 학습될 수 있음이 알려져 있다(1987년 4월 발간된 IEEE ASSP MAGAEINE 4∼22페이지 참조). 다층신경회로망을 하드웨어로 구현할 때 컴퓨터에 의한 소프트웨어로 시귤레이션 할 때와는 달리 많은 제약이 따른다. 신경회로망의 하드웨어 구현은 현재의 VLSI기술에 의존해야 하는데 신경회로의 연결가중치값과 비선형함수의 회로적 구현이 소프트웨어 시뮬레이션에서 처럼 자유롭지 못하다. 또한 소프트웨어에서는 플로팅 포인트를 사용한 실수연산을 하고 신경회로망의 접속과 노드의 수를 많이 할 수 있지만 이것을 VLSI로 구현하기에는 여러 가지 문제점이 뒤따르게 된다.
본 발명의 목적은 이와 같은 종래기술의 문제점을 해결하기 위하여 연결가중치값을 저수로 하고 계단함수를 가지는 다층신경회로망을 제공하는데 있다.
본 발명의 다른 목적은 상기 다층신경회로망을 새로운 학습룰에 따라 설계하기 위한 다층신경회로망의 회로설계방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명의 다층신경회로망은 mbit의 입력을 접수하여 nbit의 출력을 발생하는 다층신경회로망에 있어서, 한쌍의 CMOS인버터를 종속연결하고 상기 한쌍의 CMOS인버터중 전단의 CMOS인버터의 출력노드를 그의 반전출력노드로 하고 후단의 CMOS인버터의 출력노드를 그의 비반전출력노드로 하는 뉴런 ; 상기 누런를 m개 구비하여 상기 mbit의 입력을 접수하는 입력층 ; 상기 뉴런을 n개 구비하여 상기 nbit의 출력을 발생하는 출력층 ; 상기 뉴런을 n개 구비하여 상기 입력층으로부터 접수된 입력을 그의 상위의 모든 은닉층 및 상기 출력층에 전달하기 위한 적어도 한층 이상의 은닉층 ; 상기 입력층의 각 뉴런의 출력을 상기 출력층 및 상기 적어도 하나이상의 은닉층의 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 입력시냅스군 ; 상기 은닉층의 각 뉴런의 출력을 다음단의 모든 은닉층 및 상기 출력층이 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 적어도 하나이상의 전달시냅스군 ; 및 상기 적어도 하나이상의 은닉층 및 상기 출력층의 각 뉴런의 입력노드를 일정전압으로 바이어싱시키기 위한 바이어스시냅스군을 구비하여서 된 것을 특징으로 한다.
여기서, 상기 입력시냅스군, 전달시냅스군 및 바이어스시냅스군은 PMOS 또는 NMOS트랜지스터로 구성한다.
상기 다른 목적을 달성하기 위하여 본 발명의 방법은 mbit의 입력을 접수하여 nbit의 출력을 발생하는 다층신경회로망에 있어서, 한쌍의 CMOS인버터는 종속연결하고 상기 한쌍의 CMOS인버터중 전단의 CMOS인버터의 출력노드를 그의 반전출력노드로 하고 후단의 CMOS인버터의 출력노드를 그의 비반전출력노드로 하는 뉴런 ; 상기 뉴런을 m개 구비하여 상기 mbit의 입력을 접수하는 입력층 ; 상기 뉴런을 n개 구비하여 상기 nbit의 출력을 발생하는 출력층 ; 상기 뉴런을 n개 구비하여 상기 입력층으로부터 접수된 입력을 그의 상위의 모든 은닉층 및 상기 출력층에 전달하기 위한 적어도 한층 이상의 은닉층 ; 상기 입력층의 각 뉴런의 출력을 상기 출력층 및 상기 적어도 하나이상의 은닉층의 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 입력시냅스군 ; 상기 은닉층의 각 뉴런의 출력을 그의 상위의 모든 은닉층 및 상기 출력층의 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 적어도 하나 이상의 전달스냅스군 ; 및 상기 적어도 하나 이상의 은닉층 및 상기 출력층의 각 뉴런의 입력노드를 일정전압으로 바이어싱시키기 위한 바이어스시냅스군을 구비하여서 된 다층신경회로망의 회로설계방법에 있어서, 상기 입력시냅스군의 연결가중치를 초기화하는 제 1 단계 ; 상기 mbit의 입력값과 이 입력에 대응하는 nbit의 원하는 출력값을 상기 입력층과 출력층의 입출력에 제시하는 제 2 단계 ; 상기 출력층의 각 뉴런의 입력노드에서 입력의 가중치의 합을 구하고 계단함수에 의해 실제출력을 발생하는 제 3 단계 ; 상기 제 3 단계에서 얻어진 실제출력값과 상기 원하는 출력값을 비교하여 오차를 계산하고 이 오차값에 따른 가중치값의 변화분을 저장하는 제 4 단계 ; 상기 제 2 단계부터 제 4 단계까지는 2m개의 모든 입출력쌍에 대해 수행하고 모든 출력값이 원하는 출력값과 같으면 학습을 끝내고 그렇지 않으면 이때의 저장된 가중치변화분의 합을 각각 구하여 현재의 각 가중치값에 더하여 새로운 가중치값을 구하는 제 5 단계 ; 상기 출력층의 각 뉴런의 입력노드에서 상기 제 5 단계에서 얻어진 새로운 가중치값의 합이 정해진 값이상일 때에는 일정비율로 가중치값들을 각각 감소시키는 제 6 단계 ; 및 정해진 학습횟수동안 상기 제 6 단계까지를 반복한 후 원하는 결과가 얻어지지 않을 때에는 상기 출력층을 은닉층으로 하고 새로운 출력층을 증가시키고 그 하위의 모든 은닉층의 출력과 상기 원래의 입력을 새로운 입력으로 하여 상기 제 2 단계부터 반복수행하는 제 7 단계로 이루어지는 것을 특징으로 한다.
첨부한 도면을 참조하여 본 발명을 설명한다.
제 1 도는 일반적인 다층신경회로망의 개념도로서, 이는 입력노드와 출력노드 사이에 적어도 한층 이상의 노드들을 가지는 피드 포워드(feed forward) 회로망이다. 이들 추가층들은 입력노드 및 출력노드의 양쪽에 직접 연결되지 않은 은닉유니트 또는 노드들을 포함한다. 3층 신경회로망은 제 1 도에 도시한 바와 같이 입력층(L0)과 출력층(L3) 사이에 2층의 은닉층(L1)(L2)을 가진다. 입력층(L0)은 입력 X0X1X2X3X4을 접수하기 위해 5개의 뉴런유니트 또는 (N01∼N05)를 가진다. 은닉층들(L1)(L2)은 각각 3개의 뉴런유니트 또는 노드(N11∼N13)(N21∼N23)를 가지며, 출력층(L3)은 출력 Y0Y1Y2를 발생하기 위해 3개의 뉴런유니트 또는 노드(N31∼N33)을 가진다. 여기서, 각층의 뉴런유니트의 수는 회로시스템의 입출력 비트수에 따라 결정되는 것임을 유의하여야 한다. 각층의 뉴런유니트 또는 노드들은 자기 바로전단의 하위층의 모든 뉴런유니트들로부터만 연결(connection)을 접수한다.
상기 종래의 다층신경회로망은 이미 알려진 오류역행 전달알고리즘(Back-Propagation Training Algorithm)에 의해 학습되는데 이 BPTA에서는 제 2 도에 도시한 그래프 특성을 가지며 다음식(Ⅰ)으로 표시되는 시그모이드(sigmoid) 함수를 사용한다.
그러나 상기 시그모이드함수는 지수함수이기 때문에 하드웨어적으로 구현하는데 있어서 곤란성 및 회로의 복잡성등의 문제점을 가지고 있다.
또한 이진화된 입력과 계단함수를 이용할 경우 종래의 다층신경회로망은 층간의 연결구조 때문에 서로 다른 입력값에 대해 같은 값을 가질 수 있고 이렇게 되면 상위층에서 입력값들을 구분하는 것이 불가능하게 되는 문제점이 발견되었다.
제 3 도는 본 발명에 의한 다층신경회로망의 개념도로서, 각층의 누런유니트 또는 노드들은 그 하위의 모든 층들의 모든 뉴런유니트들 뿐만아니라 입력층의 모든 뉴런유니트들로부터 연결(connection)을 접수하는 구성이 제 1 도의 다층신경회로망과 다르다. 다른 구성은 제 1 도와 동일하므로 동일부호 처리한다. 또한 이와 같은 본 발명의 다층신경회로망의 학습에서는 제 4 도에 도시한 그래프 특성을 가지며 다음식(Ⅱ)으로 표시되는 스텝함수를 사용한다.
본 발명에 의한 다층신경회로망은 다음 학습 알고리즘에 따라 회로설계된다.
제 1 단계 : 모든 노드간의 연결가중치값을 초기화한다.
제 2 단계 : 입력과 원하는 출력(desired output)쌍을 입출력에 제시한다.
여기서 입력은 mbit의 2진값으로 총 2m개를 가지며 출력은 nbit의 2진값으로 입력에 대응하여 2m개를 가진다. 따라서 서로 다른 입력에 대해 동일한 출력값을 가질 수 있다.
제 3 단계 : 각 노드에서 입력의 가중치합을 구하고 스텝함수에 의해 실제출력(actual output)을 발생한다.
여기서 스텝함수는 상기 (Ⅱ)식을 사용한다.
상기 (Ⅱ)에서
는 하드리미트 비선형함수(hard limit monliner function)이며, θ는 노드의 스레시홀드값이다. Xi는 입력, Wi는 입력 Xi에 대한 가중치이다.
제 4 단계 : 출력노드에서 원하는 출력값과 상기 제 3 단계에서 얻어진 실제출력값을 비교하여 오차를 계산하고 이 오차값에 따른 가중치의 변화분을 저장한다.
즉, 오차(δ)는
δ=Desired Output-Actual Output
이며 가중치변화분(△W)
△W=δ×Input
이다.
제 5 단계 : 상기 제 2 단계부터 제 4 단계까지의 과정을 모든 입출력쌍에 대해 수행하고 모든 실제출력값이 원하는 출력값과 같으면 학습(learning)를 끝내고 그렇지 않으면 이때의 가중치변화분(△W)의 총합을 각각의 가중치에 더한다.
즉, 새로운 가중치(WT)
WT=WT-1+Σ△W
로 된다. 여기서 T는 학습횟수를 나타낸다.
제 6 단계 : 각 노드에서 입력에 대한 새로운 가중치(WT)의 합이 정해진 값(M)이상일 때에는 일정비율로 가중치(WT)들의 값을 줄인다.
즉, 가중치(WT)값은 다음식에 의해 감소시킨다.
여기서 WT는 T회 학습결과 얻어진 가중치임.
제 7 단계 : 상기 새로운 가중치(WT)를 가지고 상기 제 2 단계로부터 다시 실행하여 정해진 학습횟수만큼 반복한 후 원하는 결과가 나오지 않을 경우에는 현재의 출력층을 은닉층을 출력과 원래의 입력을 새로운 입력으로 하여 상기 제 2 단계로 되풀이한다.
즉, 학습은 우선 단층의 학습부터 수행하고 그 결과 원하는 출력값이 모두 바르게 나오면 학습을 끝내고 어떤 주어진 횟수만큼 학습을 반복한 후에도 결과가 바르지 않으면 층을 하나 더 늘이게 된다. 늘어난 새로운 층에서는 원래의 입력과 그 하위의 모든 은닉층들의 완전하지 못한 실제출력들을 새로운 입력으로 하여 다음층을 학습하는 과정을 되풀이하게 되는 것이다. 이때는 처음 학습에서의 출력층이 은닉층으로 역할이 바뀌게 된다. 즉 다음층에서는 모든 은닉층들의 출력수만큼 입력이 많아진 것 외에는 첫 번째 층의 학습과 같은 방법으로 학습이 되풀이 된다. 상기 학습과정에서 가중치의 변경은 한가지 입력이 가해질 때마다 각각의 가중치의 변화량을 저장해 두었다가 모든 입력을 적용시킨 후 총 가중치의 변화량의 합을 가중치에 더해서 새로운 가중치값을 만드는 방식으로 행해진다.
여기서 한 개의 뉴런이 비교하여야 할 가중치의 합이 어떤 정해진 값(M)이상을 경우에는 각 가중치에 대해 상기(Ⅲ)식을 적용하여 일정비율로 감소시킴으로써 가중치의 합을 M값 이내로 제한시킨다.
이와 같은 학습을 통하여 특정 입출력에 대해 설계된 다층신경회로망은 제 5a 도에 도시된 바와 같이 CMOS인버터, PMOS 및 NMOS 트랜지스터로 구현한다. 제 5a 도에서, 3층 신경회로망은 5bit의 입력과 3bit의 출력을 가진다. 따라서 입력층(LO)은 5개의 뉴런(NO1∼NO5)을, 두 개의 은닉층(L1, L2)과 하나의 출력층(L3)은 각각 3개의 뉴런(N11∼N13)(N21∼N23)(N31∼N33)을 가진다. 여기서 각 층의 뉴런은 제 5b 도에 도시한 바와 같이 한쌍의 CMOS 인버터(INT1, INT2)를 종속연결한 것으로 전단의 CMOS 인버터(INT1)의 출럭노드를 반전출력노드(NDB)로 하며, 후단의 CMOS 인버터(INT2)의 출력노드를 비반전출력노드(ND)로 하는 버퍼로 구성한다. 그리고 입력층의 각 뉴런과 출력층의 각 뉴런을 연결하기 위한 시냅스는 다음 방식에 따라 PMOS 및 NMOS 트랜지스터로 구성한다. 제 5b 도를 참조하면, 입력뉴런(IN)에 접수되는 입력 bit 값이 "1"인 경우에는 상술한 학습에 의해 최종적으로 얻어진 연결가중치값이 포지티브이면, 상기 입력뉴런(IN)의 반전출력노드(NDB)에 게이트가 연결된 PMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압, 예컨대 공급전압(Vcc)을 출력뉴런(ON)의 입력노드(IND)에 결합되도록 하고 (도면에 "B")네가티브이면, 상기 입력뉴런(IN)의 비반전출력노드(ND)에 게이트가 연결된 NMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압, 예컨대 접지전원(GND or Vss)을 상기 출력뉴런(ON)의 입력노드(IND)에 결합되도록 한다(도면에서 "C").
또한 입력뉴런(IN)에 접수되는 입력 bit 값이 "0"인 경우에는 최종적으로 얻어진 연결가중치값이 포지티브이면, 상기 입력뉴런(IN)의 비반전출력노드(ND)에 게이트가 연결된 PMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압(Vcc)을 출력뉴런(ON)의 입력노드(IND)에 결합되도록 하고(도면에서 "A"), 네가티브이면, 상기 입력뉴런(IN)의 반전출력노드(NDB)에 게이트가 연결된 NMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 전원전압(GND or Vss)을 상기 출력뉴런(ON)의 입력노드(IND)에 결합되도록 한다(도면에서 "D").
상기 입력 bit 값이 "1" 또는 "0"인 경우에서 연결가중치의 값이 "0"이면 아무런 연결도 하지 않는다.
이와 같은 방식으로 제 5a 도의 입력시냅스군(S1)과 전달시냅스군(S2, S3)을 PMOS 및 NMOS 트랜지스터로 구성한다. 여기서, 입력층(LO)의 각 뉴런은 두 개의 은닉층(L1, L2) 및 출력층(L3)의 모든 뉴런의 각 입력노드에 상술한 매트릭스상의 입력시냅스군(S1)을 통하여 연결된다. 은닉층(L1)의 각 뉴런은 모든 상위 은닉층(L2) 및 출력층(L3)의 각 뉴런의 입력노드에 상술한 매트릭스상의 전달시냅스군(S2)을 통하여 연결된다. 마찬가지로 은닉층(L2)의 각 뉴런은 출력층(L3)의 각 뉴런의 입력노드에 매트릭스상의 전달시냅스군(S3)을 통하여 연결된다.
또한 제 5a 도의 두 개의 은닉층(L1, L2) 및 출력층(L3)의 모든 뉴런의 입력노드는 각각 바이어스시냅스군(S4)을 통하여 제 2 전원전압(Vssor GND)으로 바이어스된다. 바이어스시냅스군(S4)은 입력이 안가되지 않은 상태에서 각 뉴런의 입력노드를 제 2 전원전압(Vssor GND)으로 바이어싱시키므로써 각 뉴런의 출력을 "0"값으로 바이어싱시키기 위해, 게이트에 제 1 전원전압(Vcc)이 공급되고 드레인이 각 뉴런의 입력노드에 연결되고 소오스가 제 2 전원전압(Vssor GND)에 연결된 NMOS 트랜지스터로 구성된다. 여기서 바이어스시냅스용 NMOS 트랜지스터는 단위가중치의 연결세기를 갖도록 그 기하학적 형성비(채널 폭(W)/채널 길이(L))을 가진다. 예컨대 NMOS 트랜지스터의 W/L 값이 2㎛/2㎛인 것을 단위가중치로 할 경우 PMOS 트랜지스터의 W/L 값은 5㎛/2㎛인 것으로 한다. 이는 전자 및 정공의 이동도의 비를 고려하여 설정되며 각 가중치의 값은 이들 단위가중치의 값의 배수로 주어진다. 이 배수는 정수이다. 따라서 상기 수식(Ⅱ)에서 "+1"의 상수항은 바이어스시냅스값을 고련한 상수항이다.
이와 같은 본 발명의 다층신경회로망을 2bit 전가산기(Full Adder)와 나선패턴 인식회로에 적용한 실시예는 다음과 같다.
[실시예 Ⅰ] 2bit Full Adder
2bit 전가산기는 다음 [표 1]과 같이 2bit의 가수, 2bit의 피가수 및 1bit의 캐리입력의 5bit 입력을 가지며 3bit의 출력을 가진다.
[표 1]
상기 입출력을 상술한 본 발명의 다층회로망의 회로설계방법에 따라 학습 결과 3층의 신경회로망으로 달성될 수 있음을 알 수 있었고 다음 [표 2]와 같은 시냅스들의 각 기중치값을 얻었다.
[표 2]
[실시예 Ⅱ] 나선패턴인식회로
나선패턴인식회로는 제 6a 도에 도시한 XY좌표 평면상의 XY 값의 6bit의 입력과 1bit의 출력을 가진다. 이 입출력값을 상술한 본 발명의 다층신경회로망의 회로설계 방법에 따라 학습한 결과 제 6b 도에 도시한 바와 같이 9층 신경회로망으로 원하는 결과를 얻을 수 있었다.
Claims (4)
- mbit의 입력을 접수하여 nbit의 출력을 발생하는 다층신경회로망에 있어서, 한쌍의 CMOS 인버터는 종속연결하고 상기 한쌍의 CMOS 인버터중 전단의 CMOS 인버터의 출력노드를 그의 반전출력노드로 하고 후단의 CMOS 인버터의 출력노드를 그의 비반전출력노드로 하는 뉴런 ; 상기 뉴런을 m개 구비하여 상기 mbit의 입력을 접수하는 입력층 ; 상기 뉴런을 n개 구비하여 상개 nbit의 출력을 발생하는 출력층 ; 상기 뉴런을 n개 구비하여 상기 입력층으로부터 접수된 입력을 상기 출력층 및 그의 상위 모든 은닉층에 전달하기 위한 적어도 한층 이상의 은닉층 ; 상기 출력층과 상기 적어도 한층 이상의 은닉층들의 각 뉴런들의 입력노드에, 상기 입력층의 각 뉴런에 접수되는 입력 bit 값이 "1"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 PMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 NMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 입력 bit 값이 "0"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 PMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기가 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 NMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 상기 입력 bit 값이 "1" 또는 "0"인 경우에는 연결가중치의 값이 "0"이면 아무런 연결되 하지 않은 방식으로 은닉층의 각 뉴런의 반전 및 비반전출력노드를 연결하기 위한 PMOS 및 NMOS 트랜지스터들의 매트릭스 형태로된 입력시냅스군 ; 상기 출력층과 상위 은틱층들의 가 뉴런들의 입력노드에, 상기 입력층의 각 뉴런에 접수되는 입력 bit 값이 "1"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 반전출력 노드에 게이트가 연결된 PMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고, 연결가중치의 값이 네기티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 NMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 입력 bit 값이 "0"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 PMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 NMOS 트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 상기 입력 bit 값이 "1" 또는 "0"인 경우에서 연결가중치의 값이 "0"이면 아무런 연결도 하지 않은 방식으로 은닉층의 각 뉴런의 반전 및 각 비반전출력노드를 연결하기 위한 PMOS 및 NMOS 트랜지스터들의 매트릭스 형태로 된 적어도 하나 이상의 전달시냅스군 ; 및 상기 출력층 및 상기 은틱층들의 각 뉴런의 입력노드를 단위 기준치의 연결세기로 상기 제 2 전원전압으로 바이어싱시키기 위해 게이트 트랜지스터들로 구성된 바이어스시냅스군을 구비하여서된 것을 특징으로 하는 다층신경회로망.
- 제 1 항에 있어서, 상기 시냅스들의 각 가중치의 연결세기는 MOS 트랜지스터의 기하학적 형상비(채널폭/채널길이)로 설정하는 것을 특징으로 하는 다층신경회로망.
- 제 1 항에 있어서, 상기 시냅스들의 각 가중치값은 정수인 것을 특징으로 하는 다층신경회로망.
- 제 1 항에 있어서, 상기 출력층 또는 상기 적어도 하나 이상의 은닉층의 각 뉴런의 입력노드에 결합되는 시냅스들의 총가중치의 합이 상기 뉴런의 전단 CMOS 인버터의 팬인 값도다 작게하는 것을 특징으로 하는 다층신경회로망.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019900012915A KR930009066B1 (ko) | 1990-08-18 | 1990-08-18 | 다층신경회로망 및 그 회로설계방법 |
| US07/745,346 US5347613A (en) | 1990-08-18 | 1991-08-15 | MOS multi-layer neural network including a plurality of hidden layers interposed between synapse groups for performing pattern recognition |
| JP20699191A JP3229624B2 (ja) | 1990-08-18 | 1991-08-19 | 多層神経回路網及びその回路設計方法 |
| FR9110414A FR2665969B1 (fr) | 1990-08-18 | 1991-08-19 | Reseau neural a couches multiples et son procede de conception. |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019900012915A KR930009066B1 (ko) | 1990-08-18 | 1990-08-18 | 다층신경회로망 및 그 회로설계방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR920005005A KR920005005A (ko) | 1992-03-28 |
| KR930009066B1 true KR930009066B1 (ko) | 1993-09-22 |
Family
ID=19302592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019900012915A KR930009066B1 (ko) | 1990-08-18 | 1990-08-18 | 다층신경회로망 및 그 회로설계방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5347613A (ko) |
| JP (1) | JP3229624B2 (ko) |
| KR (1) | KR930009066B1 (ko) |
| FR (1) | FR2665969B1 (ko) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3438241B2 (ja) * | 1992-10-29 | 2003-08-18 | 直 柴田 | 半導体神経回路装置 |
| US5486999A (en) * | 1994-04-20 | 1996-01-23 | Mebane; Andrew H. | Apparatus and method for categorizing health care utilization |
| US5717833A (en) * | 1996-07-05 | 1998-02-10 | National Semiconductor Corporation | System and method for designing fixed weight analog neural networks |
| US6513023B1 (en) | 1999-10-01 | 2003-01-28 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Artificial neural network with hardware training and hardware refresh |
| US7092923B2 (en) * | 2001-11-26 | 2006-08-15 | Exploitation Of Next Generation Co. Ltd. | Synapse element with learning function and semiconductor integrated circuit device including the synapse element |
| US10410117B2 (en) | 2008-09-21 | 2019-09-10 | Brainchip, Inc. | Method and a system for creating dynamic neural function libraries |
| DE102011081197A1 (de) | 2011-08-18 | 2013-02-21 | Siemens Aktiengesellschaft | Verfahren zur rechnergestützten Modellierung eines technischen Systems |
| RU2475843C1 (ru) * | 2011-12-15 | 2013-02-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Национальный исследовательский Томский государственный университет" (ТГУ) | Адаптивное управляющее устройство, нейроподобный базовый элемент и способ организации работы такого устройства |
| CN105512723B (zh) * | 2016-01-20 | 2018-02-16 | 南京艾溪信息科技有限公司 | 一种用于稀疏连接的人工神经网络计算装置和方法 |
| US20190378017A1 (en) * | 2018-06-12 | 2019-12-12 | Sun-Yuan Kung | System and method for implementing a neural network |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8720387D0 (en) * | 1987-08-28 | 1987-10-07 | British Telecomm | Matching vectors |
| US5092343A (en) * | 1988-02-17 | 1992-03-03 | Wayne State University | Waveform analysis apparatus and method using neural network techniques |
| US5153923A (en) * | 1988-03-25 | 1992-10-06 | Hitachi, Ltd. | High order information processing method by means of a neural network and minimum and maximum searching method therefor |
| US4926180A (en) * | 1988-03-25 | 1990-05-15 | Trustees Of Columbia University In The City Of New York | Analog to digital conversion using correlated quantization and collective optimization |
| US5220641A (en) * | 1988-10-11 | 1993-06-15 | Kabushiki Kaisha Toshiba | Multi-layer perceptron circuit device |
| EP0377221B1 (en) * | 1988-12-29 | 1996-11-20 | Sharp Kabushiki Kaisha | Neuro-computer |
| DE69032680T2 (de) * | 1989-01-06 | 1999-06-02 | Hitachi, Ltd., Tokio/Tokyo | Neuronaler Rechner |
| KR920000840B1 (ko) * | 1989-02-02 | 1992-01-30 | 정호선 | 신경회로망을 이용한 a/d변환기 회로 |
| KR920007505B1 (ko) * | 1989-02-02 | 1992-09-04 | 정호선 | 신경회로망을 이용한 곱셈기 |
| US5195169A (en) * | 1989-03-03 | 1993-03-16 | Sharp Kabushiki Kaisha | Control device for controlling learning of a neural network |
| US5195171A (en) * | 1989-04-05 | 1993-03-16 | Yozan, Inc. | Data processing system |
| US5187680A (en) * | 1989-06-15 | 1993-02-16 | General Electric Company | Neural net using capacitive structures connecting input lines and differentially sensed output line pairs |
| US5146542A (en) * | 1989-06-15 | 1992-09-08 | General Electric Company | Neural net using capacitive structures connecting output lines and differentially driven input line pairs |
| US5214743A (en) * | 1989-10-25 | 1993-05-25 | Hitachi, Ltd. | Information processing apparatus |
| FR2658337A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise. |
| FR2658336A1 (fr) * | 1990-02-09 | 1991-08-16 | Philips Electronique Lab | Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches. |
| US5087826A (en) * | 1990-12-28 | 1992-02-11 | Intel Corporation | Multi-layer neural network employing multiplexed output neurons |
-
1990
- 1990-08-18 KR KR1019900012915A patent/KR930009066B1/ko not_active IP Right Cessation
-
1991
- 1991-08-15 US US07/745,346 patent/US5347613A/en not_active Expired - Lifetime
- 1991-08-19 FR FR9110414A patent/FR2665969B1/fr not_active Expired - Lifetime
- 1991-08-19 JP JP20699191A patent/JP3229624B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP3229624B2 (ja) | 2001-11-19 |
| JPH04245098A (ja) | 1992-09-01 |
| FR2665969A1 (fr) | 1992-02-21 |
| KR920005005A (ko) | 1992-03-28 |
| US5347613A (en) | 1994-09-13 |
| FR2665969B1 (fr) | 1994-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR930009066B1 (ko) | 다층신경회로망 및 그 회로설계방법 | |
| JP3328935B2 (ja) | 並列多値ニューラルネットワーク | |
| Hirotsu et al. | An analog neural network chip with random weight change learning algorithm | |
| KR930009065B1 (ko) | 다층신경회로망 및 그 회로설계방법 | |
| US5016211A (en) | Neural network implementation of a binary adder | |
| US6341275B1 (en) | Programmable and expandable hamming neural network circuit | |
| Verleysen et al. | A high-storage capacity content-addressable memory and its learning algorithm | |
| KR920009094B1 (ko) | 신경회로망을 이용한 에러정정회로 | |
| KR920009096B1 (ko) | 신경회로망을 이용한 에러정정회로 | |
| Akers et al. | A limited-interconnect, highly layered synthetic neural architecture | |
| US20030225716A1 (en) | Programmable or expandable neural network | |
| US20040083193A1 (en) | Expandable on-chip back propagation learning neural network with 4-neuron 16-synapse | |
| Xi et al. | A Layer-Wise Ensemble Technique for Binary Neural Network | |
| Cheng | Derivation of the backpropagation algorithm based on derivative amplification coefficients | |
| Sasaki et al. | Digital implementation of a multilayer perceptron based on stochastic computing with online learning function | |
| TWI732572B (zh) | 記憶體裝置及其操作方法 | |
| Biederman et al. | Design of a neural network-based digital multiplier | |
| Brodsky et al. | Binary backpropagation in content addressable memory | |
| KR940005512B1 (ko) | 신경 회로망의 비선형 시냅스회로 | |
| Chakraborty et al. | CMOS Implementation of a Piecewise Linear Activation Function Based Neuron Unit for Neural Network Accelerator | |
| Masmoudi et al. | A hardware implementation of neural network for the recognition of printed numerals | |
| McGregor | Neural network processing for multiset data | |
| JPH0243665A (ja) | ニューラルネットワーク装置 | |
| Pavitra et al. | Study and Evaluation of Digital Circuit Design Using Evolutionary Algorithm | |
| Verleysen et al. | A new CMOS architecture for neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| G160 | Decision to publish patent application | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080904 Year of fee payment: 16 |
|
| LAPS | Lapse due to unpaid annual fee |