KR930009065B1 - 다층신경회로망 및 그 회로설계방법 - Google Patents

다층신경회로망 및 그 회로설계방법 Download PDF

Info

Publication number
KR930009065B1
KR930009065B1 KR1019900012914A KR900012914A KR930009065B1 KR 930009065 B1 KR930009065 B1 KR 930009065B1 KR 1019900012914 A KR1019900012914 A KR 1019900012914A KR 900012914 A KR900012914 A KR 900012914A KR 930009065 B1 KR930009065 B1 KR 930009065B1
Authority
KR
South Korea
Prior art keywords
input
layer
neuron
output
value
Prior art date
Application number
KR1019900012914A
Other languages
English (en)
Other versions
KR920005004A (ko
Inventor
정호선
김신진
Original Assignee
정호선
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정호선 filed Critical 정호선
Priority to KR1019900012914A priority Critical patent/KR930009065B1/ko
Priority to US07/745,348 priority patent/US5293458A/en
Priority to FR919110413A priority patent/FR2665968B1/fr
Priority to JP20699091A priority patent/JP3229623B2/ja
Publication of KR920005004A publication Critical patent/KR920005004A/ko
Application granted granted Critical
Publication of KR930009065B1 publication Critical patent/KR930009065B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Logic Circuits (AREA)
  • Semiconductor Memories (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

내용 없음.

Description

다층신경회로망 및 그 회로설계방법
제 1 도는 종래의 다층신경회로망의 개념도.
제 2 도는 종래의 다층신경회로망의 학습에서 사용한 시그모이드함수의 특성그래프선도.
제 3 도는 본 발명에 의한 다층신경회로망의 개념도.
제 4 도는 본 발명에 의한 다층신경회로망의 학습에서 사용한 시텝함수의 특성그래프선도.
제 5a 도는 본 발명에 의한 다층신경회로망의 일실시회로도.
제 5b 도는 제 5a 도의 시냅스구조를 설명하기 위한 부분회로도.
* 도면의 주요부분에 대한 부호의 설명
L0 : 입력층 L1, L2 : 은닉층
L3 : 출력층
N01∼N05, N11∼N13, N21∼N23, N31∼N33 : 뉴런 또는 노드
INT1, INT2 : CMOS인버터 S1 : 입력시냅스군
S1, S2 : 전달시냅스군 S4 : 바이어스시냅스군
본 발명은 다층신경회로망과 그 회로설계방법에 관한 것으로, 특히 다층신경회로망의 VLSI회로 구현을 용이하게 달성할 수 있는 다층신경회로망과 그 회로설계방법에 관한 것이다.
최근, 패턴인식분야에서는 실시간처리를 위하여 대규모 병렬처리가 가능한 신경회로망의 도입이 활발히 진행되고 있다. 1988년 벨연구소의 Hans P. Graf 등은 매트릭스상의 저항성 결합소자를 통하여 그들의 입출력이 상호연결되는 증폭기들로 신경회로의 시냅스와 뉴런을 구성하고 뉴런과 뉴런 사이의 연결을 위하여 한쌍의 메모리셀들(RAM)에 기억된 내용에 따라 스위칭되는 한쌍의 스위치를 구비한 패턴인식 신경회로망을 발표하였다.
본원 발명자는 PMOS 또는 NMOS트랜지스터로 시냅스를 구성하고 한쌍의 CMOS인버터를 종속연결한 버퍼로 뉴런을 구성한 신경회로를 이용하여 가산기(미국출원 07/473,653), 곱셈기(07/473,633), A/D변환기(07/473,631, 07/473,634) 패턴분류기(07/473,464)등을 출원중에 있다. 상술한 종래의 신경회로들은 단층신경회로망 모델을 이용한 것들로서, 선형적으로 분리가능한 문제들을 해결할 수 있으나, 선형적으로 분리할 수 없는 비선형적인 문제들을 해결할 수 없었다. 따라서 그 적용범위가 극히 제한적일 수밖에 없었다 예컨대, 배타논리합회로 즉 XOR회로는 단층신경회로망으로는 그 해를 구할 수 없다. 이와 같은 단층신경회로망의 제한성은 다층신경회로망에 의해 극복될 수 있고 다층신경회로망은 오류역행전달 알고리즘(Back Propagation)에 의해 학습될 수 있음이 알려져 있다(1987년 4월 발간된 IEEE ASSP MAGAEINE 4∼22페이지 참조). 다층신경회로망을 하드웨어로 구현할 때 컴퓨터에 의한 소프트웨어로 시뮬레이션 할 때와는 달리 많은 제약이 따른다. 신경회로망의 하드웨어 구현은 현재의 VLSI기술에 의존해야 하는데 신경회로의 연결가중치값과 비선형함수의 회로적 구현이 소프트웨어 시뮬레이션에서 처럼 자유롭지 못하다. 또한 소프트웨어에서는 플로팅 포인트를 사용한 실수연산을 하고 신경회로망의 접속과 노드의 수를 많이 할 수 있지만 이것을 VLSI로 구현하기에는 여러 가지 문제점이 뒤따르게 된다.
본 발명의 목적은 이와 같은 종래기술의 문제점을 해결하기 위하여 연결가중치값을 정수로 하고 계단함수를 가지는 다층신경회로망을 제공하는데 있다.
본 발명의 다른 목적은 상기 다층신경회로망을 새로운 학습룰에 따라 설계하기 위한 다층신경회로망의 회로설계방법을 제공하는데 있다.
상기 목적을 달성하기 위하여 본 발명의 다층신경회로망은 mbit의 입력을 접수하여 nbit의 출력을 발생하는 다층신경회로망에 있어서, 한쌍의 CMOS인버터를 종속연결하고 상기 한쌍의 CMOS인버터중 전단의 CMOS인버터의 출력노드를 그의 반전출력노드로 하고 후단의 CMOS인버터의 출력노드를 그의 비반전출력노드로 하는 뉴런 ; 상기 뉴런을 m개 구비하여 상기 mbit의 입력을 접수하는 입력층 ; 상기 뉴런을 n개 구비하여 상기 nbit의 출력을 발생하는 출력층 ; 상기 뉴런을 n개 구비하여 상기 입력층으로부터 접수된 입력을 그의 바로 상위의 은닉층 또는 상기 출력층에 전달하기 위한 적어도 한층 이상의 은닉층 ; 상기 입력층의 각 뉴런의 출력을 상기 출력층 및 상기 적어도 하나 이상의 은닉층의 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 입력시냅스군 ; 상기 은닉층의 각 뉴런의 출력을 그의 바로 상위의 은닉층 또는 상기 출력층의 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 적어도 하나 이상의 전달시냅스군 ; 및 상기 적어도 하나 이상의 은닉층 및 상기 출력층의 각 뉴런의 입력노드를 일정전압으로 바이어싱시키기 위한 바이어스시냅스군을 구비하여서 된 것을 특징으로 한다.
여기서, 상기 입력시냅스군, 전달시냅스군 및 바이어스시냅스균은 PMOS 또는 NMOS트랜지스터로 구성한다.
상기 다른 목적을 달성하기 위하여 본 발명의 방법은 mbit의 입력을 접수하여 nbit의 출력을 발생하는 다층신경회로망에 있어서, 한쌍의 CMOS인버터는 종속연결하고 상기 한쌍 CMOS인버터중 전단의 CMOS인버터의 출력노드를 그의 반전출력노드로 하고 후단의 CMOS인버터의 출력노드를 그의 비반전출력노드로 하는 뉴런 ; 상기 뉴런을 m개 구비하여 상기 mbit의 입력을 접수하는 입력층 ; 상기 뉴런을 n개 구비하여 상기 nbit의 출력을 발생하는 출력층 ; 상기 뉴런을 n개 구비하여 상기 입력층으로부터 접수된 입력을 그의 바로 상위의 은닉층 또는 상기 출력층에 전달하기 위한 적어도 한층 이상의 은닉층 ; 상기 입력층의 각 뉴런의 출력을 상기 출력층 및 상기 적어도 하나 이상의 은닉층의 각 뉴런에 연결하기 위해 각각 소정의 가중치를 가지는 매트릭스상의 입력시냅스군 ; 상기 은닉층의 각 뉴런의 출력을 그의 바로 상위의 은닉층 또는 전달시냅스군 ; 상기 적어도 하나 이상의 은닉층 및 상기 출력층의 각 뉴런의 입력노드를 일정전압으로 바이어싱시키기 위한 바이어스시냅스군을 구비하여서 된 다층신경회로망의 회로설계방법에 있어서, 상기 입력시냅스군의 연결가중치를 초기화하는 제 1 단계 ; 상기 mbit의 입력값과 이 입력에 대응하는 nbit의 원하는 출력값을 상기 입력층과 출력층의 입출력에 제시하는 제 2 단계 ; 상기 출력층의 각 뉴런의 입력노드에서 입력의 가중치의 합을 구하고 계단함수에 의해 실제출력을 발생하는 제 3 단계 ; 상기 제 3 단계에서 얻어진 실제출력값과 상기 원하는 출력값을 비교하여 오차를 계산하고 이 오차값에 따른 가중치값의 변화분을 저장하는 데 4 단계 ; 상기 제 2 단계부터 제 4 단계까지는 2m개의 모든 입출력쌍에 대해 수행하고 모든 출력값이 원하는 출력값과 같으면, 학습을 끝내고 그렇지 않으면 이때의 저장된 가중치 변화분의 합을 각각 구하여 현재의 각 가중치값에 더하여 새로운 가중치값을 구하는 제 5 단계 ; 상기 출력층의 각 뉴런의 입력노드에서 상기 제 5 단계에서 얻어진 새로운 가중치값의 합이 정해진 값 이상일때에는 일정비율로 가중치값들을 각각 감소시키는 제 6 단계 ; 및 정해진 학습횟수동안 상기 제 6 단계까지를 반복한 후 원하는 결과가 얻어지지 않을 때에는 상기 출력층을 은닉층으로 하고 새로운 출력층을 증가시키고 상기 은닉층의 출력과 상기 원래의 입력을 새로운 입력으로 하여 상기 제 2 단계부터 반복수행하는 제 7 단계로 이루어지는 것을 특징으로 한다.
첨부한 도면을 참조하여 본 발명을 설명한다.
제 1 도는 일반적인 다층신경회로망의 개념도로서, 이는 입력노드와 출력노드 사이에 적어도 한층 이상의 노드들을 가지는 피드 포워드(feed forward)회로망이다. 이들 추가층들은 입력노드 및 출력노드의 양쪽에 직접 연결되지 않은 은닉유니트 또는 노드들을 포함한다. 3층 신경회로망은 제 1 도에 도시한 바와 같이 입력층(L0)과 출력층(L3) 사이에 2층 은닉층(L1)(L2)을 가진다. 입력층(L0)은 입력 X0X1X2X3X4을 접수하기 위해 5개의 뉴런유니트 또는 노드(N01∼N05)를 가진다. 은닉층들(L1)(L2)은 각각 3개의 뉴런유니트 또는 노드(N11∼N13)(N21∼N23)를 가지며, 출력층(L3)은 출력 Y0Y1Y2를 발생하기 위해 3개의 뉴런유니트 또는 노드(N31∼N33)을 가진다. 여기서, 각층의 뉴런유니트의 수는 회로시스템의 입출력 비트수에 따라 결정되는 것임을 유의하여야 한다. 각층의 뉴런유니트 또는 노드들은 자기 바로전단의 하위층의 모든 뉴런유니트들로부터만 연결(connection)을 접수한다.
상기 종래의 다층신경회로망은 이미 알려진 오류역행 전달 알고리즘(Back-Propagation Training Algorithm)에 의해 학습되는데 이 BPTA에서는 제 2 도에 도시한 그래프 특성을 가지며 다음식 (Ⅰ)으로 표시되는 시그모이드(sigmoid) 함수를 사용한다.
Figure kpo00001
그러나 상기 시그모이드함수는 지수함수이기 때문에 하드웨어적으로 구현하는데 있어서 곤란성 및 회로의 복잡성 등의 문제점을 가지고 있다.
또한 이진화된 입력과 계단함수를 이용할 경우 종래의 다층신경회로망은 층간의 연결구조 때문에 서로 다른 입력값에 대해 같은 값을 가질 수 있고 이렇게 되면 상위칭에서 입력값들을 구분하는 것이 불가능하게 되는 문제점이 발견되었다.
제 3 도는 본 발명에 의한 다층신경회로망의 개념도로서, 각층의 뉴런유니트 또는 노드들은 자기 바로전단의 하위층의 모든 뉴런유니트들 뿐만 아니라 입력층의 모든 뉴런유니트들로부터 연결(connection)을 접수하는 구성이 제 1 도의 다층신경회로망과 다르다. 다른 구성은 제 1 도와 동일하므로 동일부호 처리한다. 또한 이와 같은 본 발명의 다층신경회로망의 학습에서는 제 4 도에 도시한 그래프 특성을 가지며 다음식(Ⅱ)으로 표시되는 스텝함수를 사용한다.
Figure kpo00002
fh(∑Wi·Xi-θ)는 하드리미트 비선형함수
θ : 뉴런의 스레시홀드값
Wi : 연결가중치
Xi : 입력
본 발명에 의한 다층신경회로망은 다음 학습 알고리즘에 따라 회로설계된다.
제 1 단계 : 모든 노드간의 연결가중치값을 초기화한다.
제 2 단계 : 입력과 원하는 출력(desired output)쌍을 입출력 제시한다.
여기서 입력은 mbit의 2진값으로 총 2m개를 가지며 출력은 nbit의 2진값으로 입력에 대응하여 2m개를 가진다. 따라서 서로 다른 입력에 대해 동일한 출력값을 가질 수 있다.
제 3 단계 : 각 노드에서 입력의 가중치합을 구하고 스텝함수에 의해 실제출력(actual output)을 발생한다. 여기서 스텝함수는 상기 (Ⅱ)식을 사용한다.
상기 (Ⅱ)에서
Figure kpo00003
는 하드리미트 비선형함수(hard limit monlinear function)이며, θ는 노드의 스레시홀드값이다. Xi는 입력, Wi는 입력 Xi에 대한 가중치이다.
제 4 단계 : 출력노드에서 원하는 출력값과 상기 제 3 단계에서 얻어진 실제출력값을 비교하여 오차를 계산하고 이 오차값에 따른 가중치의 변화분을 저장한다.
즉, 오차(δ)는
δ=Desired Output-Actual Output
이며 가중치변화분(△W)
△W=δ×Input
이다.
제 5 단계 : 상기 제 2 단계부터 제 4 단계까지의 과정을 모든 입출력쌍에 대해 수행하고 모든 실제출력값이 원하는 출력값과 같으면 학습(learning)를 끝내고 그렇지 않으면 이때의 가중치변화분(△W)의 총합을 각각의 가중치에 더한다.
즉, 새로운 가중치(WT)는
WT=WT-1+∑△W
로 된다. 여기서 T는 학습횟수를 나타낸다.
제 6 단계 : 각 노드에서 입력에 대한 새로운 가중치(WT)의 합이 정해진 값(M)이상일때에는 일정비율로 가중치(WT)들의 값을 줄인다.
즉, 가중치(WT)값은 다음식에 의해 감소시킨다.
Figure kpo00004
제 7 단계 : 상기 새로운 가중치(WT)를 가지고 상기 제 2 단계부터 다시 실행하여 정해진 학습횟수만큼 반복한 후 원하는 결과가 나오지 않을 경우에는 현재의 출력층을 은닉층으로 하고 새로운 출력층을 증가시킨 후 이 새로운 출력층의 바로전단의 은닉층의 출력과 원래의 입력을 새로운 입력으로 하여 상기 제 2 단계부터 되풀이 한다.
즉, 학습은 우선 단층의 학습부터 수행하고 그 결과 원하는 출력값이 모두 바르게 나오면 학습을 끝내고 어떤 주어진 횟수만큼 학습을 반복한 후에도 결과가 바르지 않으면 층을 하나 더 늘리게 된다. 늘어난 새로운 층에서는 원래의 입력과 바로 다음의 은닉층의 완전하지 못한 실제출력을 새로운 입력으로 하여 다음층을 학습하는 과정을 되풀이하게 되는 것이다. 이때는 처음 학습에서의 출력층이 은닉층으로 역할이 바뀌게 된다. 즉 다음층에서는 그의 바로 하위의 은닉층의 출력수만큼 입력이 많아진 것 외에는 첫 번째 층의 학습과 같은 방법으로 학습이 되풀이 된다. 상기 학습과정에서 가중치의 변경은 한가지 입력이 가해질 때마다 각각의 가중치의 변화량을 저장해 두었다가 모든 입력을 적용시킨 후 총 가중치의 변화량의 합을 가중치에 더해서 새로운 가중치 값을 만드는 방식으로 행해진다.
여기서 한 개의 뉴런이 비교하여야 할 가중치의 합이 어떤 정해진 값(M) 이상일 경우에는 각 가중치에 대해 상기(Ⅲ)식을 적용하여 일정비율로 감소시킴으로서 가중치의 합을 M값 이내로 제한시킨다.
이와 같은 학습을 통하여 특정 입출력에 대해 설계된 다층신경회로망의 일실시예를 제 5a 도에 나타낸다. 제 5a 도에 도시된 바와 같이 다층신경회로망은 CMOS인버터, PMOS 및 NMOS트랜지스터로 구현한다. 제 5a 도에서, 3층 신경회로망은 5bit의 입력과 3bit의 출력을 가진다. 따라서 입력층(L0)은 5개의 뉴런(N01∼N05)을, 두 개의 은닉층(L1, L2)과 하나의 출력층(L3)은 각각 3개의 뉴런(N11∼N13)(N21∼N23)(N31∼N33)을 가진다. 여기서 각 층의 뉴런은 제 5b 도에 도시한 바와 같이 한쌍의 CMOS인버터(INT1, INT2)를 종속연결한 것으로 전단의 CMOS인버터(INT1)의 출력노드를 반전출력노드(NDB)로 하며, 후단의 CMOS인버터(INT2)의 출력노드를 비반전출력노드(ND)로 하는 버퍼로 구성한다. 그리고 입력층의 각 뉴런과 출력층의 각 뉴런을 연결하기 위한 시냅스는 다음 방식에 따라 PMOS 및 NMOS트랜지스터로 구성한다. 제 5b 도를 참조하면, 입력뉴런(IN)에 접수되는 입력 bit값이 "1"인 경우에는 상술한 학습에 의해 최종적으로 얻어진 연결가중치값이 포지티브이면, 상기 입력뉴런(IN)의 반전출력노드(NBD)에 게이트가 연결된 PMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압, 예컨대 공급전압(Vcc)을 출력뉴런(ON)의 입력노드(IND)에 결합되도록 하고(도면에서 "B"), 네가티브이면, 상기 입력뉴런(IN)의 비반전출력노드(ND)에 게이트가 연결된 NMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압, 예컨대 접지전압(GND 또는 Vss)을 상기 출력뉴런(ON)의 입력노드(IND)에 결합되도록 한다. (도면에서 "C")
또한 입력뉴런(IN)에 접속되는 입력 bit값이 "0"인 경우에는 최종적으로 얻어진 연결가중치값이 포지티브이면, 상기 입력뉴런(IN)의 비반전출력노드(ND)에 게이트가 연결된 PMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압(Vcc)을 출력뉴런(ON)의 입력노드(IND)에 결합되도록 하고(도면에서 "A"), 네가티브이면, 상기 입력뉴런(IN)의 반전출력노드(NDB)에 게이트가 연결된 NMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압(GND or Vss)을 상기 출력뉴런(ON)의 입력노드(IND)에 결합되도록 한다.(도면에서 "D")
상기 입력 bit값이 "1" 또는 "0"인 경우에는 연결가중치의 값이 "0"이면 아무런 연결도 하지 않는다.
이와 같은 방식으로 제 5a 도의 입력시냅스군(S1)과 전달시냅스군(S2, S3)을 PMOS 및 NMOS트랜지스터로 구성한다. 여기서, 입력층(L0)의 각 뉴런은 두 개의 은닉층(L1, L2) 및 출력층(L3)의 모든 뉴런의 각 입력노드에 상술한 매트릭스상의 입력시냅스군(S1)을 통하여 연결된다. 은닉층(L1)의 각 뉴런은 바로 다음단의 은닉층(L2)의 각 뉴런의 입력노드에 상술한 매트릭스상의 전달시냅스군(S2)을 통하여 연결된다. 마찬가지로 은닉층(L2)의 각 뉴런은 출력층(L3)의 각 뉴런의 입력노드에 매트릭스상의 전달시냅스군(S3)을 통하여 연결된다.
또한 제 5a 도의 두 개의 은닉층(L1, L2) 및 출력층(L3)의 모든 뉴런의 입력노드는 각각 바이어스시냅스군(S4)을 통하여 제 2 전원전압(Vssor GND)으로 바이어스된다. 바이어스시냅스군(S4)은 입력이 인가되지 않은 상태에서 각 뉴런의 입력노드를 제 2 전원전압(Vssor GND)으로 바이어싱시키므로써 각 뉴런의 출력을 "0"값으로 바이어싱시키기 위해, 게이트 제 1 전원전압(Vcc)이 공급되고 드레인이 각 뉴런의 입력노드에 연결되고 소오스가 제 2 전원전압(Vssor GND)에 연결된 NMOS트랜지스터로 구성된다. 여기서 바이어스시냅스용 NMOS트랜지스터는 단위가중치의 연결세기를 갖도록 그 기하학적 형성비(채널 폭(W)/채널길이(L)을 가진다. 예컨대 NMOS트랜지스터의 W/L 값이 2μm/2μm인 것을 단위가중치로 할 경우 PMOS트랜지스터의 W/L 값은 5μm/2μm인 것으로 한다. 이는 전자 및 정공의 이동도의 비를 고려하여 설정되며 각 가중치의 값은 이들 단위가중치의 값의 배수로 주어진다. 이 배수는 정수이다. 따라서 성기 수식(Ⅱ)에서 "+1"의 상수항은 바이어스시냅스값으 고려한 상수항이다.
이와 같은 본 발명의 다층신경회로망을 2bit 전가산기(Full Adder)와 사인파 발생회로에 적용한 실시예는 다음과 같다.
[실시예 Ⅰ]2bit Full Adder
각 노드의 가중치 합의 최고값(M)이 20, 40일 때 각각 학습횟수를 300회, 500회 한 경우 층수는 다음 [표 1]과 같고 실행결과는 다음 [리스트 1]과 같다.
[표 1]
Figure kpo00005
[리스트 Ⅰ]
Figure kpo00006
Figure kpo00007
Figure kpo00008
Figure kpo00009
Figure kpo00010
Figure kpo00011
Figure kpo00012
Figure kpo00013
Figure kpo00014
Figure kpo00015
Figure kpo00016
Figure kpo00017
Figure kpo00018
Figure kpo00019
Figure kpo00020
Figure kpo00021
Figure kpo00022
Figure kpo00023
Figure kpo00024
Figure kpo00025
Figure kpo00026
Figure kpo00027
Figure kpo00028
Figure kpo00029
Figure kpo00030
Figure kpo00031
Figure kpo00032
Figure kpo00033
Figure kpo00034
Figure kpo00035
Figure kpo00036
Figure kpo00037
Figure kpo00038
Figure kpo00039
Figure kpo00040
Figure kpo00041
Figure kpo00042
Figure kpo00043
Figure kpo00044
Figure kpo00045
Figure kpo00046
[실시예 Ⅱ] 사인곡선 발생회로
상기 [실시예]의 경우가 동일한 조건에서 층수는 다음 [표 2]와 같고 실행결과는 다음 [리스트]와 같다.
[표 2]
Figure kpo00047
[리스트 Ⅱ]
Figure kpo00048
Figure kpo00049
Figure kpo00050
Figure kpo00051
Figure kpo00052
Figure kpo00053
Figure kpo00054
Figure kpo00055
Figure kpo00056
Figure kpo00057
Figure kpo00058
Figure kpo00059
Figure kpo00060
Figure kpo00061
Figure kpo00062
Figure kpo00063
Figure kpo00064
Figure kpo00065
Figure kpo00066
Figure kpo00067
Figure kpo00068

Claims (4)

  1. mbit의 입력을 접수하여 nbit의 출력을 발생하는 다층신경회로망에 있어서, 한 쌍의 CMOS인버터는 종속연결하고 상기 한 쌍의 CMOS인버터중 전단의 CMOS인버터의 출력노드를 그의 반전출력노드로 하고 후단의 CMOS인버터의 출력노드를 그의 비반전출력노드로 하는 뉴런 ; 상기 뉴런을 m개 구비하여 상기 mbit의 입력을 접수하는 입력층 ; 상기 뉴런을 n개 구비하여 상기 nbit의 출력을 발생하는 출력층 ; 상기 뉴런을 n개 구비하여 상기 입력층으로부터 접수된 입력을 상기 출력층 및 그의 상위 은닉층 또는 상기 출력층에 전달하기 위한 적어도 한층 이상의 은닉층 ; 상기 출력층과 상기 적어도 한층 이상의 은닉층들의 각 뉴런들의 입력노드에, 상기 입력층의 각 뉴런에 접수되는 입력 bit값이 "1"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 PMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 NMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 입력 bit값이 "0"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 PMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 NMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 상기 입력 bit값이 "1" 또는 "0"인 경우에서 연결가중치의 값이 "0"이면 아무런 연결도 하지 않은 방식으로 입력층의 각 뉴런의 반전 및 비반전출력노드를 연결하기 위한 PMOS 및 NMOS트랜지스터들의 매트리스 형태로된 입력시냅스군 ; 상기 출력층 또는 바로 상위의 은닉층의 각 뉴런들의 입력노드에, 상기 입력층의 각 뉴런에 접수되는 입력 bit값이 "1"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 PMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 NMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 입력 bit값이 "0"인 경우에는 연결가중치값이 포지티브이면 상기 입력층의 각 뉴런의 비반전출력노드에 게이트가 연결된 PMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 1 전원전압을 결합하고 연결가중치의 값이 네가티브이면 상기 입력층의 각 뉴런의 반전출력노드에 게이트가 연결된 NMOS트랜지스터를 통하여 상기 연결가중치의 연결세기로 제 2 전원전압을 결합하며, 상기 입력 bit값이 "1" 또는 "0"인 경우에는 연결가중치의 값이 "0"이면 아무런 연결도 하지 않은 방식으로 은닉층의 각 뉴런의 반전 및 비반전출력노드를 연결하기 위한 PMOS 및 NMOS트랜지스터들의 매트릭스 형태로 된 적어도 하나 이상의 전달시냅스군 ; 및 상기 출력층 상기 은닉층들의 각 뉴런의 입력노드를 단위 연결세기로 상기 제 2 전원전압으로 바이어싱시키기 위해 게이트에 상기 제 1 전원전압이 결합되는 NMOS트랜지스터로 구성된 바이어스시냅스군을 구비한 것을 특징으로 하는 다층신경회로망.
  2. 제 1 항에 있어서, 상기 시냅스들의 각 가중치의 연결세기는 MOS트랜지스터의 기하학적 형상비(채널폭/채널길이)로 설정하는 것을 특징으로 하는 다층신경회로망.
  3. 제 1 항에 있어서, 상기 시냅스들의 각 가중치값은 정수인 것을 특징으로 하는 다층신경회로망.
  4. 제 1 항에 있어서, 상기 출력층 또는 상기 적어도 하나 이상의 은닉층의 각 뉴런의 입력노드에 결합되는 시냅스들의 총가중치의 합이 상기 뉴런의 전단 CMOS인버터의 팬인 값보다 작게 하는 것을 특징으로 하는 다층신경회로망.
KR1019900012914A 1990-08-18 1990-08-18 다층신경회로망 및 그 회로설계방법 KR930009065B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019900012914A KR930009065B1 (ko) 1990-08-18 1990-08-18 다층신경회로망 및 그 회로설계방법
US07/745,348 US5293458A (en) 1990-08-18 1991-08-15 MOS Multi-layer neural network and its design method
FR919110413A FR2665968B1 (fr) 1990-08-18 1991-08-19 Reseau neural a couches multiples et son procede de conception.
JP20699091A JP3229623B2 (ja) 1990-08-18 1991-08-19 多層神経回路網及びその回路設計方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019900012914A KR930009065B1 (ko) 1990-08-18 1990-08-18 다층신경회로망 및 그 회로설계방법

Publications (2)

Publication Number Publication Date
KR920005004A KR920005004A (ko) 1992-03-28
KR930009065B1 true KR930009065B1 (ko) 1993-09-22

Family

ID=19302591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019900012914A KR930009065B1 (ko) 1990-08-18 1990-08-18 다층신경회로망 및 그 회로설계방법

Country Status (4)

Country Link
US (1) US5293458A (ko)
JP (1) JP3229623B2 (ko)
KR (1) KR930009065B1 (ko)
FR (1) FR2665968B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5486999A (en) * 1994-04-20 1996-01-23 Mebane; Andrew H. Apparatus and method for categorizing health care utilization
US5689621A (en) * 1995-04-28 1997-11-18 Michigan State University Modular feedforward neural network architecture with learning
US5717833A (en) * 1996-07-05 1998-02-10 National Semiconductor Corporation System and method for designing fixed weight analog neural networks
US6269354B1 (en) * 1998-11-30 2001-07-31 David W. Arathorn General purpose recognition e-circuits capable of translation-tolerant recognition, scene segmentation and attention shift, and their application to machine vision
US8429107B2 (en) * 2009-11-04 2013-04-23 International Business Machines Corporation System for address-event-representation network simulation
GB201511887D0 (en) * 2015-07-07 2015-08-19 Touchtype Ltd Improved artificial neural network for language modelling and prediction
KR102067112B1 (ko) * 2017-10-17 2020-01-16 한양대학교 산학협력단 Pcm 기반의 뉴런 네트워크 소자

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926180A (en) * 1988-03-25 1990-05-15 Trustees Of Columbia University In The City Of New York Analog to digital conversion using correlated quantization and collective optimization
JPH087789B2 (ja) * 1988-08-15 1996-01-29 工業技術院長 パターン連想記憶方法および装置
US5093803A (en) * 1988-12-22 1992-03-03 At&T Bell Laboratories Analog decision network
KR910009445B1 (ko) * 1989-02-02 1991-11-16 정호선 신경회로망을 이용한 연상메모리(Associative memory)
JPH0738186B2 (ja) * 1989-03-13 1995-04-26 シャープ株式会社 自己拡張形ニユーラル・ネットワーク
US5028810A (en) * 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
KR930002999B1 (ko) * 1990-04-03 1993-04-16 정호선 랭크필터
US5061866A (en) * 1990-08-06 1991-10-29 The Ohio State University Research Foundation Analog, continuous time vector scalar multiplier circuits and programmable feedback neural network using them

Also Published As

Publication number Publication date
FR2665968B1 (fr) 1994-11-18
US5293458A (en) 1994-03-08
FR2665968A1 (fr) 1992-02-21
JPH04255994A (ja) 1992-09-10
KR920005004A (ko) 1992-03-28
JP3229623B2 (ja) 2001-11-19

Similar Documents

Publication Publication Date Title
KR930009066B1 (ko) 다층신경회로망 및 그 회로설계방법
KR930009065B1 (ko) 다층신경회로망 및 그 회로설계방법
Hirotsu et al. An analog neural network chip with random weight change learning algorithm
US5016211A (en) Neural network implementation of a binary adder
Verleysen et al. A high-storage capacity content-addressable memory and its learning algorithm
Ishii et al. Hardware-backpropagation learning of neuron MOS neural networks
Serrano-Gotarrdeona et al. An ART1 microchip and its use in multi-ART1 systems
Zhang et al. Arithmetic for digital neural networks
EP0841621A1 (en) Learning methods in binary systems
Akers et al. A limited-interconnect, highly layered synthetic neural architecture
Karamuftuoglu et al. Scalable superconductor neuron with ternary synaptic connections for ultra-fast SNN hardware
Edwards et al. Toward optimally distributed computation
Bohossian et al. Multiple threshold neural logic
Sasaki et al. Digital implementation of a multilayer perceptron based on stochastic computing with online learning function
Beiu Ultra-fast noise immune CMOS threshold logic gates
Paudel et al. High Precision Winner-Take-All Circuit for Neural Networks
KR940005512B1 (ko) 신경 회로망의 비선형 시냅스회로
Biederman et al. Design of a neural network-based digital multiplier
Simpkins Design, modeling, and simulation of a compact optoelectronic neural coprocessor
Bruck Multiple Threshold Neural Logic
JPH04112355A (ja) 自己学習型アナログ方式ニューロン回路
Choi et al. Implementation of MEBP learning circuitry with simple nonlinear synapse circuits
Choi Implementation of FNNS using simple nonlinear circuits
Elsimary et al. Generalization ability of fault tolerant feedforward neural nets
Majewski et al. Extracting symbolic function expressions by means of neural networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
G160 Decision to publish patent application
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080904

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee