KR100255265B1 - 분산된 신경세포를 구비한 신경신호처리장치 - Google Patents

분산된 신경세포를 구비한 신경신호처리장치 Download PDF

Info

Publication number
KR100255265B1
KR100255265B1 KR1019930002649A KR930002649A KR100255265B1 KR 100255265 B1 KR100255265 B1 KR 100255265B1 KR 1019930002649 A KR1019930002649 A KR 1019930002649A KR 930002649 A KR930002649 A KR 930002649A KR 100255265 B1 KR100255265 B1 KR 100255265B1
Authority
KR
South Korea
Prior art keywords
cell
cells
data
synaptic
signal processing
Prior art date
Application number
KR1019930002649A
Other languages
English (en)
Other versions
KR930018399A (ko
Inventor
고베르 쟝
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR930018399A publication Critical patent/KR930018399A/ko
Application granted granted Critical
Publication of KR100255265B1 publication Critical patent/KR100255265B1/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/41—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming static cells with positive feedback, i.e. cells not needing refreshing or charge regeneration, e.g. bistable multivibrator or Schmitt trigger
    • G11C11/413—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction
    • G11C11/417—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction for memory cells of the field-effect type
    • G11C11/419—Read-write [R-W] circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Neurology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Complex Calculations (AREA)
  • Multi Processors (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

분산된 시냅스 세포를 구비한 신경 신호 처리 장치. 신경망은 그 기능적 위상과 독립적인 물리적 위상을 갖는다. 세포는 시냅스와 기능적으로 동등하며, 연쇄적으로 연결되어 있어 단방향 데이터 경로를 형성한다. 세포는 개별적 제어나 병렬 제어에 관해 버스와 병렬로 연결되어 있다. 각 시냅스의 뉴런 전위로의 몫은 내포된 개개의 각 세포에서 개별적으로 계산된다. 연쇄적으로 있는 각 세포는 단순한 신호 전달 수단(transparent)으로 되거나 그 기여를 선행 세포로부터 수신된 데이터에 가산하여서, 이 합계를 다음 세포로 공급한다. 보다 좋게는, 시냅스를 세포에 할당하는 것이 프로그램으로 가능하다.

Description

분산된 신경세포를 구비한 신경신호처리장치
제1도는 공지된 신경 신호 처리 장치(nural processor)에 관한 기본 요소의 개괄도.
제2도는 본 발명에 따른 시냅스 세포(synaptic cell)의 개괄도.
제3도는 본 발명에 따라 다수의 시냅스 세포로 세분된 신경 신호 처리 장치의 개괄도.
제4도는 할당 모듈에 기록하기 위한 할당 회로도.
제5도는 할당 모듈도.
제6도는 주소 지정 모듈도.
제7도는 신호 처리 모듈도.
제8도는 신경 신호 처리 장치내의 다수의 시냅스 세포를 몇 개의 일반 그룹의 시냅스 세포들로 세분한 상기 신경 신호 처리 장치의 일반도.
제9도는 제8도의 일반도와 유사하며, 파이프 라인 장벽이 있는 일반도.
* 도면의 주요부분에 대한 부호의 설명
8 : 출력 9 : 공급데이터
10 : 공지된 신경 신호 처리 장치 11 : 신호 처리 유닛
12,14 : 기억 수단 13 : 입력 수단
15(제1도) : 비선형 함수 15(제2도) : 시냅스 세포
21 : 주소 버스 31 : 할당 수단
33 : 주소 지정 수단 35 : 신호 처리 수단
40 : 부호기 41,42,57,314 : AND게이트
51,53,1,63,65,67,99,314 : 레지스터 52,54 : 비교기
55,56 : OR 게이트 59 : 제어 유닛
60 : 제어 블록 69 : 가산/감산기
70k,70ℓ,71 : 감산기 90 : 연결
본 발명은, 기능적으로 각 신호원(source) 뉴런과 각 목표(deseination) 뉴런간의 데이터 통신에 관하여 각 시냅스들에 의해 상호 연결된 뉴런으로 이루어진 신경 신호 처리 장치 내의 신경망에 관한 것이다.
단순하다거나 복잡하다고 하는 문제를 떠나서, 신경망은 일반적으로 다음의 약 세 기능으로 분류될 수 있는 복수의 자원들(resource)을 구비하고 있다.
- 기억 : 이 기능은, 한편으로 두 뉴런간을 상호 연결시키는 시냅스를 특정화하는 시냅스 계수의 기억, 그리고, 다른한편으로는 뉴런의 기능 상태의 기억과 관련된다.
- 상호 연결 : 이 기능은 상이한 제어 신호와 데이터 신호의 전송 및/또는 교환을 위해 한 뉴런을 다른 뉴런에 할당하는 것과 관련된다.
- 신호 처리 : 이 기능은 다양한 데이터의 계산에 관한 것으로, 특히 여러 학습 단계 동안에 있어서의 뉴런 전위(neural potential)의 계산과 시냅스 계수 갱신의 계산과 관련된다.
대부분의 종래 기술에 따르면, 신경 신호 처리 장치는 기억 유닛을 구비하고 있는데, 이 기억 유닛은 일반적으로 말해서 기억 유닛의 주소에 의해서 개별적으로 접근되는 시냅스 계수를 기억한다. 따라서, 상호 결합 기능은 기억 유닛에 있는 시냅스 계수의 위치(주소)에 따라 배선(wiring)함으로써 분명하게 얻어진다. 즉, 동일 뉴런에 관한 모든 시냅스 계수는 공지된(대개 논리적으로 인접해 있는) 주소에 기억되어 있으므로 상기 시냅스 계수를 사용 가능하게 하는 데는 주소를 증감시키는 것으로 족하다.
본 경우에 있어서는, 시냅스에 할당된 자원이 기억부만을 표시하고, 그 밖의 기능들은 신호 처리 유닛에서 수행되어야만 한다. 순수한 소프트웨어적 이용에 관한 장점을 얻기 위해서는 몇 등급의 병렬 개념(parallelism)을 이용한다. 이를 위해서, 신호 처리 유닛은 각 종속 유닛은 1/n의 망 동작을 실행하는 실제로 n개의 신호 처리 종속 유닛으로 이루어진다. 물리적 연결 수를 제한하기 위해서, 종속 유닛은 1/n의 시냅스 기억장치와 연결되어 있다.
연결 수를 제한하고자 한 것과 같은 이유로, 종속 유닛의, 내장된 시냅스와는 독립적으로, 임의의 뉴런에 관한 신호 처리에 관여하지 않을 수도 있다. 그러므로, 망을 종속 유닛으로 세분하는 것은 기억 장치부에 내포된 시냅스들과 이 시냅스에 관련된 뉴런들과의 연계시킨다. 일예로, 주어진 한 뉴런에 도달하는 시냅스의 수는 종속 유닛에 배정된 기억 장치 블록의 길이를 초과하지 않을 수도 있다.
이 결과로 하드웨어의 사용에 관한 효율성이 열악하게 된다. 제어를 단순화하기 위해서, 종속 유닛의 계산 사이클 수는 장치가 허용할 수 있는 가장 복잡한 구성에 필요한 최대수까지 상승된다. 더욱이, 주어진 기억 장치 워드(word)는 사용되지 않게 된다. 왜냐하면, 그 워드들은 소수의 시냅스를 구비하는 뉴런에 상당하는 블록에 관계하기 때문이다.
신호 처리 기간을 최적화하고, 부딪히게 되는 다양한 상황과 관련하여 하드웨어의 역할 분담(proportioning)을 개선하려는 노력은 계속되어 왔다.
이와 관련하여 참고할 수 있는 자료로는, 1989년 신경망 II-213에 관한 IEEE INNS 국제 합동 회의에서 M. Yasnaga등이 발표한 “디지탈 회로를 완벽하게 이용하는 웨이퍼 규모 집적 신경망(A wafer scale integration neural network utilizing completely digital circuits)”이 있다.
본 발명과 연관된 부분만 본다면, 상기 인용 논문은 동일 뉴련에 도달하는 상호 연결부의 수를 감소시키는 법에 대하여 설명하고 있다. 이 목적을 위해서, 그 구조(architecture)는 여러 뉴런들로 세분되고, 여기서 뉴런은 주어진 순간에 단일 시냅스를 수신하는 하나의 블록이다. 이 블록은 공유 버스로부터, 시분산(time distribution)적으로, 이 뉴런에 도달하는 모든 시냅스 관련 데이터를 연속적으로 수신한다.
따라서, 뉴런만큼 많은 신호 처리 유닛과 기억 유닛이 있다. 동일 뉴런에 있어서, 소규모 기억 장치는 이 뉴런과 관련있는 모든 시냅스 계수를 기억한다. 이 시냅스 계수들은 비분산 구조의 경우처럼 순차적으로 주소가 지정된다. 이러한 동작 모드는 한 뉴런에 도달하는 상호 연결의 수를 감소시킬 수 있게 해준다.
그러나, 이러한 구조는 경직된 것이다. 구체적으로 말하면, 한 뉴런에 연결된 시냅스의 수를 한 유닛씩 변경시키는 것은 불가능하다. 따라서, 이 때문에, 새로우 시냅스 분산 구조를 신경 신호 처리 장치로 분산시키기 위한 유연성이 제공되지 못하게 된다.
그러므로, 시냅스의 동작을 수행하도록 하기 위해 접근 가능한 상태에 있는 여러 모듈들로 기억 장치를 세분하면, 망의 위상(topology)으로 볼 때 여러 제약들을 드러내게 된다. 결국, 임의의 위상(arbitrary topology)을 갖고, 한 그룹의 뉴런과 그들의 상호 연결로 정의되는 망은, 뉴런 및 시냅스의 총 개수가 이론상 시스템에 의해서 취급될 수 있는 것보다 낮다하더라도, 하드웨어 장치상에 수용될 수 없다.
따라서, 본 발명의 목적은, 망의 기능 요소들을 기능적으로 배열하는 것이, 그 기능 요소를 물리적으로 배열하는 것과 무관한 것을 특징으로 하는 신경망을 제공하는데 있다. 이 목적을 위해서는, 한 뉴런당 고정된 수 만큼의 시냅스가 결속되어야 하는 제약점을 제거시키는 것이 바람직하며, 이는 한 뉴런이 소수의 시냅스를 구비하고 있는 경우 여러 자원들이 무용지물이 되거나, 한 뉴런당 최대수의 시냅스의 부과(imposition)가 너무 제약이 많을 수도 있음을 피하도록 하기 위한 것이다.
이 목적을 위해, 본 발명은 각 신호원 뉴런과 각 목표 뉴런간의 데이터 통신에 관하여 각 시냅스들로 상호 연결된 뉴런으로 이루어진 신경 신호 처리 장치내에서의 신경망에 있어서,
- 상기 각 시냅스들은 입구와 출구 사이에 데이터 경로를 형성하는 각 동형 세포들의 적어도 하나의 연쇄 결합의 물리적 구조로 되어 있고, 상기 세포들중 다음에 있는 각 세포의 데이터 입력부가 데이터의 전송을 위해서 선행 세포의 데이터 출력부와 연결되어 있으며;
- 각각의 상기 세포는 상기 데이터 입력부와 상기 데이터 출력부 사이에,
- 데이터 계산을 실행하기 위한 작용을 하는 계산 유닛과;
- 상기 계산 유닛과 접속되어 데이터를 기억하는 작용을 하는 기억 장치를 구비하고,
- 상기 신경 신호 처리 장치는 명령의 전달을 위해 버스 수단을 구비하고;
- 상기 세포는 상기 버스 수단과 병렬로 연결되어 있으며;
- 여러 동작에 관해서 적어도 하나의 특정한 세포를 선택하도록 하기 위하여, 상기 명령을 제공해서, 상기 버스 수단을 경유하여 상기 세포를 제어하는 제어 수단과, 상기 출구와 연결되고, 목표 뉴런 출력 신호를 생성하도록 하기 위하여, 비선형 함수를 상기 출구에 제공된 총합으로 공급하는 비선형 변환 수단을 구비하는 신경망을 구비하고,
- 상기 여러 동작에는
- 상기 입구에 제공된 데이터 항목을 상기 특정 세포의 기억 장치로 적재시키는 동작과;
- 상기 적어도 하나의 특정 세포의 상기 계산 유닛을 제어하여, 상기 데이터 항목을 특정 시냅스 계수로 곱하고, 상기 적어도 하나의 특정 세포에 그 결과를 기억시킴으로서 새로운 결과를 생성하는 동작 및;
- 선행 선택 세포들의 결과를 선행 부분 합계를 상기 선택 세포들중 뒤에오는 세포로 전송함으로써 다수의 선택 세포에서 발생된 결과들을 연속적으로 누산하고, 상기 선택 세포들중 뒤에오는 세포의 기억 장치에 기억된 상기 결과를 상기 선행 부분합계로 가산하여 다음 부분 합계를 생성하며, 상기 다음 부분 합계를 상기 다음 선택 세포의 상기 데이터 출력부로 제공하고, 비선택 세포는 단순한 정보 전달 수단(transparent)이 되는 것을 특징으로 한다.
본 발명에 따른 구조는 종래 기술에 비해 다양한 장점이 있다. 첫째로, 망의 물리적 위상이 명령 제어를 사용함으로써 망의 기능적 위상과 독립적으로 또한, 각 세포에 관련 시냅스 계술을 적재시키거나, 데이터 항목이 입력값을 뉴런으로 제공하는 등의 선택을 개별적으로 할 수 있다. 세포는 병렬로 선택될 수 있으며, 예를들어 입력값이 주어진 개개의 관련 시냅스의 몫을 동시에 계산한다. 이때, 비선택 세포들은 단순한 신호 전달 수단(transparent)이 된다.
따라서, 망 위상과 뉴런의 수에 관해서 상호적으로 확산하는 다양한 신경망이 쉽게 이용될 것이다. 둘째로, 기본 조직이 입구와 출구간의 단 방향 데이터 경로를 형성하는 동형의 세포들의 연쇄 연결이므로, 그 전체 구조는 높은 모듈러 캐릭터(modular character)를 갖는다. 이 모듈성은 예컨데 직접 회로와 같은 망을 설계하는 관점에서 보면 바람직한 특성이다. 또한, 세포들간의 반응은 물리적으로 인접한 세포들과 관련이 있을 뿐이며, 이로써 물리적으로 멀리 떨어진 부분들 간의 번거로운 상호연결을 피한다. 셋째로, 단 방향 데이터 경로에 초점을 맞춘 신경 신호 처리 장치는 다수의 신경 신호 처리 장치의 접속을 수단으로 하여 쉽게 확장될 수 있다.
이 모든 장점은 시냅스 기능성과 일차원 데이터 경로에 관한 목표 뉴런의 누산 기능성을 분산시킴으로써 달성된다.
목표 뉴런의 전위(potential)를 계산하기에 앞서, 데이터 항목은 관련 신호원 뉴런에 적재된다. 그 데이터 항목은 목표뉴런에 전송될 신호원 뉴런의 출력값일 수도 있고, 시냅스 계수일 수도 있으며, 또는 둘다일 수도 있다. 이러한 적재는 직렬적으로 수행된다. 각 관련 시냅스의 몫, 즉 데이터와 시냅스 계수의 곱셈은 병렬로 연속 계산된다. 곧이어, 그 몫들이 데이터 경로를 따라 전파할 때 부분적 합계를 연속적으로 형성함으로써 그 몫들은 합계된다.
보다 더 좋게는,
- 시냅스는 물리적으로 상기 제1연쇄로 조직되어 있고, 총합과 적어도 하나의 또다른 연쇄를 발생시키는 작용을 하여, 또다른 총합을 발생시키는 작용을 하고, 그리고 상기 제1연쇄와의 기능적 배열이 병렬로 되어 있고,
- 신경 신호 처리 장치는 상기 연쇄와 한편의 상기 또다른 연쇄 및 다른편의 출구 사이에 가산 수단을 구비하여, 비선형 함수를 제공하기 전에 상기 총합과 또다른 총합을 선형적으로 결합시킨다. 이러한 병렬 데이터 경로 조직은 동작 시간을 감소시킨다. 데이터 전파는 파이프라인 프로세서의 그것과 유사하므로, 동기를 허용하기 위해서는 데이터 경로가 전략적 위치에 있는 소위 파이프라인 장벽에 의해서 나뉘어질 수 있다.
버스 수단을 경유하여 세포의 주소를 지정하는 것은 적어도 두가지 모드로 행해진다. 즉, 공유 목표 뉴런에 관해서 개별적으로 행하는 것과 병렬로 행하는 것이다. 제1모드의 장점은 단일 세포의 데이터 내용들, 예컨대 신호원 뉴런의 상태나 시냅스 계수를 개별적으로 변경시킬 수 있고, 반면에 제2모드의 높은 장점은 다수의 독립적인 계산, 에컨데 각 시냅스를 목표 뉴런의 전위로 기부하는데 있다. 이 동일 체계는 예컨데 에러백 프로퍼게이션(error backpropagation)을 사용하여 학습 위상에 응용될 수 있음에 유의하시오. 이 목적을 위해서는, 제1식별자와 제2식별자에 의해서 주소를 형성해서, 특정한 시냅스의 신원을 그 신호원 뉴런과 그 목표 뉴런에 의해 확인하는 것이 유리하다.
하드웨어의 절약이라는 관점에서 보면, 본 발명의 신경망은, 게산 유닛이 가산기와, 그리고 그 가산기 입력부 및 출력부 사이에 연결된 레지스터를 구비하는 각 세포에 유리하다. 여기서 계산 유닛은 반복 덧셈을 선택적으로 실행하고, 보다더 좋게는 다음 세포의 계산 유닛의 작용이 다음의 부분 합계를 선택적으로 발생시키는 것이다.
본 발명의 상기 양상 및 기타의 양상은 이후에 서술될 실시예로부터 명확해질 것이며 실시예의 도면 또한 도시될 것이다.
제1도는 공지된 신경 신호 처리 장치(1)의 간단한 구조도를 도시한다. 입력 수단(INP)(13)(예를 들어, 입력 레지스터나 입력 단자)는 데이터(9)를 신호 처리 수단(11)으로 공급하고, 신호 처리 수단(11)은 또한 기억 수단(12)에 기억된 시냅스 계수 Cij도 수신한다. 시냅스 계수 Cij는 신호원 뉴런 j와 목표 뉴런 I를 연결하는 시냅스 강도를 특정짓는다. 신호 처리 수단(11)은 또한 기억 수단(14)에 기억된 뉴런의 상태도 수신한다.
뉴런이 신호원 뉴런으로 동작하는 경우에는, 그 상태가 Vj로 표기되고, 목표 뉴런으로 동작하는 경우에는, 그 상태가 Vi로 표기된다. 신호 처리 유닛(11)은 각 목표 뉴런에 관한 계산을 실행하여 자신의 뉴런 전위를 다음식,
에 의해서 계산한다.
신호 처리 수단(11)은 인덱스 j인 모든 신호원 뉴런에 관하여 합계 동작을 실행해서, 목표 뉴런 i의 뉴런 전위 POTi를 출력(연결선 8)시킨다. 이 뉴런 전위 PTOi는 목표 뉴런 i의 새로운 뉴런 상태 Vi를 발생시키는 비선형 함수(NLF)(15)의 지배를 받는다. 이 새로운 상태 Vi는 기억 수단(14)을 갱신하는데 사용되고, 그 신호 처리는 기타 뉴런에도 이어진다. NLF 수단(15)은 비선형 함수(NLF)를 공급하며, 신경 신호 처리 장치(10)의 외부에 위치하고 있음이 도시되어 있다. 제1도는 구조를 단순하게 도시한 것에 지나지 않는다. 왜냐하면, NLF 수단(15)은 신경 신호 처리 장치(10)에 포함되어 있을 수도 있기 때문이다. 간략히 하기 위하여, 기타의 구성원, 즉 제어 수단(예컨데, 호스트 컴퓨터), 학습 수단 등은 생략하였다.
제2도의 구조는 기능 블록의 형태로 표시되어 있으며, 각 블록은 독특한 기능들, 즉 시냅스 계수의 기억, 뉴런 상태의 기억, 신호 처리 등과 관련있다. 상호 연결의 수를 줄이기 위해서는, 야스나가(M. Yasunaga)등의 인용 논문으로 이미 설명했던 바와같이, 구조를 여러 모듈 블록으로 세분하는 것을 생각할 수 있다. 이 경우, 모듈 블록은 단일 뉴런에 관한 것이며, 상기 모듈 블록은 이 모듈 블록과 관련있는 모든 시냅스의 전 데이터에 의해서 “되먹임(fed)”된다.
본 발명은, 시냅스가 어느 뉴런에 연결되어 있고 또한 시냅스 사슬의 어느 등급에 있는지를 떠나서, 구조를 시냅스 자신의 레벨로 끌어내리고, 시냅스들간에 상호 통신을 한다고 정의함으로써 이 개념을 벗어나기도 한다.
제3도는 본 발명에 다른 신경 신호 처리 장치(10)에 관한 주요 실시예의 개랴도이다. 신경 신호 처리 장치(10)는 입력 수단(13)(예를들어, 입력 레지스터 또는 입력 단자)을 포함하며, 이 입력 수단(13)은 환경으로부터 다음과 같은 몇 개의 명령 필드를 수신한다.
ADR : 주소 필드
BUSY : 통신중 신호
DATA : 데이터 필드
TYPE : 데이터에 대해 실행할 동작의 형태 필드
이 모든 데이터 필드의 배합으로 명령이 이루어진다. 회로는 명령의 순차를 연속적으로 제공함으로써 활성화된다. 표 1에는 주요 명령이 명시되어 있다. 이 표는 주어진 명령에 관한 DATA 필드의 혼합을 나타낸다. 예를들어, 동작 형태가 시냅스 관리 단계를 나타낼 경우, DATA 필드는 1bit alloc을 포함할 것이고, 이때 논리 상태가 1이면, “시냅스 할당”명령을 결정한다. 이 경우에, DATA 필드는 “data”라고 하는 데이터 필드도 포함하고 있으며, 동작은 이것에 관해서도 실행되어야 한다. TYPE필드가 누산 동작을 나타내는 경우, 전 DATA 필드는 “data”정보 내용에 전속된다. 표 1의 기타 명령은 유사한 방식으로 있으면 된다.
신경 신호 처리 장치의 구조는 시냅스 세포 SYN1, SYN2, ... , SYNP로 이루어져 있다. 모든 시냅스 세포는 동일한 구조를 갖는다. 일반적으로 말해서, 통신은 다음의 상이한 두 방법으로 수행된다.
- 모든 시냅스 세포는 버스(21)에 의해 병렬로 분산된 주소 필드(ADR)와 버스(23)에 의해 병렬로 분산된 동작 형태 필드(TYPE)를 병렬로 수신한다.
- 모든 시냅스 세포는 연쇄 경로 DATA 221,222, ... , 22p와 연쇄 경로 BUSY 241, 242, ... , 24p를 경유하여 연쇄적인 방식으로 통신한다.
사슬의 최종 시냅스 세포인 SYNP는 동작의 결과, 예를들어 신경 전위 계산을 버스(8)로 제공한다. 추가로, 모든 시냅스에는 클럭 신호(CL)도 공급된다.
모든 시냅스 세포는 동형의 구조를 갖는다. 제2도에는 시냅스 세포(15)가 도시되어 있다. 시냅스 세포는 할당 수단(ALLOC)(31)과 주소 지정 수단(ADDR)(33) 및 신호 처리 수단(35)을 포함한다.
할당 수단(ALLOC)(31)은 선행 시냅스 세포로부터의 신호(BUSY I)를 입력부에서 수신하며, 한편으로는 통신중 신호(BUSY 0)를 다음 시냅스 세포로 출력시키고, 다른 한편으로는 자유 상태를 나타내는 신호(FR) 또는 통신중을 나타내는 신호(OC)인 FR/OC 신호를 주소 지정 수단(ADDR)(33)으로 출력시킨다.
할당된 시냅스 세포의 동작 동안에 주소 버스(21)에서 현재 주소가 전송되면, 주소 지정 수단(33)은 시냅스 세포에 할당된 주소와 현재의 주소가 동일할 때 SEL 신호를 활성화한다. SEL신호는 이어서 신호 처리 수단(PROCES)(35)을 자극하여 TYPE필드에 의해서 결정되는 동작 형태를 수행한다. 이 동작은 입력데이터(DI)상에서 실행되며, 이것이 데이터 필드(DATA)에 포함된 데이터인 “data”이다.
신호 처리가 끝나면, 입력 데이터(DI)는 출력 데이터(DO)를 발생시킨다.
시냅스 세포에 할당된 주소와 현재의 주소가 일치하지 않으면, 그 시냅스 세포는 입력 데이터 필드(DI)와 동일한 출력 데이터 필드(DO)를 다음 시냅스 세포로 전달하는 것으로만 제한된다.
제5도 내지 제7도에는 시냅스 세포(15)의 다양한 수단들이 도시되어 있다.
제5도는 할당 수단(31)을 도시한다. 레지스터(REG)(312)는 시냅스 세포의 통신중 상태(REG〓1) 또는 자유 상태(REG〓0)를 기억한다. 이들 자유/통신중 상태는 신호 처리 수단(35)(제2도 및 제7도)으로부터의 지령 SET/RESET에 의해서 변경될 수 있다.
AND 게이트는 레지스터(312)의 출력과 선형 시냅스 세포로부터의 입력 신호(BUSY I)간의 논리 AND 함수를 실행한다. 출력신호(BUSY 0)가 1일 경우는 입력 신호(BUSY I)가 1(모든 선행 세포가 통신중)이고 REG도 1(시냅스 세포(15)가 통신중)일 때이다. 입력 신호(BUSY I)가 1이고 REG가 0이면, 시냅스 세포(15)는 자유이고 이때의 출력 신호(BUSY 0)는 0이다.
사슬에 있는 제1 자유 시냅스 세포만이 1인 BUSY I신호와 0인 BUSY 0신호를 갖는다. 이렇게 함으로서 할당 동작을 수행하도록 제1 자유 시냅스 세포의 선택을 할 수 있다.
동작 동안에, 할당 수단(31)에 의해서 공급된 FR/OC신호는 주소 지정 수단(33)을 제어한다.
제6도는 주소 지정 수단(ADDR)(33)을 도시한 것이며, 이 수단에서는 임의의 시냅스와 관련있는 시냅스 세포가 신호원 뉴런과 목표 뉴런간의 연결 강도를 특징짓는다. 주소 버스(ADR)는,
- 명령에 들어 있는 하나 또는 둘 이상의 시냅스의 신호원 뉴런에 관한 식별자(identifier)인 SID 필드와;
- 명령에 들어 있는 하나 또는 둘 이상의 시냅스와 목표 뉴런에 관한 식별자인 DID 필드와;
- 주소 지정 발생 방법을 표시하는 두 개의 비트 SF와 DF를 구비한다.
이들 두 비트 SF와 DF는 필터링 신호 SF와 필터링 신호 DF를 발생하여, 이들 두 신호는 동일한 목표 뉴런과 연결된 모든 시냅스 세포나 동일한 신호원 뉴런과 연결된 모든 시냅스 세포중 어느 한쪽을 주소 지정하도록 독립적으로 활성화될 수 있고, 모든 시냅스 세포를 주소 지정하도록 동시에 활성화될 수도 있다.
두 식별자 SID와 DID는 신호 처리 수단(35)에 의해서 공급되는 적재 지령 CH(수개의 비트를 포함하는 필드)의 제어하에서 할당 단계 동안에 각각 레지스터(51 및 53)로 적재된다. 시냅스 세포에 관한 할당 위상의 끝에서는, 버스상에 있는 식별자(SID 및 DID)는 각각 할당된 식별자(SNI 및 DNI)로 되어 레지스터(51 및 53)로 각각 적재된다. 사용 동안에, 현재 주소는 버스(ADR)로 공급된다. 비교기(52 및 54)는 이어서 할당된 식별자(SNI 및 DNI)를 현재 주소에 들어있는 식별자(SID 및 DID)와 각각 비교한다.
할당 명령을 제외한 모든 명령에 대해, 할당된 시냅스는 비트 SF와 DF에 의해서 지정되는 다음의 네 모드에 따라서 선택될 수도 있다.
모드 1 : 비조건 선택(모든 시냅스가 관련)
모드 2 : SID〓SNI 이면 선택(신호원 뉴런의 경우)
모드 3 : DID〓DNI 이면 선택(목표 뉴런의 경우)
모드 4 : SID〓SNI 이고 DID〓DNI 이면 선택(두 뉴런의 경우)
만일 주어진 모드에서 조건이 만족되면, 주소 지정 수단(ADDR)에 의해서 공급된 SEL신호는 활성 상태에 있다.
제4모드에 일치하는 선택의 경우에 있어서는, 두 식별자(SNI 및 DNI) 모두가 먼저 인식되어야 할 필요가 있다. 이것은 AND게이트(57)에 의해서 결정되며 AND 게이트의 출력은 제어 유닛(59)으로 제공된다. 기타의 선택 모드에 있어서는, 비교기(52와 54)의 출력이 두 개의 OR 게이트(55 및 56)로 각각 공급되며, 이들 OR 게이트는 신호원 필터(SF)와 목표 필터(DF)도 각각 수신한다. 두 OR 게이트(55 및 56)의 출력 신호는 이어서 AND 게이트(57)로 공급된다.
제어 유닛(59)은 수개의 데이터 필드와 수개의 활성 신호를 수신한다. 즉,
- 선행 시냅스 세포로부터의 입력 신호(BUSY I)와;
- 현재 시냅스 세포의 할당 수단(ALLOC)으로부터의 통화중 신호(FR/OC)와;
- 동작 형태 필드(TYPE)와;
- 상기 시냅스 세포에 관한 할당 단계 동안에 사용된 할당 비트 “alloc” 및;
- 주소 일치 신호(AND 게이트(57)의 출력 신호)를 수신한다.
제어 유닛(59)은 다음의 두가지 제어 동작을 실행한다.
- 할당 명령의 경우에 있어서, SEL 신호가 활성화되는 때는, 명령이 형태가 “시냅스 관리” (표 I)일 때와, DATA 필드의 “alloc”비트가 활성 상태일 때 및, BYSY I〓0(활성 상태)이고 FR/OC〓0(자유 상태)(이것은 제1 자유 시냅스 세포와 연관있다)일때이다.
- 기타 명령의 경우에 있어서, SEL 신호가 활성화되는 때는 AND 게이트(57)의 출력 신호가 활성 상태에 있을 때와, FR/OC 신호가 통신중 상태(FR/OC〓1)에 있을 때이다.
제7도는 신호 처리 수단(PROCES)(35)을 도시한다. 이 수단은 데이터 필드(DATA)에 관한 다양한 동작을 실행하며, 데이터 필드(DATA)는 명령의 형태에 따라서, 신호원/목표 뉴런의 상태와, 시냅스 계수 및, 선택 또는 적재 지령들과 관련있는 상이한 필드들을 구비한다.
레지스터(61 및 63)에는 신호원 뉴런의 뉴런 상태(SNV)와 목표 뉴런의 뉴런 상태(DNV)가 각각 기억되어 있다. 레지스터에는 에러 백프로퍼게이션(error backpropagation)에 의한 학습 단계에 따라서 백프로퍼게이트될 에러를 포함할 수도 있다. 레지스터(65)에는 시냅스 계수 CV가 기억되어 있다. 레지스터(67)는 결과 M을 기억하는 기능을 하며, 결과의 예로는 동일 뉴런에 관한 동작의 순차로 실행되는 순환 동작에 따라서 획득되는 누산(accumulation)이 있다.
레지스터(61 및 63)에 각각 기억된 뉴런의 상태값을 비트 단위로 선택할 수 있게 한다. 선택기(66 및 68)는 가감/감산기(69)의 각 입력에 제공된다.
선택기(66)는 목표 뉴런의 뉴런 상태(DNV)와, 데이터 필드(DATA)에 포함된 입력 데이터 필드(DI)와, 시냅스 계수(CV) 및 0값으로부터 선택한다.
선택기(68)는 레지스터(67)의 출력 신호나 0값중 어느 하나를 수신한다.
가산/감산기(69)는 M에 기억된 선행값으로 누산을 실행하도록 하기 위하여 레지스터(67)의 입력에서(전이기(shifter)(92)에 의해 오른쪽 1비트 전이가 가능하게) 재발생될 수도 있는 결과를 공급한다. 동작 순환의 끝에는, 가산/감산기(69)가 출력 데이터 필드(DO)를 다음 시냅스 세포로 공급한다. 데이터 경로(DATA)는 각 시냅스 세포에 의해 가로채기(interrupt)되며 각 시냅스 세포는 자신의 몫으로 하거나 단순한 정보 전달 수단(transparent)인 것처럼 동작할 수도 있다.
제어 블록(60)은 다양한 제어 신호를 시냅스 세포로 공급한다. 이 신호들에는, 선택기(62,64,67,68 및 92)에 대한 선택 신호 S(다중 비트 필드)와; 논리 연산 유닛(연결 91)에 관한 “가산” 또는 “감산”간의 선택과; 레지스터(51,53(제6 도), 61,63,65,67(제7도))에 대한 적재신호 CH(다중 비트 필드) 및; 레지스터(312) (제5도)에 대한 SET/RESET 신호가 있다.
제어 블록(60)은, 적재 신호와 SET 신호 및 RESET 신호를 유도하는 클럭 신호(CL)와, 시냅스 세포가 동작에 포함되어 있는 또는 그렇지 않은지를 표시하는 선택 신호(SEL)와, 동작 형태 버스(TYPE) 및, 선택기의 위치 지정과 가산/감산기의 파라미터 지정을 할 수 있게 해주고, DATA 필드에 포함된 주어진 비트(FLAG)를 수신한다. 시냅스 세포의 할당(SET〓1)이나 그 자유(RESET〓1)중 어느 하나를 실행하도록 하기 위해서, 제어 블록(60)은 제4도에 도시된 할당 회로를 구비한다. 부호기(40)는 시냅스 세포가 “시냅스 관리”형태의 명령에 종속하는지를 검출한다.
시냅스 세포가 거기에 면, 부호기(40)의 출력을 활성화된다. 이 출력 신호는 FREE 비트 및 클럭 신호(CL)와 함께 AND 게이트로 공급된다. 이들 세 신호가 동시에 활성화되어 있다면, RESET 신호(AND 게이트(42))는 활성화된다.
또한, 부호기(40)의 출력 신호는 “alloc”비트 및 클럭 신호(CL)와 함께 AND 게이트(41)로 공급된다. 이들 세 신호가 동시에 활성화되어 있다면, SET 신호(AND 게이트(41))가 활성화된다.
또한 부호기(40)의 출력 신호는 “alloc”비트 및 클럭 신호(CL)와 함께 AND 게이트(41)로 공급된다. 이들 세 신호가 동시에 활성화되어 있다면, SET 신호(AND 게이트(41))가 활성화된다.
신경 신호 처리 장치에 의해서 다양한 동작이 실행될 수 있다. 이 동작들은 다음과 같은 명령의 세트를 수단으로 하여 수행된다.
- salloc ... 시냅스 할당
이 명령은 제1 자유 시냅스를 찾아서, 신호원 뉴런 및 목표 뉴런의 식별자를 이 시냅스로 적재시키고, 시냅스가 통신중임을 선언한다.
- sfree ... 시냅스 자유
이 지령은 식별된 하나 또는 둘 이상의 시냅스를 자유롭게 해준다.
sfree 명령은 수개의 시냅스를 동시에 연관시킬 수도 있다. 기타의 명령은 하나의 동일한 시냅스 세포내에서 실행된다.
- read : 시냅스 계수를 읽음. 식별된 시냅스 세포내에서, 이 명령은 빈 시간(idle time)의 끝에서 신경 신호 처리 장치의 출력에서 나타나는 시냅스 계수를 읽게 한다. 선택기(66)는 CV를 수신하고, 선택기(68)는 0을 수신한다(제7도). 가산/감산기(69)는 이어서 기억된 시냅스 계수를 추출할 수 있도록 하기 위해 CV를 데이터 버스(DO)로 공급한다. 이것은, 예를들어 학습 위상 이후에 유용하다.
- write : 뉴런의 상대값 및/또는 시냅스 계수를 기록함.
이 명령은, 적당한 지령이 활성화되는 (CH 필드) 경우에 SNV 값, DNV 값, CV 값 또는 M 값을 레지스터(61,63,65 및 67)로 각각 적재시킨다.
- accu : 시냅스의 몫을 누산함. 이 지령은 시냅스의 몫을 합산할 수 있게 한다. 포함된 시냅스 세포는 누산기의 내용(M)을 입력 부분 합계에 가산하여 그 결과를 다음 시냅스 세포로 공급한다. 신호원 필터(SF)의 값과 목표 필터(DF)의 값에 따라서 다음 결과를 얻는다.
1. SF〓0, DF〓0 : 사용되지 않음.
2. SF〓1, DF〓0 : 뉴런으로부터 하향 흐름(down stream)된 것에 관련된 것으로서, 이 조합은 학습 위상에서 에러를 백프로퍼게이트할 때 사용된다.
3. SF〓0, DF〓1 : 뉴런으로부터 상향 흐름(upstream)된 것에 관련된 것으로서, 이 조합은 뉴런 전위의 계산을 위해서 수치 계산중에 사용된다.
4. SF〓1, DF〓1 : 특정한 시냅스 세포의 누산기 내용을 읽음.
- alu : 내부 논리 연산 동작
- multi : 단일 비트 곱셈
이 명령으로 피승수와 승수 비트를 곱한 부분 결과를 누산할 수 있다. 이것은 어떤 부호를 갖는 정수 승의 원시값(primitive)으로, 승수에 있는 비트수 만큼의 multi명령의 연속에 의해서 실현될 것이다. 제1명령은 우향 이동된 제1부분 결과를 갖는 M을 적재시킨다. 우향 이동된 그 결과를 M에 재적재시키는 동안 연속되는 명령들이 새로운 부분 결과를 M의 내용에 가산한다. 최종 명령은 덧셈 대신에 뺄셈을 실행하여 그 결과를 이동없이 재적재시킨다.
선택기62 및 64)는 레지스터(SNV 및 DNV)로부터 명령에 지정된 등급과 연관있는 비트(연결 90a 및 90b)를 추출한다. 명령에 지정된 승수 및 피승수의 선택에 따라 그리고 연결(90a 및 90b)에 있는 비트의 함수로서, 선택기(66)는 DNV나 CV또는 0중 어느 하나로 위치 지정된다. 논리 연산 유닛(69)은, 명령의 지정에 따라, 선택기(66)의 출력 신호를 선택기(68)의 출력신호에 가산하거나 감산한다. 결국, 그 결과는 1비트씩 오른쪽으로의 전이가 있건 없건간에, 다시 명령의 제어하에서 레지스터(M)로 재적재된다.
신경 신호 처리 장치는 이후 신호원 뉴런 및 목표 뉴런을 어떤 시냅스 세포에 할당하도록 프로그램될 수 있다. 그 뉴런의 수는 동적으로 변경될 수도 있다. 뉴런 상태 레지스터가 뉴런 상태로 적재되는 동안의 해상도위상에 관계 있는 동작 형태 또는, 뉴런 상태 레지스터가 백프로퍼게이트될 에러로 적재되는 동안의 학습 위상에 관계 있는 동작 형태를 프로그램할 수 있다.
제3도에 나타나 있는 바와같이, 신경 신호 처리 장치는 시냅스 세포들의 선형 사슬에 의해서 형성될 수도 있다. 입력 시냅스 세포는 모든 정보, 즉 (제어+주소+데이터)를 수신하며, 이들은 자신에게 공헌할 수 있고, 연쇄 경로를 경유하여 정보(변경된 것이든 아니든)를 다음 시냅스 세포로 공급한다. 시냅스 세포가 연관되지 않으면 다음 시냅스 세포로 중계한다.
유휴 주기(idle period)이후에, 결과의 흐름이 사슬의 최종 시냅스 세포의 출력에 나타난다. 이 흐름은 사용 목적을 위해 적당한 비율로 읽혀져야 한다.
만일 명령이 레지스터의 변경을 의미하면, 클럭 신호(CL)는 유휴 시간의 끝에 제공되어, 연루된 모든 레지스터는 동시에 적재된다.
유휴 시간을 감소시키도록 하기 위하여, 다수의 시냅스 세포를 시냅스 세포로 된 몇몇 병렬 그룹으로 세분시킬 수도 있다(제8도). 예를들어
제1그룹은 SYN 11, SYN 21, ... , SYN P1,
제2그룹은 SYN 12, SYN 22, ... , SYN P2,
제3그룹은 SYN 1Q, SYN 2Q, ... , SYN PQ,
등과 같다.
각 그룹은 제3도에서 이미 도시된 것과 같은 방식으로 이행된다. 즉, ADR버스와 TYPE버스를 경유하는 병렬 통신을 모든 그룹에 대해 병렬로 발생하며,
일예로 BUSY 연쇄 경로는 먼저 각 그룹의 모든 제1시냅스 세포를 통하고, 이어서 각 그룹의 제2시냅스 세포를 통하며, 마지막으로 최종의 모든 시냅스 세포를 통해서 확장되며,
DATA 연쇄 경로는 모든 그룹간에 세분된다. 통신은 이어서 모든 그룹의 시냅스 세포를 경유하여 병렬로 발생하여 한 그룹내의 연쇄 경로를 따라 이어진다. 누산 명령의 경우에 있어서, DATA 필드는 한 그룹으로만 공급되며, 기타 그룹들은 0을 수신한다.
각 그룹의 최종 시냅스 세포들 SYN P1, SYN P2, ... , SYN PQ에 의해서 공급된 결과는 가산기 계통에서 누산된다. 가산기 계통은, 예를들어, 누산 명령의 경우에 몇 개의 종속 연결가산기(701, 70k및 71)로 형성된다. 기타의 명령에 관해서는, 이 가산기들을 중립화하기 위해 여러 단계가 일어나므로 DATA 경로의 내용을 바꿀 수 없다.
사이클 기간의 감소는, 제9도에 도시되어 있는 바와같이, 각 그룹에 파이프 라인 장벽을 삽입함으로써 실현될 수 있다. 이 파이프라인 장벽은 레지스터 BA1, BA2, ... , BAQ에 의해서 형성되며, 한 구획을 형성하고 있는 주어진 수 만큼의 시냅스 세포에 뒤이어서 데이터 경로에 배열된다. 따라서, 하나의 동일한 그룹내에서 한 구획은, 다른 구획이 쓰기 동작에 종속되어 있는 동안, 파이프 라인 사이클중의 누산 동작에 종속될 수도 있다. 동기(synchronization)에 관한 이유로, 두 파이프 라인 장벽 사이에는, 각 구획이 동일 수 만큼의 시냅스 세포를 포함하는 것이 더욱 좋다. 레지스터 BA1, BA2, ... , BAQ의 적재는 클럭신호(CL)에 의해서 일어난다. 실제로, 만일 회로가 변경되지 않는다면, 그 회로를 경유하여 공급된 단일 할당 명령은 세그먼트(각 그룹의 동일 등급 구획의 구성원)수 만큼의 할당을 야기시킬 것이며, 그것은 원하는 결과가 아니다. 이 문제점을 제거하도록 하기 위해서, 여러 조건이 만족되는 제1세그먼트에서 실행된 제1할당은 뒤이은 세그먼트들에서 그 할당이 발생한다 할지라도 그 할당을 차단한다. 따라서, 파이프 라인 장벽은 레지스터(99)도 포함하며, 이 레지스터(99)는 기타의 레지스터들과 같은 동기(sychronism)로 BUSY 신호의 사슬을 가로채기(interrupt)한다. 파이프 라인 장벽을 벗어나면, BUSY 사슬은 각 그룹의 다음 구획의 제1등급에 있는 시냅스 세포(SYN X1, SYN X2, ... , SYN XQ)로 계속 이어진다.
입력 수단(13)에 도달하는 버스(9)상의 정보 공급과 클럭신호(CL) 공급(제3도)은 호스트 컴퓨터(도시되어 있지 않음)를 수단으로 하여 실현될 수 있으며, 이때 이 호스트 컴퓨터는 명령의 완수를 확인함으로써 동기 도작을 수행할 수도 있다. 입력에 공급된 명령이 신경 신호 처리 장치의 출력에서 검출되면, 호스트 컴퓨터에 의해서 새로운 명령이 뒤이어 공급된다. 두 개의 연속되는 명령간의 의존성이 전혀 없는 파이프 라인 모드에 있어서, 호스트 컴퓨터는 다음의 파이프 라인 사이클 동안에 다음 명령을 공급한다. 의존성의 경우에 있어서, 호스트 컴퓨터는 신경 신호 처리 장치의 출력에서 명령의 종료를 기다린다.
명령은 학습 임무는 물론 수행 임무와 관계 있을 수도 있다.

Claims (9)

  1. 각 신호원 뉴런과 각 목표 뉴런간에 데이터 통신을 위해서, 각 시냅스들에 의해 상호 연결된 뉴런들이 기능적으로 구성된 신경 신호 처리 장치내의 신경망에 있어서, 상기 각 시냅스들은 입구와 출구 사이에 데이터 경로를 형성하는 각 동형 세포들의 적어도 하나의 연쇄 결합의 물리적 구조로 되어 있고, 상기 세포들중 다음에 있는 각 세포의 데이터 입력부가 데이터의 전송을 위해서 선행 세포의 데이터 출력부와 연결되어 있으며; - 각각의 상기 세포는, 상기 데이터 입력부와 상기 데이터 출력부 사이에, - 데이터 계산 실행을 위한 작용을 하는 계산 유닛과, - 상기 계산 유닛과 접속되어 데이터를 기억하는 작용을 하는 기억 장치를 구비하고, - 상기 신경 신호 처리 장치는 명령의 전달을 위해 버스수단을 구비하고; - 상기 세포는 상기 버스 수단과 병렬로 연결되어 있으며; - 여러 동작에 관해서 적어도 하나의 특정한 세포를 선택하도록 하기 위하여, 상기 명령을 제공해서, 상기 버스 수단을 경유하여 상기 세포를 제어하는 제어 수단과, 상기 출구와 연결되고, 목표 뉴런 출력 신호를 생성하도록 하기 위하여, 비선형 함수를 상기 출구에 제공된 총합으로 공급하는 비선형 변환 수단을 구비하는 신경망을 구비하고, - 상기 여러 동작에는 - 상기 입구에 제공된 데이터 항목을 상기 특정 세포의 기억 장치로 적재시키는 동작과; - 상기 적어도 하나의 특정 세포의 상기 계산유닛을 제어하여, 상기 데이터 항목을 특정 시냅스 계수로 곱하고, 상기 적어도 하나의 특정 세포에 그 결과를 기억시킴으로서 새로운 결과를 생성하는 동작 및; - 선행 선택 세포들의 결과의 선행 부분 합계를 상기 선택 세포들중 뒤에오는 세포로 전송함으로써 다수의선택 세포에서 발생된 결과들을 연속적으로 누산하고, 상기 선택 세포들중 세포의 기억 장치에 기억된 상기 결과를 상기 선행 부분 합계로 가산하여 다음 부분 합계를 생성하며, 상기 다음 부분 합계를 상기 다음 선택 세포의 상기 데이터 출력부로 제공하고, 비선택 세포는 단순한 정보 전달 수단(transparent)이 되는 것을 특징으로 하는 신경망.
  2. 제1항에 있어서, 상기 시냅스는 물리적으로 상기 제1연쇄로 조직되어 있고, 총합과 적어도 하나의 또다른 연쇄를 발생시키는 작용을 하며, 또다른 총합을 발생시키는 작용을 하고, 그리고 상기 제1연쇄와 병렬로 기능적 배열이 되어 있고, 상기 신경 신호 처리 장치는 상기 연쇄와 한편의 상기 또다른 연쇄 및 다른편의 출구 사이에 가산 수단을 구비하여, 비선형 함수를 제공하기 전에 상기 총합과 상기 또다른 총합을 선형적으로 결합시키는 것을 특징으로 하는 신경망.
  3. 제1항에 있어서, 상기 세포는 두 모드, 즉 개별적 모드와, 여러 목표뉴런중 공유된 한 목표 뉴런에 관한 병렬 모드에 따라서 선택 가능한 것을 특징으로 하는 신경망.
  4. 제1항에 있어서, 각 세포에서 계산 유닛이 가산기 및 레지스터를 구비하고, 상기 계산 유닛은 결과를 생성하기 위해 반복적인 덧셈을 선택적으로 실행하는 작용을 하고, 상기 레지스터는 상기 가산기의 입력부 및 출력부 사이에 접속되는 것을 특징으로 하는 신경망.
  5. 제4항에 있어서, 상기 다음 세포의 상기 계산 유닛이 상기 다음의 부분적 합계를 생성하도록 선택적으로 작용하는 것을 특징으로 하는 신경망.
  6. 제3항에 있어서, 개개의 각 세포는 주소 유닛을 구비하여, 상기 버스수단을 경유해서 제공된 각 주소를 수신함에 따라 상기 세포가 선택 가능하게 되고; 상기 각 주소는 적어도 제1식별자를 구비하여 상기 각 신호원 뉴런을 명시하거나, 제2식별자를 구비하여 상기 각 목표 뉴런을 명시하는 것을 특징으로 하는 신경망.
  7. 제6항에 있어서, 상기 각 주소가 프로그램이 가능한 것을 특징으로 하는 신경망.
  8. 제7항에 있어서, - 할당 유닛을 더 구비하며, 제1표시 또는 제2표시를 제공하고, 상기 각 세포가, 상기 각 주소와의 상관을 위해 상기 세포의 주소 유닛으로 유도되어온 기준 주소를 수단으로 하여, 상기 데이터 경로에 기능적으로 편입되는지의 여부를 명시하는 개개의 각 세포 및; - 할당 명령의 단 방향 전파를 위해 할당 경로를 형성하도록 연쇄 연결되어 있고, 상기 여러 세포중 선행 세포로부터 수신된 상기 제1표시의 제어하에서 상기 여러 세포중 다음세포를 상기 시냅스들중 다른 시냅스로 연속해서 할당하는 모든 세포의 할당 유닛을 포함하는 것을 특징으로 하는 신경망.
  9. 제1항, 제2항, 제3항, 제4항, 제5항, 제6항, 제7항 또는 제8항에 있어서, 신경망에서의 신경 신호 처리 장치용 신호 처리 장치.
KR1019930002649A 1992-02-26 1993-02-25 분산된 신경세포를 구비한 신경신호처리장치 KR100255265B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9202250A FR2687814A1 (fr) 1992-02-26 1992-02-26 Processeur neuronal a cellules synaptiques reparties.
FR9202250 1992-02-26

Publications (2)

Publication Number Publication Date
KR930018399A KR930018399A (ko) 1993-09-21
KR100255265B1 true KR100255265B1 (ko) 2000-05-01

Family

ID=9427072

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019930002649A KR100255265B1 (ko) 1992-02-26 1993-02-25 분산된 신경세포를 구비한 신경신호처리장치

Country Status (6)

Country Link
US (3) US5649069A (ko)
EP (1) EP0558125B1 (ko)
JP (1) JPH064507A (ko)
KR (1) KR100255265B1 (ko)
DE (1) DE69314824T2 (ko)
FR (1) FR2687814A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5542054A (en) * 1993-12-22 1996-07-30 Batten, Jr.; George W. Artificial neurons using delta-sigma modulation
DE69430529T2 (de) * 1994-07-28 2003-01-16 Ibm Daisy-Chain-Schaltung für die serielle Verbindung von Neuronalschaltungen
DE69430744T2 (de) * 1994-07-28 2003-01-30 Ibm Verbesserte Neuronalhalbleiterchipsarchitekturen und Neuronalnetzwerke darin
DE69430527T2 (de) * 1994-07-28 2003-01-02 Ibm Schaltung für das Vorladen von Eingangsvektorbestandteilen in eine freie Neuronalschaltung während der Erkennungsphase
US6067536A (en) * 1996-05-30 2000-05-23 Matsushita Electric Industrial Co., Ltd. Neural network for voice and pattern recognition
US6578020B1 (en) * 1999-12-07 2003-06-10 International Business Machines Corporation Method and system for converting code to executable code using neural networks implemented in a very large scale integration (VLSI) integrated circuit
JP2001188767A (ja) * 1999-12-28 2001-07-10 Fuji Xerox Co Ltd ニューラルネットワーク演算装置及びニューラルネットワークの演算方法
EP1405262A2 (en) * 2001-03-30 2004-04-07 International Business Machines Corporation Circuits for pre-charging global resources in all the free neurons of an artificial neural network
US20070237561A1 (en) * 2006-04-11 2007-10-11 Lexmark International Inc. Methods and apparatuses for sensing a print area using a hand-held printer
CN102994889B (zh) * 2012-09-29 2016-03-23 铜陵创慧科技咨询服务有限公司 一种隔膜阀阀体的铸造成型制备方法
FR3015068B1 (fr) 2013-12-18 2016-01-01 Commissariat Energie Atomique Module de traitement du signal, notamment pour reseau de neurones et circuit neuronal
US10332004B2 (en) * 2015-07-13 2019-06-25 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
CN110764444A (zh) 2019-10-10 2020-02-07 苏州浪潮智能科技有限公司 控制系统、交换机以及对执行装置进行控制的方法
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4858147A (en) * 1987-06-15 1989-08-15 Unisys Corporation Special purpose neurocomputer system for solving optimization problems
FR2625347B1 (fr) * 1987-12-23 1990-05-04 Labo Electronique Physique Structure de reseau de neurones et circuit et arrangement de reseaux de neurones
US5201029A (en) * 1988-10-24 1993-04-06 U.S. Philips Corporation Digital data processing apparatus using daisy chain control
FR2639461A1 (fr) * 1988-11-18 1990-05-25 Labo Electronique Physique Arrangement bidimensionnel de points memoire et structure de reseaux de neurones utilisant un tel arrangement
US5241509A (en) * 1988-11-18 1993-08-31 U.S. Philips Corporation Arrangement of data cells and neural network system utilizing such an arrangement
FR2639736B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede de retropropagation du gradient et structure de reseau de neurones
FR2639739B1 (fr) * 1988-11-25 1991-03-15 Labo Electronique Physique Procede et dispositif de compression de donnees d'image utilisant un reseau de neurones
US5293459A (en) * 1988-12-23 1994-03-08 U.S. Philips Corporation Neural integrated circuit comprising learning means
FR2646575A1 (fr) * 1989-04-26 1990-11-02 Labo Electronique Physique Procede et structure pour la compression de donnees
JP3210319B2 (ja) * 1990-03-01 2001-09-17 株式会社東芝 ニューロチップおよびそのチップを用いたニューロコンピュータ
US5325510A (en) * 1990-05-25 1994-06-28 Texas Instruments Incorporated Multiprocessor system and architecture with a computation system for minimizing duplicate read requests
US5278945A (en) * 1992-01-10 1994-01-11 American Neuralogical, Inc. Neural processor apparatus

Also Published As

Publication number Publication date
KR930018399A (ko) 1993-09-21
DE69314824T2 (de) 1998-04-23
EP0558125A1 (fr) 1993-09-01
JPH064507A (ja) 1994-01-14
US5748849A (en) 1998-05-05
US5649069A (en) 1997-07-15
US5608844A (en) 1997-03-04
DE69314824D1 (de) 1997-12-04
FR2687814A1 (fr) 1993-08-27
EP0558125B1 (fr) 1997-10-29

Similar Documents

Publication Publication Date Title
KR100255265B1 (ko) 분산된 신경세포를 구비한 신경신호처리장치
US4740894A (en) Computing processor with memoryless function units each connected to different part of a multiported memory
US7047179B2 (en) Clustered processors in an emulation engine
US5081575A (en) Highly parallel computer architecture employing crossbar switch with selectable pipeline delay
US5214747A (en) Segmented neural network with daisy chain control
US5542026A (en) Triangular scalable neural array processor
KR20150016089A (ko) 신경망 컴퓨팅 장치 및 시스템과 그 방법
US11017290B2 (en) Signal processing module, especially for a neural network and a neuronal circuit
GB2062915A (en) Parallel array processor system
US20200356523A1 (en) Control flow barrier and reconfigurable data processor
US11531637B2 (en) Embedding rings on a toroid computer network
JPH07117948B2 (ja) コンピユータ装置
Nielsen et al. Design of a delay-insensitive multiply-accumulate unit
US20220277125A1 (en) Initializing on-chip operations
Chang Multiple-read single-write memory and its applications
US11614946B2 (en) Networked computer
EP3948562A1 (en) Embedding rings on a toroid computer network
EP0570952A2 (en) Slide network for an array processor
Fiske et al. The reconfigurable arithmetic processor
Brofferio A Petri net control unit for high-speed modular signal processors
US11995027B2 (en) Neural processing accelerator
Ravikumar et al. A graph-theoretic approach for register file based synthesis
BUCHBERGER et al. Systems with universal subsystems, realization and application
Szturmowicz et al. A multi-layer transputer network for efficient parallel execution of OCCAM programs
Juang et al. Resource sharing interconnection networks in multiprocessors

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee