KR960024997A - Digital array processor for multi-instruction multi-data type neural network and system configured using same - Google Patents

Digital array processor for multi-instruction multi-data type neural network and system configured using same Download PDF

Info

Publication number
KR960024997A
KR960024997A KR1019940032940A KR19940032940A KR960024997A KR 960024997 A KR960024997 A KR 960024997A KR 1019940032940 A KR1019940032940 A KR 1019940032940A KR 19940032940 A KR19940032940 A KR 19940032940A KR 960024997 A KR960024997 A KR 960024997A
Authority
KR
South Korea
Prior art keywords
data
memory
neural network
bus
processor
Prior art date
Application number
KR1019940032940A
Other languages
Korean (ko)
Other versions
KR0138859B1 (en
Inventor
김종문
송윤선
김명원
Original Assignee
양승택
재단법인 한국전자통신연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 양승택, 재단법인 한국전자통신연구소 filed Critical 양승택
Priority to KR1019940032940A priority Critical patent/KR0138859B1/en
Priority to JP7247447A priority patent/JPH08161282A/en
Publication of KR960024997A publication Critical patent/KR960024997A/en
Application granted granted Critical
Publication of KR0138859B1 publication Critical patent/KR0138859B1/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Multi Processors (AREA)
  • Advance Control (AREA)
  • Complex Calculations (AREA)

Abstract

VLSI(Very Large Scale Intergration) 기술을 이용한 디지탈 프로세서 설계에서, 신경망 전용 프로세서의 구현 또는 신경망 전용 병렬 프로세서의 구현에 관한 것이다.In digital processor design using Very Large Scale Intergration (VLSI) technology, the present invention relates to an implementation of a neural network dedicated processor or an implementation of a neural network dedicated parallel processor.

본 발명은 연산의 파이프라인 동작을 위해서 분리된 메모리 구성(WM,XM)을 갖는 메모리 및 범용 레지스터 블럭(10), 프로그램 메모리 및 제어 블럭(11), 각종 연산을 수행하는 연산기 블럭(12) 및 프로세서간 통신을 위한 통신 블럭(13)의 4개의 블럭; 그리고 프로그램용 버스(14)와 데이타용 버스(15)로 분리된 형태의 버스(BUS)로 구성되는 것을 특징으로 하여, 현재의 디지탈 방식의 VLSI 기술을 이용하여 신경망 모델을 시뮬레이션 하기 위한 하드웨어(칩)을 안정성있게 제작할 수 있는 효과가 있다.The present invention provides a memory and general purpose register block 10, a program memory and control block 11 having a separate memory configuration (WM, XM) for the pipeline operation of the operation, an operator block 12 for performing various operations and Four blocks of communication blocks 13 for interprocessor communication; And a bus (BUS), which is divided into a program bus 14 and a data bus 15, and is a hardware (chip) for simulating a neural network model using current digital VLSI technology. ) Can be produced stably.

Description

다중 명령어 다중 데이타형 신경망 전용 디지탈 어레이 프로세서 및 이를 이용해 구성된 시스템Digital array processor for multi-instruction multi-data type neural network and system configured using same

본 내용은 요부공개 건이므로 전문내용을 수록하지 않았음Since this is an open matter, no full text was included.

제1도는 어레이 프로세서의 구조도, 제2도는 어레이 프로세서 연산기의 구조도, 제3도는 어레이 프로세서 메모리의 구조도, 제4도는 어레이 프로세서 통신의 구조도, 제6도는 하드웨어 설계에 중요하게 사용된 신경망모델의 구조도.FIG. 1 is a schematic diagram of an array processor, FIG. 2 is a schematic diagram of an array processor operator, FIG. 3 is a schematic diagram of an array processor memory, FIG. 4 is a schematic diagram of an array processor communication, and FIG. 6 is a neural network important for hardware design. Schematic diagram of the model.

Claims (9)

VLSI 기술을 이용한 신경망 전용 디지탈 프로세서에서, 연산의 파이프라인 동작을 위해서 분리된 메모리구성(WM,XM)을 갖는 메모리 및 범용 레지스터 블럭(10), 프로그램 메모리 및 제어 블럭(11), 2단계 파이프라인 병렬-병렬 곱셈기(20)·병렬 덧셈/뺄셈기(21)·논리기(22) 및 누산기(23)으로 구성되어 필요한 각종 연을 수행하는 연산기 블럭(12) 및 프로세서간 통신을 위한 통신 블럭(13)의 4개의 블럭; 그리고 프로그램을 업/다운 로딩(Up/Down Loading)하기 위한 프로그램용 버스(14)와 데이타를 전달하기 위한 데이타용 버스(15)로 분리된 형태의 버스(BUS)로 구성되는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.In a digital processor for neural network using VLSI technology, memory and general register block (10), program memory and control block (11), two-stage pipeline with separate memory configurations (WM, XM) for pipeline operation of operation Comprising a parallel-parallel multiplier (20), a parallel add / subtracter (21), a logic unit (22), and an accumulator (23) for performing various necessary operations, and a communication block for communication between processors ( Four blocks of 13); And a bus (BUS) in the form of a bus divided into a program bus 14 for up / down loading a program and a data bus 15 for transferring data. Digital Array Processor for Type Neural Networks. 제1항에 있어서, 상기 연산기 블럭(12)는 곱셈 연산을 하는 2단계 파이프라인 병렬-병렬 곱셈기(20), 덧셈과 뺄셈 연산을 하는 병렬 덧셈/뺄셈기(21), 논리 연산 및 이것과 관련되는 연산을 하는 논리기(22), 연산결과를 다시 저장하는 누산기(23), 캐리 플래그(AC)·오버플로우 플래그(AV) 및 누산기의 값이 음수/영/양수를 나타내는 플래그(AN/AZ/AP)를 저장하기 위한 플래그 레지스터(24), 데이타를 임시로 저장하기 위한 레지스터(25)와 데이타 선택용 먹스(MUX)로 구성되는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.2. The operator block (12) according to claim 1, wherein the operator block (12) is a two-stage pipelined parallel-parallel multiplier (20) for multiplying operations, a parallel add / subtractor (21) for adding and subtracting operations, logical operations and their associated operations. Logic unit 22 for performing arithmetic operation, accumulator 23 for storing the operation result again, carry flag (AC), overflow flag (AV), and a flag indicating that the value of the accumulator is negative / zero / positive (AN / AZ And a flag register (24) for storing data, a register (25) for temporarily storing data, and a mux for data selection (MUX). 제1항에 있어서, 상기 연산기(12)는 그 곱셈기(20)가 2단계 파이프라인 동작을 하며, 곱셈/뺄셈기와 직렬로 연결되어 3단계 파이프라인 동작을 하는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.The digital multiplier for MIMD type neural network according to claim 1, wherein the multiplier 20 performs a two-stage pipeline operation and is connected in series with a multiplier / subtracter to perform a three-stage pipeline operation. Array processor. 제3항에 있어서, 상기 연산기(12)는 연속적인 데이타 공급을 위해서, 신경망 모델에 중요한 가중치를 가지고 있는 메모리(WM)(30)와 입력 값을 가지고 있는 메모리(XM)(31)를 분리된 구조의 메모리를 갖는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.4. The operator (12) according to claim 3, wherein the operator (12) separates a memory (WM) 30 having an input weight and a memory (XM) 31 having an input value for continuous data supply. A digital array processor dedicated to a MIMD type neural network, characterized by having a structured memory. 제4항에 있어서, 상기 연산기(12)의 데이타 경로는 가능한 최단의 경로를 선택하고 프로세서 안에서 흘러가는 데이타의 경로를 균등하게 하기 위해서, 논리기(22)를 누산기(23) 밖에 두고 외부에서 오는 IO 값은 가능한 짧은 경로만을 흘러가도록 구성되는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.5. The data path of the operator (12) according to claim 4, wherein the data path of the operator (12) comes from outside with the accumulator (22) outside the accumulator (23) in order to select the shortest possible path and to equalize the path of the data flowing in the processor. A digital array processor for a MIMD type neural network, wherein the IO value is configured to flow only as short a path as possible. 제1항에 있어서, 상기 메모리 및 범용 레지스터 블럭(10)은 변수의 반복적인 사용을 위해서 사용되어 프로세서의 성능을 향상시키는 범용 레지스터; 가중치를 저장하기 위한 sRAM(30), 연속된 메모리 번지들의 그룹을 지정하기 위한 여러개의 포인터 레지스터(32), 주소를 계산하기 위한 덧셈기(34), 및 주소를 임시로 저장하기 위한 레지스터(37)로 구성되는 가중치 메모리(WM); 입력값을 저장하기 위한 sRAM(31), 연속된 메모리 번지들의 그룹을 지정하기 위한 여러개의 포인터 레지스터(33), 주소를 계산하기 위한 증가기(35), 및 주소를 임의로 저장하기 위한 레지스터(37)로 구성되는 입력치 메모리(XM); 및 어레이 프로세서의 외부에서 데이타를 업/다운 로딩(Up/Down Load-ing)하기 위한 주소 버스(38)로 구성되는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.2. The memory of claim 1, wherein the memory and general purpose register block comprises: general purpose registers used for repetitive use of variables to improve performance of a processor; SRAM 30 for storing weights, multiple pointer registers 32 for designating groups of contiguous memory addresses, adder 34 for calculating addresses, and registers 37 for temporarily storing addresses. A weight memory (WM) consisting of; SRAM 31 for storing input values, multiple pointer registers 33 for specifying groups of consecutive memory addresses, incrementers 35 for calculating addresses, and registers 37 for storing addresses arbitrarily. An input value memory (XM) consisting of; And an address bus (38) for up / down loading of data from outside of the array processor. 제1항에 있어서, 상기 통신 블락(13)은 입력을 위하여 상태를 표시하는 플래그(IRS)(47), 데이타 저장을 위한 버퍼(42) 및 데이타 입력시 네개의 데이타중 하나에서 데이타를 선택하여 받아들이는 먹스(MUX) (44)를를 포함하는 입력 포트 블락(40); 출력을 위하여 상태를 표시하는 플래그(ORS)(48), 데이타 저장을 위한 버퍼(43) 및 데이타 출력시 네개의 데이타 버퍼 중 하나의 버퍼에 데이타를 보내기 위해 선택하는 디먹스(DEMUX)(45)를 포함하는 출력 포트 블락(41) 및 데이타를 입출력하기 위한 포트를 미리 지정하여 가지고 있는 레지스터(46)으로 구성되는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서.The communication block (13) according to claim 1, wherein the communication block (13) selects data from a flag (IRS) 47 indicating a state for input, a buffer 42 for storing data, and one of four data upon data input. An input port block 40 comprising a receiving mux 44; Flags for status (ORS) 48 for output, buffer 43 for data storage, and demux 45 for sending data to one of four data buffers upon data output. MIMD type neural network dedicated digital array processor, characterized in that it comprises an output port block (41) including and a register (46) having a port for inputting and outputting data in advance. 제1항에 있어서, 상기 프로세서는 네 방향으로 통신을 하며, 네방향중 통신 방향을 미리 레지스터(46)에정하여 사용하므로 빠른 통신이 가능한 MIMD형 신경망 전용 디지탈 어레이 프로세서.The digital array processor of claim 1, wherein the processor communicates in four directions and uses a communication direction of four directions in advance in the register 46. 신경망 전용 디지탈 어레이 프로세서로 이루어진 시스템에서, 2-Dimension 형태로 배열된 상기 프로세서(50), 호스트 컴퓨터(53)를 연결하기 위해서 접속회로(51), 외부의 메모리(54)를 접속하기 위한 접속 회로(52), 양방향 데이타 교환이 가능한 데이타 버스(55) 및 호스트 컴퓨터(53)에서 단방향으로 주소를 보내기 위한 주소 버스(56)로 구성되는 것을 특징으로 하는 MIMD형 신경망 전용 디지탈 어레이 프로세서를 이용한 시스템.In a system consisting of a neural network dedicated digital array processor, a connection circuit 51 for connecting the processor 50 arranged in a 2-dimension form, a connection circuit 51 for connecting a host computer 53, and an external memory 54 (52), a data bus (55) capable of bidirectional data exchange and an address bus (56) for sending an address unidirectionally from a host computer (53). ※ 참고사항 : 최초출원 내용에 의하여 공개하는 것임.※ Note: The disclosure is based on the initial application.
KR1019940032940A 1994-12-06 1994-12-06 Mind-typed digital processor array for neural network and system composed thereof KR0138859B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019940032940A KR0138859B1 (en) 1994-12-06 1994-12-06 Mind-typed digital processor array for neural network and system composed thereof
JP7247447A JPH08161282A (en) 1994-12-06 1995-09-26 Digital array processor exclusively used for multiple data-type neuronetwork of multiple instruction word and system constituted by utilizing it

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019940032940A KR0138859B1 (en) 1994-12-06 1994-12-06 Mind-typed digital processor array for neural network and system composed thereof

Publications (2)

Publication Number Publication Date
KR960024997A true KR960024997A (en) 1996-07-20
KR0138859B1 KR0138859B1 (en) 1998-06-15

Family

ID=19400443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940032940A KR0138859B1 (en) 1994-12-06 1994-12-06 Mind-typed digital processor array for neural network and system composed thereof

Country Status (2)

Country Link
JP (1) JPH08161282A (en)
KR (1) KR0138859B1 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3709553B2 (en) * 2000-12-19 2005-10-26 インターナショナル・ビジネス・マシーンズ・コーポレーション Arithmetic circuit and arithmetic method
US7937557B2 (en) * 2004-03-16 2011-05-03 Vns Portfolio Llc System and method for intercommunication between computers in an array
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11501140B2 (en) * 2018-06-19 2022-11-15 International Business Machines Corporation Runtime reconfigurable neural network processor core
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor

Also Published As

Publication number Publication date
JPH08161282A (en) 1996-06-21
KR0138859B1 (en) 1998-06-15

Similar Documents

Publication Publication Date Title
CN110688157B (en) Computing device and computing method
CN109543832B (en) Computing device and board card
KR880011681A (en) Memory-Connected Wavefront Array Processors
CN109522052B (en) Computing device and board card
US8375395B2 (en) Switch-based parallel distributed cache architecture for memory access on reconfigurable computing platforms
JP3573755B2 (en) Image processing processor
EP3729279A1 (en) A unified memory organization for neural network processors
KR900011167A (en) Digital signal processing device and motion compensation calculation method
KR960024997A (en) Digital array processor for multi-instruction multi-data type neural network and system configured using same
JPS5840667A (en) Microprocessor
US4761754A (en) Vector processor wherein outputs of vector registers are fixedly coupled to inputs of vector calculators
US5347480A (en) Digital signal processing apparatus
Sowa et al. A data flow computer architecture with program and token memories
JPH04260957A (en) Computer system
US5751999A (en) Processor and data memory for outputting and receiving data on different buses for storage in the same location
CN110096307B (en) Communication processor
Loucks et al. A Vector Processor Based on One-Bit Microprocessors.
Burkowski A multi-user data flow architecture
EP0314342B1 (en) Parallel pipelined computer processor
JPS57113144A (en) Stored program computer
El-Khashab et al. The modular pipeline fast Fourier transform algorithm and architecture
JP2006515446A (en) Data processing system with Cartesian controller that cross-references related applications
JPH03189868A (en) Data processor
JPH033047A (en) Memory with arithmetic function
Kim et al. On reconfiguring cache for computing

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080214

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee