KR102380522B1 - Analog Neuron-Synapse Circuits - Google Patents

Analog Neuron-Synapse Circuits Download PDF

Info

Publication number
KR102380522B1
KR102380522B1 KR1020190102230A KR20190102230A KR102380522B1 KR 102380522 B1 KR102380522 B1 KR 102380522B1 KR 1020190102230 A KR1020190102230 A KR 1020190102230A KR 20190102230 A KR20190102230 A KR 20190102230A KR 102380522 B1 KR102380522 B1 KR 102380522B1
Authority
KR
South Korea
Prior art keywords
circuit
neuron
synaptic
current
weight
Prior art date
Application number
KR1020190102230A
Other languages
Korean (ko)
Other versions
KR20210022890A (en
Inventor
정항근
임동구
Original Assignee
전북대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전북대학교산학협력단 filed Critical 전북대학교산학협력단
Priority to KR1020190102230A priority Critical patent/KR102380522B1/en
Priority to PCT/KR2020/001247 priority patent/WO2021033855A1/en
Publication of KR20210022890A publication Critical patent/KR20210022890A/en
Application granted granted Critical
Publication of KR102380522B1 publication Critical patent/KR102380522B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Abstract

본 발명은 뉴런회로로부터 시냅스회로로 정보 전달 시 전류 신호를 사용하며, 가중치부호비트에 따라 출력전류를 증가 또는 감소시키되, 가감되는 전류의 크기가 가중치크기비트에 의해 결정되는 아날로그 뉴런-시냅스 회로에 관한 것이다. 본 발명은 뉴런 회로에서 시냅스 회로로 전달되는 신호를 전류로 전송함으로서, 신호 손실을 최소화하며, 소자 간 부정합에 강인한 회로를 구성할 수 있는 효과가 있다. The present invention uses a current signal when transmitting information from a neuron circuit to a synaptic circuit, and increases or decreases the output current according to the weighted sign bit, but the amount of current to be added or subtracted is determined by the weighted value bit in the analog neuron-synaptic circuit. it's about The present invention has the effect of minimizing signal loss by transmitting a signal transmitted from a neuron circuit to a synaptic circuit as a current, and constructing a circuit that is robust against mismatch between devices.

Description

아날로그 뉴런-시냅스 회로 {Analog Neuron-Synapse Circuits}Analog Neuron-Synapse Circuits

본 발명은 아날로그 뉴런-시냅스 회로에 관한 것으로, 보다 상세하게는 뉴런회로로부터 시냅스회로로 정보 전달 시 전류 신호를 사용하며, 가중치부호비트에 따라 출력전류를 증가 또는 감소시키되, 가감되는 전류의 크기가 가중치크기비트에 의해 결정되는 아날로그 뉴런-시냅스 회로에 관한 것이다. The present invention relates to an analog neuron-synaptic circuit, and more particularly, a current signal is used to transmit information from a neuron circuit to a synaptic circuit, and the output current is increased or decreased according to a weighted sign bit, but the magnitude of the current to be increased or decreased is It relates to analog neuron-synaptic circuits determined by weight magnitude bits.

최근 인간의 뇌가 학습하고 연산하는 과정을 모방하여 컴퓨터의 연산 구조 형태를 인공 신경망 형태로 모방하여 인간의 학습능력을 모사하고자 하는 인공 신경망 및 뉴로모픽 컴퓨팅 (Neuromorphic Computing) 연구가 활발히 진행되고 있다. 뉴로모픽 컴퓨팅은 디지털 논리 또는 아날로그 회로 요소를 사용하여 구현될 수 있다. 아날로그 뉴로모픽 회로는 인간의 신경계에 존재하는 뉴런(neuron)과 시냅스(synapse)에 각각 대응되는 회로로 설계되어 있다. 뉴런들 사이는 시냅스로 연결되어 있으며, 뉴런 간에 스파이크 신호(활동전위)를 주고 받아 정보를 처리한다. 디지털 시스템과 달리, 아날로그 시스템은 전류 및 전압을 사용하며, 디지털 시스템보다 간단한 회로로 특정 작업을 수행할 수 있으며, 속도와 전력 면에서 이점을 제공한다. 이때 각각의 시냅스의 강도는 뉴런에 전달하고자 하는 정보의 중요도에 따라 세기가 정해진다. 그러나, 전류 및 전압이 연속적이므로 소자의 물리적 특성분포에 영향을 받으며, 마이크로 칩 제조 프로세스의 고유한 가변성은 개별 장치간에 중요한 기능 차이를 초래할 수 있다.Recently, research on artificial neural networks and neuromorphic computing to imitate the learning and computation process of the human brain and to imitate the human learning ability by mimicking the computational structure of a computer in the form of an artificial neural network is being actively conducted. . Neuromorphic computing may be implemented using digital logic or analog circuit elements. Analog neuromorphic circuits are designed to correspond to neurons and synapses in the human nervous system, respectively. Neurons are connected by synapses, and information is processed by sending and receiving spike signals (action potentials) between neurons. Unlike digital systems, analog systems use current and voltage, can perform certain tasks with simpler circuits than digital systems, and offer advantages in speed and power. At this time, the strength of each synapse is determined according to the importance of the information to be transmitted to the neuron. However, since current and voltage are continuous, they are affected by the distribution of physical properties of the device, and the inherent variability of the microchip manufacturing process can lead to significant functional differences between individual devices.

EP 3208750호(이하 '선행문헌'이라 칭함)는 아날로그 회로로 구성되는 다층 뉴런 네트워크에 관한 것이다. 선행문헌의 뉴런 회로에는 전류신호가 입력되지만, 뉴런회로로부터 시냅스회로로 정보 전달 시에는 전압신호가 사용된다. 선행문헌은 회로 구성이 간단한 장점이 있지만, 전압으로 신호를 전송함에 따라 소자 간의 부정합으로 인해 한 뉴런의 출력으로부터 복수개의 시냅스로 전달되는 정보가 동일한 분포를 갖지 못하는 문제가 발생된다. 또한, 신경망 층 수 및 입출력 뉴런의 개수가 매우 많은 초미세 공정 대단위 시냅스 회로 집적 시에는 부하 효과 및 신호 라우팅에 의해 전압 손실이 발생될 수 있다.EP 3208750 (hereinafter referred to as 'prior literature') relates to a multi-layered neuron network composed of analog circuits. A current signal is input to the neuron circuit of the prior literature, but a voltage signal is used to transmit information from the neuron circuit to the synaptic circuit. The prior literature has the advantage of a simple circuit configuration, but as a signal is transmitted as a voltage, there is a problem that information transmitted from the output of one neuron to a plurality of synapses does not have the same distribution due to mismatch between devices. In addition, when the number of layers of the neural network and the number of input/output neurons are very large, when a large-scale synaptic circuit is integrated in an ultra-fine process, a voltage loss may occur due to a load effect and signal routing.

EP 3208750호(발명의 명칭 : AN ANALOGUE ELECTRONIC DEEP NEURAL NETWORK, 공개일 : 2017.08.22.)EP 3208750 (Title of the invention: AN ANALOGUE ELECTRONIC DEEP NEURAL NETWORK, published date: 2017.08.22.)

본 발명은 위와 같은 문제점을 해결하기 위해 뉴런 회로에서 시냅스 회로로 전달되는 신호를 전류로 전송하는데 그 목적이 있다. An object of the present invention is to transmit a signal transmitted from a neuron circuit to a synaptic circuit as a current in order to solve the above problems.

또한, 본 발명은 가중치부호비트에 따라 동작되는 스위치를 단일로 통합하여 시냅스 회로의 다이오드 부하의 전단에 배치하는데 그 목적이 있다. In addition, an object of the present invention is to integrate a switch operated according to the weight sign bit into a single unit and arrange it at the front end of the diode load of the synaptic circuit.

또한, 본 발명은 뉴런회로 및 시냅스 회로의 전류 미러 영역에 캐스코드 기법을 도입하는데 그 목적이 있다. Another object of the present invention is to introduce a cascode technique to a current mirror region of a neuron circuit and a synaptic circuit.

본 발명에 따른 아날로그 뉴런-시냅스 회로는 입력전류신호로 전류신호를 수신받는 뉴런회로, 및 출력전류의 증가 또는 감소에 대응되는 가중치부호비트에 따라 작동되는 가중치부호비트스위치; 가중치크기비트에 따라 작동되는 적어도 하나의 스위치로 구성되는 가중치크기비트스위치; 및 상기 각각의 가중치크기비트스위치와 연결되는 적어도 하나의 트랜지스터로 구성되며, 상기 가중치부호비트스위치 및 가중치크기비트스위치의 작동에 의해 전류 미러 동작으로 상기 출력전류를 가감하는 출력트랜지스터가 포함된 시냅스회로를 포함한다. An analog neuron-synaptic circuit according to the present invention comprises: a neuron circuit that receives a current signal as an input current signal, and a weighted sign bit switch operated according to a weighted sign bit corresponding to an increase or a decrease in output current; a weight size bit switch comprising at least one switch operated according to the weight size bit; and at least one transistor connected to each of the weighted magnitude bit switches, the synaptic circuit including an output transistor that increases or decreases the output current by a current mirror operation by the operation of the weighted sign bit switch and the weighted magnitude bit switch includes

본 발명에 따른 상기 뉴런회로는 전단에 구비되는 복수개의 시냅스회로들로부터 수신되는 전류신호를 하나의 상기 입력전류신호로 합산하여 정류하며, 전류모드로 상기 시냅스회로에 전송하기 위한 전류신호생성회로를 포함한다.The neuron circuit according to the present invention adds a current signal received from a plurality of synaptic circuits provided in the front end into one of the input current signals and rectifies, and a current signal generating circuit for transmitting to the synaptic circuit in a current mode. include

본 발명에 따른 상기 시냅스회로는 상기 뉴런회로로부터 전송된 상기 입력전류신호를 수신받기 위한 다이오드부하를 더 포함한다. The synaptic circuit according to the present invention further includes a diode load for receiving the input current signal transmitted from the neuron circuit.

본 발명에 따른 상기 가중치크기비트스위치는 정보의 중요도에 대응하는 가중치크기비트에 의해 제어되며, 상기 가중치크기비트에 따라 유입 또는 유출되는 전류의 크기가 결정된다.The weight size bit switch according to the present invention is controlled by a weight size bit corresponding to the importance of information, and the magnitude of an incoming or outgoing current is determined according to the weight size bit.

본 발명에 따른 상기 가중치부호비트스위치는 상기 다이오드부하의 전단에 구비된다. The weighted sign bit switch according to the present invention is provided in front of the diode load.

본 발명에 따른 상기 뉴런회로와 상기 시냅스회로의 전류 미러 영역에 트랜지스터를 적층으로 쌓는 캐스코드 회로가 구비된다.A cascode circuit for stacking transistors in a current mirror region of the neuron circuit and the synaptic circuit according to the present invention is provided.

본 발명의 상기 시냅스회로가 어레이 구조로 이루어져 있어, 상기 뉴런회로와 후단에 구비되는 복수개의 또 다른 뉴런회로와 연결되되, 상기 뉴런회로는 어레이 구조로 이루어진 상기 시냅스회로로 상기 입력전류신호를 전송하며, 상기 각각의 시냅스회로는 상기 후단에 구비되는 또 다른 뉴런회로로 상기 출력전류를 전송한다. The synaptic circuit of the present invention has an array structure, and is connected to the neuron circuit and a plurality of other neuronal circuits provided at the rear end, wherein the neuron circuit transmits the input current signal to the synaptic circuit having an array structure, , each synaptic circuit transmits the output current to another neuron circuit provided at the rear end.

본 발명은 뉴런 회로에서 시냅스 회로로 전달되는 신호를 전류로 전송함으로서, 신호 손실을 최소화하며, 소자 간 부정합에 강인한 회로를 구성할 수 있다.According to the present invention, by transmitting a signal transmitted from a neuron circuit to a synaptic circuit as a current, signal loss can be minimized and a circuit strong against mismatch between devices can be configured.

또한, 본 발명은 가중치부호비트에 따라 동작되는 스위치를 단일로 통합하여 시냅스 회로의 다이오드 부하의 전단에 배치함으로서 회로의 크기를 감소시키고, 비용을 절감할 수 있다.In addition, the present invention can reduce the size of the circuit and reduce the cost by integrating the switch operated according to the weight sign bit into a single unit and placing it in the front end of the diode load of the synaptic circuit.

또한, 본 발명은 뉴런회로 및 시냅스 회로의 전류 미러 영역에 캐스코드 기법을 도입함으로서, 정교하고 정확한 가중치를 구현할 수 있다.In addition, the present invention can implement sophisticated and accurate weighting by introducing the cascode technique to the current mirror region of the neuron circuit and the synaptic circuit.

도 1은 본 발명에서 제안하는 뉴런-시냅스 회로가 적용된 뉴로모픽 회로를 설명하기 위한 도면이다.
도 2는 본 발명에 따른 아날로그 뉴런-시냅스 회로도이다.
도 3은 본 발명에 따른 또 다른 아날로그 뉴런-시냅스 회로도이다.
도 4는 본 발명에 따른 캐스코드 기법이 도입된 아날로그 뉴런-시냅스 회로도이다.
도 5는 본 발명에 따른 캐스코드 기법이 도입된 또 다른 아날로그 뉴런-시냅스 회로도이다. 1 is a diagram for explaining a neuromorphic circuit to which a neuron-synaptic circuit proposed in the present invention is applied.
2 is an analog neuron-synaptic circuit diagram according to the present invention.
3 is another analog neuron-synaptic circuit diagram according to the present invention.
4 is an analog neuron-synaptic circuit diagram to which the cascode technique according to the present invention is introduced.
5 is another analog neuron-synaptic circuit diagram to which the cascode technique according to the present invention is introduced.

이하, 본 발명의 바람직한 실시 예에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다. 본 발명의 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In describing an embodiment of the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명에서 제안하는 뉴런-시냅스 회로가 적용된 뉴로모픽 회로를 설명하기 위한 도면이다. 도 1을 참조하면, 시냅스회로는 어레이 구조로 이루어지며, 전단(Layer k-1)의 뉴런회로와 후단(Layer k)에 구비되는 또 다른 뉴런회로와 연결된다. 도 1의 (a)는 기존의 뉴로모픽 회로로, 뉴런회로에는 전류(I)가 입력되지만, 뉴런회로에서 시냅스회로로는 전달되는 신호는 전압(V)이다. 기존의 뉴로모픽 회로는 회로 구성이 간단한 장점이 있지만, 전압신호가 사용됨에 따라 부하 효과 및 신호 라우팅에 의해 전압 손실이 발생할 수 있다. 또한, 소자 간의 부정합으로 인해 각 시냅스 회로에서의 가중치가 동일한 분포를 갖지 못하는 문제가 발생된다. 1 is a diagram for explaining a neuromorphic circuit to which a neuron-synaptic circuit proposed in the present invention is applied. Referring to FIG. 1 , the synaptic circuit has an array structure, and is connected to a neuron circuit at the front end (Layer k-1) and another neuron circuit provided at the rear end (Layer k). 1 (a) is a conventional neuromorphic circuit, a current (I) is input to the neuron circuit, but the signal transmitted from the neuron circuit to the synaptic circuit is a voltage (V). The conventional neuromorphic circuit has the advantage of a simple circuit configuration, but as a voltage signal is used, a voltage loss may occur due to a load effect and signal routing. In addition, due to the mismatch between the elements, a problem arises that the weights in each synaptic circuit do not have the same distribution.

도 1의 (b)는 본 발명에서 제안하는 뉴로모픽 회로로, 뉴런회로에 전류(I)가 입력되며, 뉴런회로에서 시냅스회로로 전달되는 신호도 전류(I)이다. 따라서 본 발명은 부하 효과 및 신호 라우팅에 의한 신호 손실을 피할 수 있으며, 소자 간 부정합에 매우 강인한 이점이 있다. Figure 1 (b) is a neuromorphic circuit proposed by the present invention, a current (I) is input to the neuron circuit, the signal transmitted from the neuron circuit to the synaptic circuit is also the current (I). Therefore, the present invention can avoid signal loss due to the load effect and signal routing, and has the advantage of being very robust against mismatch between devices.

이하 도 2 내지 도 3을 통해 본 발명에서 제안하는 뉴로모픽 회로에 대해 자세히 설명하도록 한다.Hereinafter, the neuromorphic circuit proposed by the present invention will be described in detail with reference to FIGS. 2 to 3 .

도 2는 본 발명에 따른 아날로그 뉴런-시냅스 회로도이다. 도 2를 참조하면, 아날로그 뉴런-시냅스 회로는 뉴런회로(100)와 시냅스회로(200)로 구성된다. 2 is an analog neuron-synaptic circuit diagram according to the present invention. Referring to FIG. 2 , the analog neuron-synaptic circuit consists of a neuron circuit 100 and a synaptic circuit 200 .

뉴런회로(100)는 앞서 도 1에서 설명한 바와 같이, 전류-모드로 전단의 시냅스회로로부터 출력되는 전류를 입력받는다. 전류-모드는 신호가 전류로 전달되는 회로를 의미하며, 저전력 동작 등을 위해 본 발명의 뉴런-시냅스 회로에 구비되는 트랜지스터는 문턱 전압 이하(Subthreshold) 영역에서 동작시킬 수 있다.The neuron circuit 100 receives the current output from the synaptic circuit of the preceding stage in the current-mode, as described above with reference to FIG. 1 . The current-mode refers to a circuit in which a signal is transmitted as a current, and the transistor provided in the neuron-synaptic circuit of the present invention for low-power operation, etc. may operate in a region below a threshold voltage.

도 2를 참조하면, 뉴런회로(100)는 트랜지스터(M0 ~ M5)로 이루어진다. 뉴런회로(100)는 전단에 구비되는 시냅스회로들로부터 복수개의 전류신호를 입력받으며, 복수개의 입력 전류신호(Iin1,Iin2,...,IinN)를 하나의 입력전류신호(Iin)로 정류한다. 뉴런회로(100)는 입력전류신호를 전류모드로 시냅스회로(200)에 전송하기 위한 전류신호생성회로를 포함하며, 트랜지스터(M0 ~ M4)로 구성된다. NMOS 트랜지스터(M0)는 복수개의 입력 전류신호(Iin1,Iin2,...,IinN)를 합산하여 정류한 후 전압으로 변환하며, NMOS 트랜지스터(M1)는 NMOS 트랜지스터(M0)에서 생성된 전압에 대한 전류를 생성한다. PMOS 트랜지스터(M2)는 NMOS 트랜지스터(M1)에서 생성된 전류에 대한 전압을 생성하며, 전류 미러로 형성되는 PMOS 트랜지스터(M3)에 의해 양의 전류(Ip)가 생성된다. 또한, NMOS 트랜지스터(M0)와 전류 미러를 이루는 NMOS 트랜지스터(M4)에 의해 음의 전류(In)가 생성된다. 즉, 전류신호생성회로는 입력전류신호를 전류로 유도하여 시냅스회로(200)로 전달하는 역할을 수행한다.Referring to FIG. 2 , the neuron circuit 100 includes transistors M 0 to M 5 . The neuron circuit 100 receives a plurality of current signals from the synaptic circuits provided in the front end, and converts a plurality of input current signals (I in1 , I in2 , ..., I inN ) into one input current signal (I in ). ) is rectified. The neuron circuit 100 includes a current signal generating circuit for transmitting an input current signal to the synaptic circuit 200 in a current mode, and consists of transistors M 0 to M 4 . The NMOS transistor (M 0 ) is converted into a voltage after summing and rectifying a plurality of input current signals (I in1 ,I in2 ,...,I inN ), and the NMOS transistor (M 1 ) is an NMOS transistor (M 0 ) A current is generated for the voltage generated in The PMOS transistor M 2 generates a voltage for the current generated by the NMOS transistor M 1 , and a positive current I p is generated by the PMOS transistor M 3 formed as a current mirror. In addition, a negative current I n is generated by the NMOS transistor M 0 and the NMOS transistor M 4 forming the current mirror. That is, the current signal generating circuit serves to induce the input current signal as a current and transmit it to the synaptic circuit 200 .

시냅스회로(200)는 다이오드부하(Mp1, Mn1), 가중치부호비트스위치(Sp, Sn, Mp0, Mn0), 가중치크기비트스위치(S1 ~ S6), 출력트랜지스터(Mp2 ~ Mp4, Mn2 ~ Mn4)로 구성될 수 있다. The synapse circuit 200 is a diode load (M p1 , M n1 ), a weighted sign bit switch (S p , S n , M p0 , M n0 ), weight size bit switches (S 1 to S 6 ), and output transistors (M p2 to M p4 , M n2 to M n4 ) may be configured.

다이오드부하(Mp1, Mn1)는 뉴런회로(100)에서 전송된 입력전류신호(Iin)로부터 가중치 구현을 위한 전압을 생성하는 장치이다. The diode load (M p1 , M n1 ) is a device for generating a voltage for weight implementation from the input current signal (I in ) transmitted from the neuron circuit 100 .

가중치부호비트스위치(Sp, Sn)는 가중치부호비트(w)에 따라 시냅스회로(200)에서 출력되는 출력전류의 증가 또는 감소시키기 위한 장치이다. 가중치부호비트(w)에 따라 가중치부호비트스위치(Sp) 또는 가중치부호비트스위치(Sn) 중 어느 하나가 작동(턴-온)된다. 여기서 가중치부호비트스위치(Mp0)는 가중치부호비트스위치(Sp)와 동시에 제어되며, 가중치부호비트스위치(Mn0)는 가중치부호비트스위치(Sn)와 동시에 제어된다. 가중치부호비트스위치의 작동에 대한 자세한 설명은 후술한다.The weighted sign bit switches (S p , S n ) are devices for increasing or decreasing the output current output from the synaptic circuit 200 according to the weighted sign bit (w). Either one of the weighted code bit switch (S p ) or the weighted code bit switch (S n ) is operated (turned on) according to the weighted code bit (w). Here, the weight code bit switch M p0 is controlled simultaneously with the weight code bit switch S p , and the weight code bit switch M n0 is controlled simultaneously with the weight code bit switch S n . A detailed description of the operation of the weighted sign bit switch will be described later.

각각의 가중치크기비트스위치(S1 ~ S6)에는 가중치 값이 지정되어 있으며, 가중치크기비트에 따라 각 가중치크기비트스위치는 턴-온 또는 턴-오프된다. 가중치크기비트는 정보의 중요도를 의미하며, 각 가중치크기비트스위치(S1 ~ S6)를 제어하기 위해 3-bit신호로 이루어진다. 가중치크기비트스위치(S1)에는 w0, 가중치크기비트스위치(S2)에는 w1, 가중치크기비트스위치(S3)에는 w2의 가중치크기비트가 입력된다. A weight value is assigned to each weight size bit switch S 1 to S 6 , and each weight size bit switch is turned on or off according to the weight size bit. The weight size bit means the importance of information, and it consists of a 3-bit signal to control each weight size bit switch (S 1 to S 6 ). The weight size bit of w 0 is input to the weight size bit switch S 1 , w 1 to the weight size bit switch S 2 , and the weight size bits of w 2 are input to the weight size bit switch S 3 .

출력트랜지스터는 PMOS 출력트랜지스터 그룹(Mp2 ~ Mp4)과 NMOS 출력트랜지스터 그룹(Mn2 ~ Mn4)으로 구성될 수 있으며, 각 출력트랜지스터 그룹은 각각의 가중치크기비트스위치와 연결된다. 도 2를 참조하면, NMOS 출력트랜지스터(Mn2)는 가중치크기비트스위치(S1)와, NMOS 출력트랜지스터(Mn3)는 가중치크기비트스위치(S2)와, NMOS 출력트랜지스터(Mn4)는 가중치크기비트스위치(S3)와 연결되며, PMOS 출력트랜지스터(Mp2)는 가중치크기비트스위치(S4)와, PMOS 출력트랜지스터(Mp3)는 가중치크기비트스위치(S5)와, PMOS 출력트랜지스터(Mp4)는 가중치크기비트스위치(S6)와 연결된다. The output transistor may be composed of a PMOS output transistor group (M p2 to M p4 ) and an NMOS output transistor group (M n2 to M n4 ), and each output transistor group is connected to a respective weighting bit switch. Referring to FIG. 2 , the NMOS output transistor (M n2 ) has a weight size bit switch (S 1 ), the NMOS output transistor (M n3 ) has a weight size bit switch (S 2 ), and the NMOS output transistor (M n4 ) is It is connected to the weight size bit switch (S 3 ), the PMOS output transistor (M p2 ) is the weight size bit switch (S 4 ), the PMOS output transistor (M p3 ) is the weight size bit switch (S 5 ) and the PMOS output The transistor M p4 is connected to the weight size bit switch S 6 .

PMOS 출력트랜지스터(Mp2 ~ Mp4)는 가중치 값을 적용시키기 위해 다이오드부하(Mp1)에서 생성된 전압을 공유하며, 채널폭은 다이오드부하(Mp1)로부터 Mp2 ~ Mp4까지 4:1:2:4의 이진수 가중치 비를 갖는다. NMOS 출력트랜지스터(Mn2 ~ Mn4)도 가중치 값을 적용시키기 위해 다이오드부하(Mn1)에서 생성된 전압을 공유하며, 채널폭은 다이오드부하(Mn1)로부터 4:1:2:4의 이진수 가중치 비를 갖는다.PMOS output transistors (M p2 to M p4 ) share the voltage generated by the diode load (M p1 ) to apply a weight value, and the channel width is 4:1 from the diode load (M p1 ) to M p2 to M p4 It has a binary weight ratio of :2:4. NMOS output transistors (M n2 ~ M n4 ) also share the voltage generated by the diode load (M n1 ) to apply a weight value, and the channel width is a binary number of 4:1:2:4 from the diode load (M n1 ) has a weight ratio.

이를 통해 출력트랜지스터는 전류 미러 동작으로 입력전류신호에 대한 이진수 가중치가 곱해진 전류신호를 생성할 수 있다. 이는 (-1)w*1/4(22w0+21w1+20w2)로 표현될 수 있다. Through this, the output transistor can generate a current signal multiplied by a binary weight with respect to the input current signal through a current mirror operation. This can be expressed as (-1) w *1/4(2 2 w 0 +2 1 w 1 +2 0 w 2 ).

이하, 입력전류신호에 이진수 가중치를 곱하여 출력전류신호를 생성하는 방법에 대해 설명한다. Hereinafter, a method of generating an output current signal by multiplying an input current signal by a binary weight will be described.

먼저, 출력전류신호의 증가 또는 감소는 '0' 또는 '1'의 가중치부호비트에 의해 결정된다. 가중치부호비트(w)가 '0'이면, 가중치크기비트스위치(S4~S6)가 작동되어 PMOS 트랜지스터가 출력전류에 양의 전류를 더해 출력전류의 크기는 증가된다. 반면, 가중치부호비트(w)가 '1'이면, 가중치크기비트스위치(S1~S3)가 작동되어 NMOS 트랜지스터가 출력전류에 음의 전류를 더해 출력전류의 크기는 감소된다. 여기서 양의 전류와 음의 전류는 시냅스회로(200)의 후단에 구비된 또 다른 뉴런회로로부터 유입되거나 유출 된 전류이다. 따라서 출력전류(Iout)가 양의 전류이면, 후단에 구비된 또 다른 뉴런회로로 출력전류가 전송되는 반면, 음의 전류이면, 후단에 구비된 또 다른 뉴런회로로부터 전류가 유입된다.First, the increase or decrease of the output current signal is determined by the weighted sign bit of '0' or '1'. When the weight sign bit (w) is '0', the weight magnitude bit switches S 4 to S 6 are operated, and the PMOS transistor adds a positive current to the output current to increase the output current. On the other hand, when the weight sign bit (w) is '1', the weight magnitude bit switches S 1 to S 3 are operated, and the NMOS transistor adds a negative current to the output current to decrease the output current. Here, the positive current and the negative current are currents flowing in or flowing out from another neuron circuit provided at the rear end of the synaptic circuit 200 . Therefore, if the output current (I out ) is a positive current, the output current is transmitted to another neuron circuit provided at the rear end, while if it is a negative current, a current flows from another neuron circuit provided at the rear end.

출력전류(Iout)에 양의 전류 또는 음의 전류를 더하기 위한 가중치크기비트는 정보의 중요도에 의해 결정된다. 따라서 가중치크기비트스위치가 모두 턴-온될 경우, 전류를 더하거나 전류를 빼는 크기가 가장 크며, 가중치크기비트스위치가 모두 턴-오프 될 경우, 전류를 더하거나 전류를 빼는 크기가 가장 작다고 볼 수 있다. The weight bit for adding a positive current or a negative current to the output current I out is determined by the importance of the information. Therefore, when all the weight bit switches are turned on, the magnitude of adding or subtracting current is the largest, and when all of the weight magnitude bit switches are turned off, the magnitude of adding or subtracting current is the smallest.

일 예로, 정보의 중요도가 가장 높을 때는 가중치부호비트가 '0', 가중치크기비트가 '111'이 되며, 가장 많은 전류가 더해진다. 정보의 중요도는 가중치비트 '110', '101', '011', '010' .. 순으로 점차 낮아지며, 정보의 중요도가 낮을 수록 더해지는 전류의 크기가 감소된다.For example, when the importance of information is highest, the weight sign bit becomes '0' and the weight size bit becomes '111', and the largest amount of current is added. The importance of information gradually decreases in the order of weight bits '110', '101', '011', '010'.

도 3은 본 발명에 따른 또 다른 아날로그 뉴런-시냅스 회로도이다. 도 3의 뉴런회로는 도 2의 뉴런회로와 동일하나. 시냅스회로를 좀 더 간략하게 구성한 경우이다. 도 3의 뉴런회로는 도 2와 동일함에 따라 자세한 설명한 생략한다. 도 2의 시냅스 회로의 출력트랜지스터의 경우, 각각의 출력트랜지스터 그룹에 가중치크기비트스위치가 연결되는 구조였으나, 도 3은 가중치크기비트스위치가 단일로 구비되는 경우이다. 도 3은 회로의 크기가 감소시키기 위해 가중치크기비트스위치를 단일로 통합하여 시냅스 회로의 다이오드 부하의 전단에 배치한다.3 is another analog neuron-synaptic circuit diagram according to the present invention. The neuron circuit of FIG. 3 is the same as the neuron circuit of FIG. 2 . This is a case where the synaptic circuit is configured more simply. As the neuron circuit of FIG. 3 is the same as that of FIG. 2 , detailed description thereof will be omitted. In the case of the output transistor of the synaptic circuit of FIG. 2, a weight size bit switch is connected to each output transistor group, but FIG. 3 shows a case where a single weight size bit switch is provided. Figure 3 is arranged in front of the diode load of the synaptic circuit by integrating the weight size bit switch into a single one in order to reduce the size of the circuit.

도 3의 가중치부호비트스위치(Sp, Sn)는 다이오드부하(Mp1, Mn1)의 전단에 구비되어, 뉴런회로(100)로부터 전류를 인가받는다. 단일의 가중치크기비트스위치(S1 ~ S3)는 PMOS 출력트랜지스터 그룹(Mp2 ~ Mp4)과 NMOS 출력트랜지스터 그룹(Mn2 ~ Mn4)에 동시에 연결된다. 따라서 가중치크기비트스위치(S1)는 NMOS 출력트랜지스터(Mn2)와 PMOS 출력트랜지스터(Mp2), 가중치크기비트스위치(S2)는 NMOS 출력트랜지스터(Mn3)와 PMOS 출력트랜지스터(Mp3), 가중치크기비트스위치(S3)는 NMOS 출력트랜지스터(Mn4)와 PMOS 출력트랜지스터(Mp4)에 연결된다. NMOS 출력트랜지스터 그룹과 PMOS 출력트랜지스터 그룹은 동일한 가중치크기비트스위치에 연결되지만, 다이오드부하의 전단에 구비된 가중치부호비트스위치로 인해 NMOS 출력트랜지스터 그룹 또는 PMOS 출력트랜지스터 그룹 중 어느 하나의 트랜지스터만 동작된다. The weighted sign bit switches (S p , S n ) of FIG. 3 are provided at the front end of the diode loads (M p1 , M n1 ), and receive current from the neuron circuit 100 . A single weight size bit switch (S 1 to S 3 ) is simultaneously connected to the PMOS output transistor group (M p2 to M p4 ) and the NMOS output transistor group (M n2 to M n4 ). Therefore, the weight size bit switch (S 1 ) is the NMOS output transistor (M n2 ) and the PMOS output transistor (M p2 ), and the weight size bit switch (S 2 ) is the NMOS output transistor (M n3 ) and the PMOS output transistor (M p3 ) , the weight size bit switch (S 3 ) is connected to the NMOS output transistor (M n4 ) and the PMOS output transistor (M p4 ). The NMOS output transistor group and the PMOS output transistor group are connected to the same weighted bit switch, but only one transistor of the NMOS output transistor group or the PMOS output transistor group is operated due to the weighted sign bit switch provided at the front end of the diode load.

도 4는 도 2에서 제시하는 아날로그 뉴런-시냅스 회로도에 캐스코드 기법이 도입된 회로도이며, 도 5는 도 3에서 제시하는 아날로그 뉴런-시냅스 회로도에 캐스코드 기법이 도입된 회로도이다. 4 is a circuit diagram in which the cascode technique is introduced into the analog neuron-synaptic circuit diagram shown in FIG. 2 , and FIG. 5 is a circuit diagram in which the cascode technique is introduced into the analog neuron-synaptic circuit diagram shown in FIG. 3 .

도 4 및 도 5를 참조하면, 뉴런회로(100) 및 시냅스회로(200)에 전류 미러가 적용되는 모든 영역에 캐스코드 회로(300)가 구비되는 것을 확인할 수 있다. 캐스코드 기법은 드래인-소스 전압이 서로 다른 것을 개선하기 위한 장치로, 전류 미러에서 전류가 정확하게 복사되는 장점을 가지게 된다. 4 and 5 , it can be seen that the cascode circuit 300 is provided in all regions to which the current mirror is applied to the neuron circuit 100 and the synaptic circuit 200 . The cascode technique is a device for improving the difference in drain-source voltage, and has the advantage that the current is accurately copied from the current mirror.

100 : 뉴런회로 200 : 시냅스회로
300 : 캐스코드 회로100: neuron circuit 200: synaptic circuit
300: cascode circuit

Claims (7)

전류모드로 입력전류신호를 수신받는 뉴런회로; 및
출력전류의 증가 또는 감소에 대응되는 가중치부호비트에 따라 작동되는 가중치부호비트스위치; 가중치크기비트에 따라 작동되는 적어도 하나의 스위치로 구성되는 가중치크기비트스위치; 및 상기 각각의 가중치크기비트스위치와 연결되는 적어도 하나의 트랜지스터로 구성되며, 상기 가중치부호비트스위치 및 가중치크기비트스위치의 작동에 의해 전류 미러 동작으로 상기 출력전류를 가감하는 출력트랜지스터가 포함된 시냅스회로를 포함하는 것을 특징으로 하는 아날로그 뉴런-시냅스 회로.
a neuron circuit that receives an input current signal in a current mode; and
a weighted sign bit switch operated according to a weighted sign bit corresponding to an increase or a decrease in output current; a weight size bit switch comprising at least one switch operated according to the weight size bit; and at least one transistor connected to each of the weight value bit switches, the synaptic circuit including an output transistor configured to increase or decrease the output current by a current mirror operation by the operation of the weight sign bit switch and the weight value bit switch An analog neuron-synaptic circuit comprising a.
 제1항에 있어서, 상기 뉴런회로는
전단에 구비되는 복수개의 시냅스회로들로부터 수신되는 전류신호를 하나의 상기 입력전류신호로 합산하여 정류하며, 전류모드로 상기 시냅스회로에 전송하기 위한 전류신호생성회로;를 포함하는 것 특징으로 하는 아날로그 뉴런-시냅스 회로.
According to claim 1, wherein the neuron circuit
A current signal generating circuit for summing and rectifying current signals received from a plurality of synaptic circuits provided in the front stage into one of the input current signals, and transmitting them to the synaptic circuit in a current mode; Analog comprising a Neuron-synaptic circuit.
 제1항에 있어서,
상기 시냅스회로는 상기 뉴런회로로부터 전송된 상기 입력전류신호를 수신받기 위한 다이오드부하를 더 포함하는 것을 특징으로 하는 아날로그 뉴런-시냅스 회로.
According to claim 1,
The synaptic circuit analog neuron-synaptic circuit, characterized in that it further comprises a diode load for receiving the input current signal transmitted from the neuron circuit.
 제1항에 있어서,
상기 가중치크기비트스위치는 정보의 중요도에 대응하는 가중치크기비트에 의해 제어되며, 상기 가중치크기비트에 따라 유입 또는 유출되는 전류의 크기가 결정되는 것을 특징으로 하는 아날로그 뉴런-시냅스 회로.
According to claim 1,
The weight size bit switch is controlled by a weight size bit corresponding to the importance of information, and the size of an inflow or outflow current is determined according to the weight size bit.
 제3항에 있어서,
상기 가중치부호비트스위치는 상기 다이오드부하의 전단에 구비되는 것을 특징을 하는 아날로그 뉴런-시냅스 회로.
4. The method of claim 3,
The weighted sign bit switch is an analog neuron-synaptic circuit, characterized in that it is provided at the front end of the diode load.
 제1항에 있어서,
상기 뉴런회로와 상기 시냅스회로의 전류 미러 영역에 트랜지스터를 적층으로 쌓는 캐스코드 회로가 구비되는 것을 특징으로 하는 아날로그 뉴런-시냅스 회로.
According to claim 1,
An analog neuron-synaptic circuit, characterized in that a cascode circuit in which transistors are stacked in a current mirror region of the neuron circuit and the synaptic circuit is provided.
 제2항에 있어서,
상기 시냅스회로가 어레이 구조로 이루어져 있어, 상기 뉴런회로와 후단에 구비되는 복수개의 또 다른 뉴런회로와 연결되되, 상기 뉴런회로는 어레이 구조로 이루어진 상기 시냅스회로로 상기 입력전류신호를 전송하며, 상기 각각의 시냅스회로는 상기 후단에 구비되는 또 다른 뉴런회로로 상기 출력전류를 전송하는 것을 특징으로 하는 아날로그 뉴런-시냅스 회로.3. The method of claim 2,
The synaptic circuit has an array structure, and is connected to the neuron circuit and a plurality of other neuron circuits provided at the rear end, wherein the neuron circuit transmits the input current signal to the synaptic circuit having an array structure, each of the The synaptic circuit of the analog neuron-synaptic circuit, characterized in that it transmits the output current to another neuron circuit provided at the rear end.
KR1020190102230A 2019-08-21 2019-08-21 Analog Neuron-Synapse Circuits KR102380522B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190102230A KR102380522B1 (en) 2019-08-21 2019-08-21 Analog Neuron-Synapse Circuits
PCT/KR2020/001247 WO2021033855A1 (en) 2019-08-21 2020-01-28 Analog neuron-synapse circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190102230A KR102380522B1 (en) 2019-08-21 2019-08-21 Analog Neuron-Synapse Circuits

Publications (2)

Publication Number Publication Date
KR20210022890A KR20210022890A (en) 2021-03-04
KR102380522B1 true KR102380522B1 (en) 2022-03-29

Family

ID=74660239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190102230A KR102380522B1 (en) 2019-08-21 2019-08-21 Analog Neuron-Synapse Circuits

Country Status (2)

Country Link
KR (1) KR102380522B1 (en)
WO (1) WO2021033855A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144821A1 (en) 2011-12-05 2013-06-06 Commissariat A L'energie Atomique Et Aux Energies Alternatives Digital-to-Analogue Converter and Neuromorphic Circuit Using Such a Converter
JP2018524698A (en) 2015-06-29 2018-08-30 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ Neuromorphic processing device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3208750A1 (en) 2016-02-22 2017-08-23 Universität Zürich An analogue electronic deep neural network
US20190026627A1 (en) * 2017-07-20 2019-01-24 Samsung Electronics Co., Ltd. Variable precision neuromorphic architecture
KR102026332B1 (en) * 2017-08-08 2019-09-27 서울대학교 산학협력단 Mimicking neuron circuit
KR102567449B1 (en) * 2018-01-11 2023-08-18 한국전자통신연구원 Neuromorphic arithmetic device and operating method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130144821A1 (en) 2011-12-05 2013-06-06 Commissariat A L'energie Atomique Et Aux Energies Alternatives Digital-to-Analogue Converter and Neuromorphic Circuit Using Such a Converter
JP2018524698A (en) 2015-06-29 2018-08-30 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ Neuromorphic processing device

Also Published As

Publication number Publication date
KR20210022890A (en) 2021-03-04
WO2021033855A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
US10831447B2 (en) Multiply-accumulate operation device
US10671911B2 (en) Current mirror scheme for an integrating neuron circuit
Duan et al. Temporal effective batch normalization in spiking neural networks
CN108268938B (en) Neural network, information processing method thereof and information processing system
US20120084240A1 (en) Phase change memory synaptronic circuit for spiking computation, association and recall
WO2012006465A1 (en) Methods and systems for cmos implementation of neuron synapse
KR102603287B1 (en) Neuromorphic system and operating method thereof
KR20190114212A (en) Single Column Memristor Crossbar and CMOS Activation Function Circuit for Binarized Neural Networks
Panicker et al. Efficient FPGA implementation of sigmoid and bipolar sigmoid activation functions for multilayer perceptrons
CN114614865A (en) Pre-coding device based on memristor array and signal processing method
KR20230097056A (en) Distributed multi-component synaptic computing architecture
US7401058B2 (en) Artificial neuron with phase-encoded logic
US11790220B2 (en) Artificial neural networks
KR102380522B1 (en) Analog Neuron-Synapse Circuits
CN113614729B (en) Arithmetic device and multiply-accumulate system
US8219506B2 (en) Method and apparatus for evolving overlays to operate an extended analog computer as a classifier or a controller
Banerjee et al. A current-mode spiking neural classifier with lumped dendritic nonlinearity
US11625593B2 (en) Fixed-weighting-code learning device
WO2008152908A1 (en) Resistive element, neuron element, and neural network information processing apparatus
Li et al. A 0.7 v low-power fully programmable gaussian function generator for brain-inspired gaussian correlation associative memory
JPH11338844A (en) Ignition number control type neural circuit device
Aksin A high-precision high-resolution WTA-MAX circuit of O (N) complexity
KR20210097382A (en) Rank order coding based spiking convolutional neural network calculation method and handler
García-Laencina et al. Exploiting multitask learning schemes using private subnetworks
Hu et al. Hardware-Based Simulation of Optoelectronic Spiking Neuromorphic Computing Network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant