KR102398449B1 - Neuron circuit and method for controlling the same - Google Patents
Neuron circuit and method for controlling the same Download PDFInfo
- Publication number
- KR102398449B1 KR102398449B1 KR1020190150295A KR20190150295A KR102398449B1 KR 102398449 B1 KR102398449 B1 KR 102398449B1 KR 1020190150295 A KR1020190150295 A KR 1020190150295A KR 20190150295 A KR20190150295 A KR 20190150295A KR 102398449 B1 KR102398449 B1 KR 102398449B1
- Authority
- KR
- South Korea
- Prior art keywords
- neuron circuit
- resistor
- voltage
- inverting amplifier
- end connected
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Abstract
본 발명은 뉴런 회로 및 이의 제어 방법에 관한 것이다. 본 발명의 일 실시예에 따른 뉴런회로는 ReLU 활성화 함수를 구현하는 뉴런회로로서, 제1 저항을 포함하는 제1 반전증폭기; 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항; 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함할 수 있다.The present invention relates to a neuron circuit and a method for controlling the same. A neuron circuit according to an embodiment of the present invention is a neuron circuit that implements a ReLU activation function, comprising: a first inverting amplifier including a first resistor; a second resistor having one end connected to the output terminal of the first inverting amplifier; a second inverting amplifier connected to the other end of the second resistor and including a variable resistor; and a diode having one end connected to the output terminal of the second inverting amplifier.
Description
본 발명은 뉴로모픽 시스템을 구성하는 뉴런 회로 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 ReLU(Rectified Linear Unit) 활성화 함수 구현을 위한 뉴런 회로 및 이의 제어 방법에 관한 것이다.The present invention relates to a neuron circuit constituting a neuromorphic system and a control method thereof, and more particularly, to a neuron circuit for implementing a Rectified Linear Unit (ReLU) activation function and a control method thereof.
현재 컴퓨팅 기술에 적용되는 폰노이먼(von-Neumann) 구조는 연산을 하는 CPU, 정보를 저장하는 메모리 및 입출력장치로 구성된다. 컴퓨터는 CPU를 통해 연산한 후 메모리에 저장하며, 연산에 필요한 데이터를 메모리로부터 CPU로 다시 읽어 사용한다. 따라서 연산과정마다 메모리로부터 데이터를 검색하고 저장하는 과정에 막대한 시간 손실 및 전력의 소모가 발생한다. 이러한 폰노이만 구조는 수치 계산과 같이 정확도를 요구하는 연산에 적합하지만, 패턴인식, 음성인식, 상황판단 자율주행 등과 같은 대량의 데이터를 동시적으로 처리하는 딥 러닝(Deep Learning)에 있어서 효율성이 낮다.The von-Neumann structure applied to the current computing technology consists of a CPU that performs calculations, a memory that stores information, and an input/output device. After the computer calculates through the CPU, it is stored in the memory, and the data required for the operation is read back from the memory to the CPU for use. Therefore, huge time loss and power consumption occur in the process of retrieving and storing data from the memory for each operation process. Although this von Neumann structure is suitable for calculations that require accuracy such as numerical calculations, the efficiency is low in deep learning that simultaneously processes large amounts of data such as pattern recognition, voice recognition, and situation judgment autonomous driving. .
이에 따라, 최근 인공신경망(artificial neural network)을 하드웨어적으로 구현하는 뉴로모픽 시스템(neuromorphic system)에 관한 기술이 활발히 연구되고 있다. 인공 신경망은 신호를 집적하여 활성화 여부를 판단하는 뉴런층과 각각의 뉴런을 연결하는 시냅스로 구성된다. 뉴런층은 입력층과 출력층, 그리고 이들 사이에 존재하는 은닉층으로 구성되며 복잡한 문제를 해결하기 위해서는 은닉층의 개수가 많이 필요하고, 은닉층의 개수가 많은 인공신경망을 심층신경망이라고 한다.Accordingly, recently, a technique related to a neuromorphic system for implementing an artificial neural network in hardware has been actively studied. An artificial neural network consists of a layer of neurons that accumulates signals to determine whether or not they are activated, and a synapse that connects each neuron. The neuron layer consists of an input layer, an output layer, and a hidden layer that exists between them. To solve a complex problem, a large number of hidden layers is required, and an artificial neural network with a large number of hidden layers is called a deep neural network.
이러한 인공신경망을 구성하는 각 유닛의 동작은 각 입력들이 가중치와 곱해진 총 입력이 활성화 함수를 통과하여 최종적으로 출력 값을 도출하는 형태로 이루어진다. 이때, 각 가중치가 시냅스의 동작을 의미하고, 활성화 함수가 뉴런의 동작을 의미한다. 종래에는 이러한 활성화 함수로서 시그모이드 함수(sigmoid function)를 사용해왔으나, 심층신경망과 같은 복잡도가 큰 신경망의 경우 기울기 소실(vanishing gradient) 문제가 발생하여 올바른 출력 값을 낼 수 없는 문제가 발생하였다.The operation of each unit constituting such an artificial neural network is in the form of finally deriving an output value through the activation function of the total input multiplied by the weight of each input. At this time, each weight means an action of a synapse, and an activation function means an action of a neuron. Conventionally, a sigmoid function has been used as such an activation function, but in the case of a neural network with high complexity such as a deep neural network, a vanishing gradient problem occurs, and a correct output value cannot be generated.
이와 같은 기울기 소실 문제를 해결하기 위해, 총입력이 0보다 크면 항상 1의 기울기를 갖는 ReLU(Rectified Linear Unit) 활성화 함수를 구현할 수 있는 뉴런회로가 요구된다.In order to solve such a gradient loss problem, a neuron circuit capable of implementing a Rectified Linear Unit (ReLU) activation function that always has a gradient of 1 when the total input is greater than 0 is required.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, ReLU 활성화 함수를 구현하면서도, 다양한 형태와 크기를 갖는 인공신경망에 범용적으로 사용될 수 있도록 특성 조절이 가능한 뉴런회로를 제공하는 것이다.The present invention is to solve the above problems, and while implementing a ReLU activation function, it is to provide a neuron circuit capable of controlling characteristics so that it can be universally used in artificial neural networks having various shapes and sizes.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명의 일 실시예에 따른 뉴런회로는 ReLU 활성화 함수를 구현하는 뉴런회로로서, 제1 저항을 포함하는 제1 반전증폭기; 상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항; 상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및 상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함할 수 있다.A neuron circuit according to an embodiment of the present invention is a neuron circuit that implements a ReLU activation function, comprising: a first inverting amplifier including a first resistor; a second resistor having one end connected to the output terminal of the first inverting amplifier; a second inverting amplifier connected to the other end of the second resistor and including a variable resistor; and a diode having one end connected to the output terminal of the second inverting amplifier.
일 실시예로서, 상기 제1 반전증폭기는, 제1 연산증폭기; 및 일단이 상기 제1 연산증폭기의 반전 입력단자에 연결되고, 타단이 상기 제1 연산증폭기의 출력단자에 연결된 상기 제1 저항을 포함할 수 있다.In one embodiment, the first inverting amplifier, a first operational amplifier; and the first resistor having one end connected to the inverting input terminal of the first operational amplifier and the other end connected to the output terminal of the first operational amplifier.
일 실시예로서, 상기 제2 반전증폭기는, 제2 연산증폭기; 및 일단이 상기 제2 연산증폭기의 반전 입력단자 및 상기 제2 저항에 연결되고, 타단이 상기 제2 연산증폭기의 출력단자에 연결된 상기 가변저항을 포함할 수 있다.In one embodiment, the second inverting amplifier, a second operational amplifier; and the variable resistor having one end connected to the inverting input terminal and the second resistor of the second operational amplifier, and the other end connected to the output terminal of the second operational amplifier.
일 실시예로서, 일단이 상기 다이오드에 연결되고 타단은 접지된 출력저항을 더 포함할 수 있다.In one embodiment, one end is connected to the diode and the other end may further include a grounded output resistor.
일 실시예로서, 상기 가변저항은, 상기 뉴런회로로 인가되는 입력전류의 크기에 따라 기설정된 저항값으로 가변될 수 있다.As an embodiment, the variable resistor may be changed to a preset resistance value according to the magnitude of the input current applied to the neuron circuit.
일 실시예로서, 상기 가변저항은, 상기 뉴런회로 개수에 따라 기설정된 저항값으로 가변될 수 있다.As an embodiment, the variable resistance may be changed to a preset resistance value according to the number of the neuron circuits.
일 실시예로서, 상기 제1 저항과 상기 제2 저항은 동일한 저항일 수 있다.In an embodiment, the first resistor and the second resistor may be the same resistor.
일 실시예로서, 상기 제1 반전증폭기 및 상기 제2 반전증폭기의 비반전 입력단자로 기설정된 전압이 인가될 수 있다.As an embodiment, a preset voltage may be applied to non-inverting input terminals of the first inverting amplifier and the second inverting amplifier.
일 실시예로서, 상기 전압은 상기 다이오드의 턴온(turn-on)전압과 동일할 수 있다.In an embodiment, the voltage may be the same as a turn-on voltage of the diode.
본 발명의 일 실시예에 따른 뉴런회로를 제어하는 뉴런회로 제어방법은 적어도 두 개의 뉴런회로 중 최대 출력 전압을 추출하는 단계; 상기 최대 출력 전압과 기설정된 제1 전압을 비교하는 단계; 상기 최대 출력 전압이 상기 제1 전압보다 큰 경우 상기 가변저항을 감소시키는 단계; 상기 최대 출력 전압이 상기 제1 전압보다 작은 경우 상기 최대 출력 전압과 기설정된 제2 전압을 비교하는 단계; 및 상기 최대 출력 전압이 상기 제2 전압보다 큰 경우 상기 가변저항을 증가시키는 단계를 포함할 수 있다.A method for controlling a neuron circuit for controlling a neuron circuit according to an embodiment of the present invention includes: extracting a maximum output voltage from among at least two neuronal circuits; comparing the maximum output voltage with a preset first voltage; reducing the variable resistor when the maximum output voltage is greater than the first voltage; comparing the maximum output voltage with a second preset voltage when the maximum output voltage is less than the first voltage; and increasing the variable resistance when the maximum output voltage is greater than the second voltage.
일 실시예로서, 상기 제1 전압은 상기 제2 전압보다 크게 설정될 수 있다.As an embodiment, the first voltage may be set to be greater than the second voltage.
일 실시예로서, 상기 가변저항을 증가시키는 단계는 상기 뉴런회로의 개수에 따라 상기 가변저항을 기설정된 저항값으로 가변하는 단계를 포함할 수 있다.As an embodiment, increasing the variable resistance may include varying the variable resistance to a preset resistance value according to the number of the neuron circuit.
본 발명의 일 실시예에 따른 뉴로모픽 시스템은 복수개의 시냅스 유닛을 포함하는 크로스바(crossbar) 형태의 시냅스 어레이; 및 상기 시냅스 어레이와 전기적으로 연결되고, ReLU 활성화 함수를 구현하는 뉴런회로를 포함하고, 상기 뉴런회로는, 제1 저항을 포함하는 제1 반전증폭기; 상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항; 상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및 상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함할 수 있다.Neuromorphic system according to an embodiment of the present invention includes a crossbar (crossbar) type synapse array comprising a plurality of synaptic units; and a neuron circuit electrically connected to the synaptic array and implementing a ReLU activation function, wherein the neuron circuit includes: a first inverting amplifier including a first resistor; a second resistor having one end connected to the output terminal of the first inverting amplifier; a second inverting amplifier connected to the other end of the second resistor and including a variable resistor; and a diode having one end connected to the output terminal of the second inverting amplifier.
본 발명의 일 실시예에 따른 뉴런회로는 ReLU 활성화 함수를 구현할 수 있고, 다양한 형태와 크기를 갖는 인공신경망에 범용적으로 사용될 수 있도록 특성 조절이 가능하다.The neuron circuit according to an embodiment of the present invention can implement a ReLU activation function, and its characteristics can be adjusted so that it can be universally used in artificial neural networks having various shapes and sizes.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 본 발명의 일 실시예에 따른 뉴로모픽 시스템을 개념적으로 도시한 블록다이아그램이다.
도 2는 본 발명의 일 실시예에 따른 뉴런회로를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 뉴런회로의 가변저항을 구현한 회로도이다.
도 4는 본 발명의 일 실시예에 따른 뉴런회로의 입력전류에 따른 출력전압을 도시하는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 뉴런회로의 가변저항의 저항값에 따른 기울기 변화를 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따른 뉴런회로의 입력전류 범위에 따라 가변저항을 변화시켜 뉴런회로의 동작 특성을 조절하는 것을 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 뉴런회로를 제어하는 과정을 나타낸 흐름도이다.1 is a block diagram conceptually illustrating a neuromorphic system according to an embodiment of the present invention.
2 is a diagram illustrating a neuron circuit according to an embodiment of the present invention.
3 is a circuit diagram of a variable resistance of a neuron circuit according to an embodiment of the present invention.
4 is a graph illustrating an output voltage according to an input current of a neuron circuit according to an embodiment of the present invention.
5 is a graph illustrating a change in slope according to a resistance value of a variable resistor of a neuron circuit according to an embodiment of the present invention.
6 is a graph illustrating control of the operating characteristics of a neuron circuit by changing a variable resistance according to an input current range of the neuron circuit according to an embodiment of the present invention.
7 is a flowchart illustrating a process of controlling a neuron circuit according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them, will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only this embodiment serves to complete the disclosure of the present invention, and to obtain common knowledge in the technical field to which the present invention pertains. It is provided to fully inform the possessor of the scope of the invention, and the present invention is only defined by the scope of the claims.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 또한, 본 명세서에서 사용된 "제 1," "제 2," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않으며, 반드시 다른 구성요소를 의미하는 것은 아니다. 예로서, '제1 저항'과 '제2 저항'은 동일한 저항을 의미할 수도 있고, 다른 저항을 의미할 수도 있다.The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and/or “comprising” does not exclude the presence or addition of one or more other components in addition to the stated components. Like reference numerals refer to like elements throughout, and "and/or" includes each and every combination of one or more of the recited elements. In addition, expressions such as "first," "second," used in this specification can modify various elements regardless of order and/or importance, and to distinguish one element from another element. It is used only and does not limit the corresponding components, and does not necessarily mean other components. For example, the terms 'first resistor' and 'second resistor' may mean the same resistance or different resistors.
본 발명은 ReLU 활성화 함수를 구현하는 뉴런회로에 특징이 있으며, 이와 같은 뉴런회로는 두 개의 연산증폭기회로와 다이오드 및 저항들을 포함하여 구성될 수 있다. 또한, 본 발명은 ReLU 활성화 함수를 구현하는 뉴런회로에 포함된 가변저항의 저항값을 가변하여 뉴런회로가 다양한 크기 및 개수의 인공신경망에 범용적으로 적용될 수 있도록 뉴런회로를 제어하는 방법을 특징으로 한다.The present invention is characterized by a neuron circuit that implements a ReLU activation function, and such a neuron circuit may be composed of two operational amplifier circuits, a diode, and resistors. In addition, the present invention provides a method of controlling a neuron circuit so that the neuron circuit can be universally applied to artificial neural networks of various sizes and numbers by varying the resistance value of a variable resistor included in a neuron circuit implementing the ReLU activation function. do.
이하, 도면을 참조하여 본 발명에 따른 뉴런회로와 뉴런회로의 제어방법을 상세히 후술한다.Hereinafter, a neuron circuit and a method for controlling a neuron circuit according to the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 뉴로모픽 시스템을 개념적으로 도시한 블록다이아그램이다.1 is a block diagram conceptually illustrating a neuromorphic system according to an embodiment of the present invention.
도 1에 도시된 바와 같이, 본 발명의 뉴로모픽 시스템은 크로스바(crossbar) 형태의 시냅스 어레이(10) 및 시냅스 어레이(10)와 전기적으로 연결된 뉴런회로(30)를 포함할 수 있고, 뉴런회로(30)를 통과한 출력 값이 주변회로(50)에 적용되어 인공신명망의 동작이 구현될 수 있다.As shown in FIG. 1 , the neuromorphic system of the present invention may include a
시냅스 어레이(10)는 복수개의 시냅스 유닛(15)을 포함하고, 각 입력들(11)에 가중치(13)가 곱해져 합산된 전류가 뉴런회로(30)로 인가되는 입력전류가 된다. 뉴런회로로 인가되는 입력전류는 수학식 1에 표현된 바와 같다.The
[수학식 1][Equation 1]
이와 같이 입력된 입력전류는 뉴런회로(30)를 통과하여 출력을 형성하고, 출력값은 수학식 2에 표현된 바와 같다. The input current thus input passes through the
[수학식 2][Equation 2]
여기서, 뉴런회로(30)는 기울기 소실 문제를 해결하기 위해 총입력이 0보다 크면 항상 1의 기울기를 갖는 ReLU(Rectified Linear Unit) 활성화 함수를 구현할 수 있다.Here, the
도 2는 본 발명의 일 실시예에 따른 뉴런회로(30)를 도시한 도면이다.2 is a diagram illustrating a
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로(30)는 두 개의 연산증폭기회로, 다이오드 그리고 저항을 포함할 수 있다. 구체적으로, 뉴런회로(30)는 제1 저항(311)을 포함하는 제1 반전증폭기(310), 제2 저항(320), 가변저항(331)을 포함하는 제2 반전증폭기(330) 및 다이오드(340)를 포함한다.As shown in FIG. 2 , the
제1 반전증폭기(310)는 제1 연산증폭기(315)와 제1 저항(311)을 포함할 수 있다. 이 경우, 제1 저항(311)은 일단이 제1 연산증폭기(315)의 반전 입력단자에 연결되고 타단이 연산증폭기(315)의 출력단자에 연결된다. 제1 연산증폭기(315)의 비반전 입력단자로는 기설정된 전압(Vs)이 인가될 수 있다. The
제2 저항(320)은 일단이 제1 반전증폭기(310)의 출력단자에 연결되고 타단이 제2 반전증폭기(330)에 연결된다. 일 실시예로서, 제2 저항(320)은 제1 저항(311)과 동일한 저항값을 가질 수 있다.The
제2 반전증폭기(330)는 제2 연산증폭기(335)와 가변저항(331)을 포함할 수 있다. 이 경우, 가변저항(331)은 일단이 제2 연산증폭기(335)의 반전 입력단자와 제2 저항(320)에 연결되고, 타단이 제2 연산증폭기(335)의 출력단자에 연결된다. 제2 연산증폭기(335)의 비반전 입력단자로는 기설정된 전압(Vs)이 인가될 수 있고, 이 전압은 제1 연산증폭기(315)의 비반전 입력단자로 인가되는 전압과 동일할 수 있다.The
다이오드(340)는 일단이 제2 반전증폭기(330)의 출력단자에 연결되고, 타단이 출력저항(341)에 연결될 수 있다. 출력저항(341)은 일단이 다이오드(340)에 연결되고 타단은 접지연결될 수 있다.The
도 3은 본 발명의 일 실시예에 따른 뉴런회로(30)의 가변저항(331)을 구현한 회로도이다.3 is a circuit diagram of an implementation of the
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로의 가변저항(331)은 서로 다른 저항값을 갖는 복수개의 저항(R4a, R4b, R4c... R4X)과 스위치로 구현될 수 있다. 다만, 이는 가변저항(331)을 구현하기 위한 일 실시예에 불과하고 본 발명에 있어서 가변저항을 구현하는 방법은 이에 한정되는 것은 아니며, 다양한 방법에 의해 구현될 수 있다.As shown in FIG. 3 , the
이와 같은 본 발명의 일 실시예에 따른 뉴런회로(30)의 해석은 다음의 수학식 4와 같다.Such an analysis of the
[수학식 4][Equation 4]
도 4는 본 발명의 일 실시예에 따른 뉴런회로의 입력전류에 따른 출력전압을 도시하는 그래프이다.4 is a graph illustrating an output voltage according to an input current of a neuron circuit according to an embodiment of the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따른 뉴런회로(30)는 총입력이 0보다 크면 항상 1의 기울기를 갖는 ReLU 활성화 함수로 구현됨을 확인할 수 있다. 또한, 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)을 조절함에 따라 x축 방향으로 평행 이동이 가능함을 확인할 수 있다. Referring to FIG. 4 , it can be seen that the
구체적으로, 본 발명의 일 실시예에 따른 뉴런회로의 시뮬레이션을 진행한 결과 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)이 클수록 x축 양의 방향으로 평행 이동하였다. Specifically, as a result of the simulation of the neuron circuit according to an embodiment of the present invention, the greater the voltage (Vs) applied to the non-inverting input terminals of the first operational amplifier and the second operational amplifier, the greater the parallel movement in the positive x-axis direction. did
즉, 본 발명의 일 실시예에 따른 뉴런회로(30)는 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)을 바꾸어 인가함으로써 필요에 따라 다양하게 설정할 수 있다. That is, the
일 실시예로서, 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)을 다이오드의 턴온(turn-on) 전압과 동일하게 설정할 경우, 예를 들어, 0부터 증가하는 ReLU 활성화 함수를 구현할 수 있다. As an embodiment, when the voltage Vs applied to the non-inverting input terminals of the first operational amplifier and the second operational amplifier is set equal to the turn-on voltage of the diode, for example, it increases from 0 ReLU activation function can be implemented.
도 5는 본 발명의 일 실시예에 따른 뉴런회로의 가변저항의 저항값에 따른 기울기 변화를 나타내는 그래프이다.5 is a graph illustrating a change in slope according to a resistance value of a variable resistor of a neuron circuit according to an embodiment of the present invention.
도 5는 본 발명의 일 실시예에 따른 뉴런회로(30)의 제1 저항(R1,311), 제2 저항(R2,320) 및 출력저항(R3,341)을 0.2KΩ으로 설정하고, 가변저항(R4,341)을 1KΩ, 2KΩ, 3KΩ, 5KΩ으로 변경하여 뉴런회로의 동작을 시뮬레이션한 결과를 나타낸 그래프이다.5 shows the first resistance (R 1 ,311), the second resistance (R 2 ,320), and the output resistance (R 3 ,341) of the
도 5를 참조하면, 본 발명의 일 실시예에 따른 뉴런회로(30)는 대략 0 내지 1.5V의 출력전압 구간에서 선형 동작 구간(linear operating region)을 가짐을 확인할 수 있다. 이에 따라, 선형 동작 구간에서 뉴런회로의 출력 값들이 나올 수 있도록 조절함으로써 정확한 인공신경망의 계산이 가능하다.Referring to FIG. 5 , it can be seen that the
또한, 도 5에 나타난 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로(30)는 가변저항(R4,341)의 저항값을 가변시킴에 따라 상이한 기울기를 나타냈다. 구체적으로, 가변저항(R4,341)의 저항값이 증가할수록 기울기가 증가하였다.In addition, as shown in FIG. 5 , the
이와 같이, 뉴런회로(30)에 포함된 가변저항의 저항값을 가변함에 따라 기울기가 변화하는 특성은 뉴런회로가 적용되는 인공지능 하드웨어 기술에서 다양한 애플리케이션에 범용적으로 적용되기 위하여 반드시 요구되는 기술이다. 예로서, 인공지능 하드웨어 기술은 사진 인식, 동영상 인식, 음성 인식 등의 다양한 애플리케이션들을 포함할 수 있다. 각 애플리케이션은 각각 다양한 인공신경망의 크기(뉴런의 개수 및 층수)를 가지게 되고, 이에 따라 다양한 범위의 전류가 뉴런회로로 입력되게 된다. 이 경우, 본 발명의 일 실시예에 따르면, 뉴런회로로 입력되는 입력전류의 크기 또는 범위에 따라 적응적으로 가변저항의 저항값을 가변함으로써 각 애플리케이션에 최적화된 맞춤형 동작 특성을 확보할 수 있고, 이에 따라 본 발명의 일 실시예에 따른 뉴런회로는 다양한 어플리케이션에 범용적으로 적용될 수 있다. As described above, the characteristic in which the slope changes as the resistance value of the variable resistor included in the
도 6은 본 발명의 일 실시예에 따른 뉴런회로의 입력전류 범위에 따라 가변저항을 변화시켜 뉴런회로의 동작 특성을 조절하는 것을 나타내는 그래프이다.6 is a graph illustrating control of the operating characteristics of a neuron circuit by changing a variable resistance according to an input current range of the neuron circuit according to an embodiment of the present invention.
도 6(a)에 나타난 바와 같이, 임의의 인공신경망 애플리케이션이 큰 입력전류 범위를 갖는 경우, 비선형 동작구간(A)이 발생하는 문제가 생길 수 있다. 이 경우, 본 발명의 일 실시예에 따른 뉴런회로의 가변저항(R4)을 감소시킴으로써, 큰 입력전류 범위에서도 선형 동작하도록 조절할 수 있다.As shown in FIG. 6( a ), when an arbitrary artificial neural network application has a large input current range, there may be a problem that a non-linear operation section A occurs. In this case, by reducing the variable resistance (R 4 ) of the neuron circuit according to an embodiment of the present invention, it can be adjusted to operate linearly even in a large input current range.
또한, 도 6(b)에 나타난 바와 같이, 임의의 인공신경망 애플리케이션이 작은 입력전류 범위를 갖는 경우, 구별 가능한 출력 레벨 수가 적어지는 구간(B)이 발생할 수 있다. 이 경우, 본 발명의 일 실시예에 따른 뉴런회로의 가변저항(R4)을 증가시킴으로써, 작은 입력전류 범위에서 구별 가능한 출력 레벨 수의 손실을 방지할 수 있다.In addition, as shown in FIG. 6(b), when an arbitrary artificial neural network application has a small input current range, a section B in which the number of distinguishable output levels decreases may occur. In this case, by increasing the variable resistance (R 4 ) of the neuron circuit according to an embodiment of the present invention, loss of the number of output levels distinguishable in a small input current range can be prevented.
도 7은 본 발명의 일 실시예에 따른 뉴런회로를 제어하는 과정을 나타낸 흐름도이다.7 is a flowchart illustrating a process of controlling a neuron circuit according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로 제어방법은 적어도 두 개의 뉴런회로 중 최대 출력 전압을 추출하는 단계(S31), 최대 출력 전압과 기설정된 제1 전압을 비교하는 단계(S33), 최대 출력 전압이 상기 제1 전압보다 큰 경우 가변저항을 감소시키는 단계(S34), 최대 출력 전압이 상기 제1 전압보다 작은 경우 최대 출력 전압과 기설정된 제2 전압을 비교하는 단계(S35) 및 최대 출력 전압이 상기 제2 전압보다 큰 경우 상기 가변저항을 증가시키는 단계(S36)를 포함할 수 있다. 여기서, 제1 전압은 제2 전압보다 크게 설정될 수 있다.7 , the method for controlling a neuron circuit according to an embodiment of the present invention includes extracting a maximum output voltage from among at least two neuronal circuits (S31), comparing the maximum output voltage with a preset first voltage. Step S33, reducing the variable resistance when the maximum output voltage is greater than the first voltage (S34), Comparing the maximum output voltage with a preset second voltage when the maximum output voltage is less than the first voltage (S35) and when the maximum output voltage is greater than the second voltage, increasing the variable resistance (S36). Here, the first voltage may be set to be greater than the second voltage.
즉, 도 7에 도시된 뉴런회로 제어방법은 실시간으로 복수개의 뉴런회로의 최대 출력 값을 모니터링하면서 이에 따라 능동적으로 가변저항을 가변하여 뉴런회로가 원하는 범위의 출력전압을 갖도록 하는 것이다. 이와 같이, 본 발명의 일 실시예에 따르면, 뉴런회로의 가변저항을 실시간으로 가변하여 뉴런회로가 요구되는 출력전압 범위를 갖도록 함으로써, 당해 뉴런회로가 적용된 인공신경망에 최적화되도록 동작 특성을 변경할 수 있는 이점이 있다.That is, the neuron circuit control method shown in FIG. 7 monitors the maximum output value of a plurality of neuron circuits in real time and actively varies the variable resistance accordingly so that the neuron circuit has an output voltage in a desired range. As described above, according to an embodiment of the present invention, by varying the variable resistance of the neuron circuit in real time so that the neuron circuit has a required output voltage range, the operating characteristics can be changed to be optimized for the artificial neural network to which the neuron circuit is applied. There is an advantage.
본 발명의 다른 실시예에 따른 뉴런회로 제어방법은 표 1에 나타난 바와 같이 활성화된 뉴런회로의 개수에 따라 가변저항의 저항값을 설정하는 것이다. 여기서, 활성화된 뉴런회로는 입력 전압이 인가되는 뉴런회로를 의미한다.As shown in Table 1, the neuron circuit control method according to another embodiment of the present invention sets the resistance value of the variable resistor according to the number of activated neuronal circuits. Here, the activated neuron circuit means a neuron circuit to which an input voltage is applied.
활성화된 뉴런회로의 개수가 많을수록 큰 전류가 유입되므로, 그에 따라 가변저항을 미리 설정된 저항값으로 설정할 수 있다. 이와 같이 기설정된 테이블에 따라 가변저항의 저항값을 설정하는 경우 도 3에 도시된 바와 같이 스위치에 의해 저항을 선택하는 형태의 가변저항이 적용될 수 있다. 다만, 이에 한정되는 것은 아니고 다양한 방법으로 가변저항의 저항값을 가변할 수 있다. As the number of activated neuronal circuits increases, a large current flows. Accordingly, the variable resistance can be set to a preset resistance value. When the resistance value of the variable resistor is set according to the preset table as described above, a variable resistor in the form of selecting the resistor by a switch as shown in FIG. 3 may be applied. However, the present invention is not limited thereto, and the resistance value of the variable resistor may be varied in various ways.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.In the above, embodiments of the present invention have been described with reference to the accompanying drawings, but those of ordinary skill in the art to which the present invention pertains can realize that the present invention can be embodied in other specific forms without changing the technical spirit or essential features thereof. you will be able to understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive.
10: 시냅스 어레이 30: 뉴런회로
310: 제1 반전증폭기 311: 제1 저항
320: 제2 저항 330: 제2 반전증폭기
331: 가변저항 340: 다이오드
341: 출력저항10: synapse array 30: neuron circuit
310: first inverting amplifier 311: first resistor
320: second resistor 330: second inverting amplifier
331: variable resistance 340: diode
341: output resistance
Claims (13)
제1 저항을 포함하는 제1 반전증폭기;
상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항;
상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및
상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함하되,
상기 제1 반전증폭기 및 상기 제2 반전증폭기의 비반전 입력단자로 기설정된 전압이 인가되는 뉴런회로.In the neuron circuit implementing the ReLU (Rectified Linear Unit) activation function,
a first inverting amplifier including a first resistor;
a second resistor having one end connected to the output terminal of the first inverting amplifier;
a second inverting amplifier connected to the other end of the second resistor and including a variable resistor; and
Including a diode having one end connected to the output terminal of the second inverting amplifier,
A neuron circuit to which a preset voltage is applied to the non-inverting input terminals of the first inverting amplifier and the second inverting amplifier.
상기 제1 반전증폭기는,
제1 연산증폭기; 및
일단이 상기 제1 연산증폭기의 반전 입력단자에 연결되고, 타단이 상기 제1 연산증폭기의 출력단자에 연결된 상기 제1 저항을 포함하는 뉴런회로.The method of claim 1,
The first inverting amplifier,
a first operational amplifier; and
A neuron circuit comprising the first resistor having one end connected to an inverting input terminal of the first operational amplifier and the other end connected to an output terminal of the first operational amplifier.
상기 제2 반전증폭기는,
제2 연산증폭기; 및
일단이 상기 제2 연산증폭기의 반전 입력단자 및 상기 제2 저항에 연결되고, 타단이 상기 제2 연산증폭기의 출력단자에 연결된 상기 가변저항을 포함하는 뉴런회로.3. The method of claim 2,
The second inverting amplifier,
a second operational amplifier; and
A neuron circuit comprising the variable resistor having one end connected to the inverting input terminal and the second resistor of the second operational amplifier, and the other end connected to the output terminal of the second operational amplifier.
일단이 상기 다이오드에 연결되고 타단은 접지된 출력저항을 더 포함하는 뉴런회로.The method of claim 1,
A neuron circuit further comprising an output resistor having one end connected to the diode and the other end grounded.
상기 가변저항은,
상기 뉴런회로로 인가되는 입력전류의 크기에 따라 기설정된 저항값으로 가변되는 뉴런회로.The method of claim 1,
The variable resistor is
A neuron circuit variable to a predetermined resistance value according to the magnitude of the input current applied to the neuron circuit.
상기 가변저항은,
상기 뉴런회로의 개수에 따라 기설정된 저항값으로 가변되는 뉴런회로.The method of claim 1,
The variable resistor is
A neuron circuit variable to a predetermined resistance value according to the number of the neuron circuit.
상기 제1 저항과 상기 제2 저항은 동일한 것인 뉴런회로.The method of claim 1,
The first resistance and the second resistance are the same neuron circuit.
상기 전압은 상기 다이오드의 턴온(turn-on)전압과 동일한 뉴런회로.The method of claim 1,
The voltage is the same as the turn-on (turn-on) voltage of the diode neuron circuit.
적어도 두 개의 뉴런회로 중 최대 출력 전압을 추출하는 단계;
상기 최대 출력 전압과 기설정된 제1 전압을 비교하는 단계;
상기 최대 출력 전압이 상기 제1 전압보다 큰 경우 가변저항을 감소시키는 단계;
상기 최대 출력 전압이 상기 제1 전압보다 작은 경우 상기 최대 출력 전압과 기설정된 제2 전압을 비교하는 단계; 및
상기 최대 출력 전압이 상기 제2 전압보다 큰 경우 상기 가변저항을 증가시키는 단계를 포함하되,
상기 뉴런회로는
제1 저항을 포함하는 제1 반전증폭기;
상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항;
상기 제2 저항의 타단에 연결되고, 상기 가변저항을 포함하는 제2 반전증폭기; 및
상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함하는 뉴런회로 제어방법.In the neuron circuit control method for controlling the neuron circuit,
extracting a maximum output voltage from among at least two neuronal circuits;
comparing the maximum output voltage with a preset first voltage;
reducing the variable resistance when the maximum output voltage is greater than the first voltage;
comparing the maximum output voltage with a preset second voltage when the maximum output voltage is less than the first voltage; and
Comprising the step of increasing the variable resistance when the maximum output voltage is greater than the second voltage,
The neuron circuit is
a first inverting amplifier including a first resistor;
a second resistor having one end connected to the output terminal of the first inverting amplifier;
a second inverting amplifier connected to the other end of the second resistor and including the variable resistor; and
Neuron circuit control method comprising a diode having one end connected to the output terminal of the second inverting amplifier.
상기 제1 전압은 상기 제2 전압보다 크게 설정되는 뉴런회로 제어방법.11. The method of claim 10,
The neuron circuit control method in which the first voltage is set to be greater than the second voltage.
상기 가변저항을 증가시키는 단계는
상기 뉴런회로의 개수에 따라 상기 가변저항을 기설정된 저항값으로 가변하는 단계를 포함하는 뉴런회로 제어방법.12. The method of claim 11,
The step of increasing the variable resistance is
and varying the variable resistance to a preset resistance value according to the number of the neuron circuits.
상기 시냅스 어레이와 전기적으로 연결되고, ReLU(Rectified Linear Unit) 활성화 함수를 구현하는 뉴런회로를 포함하고,
상기 뉴런회로는,
제1 저항을 포함하는 제1 반전증폭기;
상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항;
상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및
상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함하되,
상기 제1 반전증폭기 및 상기 제2 반전증폭기의 비반전 입력단자로 기설정된 전압이 인가되는 뉴로모픽 시스템.A crossbar-type synaptic array comprising a plurality of synaptic units; and
and a neuron circuit electrically connected to the synapse array and implementing a Rectified Linear Unit (ReLU) activation function,
The neuron circuit is
a first inverting amplifier including a first resistor;
a second resistor having one end connected to the output terminal of the first inverting amplifier;
a second inverting amplifier connected to the other end of the second resistor and including a variable resistor; and
Including a diode having one end connected to the output terminal of the second inverting amplifier,
A neuromorphic system in which a predetermined voltage is applied to non-inverting input terminals of the first inverting amplifier and the second inverting amplifier.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150295A KR102398449B1 (en) | 2019-11-21 | 2019-11-21 | Neuron circuit and method for controlling the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190150295A KR102398449B1 (en) | 2019-11-21 | 2019-11-21 | Neuron circuit and method for controlling the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210062277A KR20210062277A (en) | 2021-05-31 |
| KR102398449B1 true KR102398449B1 (en) | 2022-05-16 |
Family
ID=76150127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190150295A KR102398449B1 (en) | 2019-11-21 | 2019-11-21 | Neuron circuit and method for controlling the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102398449B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115688897B (en) * | 2023-01-03 | 2023-03-31 | 浙江大学杭州国际科创中心 | Low-power-consumption compact Relu activation function neuron circuit |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6724870B2 (en) | 2017-06-19 | 2020-07-15 | 株式会社デンソー | Artificial neural network circuit training method, training program, and training device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102067189B1 (en) * | 2017-07-17 | 2020-01-15 | 포항공과대학교 산학협력단 | Neuron Circuit and Neuromorphic System comprising The Same |
-
2019
- 2019-11-21 KR KR1020190150295A patent/KR102398449B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6724870B2 (en) | 2017-06-19 | 2020-07-15 | 株式会社デンソー | Artificial neural network circuit training method, training program, and training device |
Non-Patent Citations (2)
| Title |
|---|
| 비특허문헌1(Tien Van Nguyen 외 2인, Materials 2019) |
| 비특허문헌2(OLUWASEYI MORONFOYE, Undergraduate Research Scholars) |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210062277A (en) | 2021-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Barto et al. | Associative search network: A reinforcement learning associative memory | |
| WO2017010049A1 (en) | Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit | |
| US10074050B2 (en) | Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit | |
| JP6724870B2 (en) | Artificial neural network circuit training method, training program, and training device | |
| US5101361A (en) | Analog hardware for delta-backpropagation neural networks | |
| JP2021511566A (en) | Neuromorphic chips, neuromorphic systems, methods and computer programs for updating synaptic weights within neuromorphic chips | |
| KR102067189B1 (en) | Neuron Circuit and Neuromorphic System comprising The Same | |
| US20200117699A1 (en) | Alignment Techniques to Match Symmetry Point as Zero-Weight Point in Analog Crosspoint Arrays | |
| US20210374546A1 (en) | Row-by-row convolutional neural network mapping for analog artificial intelligence network training | |
| KR102398449B1 (en) | Neuron circuit and method for controlling the same | |
| Klidbary et al. | An adaptive efficient memristive ink drop spread (IDS) computing system | |
| KR20200000686A (en) | Weight matrix input circuit and weight matrix circuit | |
| CN114118390B (en) | Hardware accelerator and hybrid resistor memristor crossbar array circuit | |
| Sun et al. | Quaternary synapses network for memristor-based spiking convolutional neural networks | |
| Perfetti | ‘Winner-take-all’circuit for neurocomputing applications | |
| US20230100139A1 (en) | Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference | |
| CN114330688A (en) | Model online migration training method, device and chip based on resistive random access memory | |
| Itoh | Some interesting features of memristor CNN | |
| Ntinas et al. | Neuromorphic circuits on segmented crossbar architectures with enhanced properties | |
| Hassoun | An adaptive attentive learning algorithm for single-layer neural networks | |
| Mayer et al. | Differentiation of neuron types by evolving activation function templates for artificial neural networks | |
| KR102404388B1 (en) | Matrix multiplier structure and multiplying method capable of transpose matrix multiplication | |
| Zhang et al. | Simultaneous sparsity and parameter tying for deep learning using ordered weighted ℓ 1 regularization | |
| RU2729554C1 (en) | Effective perceptron based on mcculloch-pitts neurons using comparators | |
| CN112801274B (en) | Artificial intelligence processing device, weight parameter reading and writing method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |