KR20210062277A - 뉴런 회로 및 이의 제어 방법 - Google Patents

뉴런 회로 및 이의 제어 방법 Download PDF

Info

Publication number
KR20210062277A
KR20210062277A KR1020190150295A KR20190150295A KR20210062277A KR 20210062277 A KR20210062277 A KR 20210062277A KR 1020190150295 A KR1020190150295 A KR 1020190150295A KR 20190150295 A KR20190150295 A KR 20190150295A KR 20210062277 A KR20210062277 A KR 20210062277A
Authority
KR
South Korea
Prior art keywords
neuron circuit
voltage
resistor
inverting amplifier
neuron
Prior art date
Application number
KR1020190150295A
Other languages
English (en)
Other versions
KR102398449B1 (ko
Inventor
김윤
최현석
김보람
위대훈
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020190150295A priority Critical patent/KR102398449B1/ko
Publication of KR20210062277A publication Critical patent/KR20210062277A/ko
Application granted granted Critical
Publication of KR102398449B1 publication Critical patent/KR102398449B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Logic Circuits (AREA)

Abstract

본 발명은 뉴런 회로 및 이의 제어 방법에 관한 것이다. 본 발명의 일 실시예에 따른 뉴런회로는 ReLU 활성화 함수를 구현하는 뉴런회로로서, 제1 저항을 포함하는 제1 반전증폭기; 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항; 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함할 수 있다.

Description

뉴런 회로 및 이의 제어 방법{NEURON CIRCUIT AND METHOD FOR CONTROLLING THE SAME}
본 발명은 뉴로모픽 시스템을 구성하는 뉴런 회로 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 ReLU(Rectified Linear Unit) 활성화 함수 구현을 위한 뉴런 회로 및 이의 제어 방법에 관한 것이다.
현재 컴퓨팅 기술에 적용되는 폰노이먼(von-Neumann) 구조는 연산을 하는 CPU, 정보를 저장하는 메모리 및 입출력장치로 구성된다. 컴퓨터는 CPU를 통해 연산한 후 메모리에 저장하며, 연산에 필요한 데이터를 메모리로부터 CPU로 다시 읽어 사용한다. 따라서 연산과정마다 메모리로부터 데이터를 검색하고 저장하는 과정에 막대한 시간 손실 및 전력의 소모가 발생한다. 이러한 폰노이만 구조는 수치 계산과 같이 정확도를 요구하는 연산에 적합하지만, 패턴인식, 음성인식, 상황판단 자율주행 등과 같은 대량의 데이터를 동시적으로 처리하는 딥 러닝(Deep Learning)에 있어서 효율성이 낮다.
이에 따라, 최근 인공신경망(artificial neural network)을 하드웨어적으로 구현하는 뉴로모픽 시스템(neuromorphic system)에 관한 기술이 활발히 연구되고 있다. 인공 신경망은 신호를 집적하여 활성화 여부를 판단하는 뉴런층과 각각의 뉴런을 연결하는 시냅스로 구성된다. 뉴런층은 입력층과 출력층, 그리고 이들 사이에 존재하는 은닉층으로 구성되며 복잡한 문제를 해결하기 위해서는 은닉층의 개수가 많이 필요하고, 은닉층의 개수가 많은 인공신경망을 심층신경망이라고 한다.
이러한 인공신경망을 구성하는 각 유닛의 동작은 각 입력들이 가중치와 곱해진 총 입력이 활성화 함수를 통과하여 최종적으로 출력 값을 도출하는 형태로 이루어진다. 이때, 각 가중치가 시냅스의 동작을 의미하고, 활성화 함수가 뉴런의 동작을 의미한다. 종래에는 이러한 활성화 함수로서 시그모이드 함수(sigmoid function)를 사용해왔으나, 심층신경망과 같은 복잡도가 큰 신경망의 경우 기울기 소실(vanishing gradient) 문제가 발생하여 올바른 출력 값을 낼 수 없는 문제가 발생하였다.
이와 같은 기울기 소실 문제를 해결하기 위해, 총입력이 0보다 크면 항상 1의 기울기를 갖는 ReLU(Rectified Linear Unit) 활성화 함수를 구현할 수 있는 뉴런회로가 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, ReLU 활성화 함수를 구현하면서도, 다양한 형태와 크기를 갖는 인공신경망에 범용적으로 사용될 수 있도록 특성 조절이 가능한 뉴런회로를 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 뉴런회로는 ReLU 활성화 함수를 구현하는 뉴런회로로서, 제1 저항을 포함하는 제1 반전증폭기; 상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항; 상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및 상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함할 수 있다.
일 실시예로서, 상기 제1 반전증폭기는, 제1 연산증폭기; 및 일단이 상기 제1 연산증폭기의 반전 입력단자에 연결되고, 타단이 상기 제1 연산증폭기의 출력단자에 연결된 상기 제1 저항을 포함할 수 있다.
일 실시예로서, 상기 제2 반전증폭기는, 제2 연산증폭기; 및 일단이 상기 제2 연산증폭기의 반전 입력단자 및 상기 제2 저항에 연결되고, 타단이 상기 제2 연산증폭기의 출력단자에 연결된 상기 가변저항을 포함할 수 있다.
일 실시예로서, 일단이 상기 다이오드에 연결되고 타단은 접지된 출력저항을 더 포함할 수 있다.
일 실시예로서, 상기 가변저항은, 상기 뉴런회로로 인가되는 입력전류의 크기에 따라 기설정된 저항값으로 가변될 수 있다.
일 실시예로서, 상기 가변저항은, 상기 뉴런회로 개수에 따라 기설정된 저항값으로 가변될 수 있다.
일 실시예로서, 상기 제1 저항과 상기 제2 저항은 동일한 저항일 수 있다.
일 실시예로서, 상기 제1 반전증폭기 및 상기 제2 반전증폭기의 비반전 입력단자로 기설정된 전압이 인가될 수 있다.
일 실시예로서, 상기 전압은 상기 다이오드의 턴온(turn-on)전압과 동일할 수 있다.
본 발명의 일 실시예에 따른 뉴런회로를 제어하는 뉴런회로 제어방법은 적어도 두 개의 뉴런회로 중 최대 출력 전압을 추출하는 단계; 상기 최대 출력 전압과 기설정된 제1 전압을 비교하는 단계; 상기 최대 출력 전압이 상기 제1 전압보다 큰 경우 상기 가변저항을 감소시키는 단계; 상기 최대 출력 전압이 상기 제1 전압보다 작은 경우 상기 최대 출력 전압과 기설정된 제2 전압을 비교하는 단계; 및 상기 최대 출력 전압이 상기 제2 전압보다 큰 경우 상기 가변저항을 증가시키는 단계를 포함할 수 있다.
일 실시예로서, 상기 제1 전압은 상기 제2 전압보다 크게 설정될 수 있다.
일 실시예로서, 상기 가변저항을 증가시키는 단계는 상기 뉴런회로의 개수에 따라 상기 가변저항을 기설정된 저항값으로 가변하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 뉴로모픽 시스템은 복수개의 시냅스 유닛을 포함하는 크로스바(crossbar) 형태의 시냅스 어레이; 및 상기 시냅스 어레이와 전기적으로 연결되고, ReLU 활성화 함수를 구현하는 뉴런회로를 포함하고, 상기 뉴런회로는, 제1 저항을 포함하는 제1 반전증폭기; 상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항; 상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및 상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함할 수 있다.
본 발명의 일 실시예에 따른 뉴런회로는 ReLU 활성화 함수를 구현할 수 있고, 다양한 형태와 크기를 갖는 인공신경망에 범용적으로 사용될 수 있도록 특성 조절이 가능하다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 뉴로모픽 시스템을 개념적으로 도시한 블록다이아그램이다.
도 2는 본 발명의 일 실시예에 따른 뉴런회로를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 뉴런회로의 가변저항을 구현한 회로도이다.
도 4는 본 발명의 일 실시예에 따른 뉴런회로의 입력전류에 따른 출력전압을 도시하는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 뉴런회로의 가변저항의 저항값에 따른 기울기 변화를 나타내는 그래프이다.
도 6은 본 발명의 일 실시예에 따른 뉴런회로의 입력전류 범위에 따라 가변저항을 변화시켜 뉴런회로의 동작 특성을 조절하는 것을 나타내는 그래프이다.
도 7은 본 발명의 일 실시예에 따른 뉴런회로를 제어하는 과정을 나타낸 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 또한, 본 명세서에서 사용된 "제 1," "제 2," 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않으며, 반드시 다른 구성요소를 의미하는 것은 아니다. 예로서, '제1 저항'과 '제2 저항'은 동일한 저항을 의미할 수도 있고, 다른 저항을 의미할 수도 있다.
본 발명은 ReLU 활성화 함수를 구현하는 뉴런회로에 특징이 있으며, 이와 같은 뉴런회로는 두 개의 연산증폭기회로와 다이오드 및 저항들을 포함하여 구성될 수 있다. 또한, 본 발명은 ReLU 활성화 함수를 구현하는 뉴런회로에 포함된 가변저항의 저항값을 가변하여 뉴런회로가 다양한 크기 및 개수의 인공신경망에 범용적으로 적용될 수 있도록 뉴런회로를 제어하는 방법을 특징으로 한다.
이하, 도면을 참조하여 본 발명에 따른 뉴런회로와 뉴런회로의 제어방법을 상세히 후술한다.
도 1은 본 발명의 일 실시예에 따른 뉴로모픽 시스템을 개념적으로 도시한 블록다이아그램이다.
도 1에 도시된 바와 같이, 본 발명의 뉴로모픽 시스템은 크로스바(crossbar) 형태의 시냅스 어레이(10) 및 시냅스 어레이(10)와 전기적으로 연결된 뉴런회로(30)를 포함할 수 있고, 뉴런회로(30)를 통과한 출력 값이 주변회로(50)에 적용되어 인공신명망의 동작이 구현될 수 있다.
시냅스 어레이(10)는 복수개의 시냅스 유닛(15)을 포함하고, 각 입력들(11)에 가중치(13)가 곱해져 합산된 전류가 뉴런회로(30)로 인가되는 입력전류가 된다. 뉴런회로로 인가되는 입력전류는 수학식 1에 표현된 바와 같다.
[수학식 1]
Figure pat00001
이와 같이 입력된 입력전류는 뉴런회로(30)를 통과하여 출력을 형성하고, 출력값은 수학식 2에 표현된 바와 같다.
[수학식 2]
Figure pat00002
여기서, 뉴런회로(30)는 기울기 소실 문제를 해결하기 위해 총입력이 0보다 크면 항상 1의 기울기를 갖는 ReLU(Rectified Linear Unit) 활성화 함수를 구현할 수 있다.
도 2는 본 발명의 일 실시예에 따른 뉴런회로(30)를 도시한 도면이다.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로(30)는 두 개의 연산증폭기회로, 다이오드 그리고 저항을 포함할 수 있다. 구체적으로, 뉴런회로(30)는 제1 저항(311)을 포함하는 제1 반전증폭기(310), 제2 저항(320), 가변저항(331)을 포함하는 제2 반전증폭기(330) 및 다이오드(340)를 포함한다.
제1 반전증폭기(310)는 제1 연산증폭기(315)와 제1 저항(311)을 포함할 수 있다. 이 경우, 제1 저항(311)은 일단이 제1 연산증폭기(315)의 반전 입력단자에 연결되고 타단이 연산증폭기(315)의 출력단자에 연결된다. 제1 연산증폭기(315)의 비반전 입력단자로는 기설정된 전압(Vs)이 인가될 수 있다.
제2 저항(320)은 일단이 제1 반전증폭기(310)의 출력단자에 연결되고 타단이 제2 반전증폭기(330)에 연결된다. 일 실시예로서, 제2 저항(320)은 제1 저항(311)과 동일한 저항값을 가질 수 있다.
제2 반전증폭기(330)는 제2 연산증폭기(335)와 가변저항(331)을 포함할 수 있다. 이 경우, 가변저항(331)은 일단이 제2 연산증폭기(335)의 반전 입력단자와 제2 저항(320)에 연결되고, 타단이 제2 연산증폭기(335)의 출력단자에 연결된다. 제2 연산증폭기(335)의 비반전 입력단자로는 기설정된 전압(Vs)이 인가될 수 있고, 이 전압은 제1 연산증폭기(315)의 비반전 입력단자로 인가되는 전압과 동일할 수 있다.
다이오드(340)는 일단이 제2 반전증폭기(330)의 출력단자에 연결되고, 타단이 출력저항(341)에 연결될 수 있다. 출력저항(341)은 일단이 다이오드(340)에 연결되고 타단은 접지연결될 수 있다.
도 3은 본 발명의 일 실시예에 따른 뉴런회로(30)의 가변저항(331)을 구현한 회로도이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로의 가변저항(331)은 서로 다른 저항값을 갖는 복수개의 저항(R4a, R4b, R4c... R4X)과 스위치로 구현될 수 있다. 다만, 이는 가변저항(331)을 구현하기 위한 일 실시예에 불과하고 본 발명에 있어서 가변저항을 구현하는 방법은 이에 한정되는 것은 아니며, 다양한 방법에 의해 구현될 수 있다.
이와 같은 본 발명의 일 실시예에 따른 뉴런회로(30)의 해석은 다음의 수학식 4와 같다.
[수학식 4]
Figure pat00003
도 4는 본 발명의 일 실시예에 따른 뉴런회로의 입력전류에 따른 출력전압을 도시하는 그래프이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 뉴런회로(30)는 총입력이 0보다 크면 항상 1의 기울기를 갖는 ReLU 활성화 함수로 구현됨을 확인할 수 있다. 또한, 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)을 조절함에 따라 x축 방향으로 평행 이동이 가능함을 확인할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 뉴런회로의 시뮬레이션을 진행한 결과 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)이 클수록 x축 양의 방향으로 평행 이동하였다.
즉, 본 발명의 일 실시예에 따른 뉴런회로(30)는 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)을 바꾸어 인가함으로써 필요에 따라 다양하게 설정할 수 있다.
일 실시예로서, 제1 연산증폭기 및 제2 연산증폭기의 비반전입력단자로 인가되는 전압(Vs)을 다이오드의 턴온(turn-on) 전압과 동일하게 설정할 경우, 예를 들어, 0부터 증가하는 ReLU 활성화 함수를 구현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 뉴런회로의 가변저항의 저항값에 따른 기울기 변화를 나타내는 그래프이다.
도 5는 본 발명의 일 실시예에 따른 뉴런회로(30)의 제1 저항(R1,311), 제2 저항(R2,320) 및 출력저항(R3,341)을 0.2KΩ으로 설정하고, 가변저항(R4,341)을 1KΩ, 2KΩ, 3KΩ, 5KΩ으로 변경하여 뉴런회로의 동작을 시뮬레이션한 결과를 나타낸 그래프이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 뉴런회로(30)는 대략 0 내지 1.5V의 출력전압 구간에서 선형 동작 구간(linear operating region)을 가짐을 확인할 수 있다. 이에 따라, 선형 동작 구간에서 뉴런회로의 출력 값들이 나올 수 있도록 조절함으로써 정확한 인공신경망의 계산이 가능하다.
또한, 도 5에 나타난 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로(30)는 가변저항(R4,341)의 저항값을 가변시킴에 따라 상이한 기울기를 나타냈다. 구체적으로, 가변저항(R4,341)의 저항값이 증가할수록 기울기가 증가하였다.
이와 같이, 뉴런회로(30)에 포함된 가변저항의 저항값을 가변함에 따라 기울기가 변화하는 특성은 뉴런회로가 적용되는 인공지능 하드웨어 기술에서 다양한 애플리케이션에 범용적으로 적용되기 위하여 반드시 요구되는 기술이다. 예로서, 인공지능 하드웨어 기술은 사진 인식, 동영상 인식, 음성 인식 등의 다양한 애플리케이션들을 포함할 수 있다. 각 애플리케이션은 각각 다양한 인공신경망의 크기(뉴런의 개수 및 층수)를 가지게 되고, 이에 따라 다양한 범위의 전류가 뉴런회로로 입력되게 된다. 이 경우, 본 발명의 일 실시예에 따르면, 뉴런회로로 입력되는 입력전류의 크기 또는 범위에 따라 적응적으로 가변저항의 저항값을 가변함으로써 각 애플리케이션에 최적화된 맞춤형 동작 특성을 확보할 수 있고, 이에 따라 본 발명의 일 실시예에 따른 뉴런회로는 다양한 어플리케이션에 범용적으로 적용될 수 있다.
도 6은 본 발명의 일 실시예에 따른 뉴런회로의 입력전류 범위에 따라 가변저항을 변화시켜 뉴런회로의 동작 특성을 조절하는 것을 나타내는 그래프이다.
도 6(a)에 나타난 바와 같이, 임의의 인공신경망 애플리케이션이 큰 입력전류 범위를 갖는 경우, 비선형 동작구간(A)이 발생하는 문제가 생길 수 있다. 이 경우, 본 발명의 일 실시예에 따른 뉴런회로의 가변저항(R4)을 감소시킴으로써, 큰 입력전류 범위에서도 선형 동작하도록 조절할 수 있다.
또한, 도 6(b)에 나타난 바와 같이, 임의의 인공신경망 애플리케이션이 작은 입력전류 범위를 갖는 경우, 구별 가능한 출력 레벨 수가 적어지는 구간(B)이 발생할 수 있다. 이 경우, 본 발명의 일 실시예에 따른 뉴런회로의 가변저항(R4)을 증가시킴으로써, 작은 입력전류 범위에서 구별 가능한 출력 레벨 수의 손실을 방지할 수 있다.
도 7은 본 발명의 일 실시예에 따른 뉴런회로를 제어하는 과정을 나타낸 흐름도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 뉴런회로 제어방법은 적어도 두 개의 뉴런회로 중 최대 출력 전압을 추출하는 단계(S31), 최대 출력 전압과 기설정된 제1 전압을 비교하는 단계(S33), 최대 출력 전압이 상기 제1 전압보다 큰 경우 가변저항을 감소시키는 단계(S34), 최대 출력 전압이 상기 제1 전압보다 작은 경우 최대 출력 전압과 기설정된 제2 전압을 비교하는 단계(S35) 및 최대 출력 전압이 상기 제2 전압보다 큰 경우 상기 가변저항을 증가시키는 단계(S36)를 포함할 수 있다. 여기서, 제1 전압은 제2 전압보다 크게 설정될 수 있다.
즉, 도 7에 도시된 뉴런회로 제어방법은 실시간으로 복수개의 뉴런회로의 최대 출력 값을 모니터링하면서 이에 따라 능동적으로 가변저항을 가변하여 뉴런회로가 원하는 범위의 출력전압을 갖도록 하는 것이다. 이와 같이, 본 발명의 일 실시예에 따르면, 뉴런회로의 가변저항을 실시간으로 가변하여 뉴런회로가 요구되는 출력전압 범위를 갖도록 함으로써, 당해 뉴런회로가 적용된 인공신경망에 최적화되도록 동작 특성을 변경할 수 있는 이점이 있다.
본 발명의 다른 실시예에 따른 뉴런회로 제어방법은 표 1에 나타난 바와 같이 활성화된 뉴런회로의 개수에 따라 가변저항의 저항값을 설정하는 것이다. 여기서, 활성화된 뉴런회로는 입력 전압이 인가되는 뉴런회로를 의미한다.
활성화된 뉴런회로 개수 가변저항
0~X1 R4a
X1~X2 R4b
X2~X3 R4c
X3~X4 R4d
활성화된 뉴런회로의 개수가 많을수록 큰 전류가 유입되므로, 그에 따라 가변저항을 미리 설정된 저항값으로 설정할 수 있다. 이와 같이 기설정된 테이블에 따라 가변저항의 저항값을 설정하는 경우 도 3에 도시된 바와 같이 스위치에 의해 저항을 선택하는 형태의 가변저항이 적용될 수 있다. 다만, 이에 한정되는 것은 아니고 다양한 방법으로 가변저항의 저항값을 가변할 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10: 시냅스 어레이 30: 뉴런회로
310: 제1 반전증폭기 311: 제1 저항
320: 제2 저항 330: 제2 반전증폭기
331: 가변저항 340: 다이오드
341: 출력저항

Claims (13)

  1. ReLU(Rectified Linear Unit) 활성화 함수를 구현하는 뉴런회로에 있어서,
    제1 저항을 포함하는 제1 반전증폭기;
    상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항;
    상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및
    상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함하는 뉴런회로.
  2. 제 1 항에 있어서,
    상기 제1 반전증폭기는,
    제1 연산증폭기; 및
    일단이 상기 제1 연산증폭기의 반전 입력단자에 연결되고, 타단이 상기 제1 연산증폭기의 출력단자에 연결된 상기 제1 저항을 포함하는 뉴런회로.
  3. 제 2 항에 있어서,
    상기 제2 반전증폭기는,
    제2 연산증폭기; 및
    일단이 상기 제2 연산증폭기의 반전 입력단자 및 상기 제2 저항에 연결되고, 타단이 상기 제2 연산증폭기의 출력단자에 연결된 상기 가변저항을 포함하는 뉴런회로.
  4. 제 1 항에 있어서,
    일단이 상기 다이오드에 연결되고 타단은 접지된 출력저항을 더 포함하는 뉴런회로.
  5. 제 1 항에 있어서,
    상기 가변저항은,
    상기 뉴런회로로 인가되는 입력전류의 크기에 따라 기설정된 저항값으로 가변되는 뉴런회로.
  6. 제 1 항에 있어서,
    상기 가변저항은,
    상기 뉴런회로의 개수에 따라 기설정된 저항값으로 가변되는 뉴런회로.
  7. 제 1 항에 있어서,
    상기 제1 저항과 상기 제2 저항은 동일한 것인 뉴런회로.
  8. 제 1 항에 있어서,
    상기 제1 반전증폭기 및 상기 제2 반전증폭기의 비반전 입력단자로 기설정된 전압이 인가되는 뉴런회로.
  9. 제 8 항에 있어서,
    상기 전압은 상기 다이오드의 턴온(turn-on)전압과 동일한 뉴런회로.
  10. 제 1 항에 따른 뉴런회로를 제어하는 뉴런회로 제어방법에 있어서,
    적어도 두 개의 뉴런회로 중 최대 출력 전압을 추출하는 단계;
    상기 최대 출력 전압과 기설정된 제1 전압을 비교하는 단계;
    상기 최대 출력 전압이 상기 제1 전압보다 큰 경우 상기 가변저항을 감소시키는 단계;
    상기 최대 출력 전압이 상기 제1 전압보다 작은 경우 상기 최대 출력 전압과 기설정된 제2 전압을 비교하는 단계; 및
    상기 최대 출력 전압이 상기 제2 전압보다 큰 경우 상기 가변저항을 증가시키는 단계를 포함하는 뉴런회로 제어방법.
  11. 제 10 항에 있어서,
    상기 제1 전압은 상기 제2 전압보다 크게 설정되는 뉴런회로 제어방법.
  12. 제 11 항에 있어서,
    상기 가변저항을 증가시키는 단계는
    상기 뉴런회로의 개수에 따라 상기 가변저항을 기설정된 저항값으로 가변하는 단계를 포함하는 뉴런회로 제어방법.
  13. 복수개의 시냅스 유닛을 포함하는 크로스바(crossbar) 형태의 시냅스 어레이; 및
    상기 시냅스 어레이와 전기적으로 연결되고, ReLU(Rectified Linear Unit) 활성화 함수를 구현하는 뉴런회로를 포함하고,
    상기 뉴런회로는,
    제1 저항을 포함하는 제1 반전증폭기;
    상기 제1 반전증폭기의 출력단자에 일단이 연결된 제2 저항;
    상기 제2 저항의 타단에 연결되고, 가변저항을 포함하는 제2 반전증폭기; 및
    상기 제2 반전증폭기의 출력단자에 일단이 연결된 다이오드를 포함하는 뉴로모픽 시스템.
KR1020190150295A 2019-11-21 2019-11-21 뉴런 회로 및 이의 제어 방법 KR102398449B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190150295A KR102398449B1 (ko) 2019-11-21 2019-11-21 뉴런 회로 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190150295A KR102398449B1 (ko) 2019-11-21 2019-11-21 뉴런 회로 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20210062277A true KR20210062277A (ko) 2021-05-31
KR102398449B1 KR102398449B1 (ko) 2022-05-16

Family

ID=76150127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190150295A KR102398449B1 (ko) 2019-11-21 2019-11-21 뉴런 회로 및 이의 제어 방법

Country Status (1)

Country Link
KR (1) KR102398449B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688897A (zh) * 2023-01-03 2023-02-03 浙江大学杭州国际科创中心 低功耗紧凑型Relu激活函数神经元电路

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190008670A (ko) * 2017-07-17 2019-01-25 포항공과대학교 산학협력단 뉴런회로 및 이를 포함하는 뉴로모픽 시스템
JP6724870B2 (ja) * 2017-06-19 2020-07-15 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6724870B2 (ja) * 2017-06-19 2020-07-15 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置
KR20190008670A (ko) * 2017-07-17 2019-01-25 포항공과대학교 산학협력단 뉴런회로 및 이를 포함하는 뉴로모픽 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
비특허문헌1(Tien Van Nguyen 외 2인, Materials 2019) *
비특허문헌2(OLUWASEYI MORONFOYE, Undergraduate Research Scholars) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115688897A (zh) * 2023-01-03 2023-02-03 浙江大学杭州国际科创中心 低功耗紧凑型Relu激活函数神经元电路
CN115688897B (zh) * 2023-01-03 2023-03-31 浙江大学杭州国际科创中心 低功耗紧凑型Relu激活函数神经元电路

Also Published As

Publication number Publication date
KR102398449B1 (ko) 2022-05-16

Similar Documents

Publication Publication Date Title
Stroud et al. Motor primitives in space and time via targeted gain modulation in cortical networks
Rathi et al. STDP-based pruning of connections and weight quantization in spiking neural networks for energy-efficient recognition
US5059814A (en) Winner-take-all circuits for neural computing systems
US10332004B2 (en) Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10074050B2 (en) Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
Xiao et al. GST-memristor-based online learning neural networks
CN112823327B (zh) 模拟的交叉点阵列中匹配对称点作为零权重点的对准技术
JP2021511566A (ja) ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
US5101361A (en) Analog hardware for delta-backpropagation neural networks
KR102067189B1 (ko) 뉴런회로 및 이를 포함하는 뉴로모픽 시스템
Ju et al. Effects of synaptic connectivity on liquid state machine performance
KR20130036318A (ko) Ｓｔｄｐ 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들
US20210374546A1 (en) Row-by-row convolutional neural network mapping for analog artificial intelligence network training
Afrakoti et al. Using a memristor crossbar structure to implement a novel adaptive real-time fuzzy modeling algorithm
Klidbary et al. An adaptive efficient memristive ink drop spread (IDS) computing system
KR102398449B1 (ko) 뉴런 회로 및 이의 제어 방법
KR20200000686A (ko) 웨이트 행렬 입력 회로 및 웨이트 행렬 회로
CN114118390B (zh) 硬件加速器和混合电阻器忆阻器交叉开关阵列电路
Sun et al. Quaternary synapses network for memristor-based spiking convolutional neural networks
Tang et al. Dynamics analysis and analog associative memory of networks with LT neurons
Barto et al. Cooperativity in networks of pattern recognizing stochastic learning automata
Perfetti ‘Winner-take-all’circuit for neurocomputing applications
Rahman A neural network with O (N) neurons for ranking N numbers in O (1/N) time
JP2023526915A (ja) アナログ人工知能ネットワーク推論のための行単位畳み込みニューラル・ネットワーク・マッピングのための効率的なタイル・マッピング
Ntinas et al. Neuromorphic circuits on segmented crossbar architectures with enhanced properties

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant