KR102490774B1 - 신경망 훈련이 가능한 시냅스 모방 소자 - Google Patents

신경망 훈련이 가능한 시냅스 모방 소자 Download PDF

Info

Publication number
KR102490774B1
KR102490774B1 KR1020200021308A KR20200021308A KR102490774B1 KR 102490774 B1 KR102490774 B1 KR 102490774B1 KR 1020200021308 A KR1020200021308 A KR 1020200021308A KR 20200021308 A KR20200021308 A KR 20200021308A KR 102490774 B1 KR102490774 B1 KR 102490774B1
Authority
KR
South Korea
Prior art keywords
control signal
transistor
synaptic
voltage
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200021308A
Other languages
English (en)
Other versions
KR20200135148A (ko
Inventor
오새룬터
김상범
Original Assignee
한양대학교 에리카산학협력단
서울대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 에리카산학협력단, 서울대학교 산학협력단 filed Critical 한양대학교 에리카산학협력단
Priority to US17/610,027 priority Critical patent/US20220207340A1/en
Priority to PCT/KR2020/006613 priority patent/WO2020242121A1/ko
Publication of KR20200135148A publication Critical patent/KR20200135148A/ko
Application granted granted Critical
Publication of KR102490774B1 publication Critical patent/KR102490774B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Pharmaceuticals Containing Other Organic And Inorganic Compounds (AREA)
  • Feedback Control In General (AREA)

Abstract

신경망 훈련이 가능한 시냅스 모방 소자이 개시된다. 본 발명의 실시 예에 따른 시냅스 모방 소자는 커패시터, 제1 제어 신호에 응답하여 제1 전원과 상기 커패시터의 제1 단을 연결하는 제1 트랜지스터, 제2 제어 신호에 응답하여 제2 전원과 상기 커패시터의 제2 단을 연결하는 제2 트랜지스터, 제3 제어 신호에 응답하여 상기 제1 전원과 상기 커패시터의 상기 제2 단을 연결하는 제3 트랜지스터, 제4 제어 신호에 응답하여 상기 제2 전원과 상기 커패시터의 제1 단을 연결하는 제4 트랜지스터 및 상기 커패시터의 상기 제1 단의 전압, 상기 입력 라인의 전압 및 출력 라인의 전압에 의해 결정되는 전류를 상기 출력 라인으로 공급하는 제5 트랜지스터를 포함한다.

Description

신경망 훈련이 가능한 시냅스 모방 소자{Synaptic Device For Neural Network Training}
본 발명은 시냅스 모방 소자에 관한 것으로, 특히, 신경망 훈련이 가능한 시냅스 모방 소자에 관한 것이다.
현재 폰노이먼(von Neumann) 컴퓨터 아키텍처에서 프로세서와 메모리 간 방대한 데이터의 잦은 이동은 긴 딜레이와 큰 전력 소모를 야기하여 칩 성능을 제한시킨다. 현재 소프트웨어 기반의 딥신경망 연산은 고성능 CPU, GPU, ASIC 등의 AI 가속기 하드웨어가 사용되고 있으나, 데이터 병목 현상에 의해 연산 속도가 늦어지고 전력 소모가 매우 크다.
뇌신경모사 아키텍처는 데이터가 저장된 메모리 소자의 위치에서 바로 연산을 진행하며 뉴런 소자 간의 연결 강도(시냅스 가중치)를 메모리 소자에 저장하고 갱신하여 기존 컴퓨팅 아키텍처보다 집적 효율과 에너지 효율이 우수하다.
차세대 IoT 네트워크에 연결된 기기의 수는 2017년 80억개에서 2025년에 700억개로 크게 증가할 전망이나, 모바일 기기와 IoT 기기에서 딥신경망 연산 능력 부족하여 클라우드 또는 데이터서버 연산에 의존하고 있다. 초연결 정보통신 사회에 데이터 연산과 통신에 필요한 전력소모 요구를 획기적으로 감소시킬 필요가 있다.
IoT와 빅데이터 기술 기반의 초연결성으로 대변되는 제4차 산업혁명 시대에 소비전력을 극소화하고 기존 방식과 혁신적으로 차별화되는 신개념 컴퓨팅 기술이 요구된다. 방대한 양의 비정형 데이터를 입력 받아 인간의 두뇌와 같이 높은 에너지 효율을 지닌 뇌신경모사 연산 방식은 인공지능, 빅데이터, 센서네트워크, 패턴/사물 인식 등에 필요한 차세대 컴퓨팅 솔루션이다.
현재까지의 뇌신경모사 컴퓨팅 소자 연구는 저항변화메모리, 상변화메모리, 강유전메모리 등을 이용해 다중전도 레벨의 대칭적, 선형적 전도도 증가 및 감소 특성을 확보하는 것에 초점이 있었다. 하지만 실험적 메모리 소자의 비이상적 특성으로 인하여 하드웨어로 구현되는 신경망은 소프트웨어 기반 딥신경망의 인식 및 분류 정확도에 비하여 크게 뒤떨어져 있다. 아날로그 메모리를 사용한 하드웨어 구현은 에너지 효율이 높은 장점이 있지만, 소프트웨어 수준의 훈련 정확도가 달성되어야 신경망 연산 효율의 장점이 극대화될 수 있다.
기존 연구의 비휘발성 메모리 소자들은 시냅스 소자의 가중치를 갱신하는 훈련(training)과 이미지, 사물, 음성 등을 인식하고 분류하는 추론(inference) 중에 추론에만 적합하였다. 효율적 훈련을 위해 요구되는 전도레벨 수가 210개(약 1000개) 이상 필요하고 시냅스 가중치의 증감이 대칭적, 선형적이어야 하기 때문에 기존 메모리 소자로는 물리적 기술적 한계가 있었기 때문이다.
이러한 한계를 극복하기 위해 기존 연구는 훈련은 소프트웨어에서 수행하고 시냅스 가중치 값을 아날로그 메모리 배열에 이동시켜 추론 기능만 하드웨어에서 수행하였다.
본 발명이 이루고자 하는 기술적인 과제는 기존의 아날로그 메모리 소자를 이용하지 않고 대칭적이고 선형적 훈련 특성을 구현하여 소프트웨어 수준의 온-칩(on-chip) 학습 능력과 소프트웨어 수준의 정확도를 가지는 신경망 훈련이 가능한 시냅스 모방 소자를 제공하는 것이다.
본 발명의 실시 예에 따른 시냅스 모방 소자는 커패시터, 제1 제어 신호에 응답하여 제1 전원과 상기 커패시터의 제1 단을 연결하는 제1 트랜지스터, 제2 제어 신호에 응답하여 제2 전원과 상기 커패시터의 제2 단을 연결하는 제2 트랜지스터, 제3 제어 신호에 응답하여 상기 제1 전원과 상기 커패시터의 상기 제2 단을 연결하는 제3 트랜지스터, 제4 제어 신호에 응답하여 상기 제2 전원과 상기 커패시터의 제1 단을 연결하는 제4 트랜지스터 및 상기 커패시터의 상기 제1 단의 전압, 상기 입력 라인의 전압 및 출력 라인의 전압에 의해 결정되는 전류를 상기 출력 라인으로 공급하는 제5 트랜지스터를 포함한다.
실시 예에 따라, 상기 시냅스 모방 소자를 훈련(training)할 때, 상기 커패시터의 양단 전압을 목표 전압으로 설정하기 위해 강화(potentiation) 동작 또는 약화(depression) 동작이 반복적으로 수행될 수 있다.
실시 예에 따라, 상기 강화 동작 동안, 상기 제1 제어 신호가 활성화되며 상기 제2 제어 신호가 주기적으로 활성화될 수 있다.
실시 예에 따라, 상기 강화 동작 동안, 소정의 단위 시간 중 제1 시간 동안 상기 제1 제어 신호와 상기 제2 제어 신호가 활성화될 수 있다.
실시 예에 따라, 상기 제1 제어 신호의 전압은 상기 제2 제어 신호의 전압보다 높을 수 있다.
실시 예에 따라, 상기 약화 동작 동안, 상기 제3 제어 신호가 활성화되며 상기 제4 제어 신호가 주기적으로 활성화될 수 있다.
실시 예에 따라, 상기 약화 동작 동안, 소정의 단위 시간 중 제2 시간 동안 상기 제3 제어 신호와 상기 제4 제어 신호가 활성화될 수 있다.
실시 예에 따라, 상기 시냅스 모방 소자를 리드(read)할 때, 상기 제2 제어 신호가 활성화될 수 있다.
실시 예에 따라, 상기 시냅스 모방 소자를 리드(read)할 때, 상기 제3 제어 신호가 활성화될 수 있다.
실시 예에 따라, 상기 제1 트랜지스터, 상기 제2 트랜지스터, 상기 제3 트랜지스터 및 상기 제4 트랜지스터는 비정질 InGaZnO FET(Field Effect Transistor), 다결정질 InGaZnO FET, 단결정질 InGaZnO FET 또는 C-축 성장결정 InGaZnO(C-axis aligned InGaZnO) FET일 수 있다.
실시 예에 따라, 상기 제1 트랜지스터, 상기 제2 트랜지스터, 상기 제3 트랜지스터 및 상기 제4 트랜지스터는 In, Ga, Zn, Sn, Al, Hf, Zr, Si 및 O 중에서 적어도 하나의 원소를 포함하는 금속 산화물 트랜지스터일 수 있다.
본 발명의 실시 예에 따른 시냅스 모방 소자는 대칭적이고 선형적인 훈련 특성을 구현할 수 있어 소프트웨어 수준의 정확도를 가지면서 훈련에 필요한 에너지 소모와 소요 시간을 감소시킬 수 있는 하드웨어 기반 신경망 훈련을 가능하게 한다.
또한, 본 발명의 실시 예에 따른 시냅스 모방 소자는 저온 증착으로 3차원 집적 공정이 용이한 산화물 반도체로 구성되어 있어 셀 회로 면적을 감소시키기 위해 3차원 집적 시냅스 셀로 제조될 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 뇌신경 모사 연산 시스템의 개념도를 나타낸다.
도 2는 도 1에 도시된 시냅스 모방 소자의 회로도를 나타낸다.
도 3은 강화(potentiation) 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제1 실시 예를 나타낸다.
도 4는 강화 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제2 실시 예를 나타낸다.
도 5는 약화(depression) 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제1 실시 예를 나타낸다.
도 6은 약화 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제2 실시 예를 나타낸다.
도 7은 읽기(read) 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제1 실시 예를 나타낸다.
도 8은 읽기 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제2 실시 예를 나타낸다.
도 9는 강화 동작 및 약화 동작 동안 도 2에 도시된 커패시터의 양단 전압(Vc)의 변화를 나타내는 그래프이다.
도 10은 강화 동작 및 약화 동작 동안 도 2에 도시된 출력 전류의 변화(Iinf)를 나타내는 그래프이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 뇌신경 모사 연산 시스템의 개념도를 나타낸다.
도 1은 뇌신경모사 연산을 위해서 필요한 뉴런과 시냅스의 구성도로서 프리시냅틱 뉴런들에서 입력 데이터(전압)를 크로스바 형태로 이루어진 시냅스 셀 어레이로 보내고, 포스트시냅틱 뉴런들에서 상기 시냅스 셀 어레이에서 나온 전류 값 (I = GV, G는 각 시냅스의 전도도값을 배열의 형태로 저장)을 읽어들인다. 각 시냅스의 전도도 값의 업데이트 방식은 신경망 연산 방식에 따라 순전파/역전파에 의해 업데이트 값을 결정짓거나, 로컬하게 spike-timing dependent plasticity 학습 규칙 등을 사용할 수 있다.
도 1을 참조하면, 뇌신경 모사 연산 시스템(10)은 프리시냅틱 뉴런들(Presynaptic Neurons, Npre1 내지 Nprem), 포스트시냅틱 뉴런들(Postsynaptic Neurons, Npost1 내지 Npostn) 및 복수의 시냅스 모방 소자들(100)을 포함한다.
도 1에서는 편의상 프리시냅틱 뉴런들(Npre1 내지 Nprem)에 접속되는 라인들을 입력 라인(IL1 내지 ILm)으로 표현하고 포스트시냅틱 뉴런들(Npost1 내지 Npostn)에 접속되는 라인들을 출력 라인(OL1 내지 OLn)으로 표현하였으나, 이는 프리시냅틱 뉴런들(Npre1 내지 Nprem)에 접속되는 라인들과 포스트시냅틱 뉴런들(Npost1 내지 Npostn)에 접속되는 라인들을 구분하여 설명하기 위함일 뿐이다.
예를 들어, 입력 값이 프리시냅틱 뉴런들(Npre1 내지 Nprem)로부터 시냅스 모방 소자들(100)을 통해 포스트 포스트시냅틱 뉴런들(Npost1 내지 Npostn)로 전달되는 순전파(forward propagation) 동작 동안에는 입력 라인들(IL1 내지 ILm)이 입력 라인들로 동작하고 출력 라인들(OL1 내지 OLn)이 출력 라인들로 동작할 수 있다.
반대로, 입력 값이 포스트시냅틱 뉴런들(Npost1 내지 Npostn)로부터 시냅스 모방 소자들(100)을 통해 프리시냅틱 뉴런들(Npre1 내지 Nprem)로 전달되는 역전파(backward propagation) 동작 동안에는 입력 라인들(IL1 내지 ILm)이 출력 라인들로 동작하고 출력 라인들(OL1 내지 OLn)이 입력 라인들로 동작할 수 있다.
이하에서는 특별히 언급하지 않는 이상 순전파 동작을 가정하여 본 발명의 개념을 설명하는데, 본 발명의 개념은 이에 한정되지 않는다.
시냅스 모방 소자(100)는 프리시냅틱 뉴런들(Npre1 내지 Nprem) 중 어느 하나와 포스트시냅틱 뉴런들(Npost1 내지 Npostn) 중 어느 하나 사이에 구비된다.
도 1에서는 생략되었으나 시냅스 모방 소자(100)는 외부 회로(peripheral circuit, 미도시)로부터 제어 신호들을 공급받는다.
외부 회로(미도시)는 훈련(training)하는 동안 제어 신호들을 시냅스 모방 소자(100)로 반복적으로 출력하여 시냅스 모방 소자(100)의 가중치를 갱신한다. 다시 말해, 외부 회로(미도시)는 소정의 파형을 갖는 제어 신호들을 시냅스 모방 소자(100)로 출력함으로써 시냅스 모방 소자(100)를 강화(potentiation) 또는 약화(depression)시킬 수 있다.
외부 회로(미도시)는, 뇌신경 모사 연산 시스템(10)을 훈련할 때, 시냅스 모방 소자(100)에 포함된 커패시터(도 2의 C)의 양단 전압(Vc)를 목표 전압으로 설정하는데, 이때 강화 동작 또는 약화 동작을 충전되어 있는 전압과 목표 전압의 차이에 대응하는 횟수만큼 반복적으로 수행한다.
도 2는 도 1에 도시된 시냅스 모방 소자의 회로도를 나타낸다.
도 2를 참조하면, 시냅스 모방 소자(100)는 커패시터(C)와 복수의 트랜지스터들(M1 내지 M5)을 포함한다.
커패시터(C)는 제1 노드(N1)와 제2 노드(N2) 사이에 접속된다.
제1 트랜지스터(M1)는 제1 전원(Vdd)과 제1 노드(N1) 사이에 접속되며, 제1 제어 신호(S1)에 응답하여 스위칭된다.
제2 트랜지스터(M2)는 제2 전원(Vss)와 제2 노드(N2) 사이에 접속되며, 제2 제어 신호(S2)에 응답하여 스위칭된다.
제3 트랜지스터(M3)는 제1 전원(Vdd)과 제2 노드(N2) 사이에 접속되며, 제3 제어 신호(S3)에 응답하여 스위칭된다.
제4 트랜지스터(M4)는 제2 전원(Vss)과 제1 노드(N1) 사이에 접속되며, 제4 제어 신호(S4)에 응답하여 스위칭된다.
시냅스 모방 소자(100)에 대한 훈련이 종료된 후 시냅스 모방 소자(100)에 설정된 가중치가 유지되어야 학습 결과에 따른 추론(inference)이 가능할 수 있다. 상기 가중치는 커패시터(C)의 양단 전압(Vc)으로 저장되므로 제1 내지 제4 트랜지스터들(M1 내지 M4)은 오프전류(off-current)가 낮은 것, 즉, 오프 상태에서의 누설전류가 낮은 것이 바람직하다.
예를 들어, 제1 내지 제4 트랜지스터들(M1 내지 M4)은 비정질 InGaZnO FET, 다결정질 InGaZnO FET 또는 단결정질 InGaZnO FET으로 구현되거나 In, Ga, Zn, Sn, Al, Hf, Zr, Si 및 O 중에서 적어도 하나의 원소를 포함하는 금속 산화물 트랜지스터로 구현될 수 있다.
특히, C-축 성장결정 InGaZnO FET은 오프전류(off-current)가 약 10-24 [A/㎛]로 발표되었으며, 이는 금속 산화물 트랜지스터의 다수 캐리어 accumulation mode 동작 소자, 높은 band gap, valence band 부근 높은 sub-gap state, 높은 hole effective mass에 기인한 누설전류 성분들이 원천봉쇄되기 때문이다.
제5 트랜지스터(M5)는 제1 노드(N1)의 전압, 입력 라인(IL)의 전압 및 출력 라인(OL)의 전압에 의해 결정되는 전류(Iinf)를 출력 라인(OL)으로 공급한다.
역전파 동작시, 제5 트랜지스터(M5)는 제1 노드(N1)의 전압, 입력 라인(IL)의 전압 및 출력 라인(OL)의 전압에 의해 결정되는 전류(Iinf)를 입력 라인(IL)으로 공급한다.
제5 트랜지스터(M5)의 제1 단자는 프리시냅틱 뉴런들(Npre1 내지 Nprem) 중에서 어느 하나가 접속되는 입력 라인(IL)에 접속된다. 제5 트랜지스터(M5)의 제2 단자는 포스트시냅틱 뉴런들(Npost1 내지 Npostn) 중에서 어느 하나가 접속되는 출력 라인(OL)에 접속된다. 제5 트랜지스터(M5)의 게이트 단자는 제1 노드(N1)에 접속된다.
도 3은 강화(potentiation) 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제1 실시 예를 나타낸다.
도 3을 참조하면, 외부 회로(미도시)는 훈련 중 시냅스 모방 소자(100)의 가중치를 증가시키기 위해 결정된 횟수만큼 반복적으로 강화 동작을 수행한다.
외부 회로(미도시)는, 강화 동작을 수행할 때, 제1 제어 신호(S1)를 지속적으로 활성화하고, 제2 제어 신호(S2)를 주기적으로 제1 시간(T1) 동안 활성화할 수 있다.
이때, 외부 회로(미도시)는 제2 제어 신호(S2)를 활성화하기 전 소정의 시간 마진(margin)을 갖고 제1 제어 신호(S1)를 활성화할 수 있다.
제1 제어 신호(S1)와 제2 제어 신호(S2)가 동시에 활성화되는 제1 시간(T1) 동안 제1 트랜지스터(M1)와 제2 트랜지스터(M2)가 온(on)된다. 이에 따라, 제1 시간(T1) 동안 커패시터(C)의 양단 전압(Vc)이 승압된다.
제1 제어 신호(S1)의 전압은 제2 제어 신호(S2)의 전압보다 높게 설정될 수 있다.
예를 들어, 제2 제어 신호(S2)의 전압은 제2 트랜지스터(M2)이 포화 영역(saturation region)에서 동작할 수 있도록 제2 트랜지스터(M2)의 문턱 전압 이상으로 설정하고, 제1 제어 신호(S1)의 전압은 제1 트랜지스터(M1)의 소스 단자와 드레인 단자가 전압 손실 없이 접속될 수 있도록 제1 트랜지스터(M1)의 문턱 전압 보다 매우 크게, 다시 말해, 제2 제어 신호(S2)의 전압 보다 크게 설정할 수 있다.
도 4는 강화 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제2 실시 예를 나타낸다.
도 4를 참조하면, 외부 회로(미도시)는 훈련 중 시냅스 모방 소자(100)의 가중치를 증가시키기 위해 결정된 횟수만큼 반복적으로 강화 동작을 수행한다.
외부 회로(미도시)는, 강화 동작을 수행할 때, 단위 시간(POT) 중에서 제1 시간(T1) 동안 제1 제어 신호(S1)와 제2 제어 신호(S2)를 활성화시킨다.
이때, 외부 회로(미도시)는 제2 제어 신호(S2)를 활성화하기 전 소정의 시간 마진을 갖고 제1 제어 신호(S1)를 활성화할 수 있다.
제1 제어 신호(S1)와 제2 제어 신호(S2)가 활성화되는 제1 시간(T1) 동안 제1 트랜지스터(M1)와 제2 트랜지스터(M2)가 온(on)된다. 이에 따라, 제1 시간(T1) 동안 커패시터(C)의 양단 전압(Vc)이 승압된다.
제1 제어 신호(S1)의 전압은 제2 제어 신호(S2)의 전압보다 높게 설정될 수 있다.
예를 들어, 제2 제어 신호(S2)의 전압은 제2 트랜지스터(M2)이 포화 영역(saturation region)에서 동작할 수 있도록 제2 트랜지스터(M2)의 문턱 전압 이상으로 설정하고, 제1 제어 신호(S1)의 전압은 제1 트랜지스터(M1)의 소스 단자와 드레인 단자가 전압 손실 없이 접속될 수 있도록 제1 트랜지스터(M1)의 문턱 전압 보다 매우 크게, 다시 말해, 제2 제어 신호(S2)의 전압 보다 크게 설정할 수 있다.
제1 시간(T1)은 1 단위 시간(POT) 동안 전압(Vc)의 승압량이 일정하도록 일정하게 설정할 수 있다.
도 5는 약화(depression) 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제1 실시 예를 나타낸다.
도 5를 참조하면, 외부 회로(미도시)는 훈련 중 시냅스 모방 소자(100)의 가중치를 감소시키기 위해 결정된 횟수만큼 반복적으로 약화 동작을 수행한다.
외부 회로(미도시)는, 약화 동작을 수행할 때, 제3 제어 신호(S3)를 지속적으로 활성화하고, 제4 제어 신호(S4)를 주기적으로 제2 시간(T2) 동안 활성화할 수 있다.
이때, 외부 회로(미도시)는 제4 제어 신호(S4)를 활성화하기 전 소정의 시간 마진을 갖고 제3 제어 신호(S3)를 활성화할 수 있다.
제1 제어 신호(S1)와 제2 제어 신호(S2)가 동시에 활성화되는 제1 시간(T2) 동안 제3 트랜지스터(M3)와 제4 트랜지스터(M4)가 온(on)된다. 이에 따라, 제2 시간(T2) 동안 커패시터(C)의 양단 전압(Vc)이 감압된다.
제3 제어 신호(S3)의 전압은 제4 제어 신호(S4)의 전압보다 높게 설정될 수 있다.
예를 들어, 제4 제어 신호(S4)의 전압은 제4 트랜지스터(M4)이 포화 영역(saturation region)에서 동작할 수 있도록 제4 트랜지스터(M4)의 문턱 전압 이상으로 설정하고, 제3 제어 신호(S3)의 전압은 제3 트랜지스터(M3)의 소스 단자와 드레인 단자가 전압 손실 없이 접속될 수 있도록 제3 트랜지스터(M3)의 문턱 전압 보다 매우 크게, 다시 말해, 제2 제어 신호(S4)의 전압 보다 크게 설정할 수 있다.
도 6은 약화 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제2 실시 예를 나타낸다.
도 6을 참조하면, 외부 회로(미도시)는 훈련 중 시냅스 모방 소자(100)의 가중치를 감소시키기 위해 결정된 횟수만큼 반복적으로 약화 동작을 수행한다.
외부 회로(미도시)는, 약화 동작을 수행할 때, 단위 시간(DEP) 중에서 제2 시간(T2) 동안 제3 제어 신호(S3)와 제4 제어 신호(S4)를 활성화시킨다.
이때, 외부 회로(미도시)는 제3 제어 신호(S3)를 활성화하기 전 소정의 시간 마진을 갖고 제4 제어 신호(S4)를 활성화할 수 있다.
제3 제어 신호(S3)와 제4 제어 신호(S4)가 활성화되는 제2 시간(T2) 동안 제3 트랜지스터(M3)와 제4 트랜지스터(M4)가 온(on)된다. 이에 따라, 제2 시간(T2) 동안 커패시터(C)의 양단 전압(Vc)이 감압된다.
제3 제어 신호(S3)의 전압은 제4 제어 신호(S4)의 전압보다 높게 설정될 수 있다.
예를 들어, 제4 제어 신호(S4)의 전압은 제4 트랜지스터(M4)이 포화 영역(saturation region)에서 동작할 수 있도록 제4 트랜지스터(M4)의 문턱 전압 이상으로 설정하고, 제3 제어 신호(S3)의 전압은 제3 트랜지스터(M3)의 소스 단자와 드레인 단자가 전압 손실 없이 접속될 수 있도록 제3 트랜지스터(M3)의 문턱 전압 보다 매우 크게, 다시 말해, 제2 제어 신호(S4)의 전압 보다 크게 설정할 수 있다.
제2 시간(T2)은 1 단위 시간(DEP) 동안 전압(Vc)의 감압량이 일정하도록 일정하게 설정될 수 있다.
실시 예에 따라, 제1 시간(T1)의 길이와 제2 시간(T2)의 길이는 강화 동작 동안 단위 승압량과 약화 동작 동안 단위 감압량이 동일하도록 설정될 수 있다.
실시 예에 따라, 강화 동작에서의 단위 시간(POT)의 길이와 약화 동작에서의 단위 시간(DEP)의 길이는 동일하게 설정될 수 있다.
도 7은 읽기(read) 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제1 실시 예를 나타낸다.
도 7을 참조하면, 외부 회로(미도시)는 시냅스 모방 소자(100)를 리드하기 위해 제3 시간(T3) 동안 제2 제어 신호(S2)를 활성화한다.
제2 제어 신호(S2)가 활성화되면, 제1 노드(N1)의 전압, 입력 라인(IL)의 전압 및 출력 라인(OL)의 전압에 의해 결정되는 전류(Iinf)가 출력 라인(OL)으로 공급된다.
제2 제어 신호(S2)가 활성화될 때, 제1 노드(N1)의 전압은 커패시터(C)의 양단 전압(Vc)에 대응된다.
전류(Iinf)의 크기는 커패시터(C)의 양단 전압(Vc)에 의해 조절되므로 커패시터(C)의 양단 전압(Vc)이 시냅스 모방 소자(100)의 가중치로서 역할할 수 있다.
도 8은 읽기 동작 동안 도 2에 도시된 시냅스 모방 소자로 공급되는 제어신호들의 파형도의 제2 실시 예를 나타낸다.
도 8을 참조하면, 외부 회로(미도시)는 시냅스 모방 소자(100)를 리드하기 위해 제3 시간(T3) 동안 제3 제어 신호(S3)를 활성화한다.
제3 제어 신호(S3)가 활성화되면, 입력 라인(IL)의 전압과 제1 노드(N1) 간의 전압차에 대응하는 전류(Iinf)가 출력 라인(OL)으로 공급된다.
제3 제어 신호(S3)가 활성화될 때, 제1 노드(N1)의 전압은 제1 전원(Vdd)과 커패시터(C)의 양단 전압(Vc)의 합에 대응된다.
전류(Iinf)의 크기는 제1 전원(Vdd)과 커패시터(C)의 양단 전압(Vc)의 합에 의해 조절되므로 커패시터(C)의 양단 전압(Vc)이 시냅스 모방 소자(100)의 가중치로서 역할할 수 있다.
도 9는은 강화 동작 및 약화 동작 동안 도 2에 도시된 커패시터의 양단 전압(Vc)의 변화를 나타내는 그래프이며, 도 10은 강화 동작 및 약화 동작 동안 도 2에 도시된 출력 전류의 변화(Iinf)를 나타내는 그래프이다.
도 9는 시냅스 모방 소자(100)에 대해 약 0.05 ㎳ 동안 약 1,000번의 강화 동작을 수행하고 이후 약 0.05 ㎳ 동안 약 1,000번의 약화 동작을 수행할 때 시냅스 모방 소자(100)에 포함된 커패시터(C)의 양단 전압(Vc)의 변화를 시뮬레이션한 결과를 나타낸다.
도 9에 도시된 바와 같이, 단위 강화 동작 동안 3 ㎷ 만큼 양단 전압(Vc)이 승압되었다. 도 9에서 상세하게 도시되지 않았으나, 단위 약화 동작 동안에도 3 ㎷ 만큼 양단 전압(Vc)이 감압되었다
도 10은 시냅스 모방 소자(100)에 대해 약 0.05 ㎳ 동안 약 1,000번의 강화 동작을 수행하고 이후 약 0.05 ㎳ 동안 약 1,000번의 약화 동작을 수행할 때 시냅스 모방 소자(100)로부터 출력 라인(OL)을 통해 출력되는 전류(Iinf)의 변화를 시뮬레이션한 결과를 나타낸다.
도 9 및 도 10에 도시된 바와 같이, 본 발명의 실시 예에 따른 시냅스 모방 조사(100)는 강화 동작 또는 약화 동작 동안 선형적으로 가중치가 변화하며 단위 강화 동작에서의 전압/전류 변화량과 단위 약화 동작에서의 전압/전류 변화량이 동일하여 대칭적이다.
본 발명의 실시 예에 따른 시냅스 모방 소자는 대칭적이고 선형적인 훈련 특성을 구현할 수 있어 소프트웨어 수준의 정확도를 가지면서 훈련에 필요한 에너지 소모와 소요 시간을 감소시킬 수 있는 하드웨어 기반 신경망 훈련을 가능하게 한다.
또한, 본 발명의 실시 예에 따른 시냅스 모방 소자는 저온 증착으로 3차원 집적 공정이 용이한 산화물 반도체로 구성되어 있어 셀 회로 면적을 감소시키기 위해 3차원 집적 시냅스 셀로 제조될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
10; 뇌신경 모사 연산 시스템
Npre1 내지 Nprem; 프리시냅틱 뉴런들
Npost1 내지 Mpostn; 포스트시냅틱 뉴런들
100; 시냅스 모방 소자
M1 내지 M5; 트랜지스터들

Claims (11)

  1. 뇌신경 모사 연산 시스템을 구성하는, 프리시냅틱 뉴런들 중 어느 하나와 포스트시냅틱 뉴런들 중 어느 하나 사이에 구비되는 시냅스 모방 소자로서,
    제1 노드와 제2 노드 사이에 접속되는 커패시터;
    제1 전원과 상기 제1 노드 사이에 접속되며, 제1 제어 신호에 응답하여 상기 제1 전원과 상기 제1 노드를 연결하는 제1 트랜지스터;
    제2 전원과 상기 제2 노드 사이에 접속되며, 제2 제어 신호에 응답하여 상기 제2 전원과 상기 제2 노드를 연결하는 제2 트랜지스터;
    상기 제1 전원과 상기 제2 노드 사이에 접속되며, 제3 제어 신호에 응답하여 상기 제1 전원과 상기 제2 노드를 연결하는 제3 트랜지스터;
    상기 제2 전원과 상기 제1 노드 사이에 접속되며, 제4 제어 신호에 응답하여 상기 제2 전원과 상기 제1 노드를 연결하는 제4 트랜지스터; 및
    상기 제1 노드, 상기 어느 하나의 프리시냅틱 뉴런이 접속되는 입력 라인, 및 상기 어느 하나의 포스트시냅틱 뉴런이 접속되는 출력 라인에 접속되는 제5 트랜지스터;를 포함하되,
    상기 제5 트랜지스터는 게이트가 상기 제1 노드에 접속되어 상기 제1 노드의 전압, 상기 입력 라인의 전압 및 상기 출력 라인의 전압에 의해 결정되는 전류를 상기 출력 라인으로 공급하는 시냅스 모방 소자.
  2. 제1항에 있어서,
    상기 시냅스 모방 소자를 훈련(training)할 때,
    상기 커패시터의 양단 전압을 목표 전압으로 설정하기 위해 강화(potentiation) 동작 또는 약화(depression) 동작이 반복적으로 수행되는 시냅스 모방 소자.
  3. 제2항에 있어서,
    상기 강화 동작 동안,
    상기 제1 제어 신호가 활성화되며,
    상기 제2 제어 신호가 주기적으로 활성화되는 시냅스 모방 소자.
  4. 제2항에 있어서,
    상기 강화 동작 동안,
    소정의 단위 시간 중 제1 시간 동안 상기 제1 제어 신호와 상기 제2 제어 신호가 활성화되는 시냅스 모방 소자.
  5. 제3항에 있어서,
    상기 제1 제어 신호의 전압은 상기 제2 제어 신호의 전압보다 높은 시냅스 모방 소자.
  6. 제2항에 있어서,
    상기 약화 동작 동안,
    상기 제3 제어 신호가 활성화되며,
    상기 제4 제어 신호가 주기적으로 활성화되는 시냅스 모방 소자.
  7. 제2항에 있어서,
    상기 약화 동작 동안,
    소정의 단위 시간 중 제2 시간 동안 상기 제3 제어 신호와 상기 제4 제어 신호가 활성화되는 시냅스 모방 소자.
  8. 제2항에 있어서,
    상기 시냅스 모방 소자를 리드(read)할 때,
    상기 제2 제어 신호가 활성화되는 시냅스 모방 소자.
  9. 제2항에 있어서,
    상기 시냅스 모방 소자를 리드(read)할 때,
    상기 제3 제어 신호가 활성화되는 시냅스 모방 소자.
  10. 제1항에 있어서,
    상기 제1 트랜지스터, 상기 제2 트랜지스터, 상기 제3 트랜지스터 및 상기 제4 트랜지스터는 비정질 InGaZnO FET(Field Effect Transistor), 다결정질 InGaZnO FET, 단결정질 InGaZnO FET 또는 C-축 성장결정 InGaZnO(C-axis aligned InGaZnO) FET인 시냅스 모방 소자.
  11. 제1항에 있어서,
    상기 제1 트랜지스터, 상기 제2 트랜지스터, 상기 제3 트랜지스터 및 상기 제4 트랜지스터는 In, Ga, Zn, Sn, Al, Hf, Zr, Si 및 O 중에서 적어도 하나의 원소를 포함하는 금속 산화물 트랜지스터인 시냅스 모방 소자.
KR1020200021308A 2019-05-24 2020-02-20 신경망 훈련이 가능한 시냅스 모방 소자 Active KR102490774B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/610,027 US20220207340A1 (en) 2019-05-24 2020-05-21 Synapse-mimetic device capable of neural network training
PCT/KR2020/006613 WO2020242121A1 (ko) 2019-05-24 2020-05-21 신경망 훈련이 가능한 시냅스 모방 소자

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190061270 2019-05-24
KR20190061270 2019-05-24

Publications (2)

Publication Number Publication Date
KR20200135148A KR20200135148A (ko) 2020-12-02
KR102490774B1 true KR102490774B1 (ko) 2023-01-20

Family

ID=73791926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021308A Active KR102490774B1 (ko) 2019-05-24 2020-02-20 신경망 훈련이 가능한 시냅스 모방 소자

Country Status (1)

Country Link
KR (1) KR102490774B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024219597A1 (ko) * 2023-04-18 2024-10-24 서울대학교 산학협력단 심층 신경망 훈련용 전하 저장형 시냅스 장치 및 이의 구동 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102544503B1 (ko) 2021-08-06 2023-06-16 고려대학교 산학협력단 아날로그 캐패시터 메모리 회로의 오차 보상 회로
WO2024158266A1 (ko) * 2023-01-26 2024-08-02 서울대학교 산학협력단 시냅스 회로와 그 동작 방법 및 시냅스 회로를 포함하는 뉴로모픽 소자

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120084241A1 (en) 2010-09-30 2012-04-05 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313796B1 (ko) * 2017-01-25 2021-10-20 한국전자통신연구원 뉴로모픽 연산 장치
US11461620B2 (en) * 2017-07-05 2022-10-04 Samsung Electronics Co., Ltd. Multi-bit, SoC-compatible neuromorphic weight cell using ferroelectric FETs
KR102026332B1 (ko) * 2017-08-08 2019-09-27 서울대학교 산학협력단 뉴런 모방 회로

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120084241A1 (en) 2010-09-30 2012-04-05 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024219597A1 (ko) * 2023-04-18 2024-10-24 서울대학교 산학협력단 심층 신경망 훈련용 전하 저장형 시냅스 장치 및 이의 구동 방법

Also Published As

Publication number Publication date
KR20200135148A (ko) 2020-12-02

Similar Documents

Publication Publication Date Title
Rajendran et al. Low-power neuromorphic hardware for signal processing applications: A review of architectural and system-level design approaches
CN112005252B (zh) 具有单独权重更新和干扰电路的电阻式处理单元架构
US11531871B2 (en) Stacked neuromorphic devices and neuromorphic computing systems
KR102490774B1 (ko) 신경망 훈련이 가능한 시냅스 모방 소자
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
US20160004960A1 (en) Unit having an artificial neuron and a memristor
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
US11636326B2 (en) System, method, and computer device for transistor-based neural networks
De Salvo Brain-inspired technologies: Towards chips that think?
Seo et al. Digital CMOS neuromorphic processor design featuring unsupervised online learning
US20250005341A1 (en) Computing apparatus based on spiking neural network and operating method of computing apparatus
Bohnstingl et al. Biologically-inspired training of spiking recurrent neural networks with neuromorphic hardware
Nowshin et al. Merrc: a memristor-enabled reconfigurable low-power reservoir computing architecture at the edge
CN108154226B (zh) 一种使用模拟计算的神经网络芯片
US20220207340A1 (en) Synapse-mimetic device capable of neural network training
Cellon et al. Velocity-controlled oscillators for hippocampal navigation on spiking neuromorphic hardware
Wei et al. Neuromorphic computing systems with emerging devices
Pachideh et al. Towards Hardware-Software Self-Adaptive Acceleration of Spiking Neural Networks on Reconfigurable Digital Hardware
KR102831249B1 (ko) 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치
CN115115041B (zh) 一种改进的基于铁电晶体管的电子突触电路及神经网络电路
CN115271052B (zh) 一种基于铁电场效应晶体管的电子突触电路及神经网络电路
Li et al. Novel Knowledge Distillation to Improve Training Accuracy of Spin-based SNN.
Indiveri et al. System-level integration in neuromorphic co-processors
KR102832728B1 (ko) 뉴로모픽 패키지 장치 및 뉴로모픽 컴퓨팅 시스템
Kumar et al. Low-Power High-Speed Neuromorphic Integrated Circuits

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200220

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220317

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221017

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230117

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230117

End annual number: 3

Start annual number: 1

PG1601 Publication of registration