KR102511526B1 - 하드웨어 기반 인공 신경망 제공 장치 - Google Patents

하드웨어 기반 인공 신경망 제공 장치 Download PDF

Info

Publication number
KR102511526B1
KR102511526B1 KR1020210154893A KR20210154893A KR102511526B1 KR 102511526 B1 KR102511526 B1 KR 102511526B1 KR 1020210154893 A KR1020210154893 A KR 1020210154893A KR 20210154893 A KR20210154893 A KR 20210154893A KR 102511526 B1 KR102511526 B1 KR 102511526B1
Authority
KR
South Korea
Prior art keywords
bit line
synaptic
array
word line
switching elements
Prior art date
Application number
KR1020210154893A
Other languages
English (en)
Inventor
박병국
황성민
유준수
김형진
Original Assignee
서울대학교산학협력단
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 인하대학교 산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020210154893A priority Critical patent/KR102511526B1/ko
Priority to PCT/KR2022/010086 priority patent/WO2023085545A1/ko
Priority to US17/953,909 priority patent/US20230147403A1/en
Application granted granted Critical
Publication of KR102511526B1 publication Critical patent/KR102511526B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/04—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body
    • H01L27/10—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a repetitive configuration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/04—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body
    • H01L27/10—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a repetitive configuration
    • H01L27/101—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers the substrate being a semiconductor body including a plurality of individual components in a repetitive configuration including resistors or capacitors only
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • H10B63/20—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices comprising selection components having two electrodes, e.g. diodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Logic Circuits (AREA)

Abstract

본 발명의 일 측면에 따른 하드웨어 기반 인공 신경망 제공 장치는, 복수의 커패시터 기반 시냅스 셀을 포함하며, 각 시냅스 셀은 기록되는 가중치에 따라 정전용량이 가변하는 것인, 시냅스 어레이; 상기 시냅스 어레이의 워드라인에 각각 접속되는 복수의 스위칭 소자를 포함하는 워드라인 선택부; 상기 시냅스 어레이의 비트라인의 일단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 충전부; 및 상기 시냅스 어레이의 비트라인의 타단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 방전부를 포함한다.

Description

하드웨어 기반 인공 신경망 제공 장치{HARDWARE-BASED ARTIFICIAL NEURAL NETWORK DEVICE}
본 발명은 뉴로모픽 장치 또는 하드웨어 기반 인공 신경망 제공 장치에 관한 것이다.
최근 인공 신경망(Artificial neural network)에 기반한 컴퓨팅 기술이 발전함과 더불어, 하드웨어 기반 뉴럴 네트워크에 대한 연구 개발도 활발하게 이루어지고 있다.
종래의 컴퓨팅 장치는 CPU와 메모리가 직렬 접속된 구조를 갖는 폰 노이만 컴퓨터 아키텍처를 사용하는데, 이에 소프트웨어 기반 인공 신경망을 적용할 경우 학습과 추론 과정에서 대량의 에너지를 소모하는 문제를 가지고 있다.
이에 대한 대안으로서 최근 활발히 연구되고 있는 뉴로모픽(neuromorphic) 장치는 종래 컴퓨팅 아키텍처의 문제점을 개선할 수 있으며, 특히 인공 신경망의 성능을 향상시키면서도 전력 소모를 최소화할 수 있는 것으로 알려져있다.
뉴로모픽 장치는 시냅스를 모사하는 시냅스 소자를 포함하는데, 시냅스 소자의 전도도에 기반하여 신호의 가중치를 나타내고 있으며, 최근에는 플래시 메모리나 멤리스터 등과 같은 비휘발성 메모리 소자가 전도성 시냅스 소자(conductive synaptic device)로서 연구되고 있다.
다만, 이러한 전도성 시냅스 소자를 사용하더라도, 옴의 법칙과 키르히호프 법칙을 통한 벡터 행렬곱 연산(vector-matrix multiplication)을 수행하면, 대량의 전력 소모가 일어날 것으로 예상된다.
본 발명에서는 이러한 문제점을 해소하기 위해, 커패시터 기반 시냅스 어레이를 이용하는 새로운 구조의 인공 신경망 제공 장치 또는 뉴로모픽 장치를 제공하고자 한다.
대한민국 공개특허 제10-2019-0051766호(발명의 명칭: 시냅스 가중치 학습을 위한 뉴런 회로, 시스템 및 방법)
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 커패시터 기반 시냅스 어레이를 통해 행렬 연산을 수행할 수 있는 인공 신경망 제공 장치를 제공하는데 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 하드웨어 기반 인공 신경망 제공 장치는 복수의 커패시터 기반 시냅스 셀을 포함하며, 각 시냅스 셀은 기록되는 가중치에 따라 정전용량이 가변하는 것인, 시냅스 어레이; 상기 시냅스 어레이의 워드라인에 각각 접속되는 복수의 스위칭 소자를 포함하는 워드라인 선택부; 상기 시냅스 어레이의 비트라인의 일단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 충전부; 및 상기 시냅스 어레이의 비트라인의 타단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 방전부를 포함한다.
또한, 본 발명의 다른 측면에 따른 행렬 연산 장치는, 복수의 커패시터 기반 시냅스 셀을 포함하며, 각 시냅스 셀은 기록되는 가중치에 따라 정전용량이 가변하는 것인, 시냅스 어레이; 상기 시냅스 어레이의 워드라인에 각각 접속되는 복수의 스위칭 소자를 포함하는 워드라인 선택부; 상기 시냅스 어레이의 비트라인의 일단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 충전부; 상기 시냅스 어레이의 비트라인의 타단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 방전부 및 상기 시냅스 어레이, 워드라인 선택부, 비트라인 충전부 및 비트라인 방전부의 동작을 제어하는 제어부를 포함한다.
전술한 본원의 과제 해결 수단에 의하면, 커패시터 기반 시냅스 어레이를 사용하므로, 커패시터 자체의 높은 저항으로 인해 PRAM, RRAM과 같은 멤리스터 기반의 다른 시냅스 소자에 비해 누설(sneak) 전류 발생을 최소화할 수 있다. 이에 따라, 벡터/행렬곱 연산에서의 오차를 크게 줄일 수 있으며, 기존의 컴퓨팅 시스템에서 뉴럴네트워크를 동작시키는 것에 비해 에너지 소모를 크게 감소 시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 회로 구성을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 동작 방법을 설명하기 위한 타이밍도이다
도 4는 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 동작 모드를 설명하기 위한 회로도이다.
도 5는 본 발명의 일 실시예에 따른 커패시터 기반 시냅스 셀의 어레이 구조를 도시한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 커패시터 기반 시냅스 셀을 이용한 소자의 특성을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 동작 방법을 도시한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본 발명의 뉴로모픽 장치는 반도체 공정을 이용하여 하드웨어적으로 사람의 뇌를 모사하도록 제조된 것으로, 뇌의 시냅스에 해당하는 시냅스 소자, 뉴런에 해당하는 뉴런 회로, 그리고 각종 주변회로를 포함하는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 구성을 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 회로 구성을 도시한 것이다.
도시된 바와 같이 하드웨어 기반 인공 신경망 제공 장치(100)는 시냅스 어레이(110), 워드라인 선택부(120), 비트라인 충전부(130), 비트라인 방전부(140) 및 제어부(150)를 포함한다. 또한, 시냅스 전 뉴런회로(200)와 시냅스 후 뉴런회로(210)르 더 포함할 수 있다.
시냅스 어레이(110)는 뇌의 시냅스와 동일한 기능을 발휘하도록 구현된 것으로, 복수의 커패시터 기반 시냅스 셀을 포함하는 것을 특징으로 한다. 시냅스 어레이(110)는 크로스 포인트 어레이 구조를 가지며, 각 교차점에 커패시터 기반 시냅스 셀이 위치한다. 예를 들면, 시냅스 어레이(110)는 시냅시 어레이(110)에 결합되는 시냅스 전 뉴런 회로의 개수와 시냅스 후 뉴런 회로의 개수의 곱에 해당하는 시냅스 셀을 포함할 수 있다.
이때, 커패시터 기반 시냅스 셀은 기록되는 가중치에 따라 정전용량이 가변하는 것을 특징으로 한다. 이와 같은, 커패시터 기반 시냅스 셀은 정전용량(capacitance)의 변화를 비휘발성 메모리처럼 조절할 수 있다면 종류에 상관없이 활용할 수 있다. 여기서, 가중치라 함은 인공 신경망 모형을 나타내는 퍼셉트론 구조 등에서 입력 신호에 곱해지는 가중치(weight)를 의미하며, 추가적으로 입력이 1인 특별한 가중치인 바이어스(bias)를 포함하는 개념으로서 정의한다.
예를 들면, 본 발명의 시냅스 셀은 도 5에 도시된 바와 같은 ONO(Oxide-Nitride-Oxide) 스택 구조를 갖는 MOS 커패시터의 형태로 구현될 수 있다. MOS 커패시터는 정전용량의 조절을 위해 SiN, HfO2 등 다양한 종류의 물질을 이용하여 구성한 전하저장층을 포함한다. 그리고, MOS 커패시터의 게이트에 인가되는 전압의 극성에 따라 전하저장층에 저장되는 전하의 종류가 달라진다. 전하저장층에 전자가 들어가면 MOS 커패시터의 문턱전압이 높아지고, 반대로 정공이 들어가면 문턱전압이 낮아진다. 그리고 들어가는 전하의 양에 따라 문턱전압이 이동하는 정도가 달라진다.
워드라인 선택부(120)는 시냅스 어레이(110)의 워드라인에 각각 접속되는 복수의 스위칭 소자를 포함한다. 각 스위칭 소자의 일단은 접지되고, 타단은 시냅스 어레이(100)의 워드라인에 접속된다. 그리고, 워드라인 선택부(120)에 포함되는 스위칭 소자의 게이트에는 시냅스 전 뉴런 회로(200)의 출력이 인가된다. 즉, 복수의 시냅스 전 뉴런 회로(200)가 제공되고, 시냅스 전 뉴런 회로(200)에서 출력되는 스파이크 신호가 각 스위칭 소자의 게이트에 전달된다. 따라서, 시냅스 전 뉴런 회로(200)의 출력에 의해 각 스위칭 소자가 턴온되고, 이에 의해 워드라인의 접지 여부가 결정된다. 시냅스 전 뉴런 회로(200)의 출력이 없는 경우, 스위칭 소자는 턴오프 상태를 유지하고, 이에 접속된 워드라인은 플로팅 상태를 갖게 된다.
비트라인 충전부(130)는 시냅스 어레이(110)의 비트라인의 일단에 각각 접속되는 복수의 스위칭 소자를 포함한다. 각 스위칭 소자의 일단은 하이레벨 전원(Vc)에 접속되고, 각 스위칭 소자의 타단은 비트라인의 일단에 각각 접속된다. 비트라인 충전부(130)에 포함된 스위칭 소자가 활성화됨에 따라, 하이레벨 전압이 각 스위칭 소자를 경유하여, 시냅스 셀에 전달되고, 이에 의해 시냅스 셀에 전하 충전 동작이 수행된다. 이때, 시냅스 셀의 정전용량은 가중치에 의해 조절되므로, 시냅스 셀에 충전되는 전하량은 가중치에 의해 조절될 수 있다.
비트라인 방전부(140)는 시냅스 어레이(110)의 비트라인의 타단에 각각 접속되는 복수의 스위칭 소자를 포함한다. 각 스위칭 소자의 일단은 로우레벨 전원(Vd)에 접속되고, 각 스위칭 소자의 타단은 비트라인의 타단에 각각 접속된다. 비트라인 방전부(140)에 포함된 스위칭 소자가 활성화됨에 따라, 로우레벨 전원이 각 스위칭 소자를 경유하여, 시냅스 셀과 접속되고, 이에 의해 시냅스 셀에 충전된 전하의 방전 동작이 수행된다. 이때, 시냅스 셀의 정전용량은 가중치에 의해 조절되므로, 시냅스 셀에 충전되는 전하량은 가중치에 의해 조절될 수 있다.
한편, 비트라인 충전부(130)에 포함되는 스위칭 소자와 비트라인 방전부(140)에 포함되는 스위칭 소자는 서로 다른 극성으로 제공될 수 있다. 예를 들면, 비트라인 충전부(130)에 포함되는 스위칭 소자는 PMOS 소자이고, 비트라인 방전부(140)에 포함되는 스위칭 소자는 NMOS 소자의 형태로 구현될 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
제어부(150)는 워드라인 선택부(120), 비트라인 충전부(130), 비트라인 방전부(140)의 동작을 각각 조절하며, 이를 통해 시냅스 어레이(110)를 이용한 행렬 연산을 구현한다. 이에 대해서는 도 3을 참고하여 별도로 설명하기로 한다.
또한, 제어부(150)는 시냅스 어레이(110)에 대하여 가중치를 프로그래밍하기 위한 동작, 저장된 가중치를 독출하는 동작을 수행할 수 있다. 예를 들면, 제어부(150)는 시냅스 어레이(110)의 주변 회로에 해당하는 각종 전압 공급 모듈(미도시 됨)을 통해 ISPP (Incremental Step Pulse Program) 또는 ISPE(Incremental Step Pulse Erase) 등의 동작을 수행하여, 시냅스 어레이(110)의 가중치를 조절할 수 있으며, 이에 의해 각 시냅스 셀의 정전용량이 조절된다.
시냅스 전 뉴런 회로(200)와 시냅스 후 뉴런 회로(210)의 구성은 통상의 회로 구성을 사용한다. 예를 들면, 직전의 시냅스 등을 통해 전달되는 신호가 적분되는 신호적분부와, 적분된 신호가 문턱값 이상인지 여부를 비교하는 비교기등을 포함하며, 그 비교 결과 문턱값 이상이 되면, 발화 동작에 따라 스파이크 신호를 출력하도록 구성된다.
도 3은 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 동작 방법을 설명하기 위한 타이밍도이고, 도 4는 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 동작 모드를 설명하기 위한 회로도이다.
제어부(150)는 워드라인 선택부(120)를 구동하여, 시냅스 어레이(110)에 접속된 시냅스 전 뉴런의 출력에 의해 선택된 워드라인들을 제 1 시간동안 접지시키는 동작을 수행한다. 이에 따라, 스파이크 신호를 출력한 시냅스 전 뉴런 회로(210)와 연계된 워드라인에 접속되어 있는 시냅스 셀들만 접지 상태를 갖게되고, 나머지 시냅스 셀들은 플로팅 상태를 갖는다. 이와 같이, 하나 이상의 워드라인이 선택되면, 비트라인의 관점에서는 복수의 커패시터가 병렬 접속된 상태를 갖게 된다. 선택되지 않은 워드라인에 접속된 시냅스 셀들은 플로팅 상태를 갖게 되므로, 이후 비트라인 충전 또는 방전 동향에 영향을 주지 않는다.
다음으로, 제어부(150)는 비트라인 충전부(130)를 구동하여, 선택된 워드라인에 접속된 시냅스 셀의 커패시터를 제 2 시간 동안 충전시키는 동작을 수행한다. 이를 위해, 비트라인 충전부(130)의 스위칭 소자를 턴온 시키는 스위칭 신호(Vup)가 제 2 시간 동안 인가된다.
다음으로, 제어부(150)는 비트라인 방전부(140)를 구동하여, 선택된 워드라인에 접속된 시냅스 셀의 커패시터를 제 3 시간 동안 방전시키는 동작을 수행한다. 이를 위해, 비트라인 방전부(140)의 스위칭 소자를 턴온 시키는 스위칭 신호(Vdown)가 제 3 시간 동안 인가된다.
이때, 도시된 바와 같이, 제 1 시간동안 충전시키는 동작과 방전시키는 동작이 순차적으로 일어나도록 한다.
이와 같은 제어부(150)의 동작에 따라, 시냅스 어레이(110)의 비트라인 단위로 방전되는 전하량은 시냅스 전 뉴런의 출력이 각 시냅스 셀의 가중치와 행렬 곱된 값과 실질적으로 같게 된다.
비트라인 충전부(130)와 비트라인 방전부(140)의 동작에 따라 비트라인의 전압은 Vc 에서 Vd 로 변화하며, j 번째 비트라인의 전하 변화량(
Figure 112021130257421-pat00001
)은 비트라인 전류 Ij(t)의 형태로 검출될 수 있고, 이는 수학식 1의 형태로 표현될 수 있다. 이때, 비트라인 전류는 시냅스 후 뉴런 회로(210)로 전달되며, 이는 결과적으로 시냅스 전 뉴런의 출력이 각 시냅스 셀의 가중치와 행렬 곱된 값을 나타내게 된다.
[수학식 1]
Figure 112021130257421-pat00002
[수학식 2]
Figure 112021130257421-pat00003
수학식 2에 정의된
Figure 112021130257421-pat00004
는 시냅스 전 뉴런 회로(200)를 통해 전달되는 스파이크 신호로서, 시냅스 어레이(110)의 입장에서는 입력 신호를 의미한다. 이때, i는 각 워드라인의 식별번호를 나타낸다.
그리고,
Figure 112021130257421-pat00005
는 커패시터 기반 시냅스 셀의 정전 용량을 각각 나타내는데, 각 시냅스 셀의 정전용량은 앞서 설명한 바와 같이, 가중치에 따라 가변하는 것이다.
이와 같이, 시냅스 전 뉴런회로(200)에서 전달되는 입력신호의 유무와 각 시냅스의 가중치에 따라 조절되는 정전용량에 의해, 비트라인의 출력 전류가 결정되므로, 각 시냅스의 가중치와 입력 신호의 곱으로 산출되는 벡터 행렬 곱 연산을 회로적으로 구현할 수 있게 된다.
도 6은 본 발명의 일 실시예에 따른 커패시터 기반 시냅스 셀을 이용한 소자의 특성을 설명하기 위한 도면이다.
(a) 도면은 커패시터 기반 시냅스 셀의 전압과 정전용량의 관계를 나타내는 그래프이다. 전압과 정전용량의 관계는 통상의 커패시터와 유사한 형태를 갖는데, 시냅스 셀에 인가되는 프로그램 전압의 상승에 따라 시냅스 셀의 가중치가 증가하면 그래프가 오른쪽을 쉬프트하는 것을 확인할 수 있다. 이를 다르게 표현하면, (b)와 같이, 커패시터에 충전되는 전하량과 전압의 관계를 도시할 수 있는데, 가중치가 증가함에 따라, 충전(Vc)과 방전(Vd)에 따른 전하량의 차이가 상승하는 관계임을 확인할 수 있다. 이는 곧 앞서 설명한, 시냅스 셀의 가중치에 따라 조절되는 정전 용량에 비례하여, 각 커패시터에 충전되는 전하량이 증가하는 것을 실험적으로 증명한 데이터에 해당한다.
(c)는 시간에 따라 각 비트라인에 흐르는 전류의 양을 나타내는 것으로, 각 시냅스 셀에 기록되는 가중치가 증가함에 따라 방전전류의 양이 증가함을 확인할 수 있다.
(d)는 가중치 합을 x축으로, BL에서 방전되는 전류를 적분한 결과(ΔQ)를 y축으로 나타낸 것으로, 두 결과가 서로 매우 적은 오차를 가지고 일치하는 것을 확인하였다.
도 7은 본 발명의 일 실시예에 따른 하드웨어 기반 인공 신경망 제공 장치의 동작 방법을 도시한 순서도이다.
먼저, 시냅스 전 뉴런 회로를 통해 전달되는 입력 신호에 따라 선택된 워드라인들을 제 1 시간 동안 접지시킨다(S710). 이에 의해, 입력 신호가 인가되는 워드라인에 접속된 시냅스 셀들의 일단이 접지되어, 이후 비트라인 충전부(130)에 의한 전하 충전이 가능하게 된다.
다음으로, 선택된 시냅스 셀들의 일단이 접지 상태를 유지하는 동안, 비트라인 충전부(130)를 활성화시켜, 선택된 시냅스 셀들의 커패시터를 하이레벨로 충전시킨다(S720). 이때, 비트라인 충전부(130)에 포함된 스위칭 소자를 병렬적으로 동시에 활성화시켜, 빠른 시간에 충전 동작이 일어나도록 한다.
다음으로, 선택된 시냅스 셀들의 일단이 접지 상태를 유지하는 동안, 비트라인 방전부(140)를 활성화시켜, 선택된 시냅스 셀들의 커패시터에 충전된 전하를 방전시킨다(S730). 이에 따라, 입력 신호와 가중치의 곱에 해당하는 비트라인 전류가 출력되며, 이는 시냅스 후 뉴런회로로 전달된다.
한편, 앞선 단계(S710)의 수행전에, 각 시냅스 셀의 가중치를 설정하는 프로그램 동작 등이 선행될 수 있으며, 이에 의해, 각 시냅스 셀의 커패시터의 정전 용량이 결정된다. 각 시냅스 셀의 커패시터의 정전 용량에 의해, 비트라인 충전부(130)와 비트라인 방전부(140)의 동작에 의한 비트라인 전류가 결정된다.
한편, 본 발명에 따른 하드웨어 기반 인공 신경망 제공 장치는 뉴로모픽 장치로서 지칭될 수 있고, 인공 신경망에서의 벡터 행렬곱 연산을 수행하는 행렬 연산 장치로 응용될 수 있다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 뉴로 모픽 장치
110: 시냅스 어레이
120: 워드라인 선택부
130: 비트라인 충전부
140: 비트라인 방전부
150: 제어부
200: 시냅스 전 뉴런 회로
210: 시냅스 후 뉴런 회로

Claims (12)

  1. 하드웨어 기반 인공 신경망 제공 장치에 있어서,
    복수의 커패시터 기반 시냅스 셀을 포함하며, 각 시냅스 셀은 기록되는 가중치에 따라 정전용량이 가변하는 것인, 시냅스 어레이;
    상기 시냅스 어레이의 워드라인에 각각 접속되는 복수의 스위칭 소자를 포함하는 워드라인 선택부;
    상기 시냅스 어레이의 비트라인의 일단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 충전부;
    상기 시냅스 어레이의 비트라인의 타단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 방전부 및
    상기 인공 신경망 제공 장치의 동작을 제어하는 제어부를 포함하되,
    상기 제어부는 상기 워드라인 선택부를 구동하여, 상기 시냅스 어레이에 접속된 시냅스 전 뉴런의 출력에 의해 선택된 워드라인들을 제 1 시간동안 접지시키는 동작과,
    상기 비트라인 충전부를 구동하여, 상기 선택된 워드라인에 접속된 시냅스 셀의 커패시터를 제 2 시간 동안 충전시키는 동작과,
    상기 비트라인 방전부를 구동하여, 상기 선택된 워드라인에 접속된 시냅스 셀의 커패시터를 제 3 시간 동안 방전시키는 동작을 수행하되,
    상기 제 1 시간동안 상기 충전시키는 동작과 방전시키는 동작이 순차적으로 일어나는 것인, 하드웨어 기반 인공 신경망 제공 장치.
  2. 제1항에 있어서,
    상기 시냅스 셀은 외부 인가 전압에 정전 용량이 가변되는 반도체 메모리 소자로 구현되는 것인, 하드웨어 기반 인공 신경망 제공 장치.
  3. 제1항에 있어서,
    상기 워드라인 선택부는
    시냅스 전 뉴런의 출력에 따라 상기 시냅스 어레이의 선택된 워드라인을 접지시키고, 비선택된 워드라인은 플로팅 상태로 유지하는 것인, 하드웨어 기반 인공 신경망 제공 장치.
  4. 제1항에 있어서,
    상기 비트라인 충전부는 하이레벨 전압을 상기 비트라인의 일단에 각각 인가하는 제 1 극성의 스위칭 소자를 복수개 포함하고,
    상기 비트라인 방전부는 로우레벨 전압을 상기 비트라인의 타단에 각각 인가하는 제 2 극성의 스위칭 소자를 복수개 포함하는 것인, 하드웨어 기반 인공 신경망 제공 장치.
  5. 삭제
  6. 제1항에 있어서,
    상기 제어부의 동작에 따라, 상기 시냅스 어레이의 비트라인 단위로 출력되는 전류량은 시냅스 전 뉴런의 출력이 각 시냅스 셀의 가중치와 행렬 곱된 값을 모사하는 것인, 하드웨어 기반 인공 신경망 제공 장치.
  7. 행렬 연산 장치에 있어서,
    복수의 커패시터 기반 시냅스 셀을 포함하며, 각 시냅스 셀은 기록되는 가중치에 따라 정전용량이 가변하는 것인, 시냅스 어레이;
    상기 시냅스 어레이의 워드라인에 각각 접속되는 복수의 스위칭 소자를 포함하는 워드라인 선택부;
    상기 시냅스 어레이의 비트라인의 일단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 충전부;
    상기 시냅스 어레이의 비트라인의 타단에 각각 접속되는 복수의 스위칭 소자를 포함하는 비트라인 방전부 및
    상기 시냅스 어레이, 워드라인 선택부, 비트라인 충전부 및 비트라인 방전부의 동작을 제어하는 제어부를 포함하되,
    상기 제어부는 상기 시냅스 어레이에 전달되는 입력 신호에 따라 상기 워드라인 선택부의 스위칭 소자를 활성화시켜, 선택된 워드라인들을 제 1 시간동안 접지시킨 상태에서,
    상기 비트라인 충전부를 구동하여, 상기 선택된 워드라인에 접속된 시냅스 셀의 커패시터를 제 2 시간 동안 충전시키는 동작과,
    상기 비트라인 방전부를 구동하여, 상기 선택된 워드라인에 접속된 시냅스 셀의 커패시터를 제 3 시간 동안 방전시키는 동작을 순차적으로 수행하는 것인, 행렬 연산 장치.
  8. 제7항에 있어서,
    상기 제어부는 상기 시냅스 셀에 기록될 가중치를 조절하여 각 시냅스 셀의 정전용량을 조절하는 것인, 행렬 연산 장치.
  9. 삭제
  10. 제7항에 있어서,
    상기 제어부의 동작에 따라, 상기 시냅스 어레이의 비트라인 단위로 출력되는 전류량은 시냅스 전 뉴런의 출력이 각 시냅스 셀의 가중치와 행렬 곱된 값을 모사하는 것인, 행렬 연산 장치.
  11. 제7항에 있어서,
    상기 워드라인 선택부는
    시냅스 전 뉴런의 출력에 따라 상기 시냅스 어레이의 선택된 워드라인을 접지시키고, 비선택된 워드라인은 플로팅 상태로 유지하는 것인, 행렬 연산 장치.
  12. 제7항에 있어서,
    상기 비트라인 충전부는 하이레벨 전압을 상기 비트라인의 일단에 각각 인가하는 제 1 극성의 스위칭 소자를 복수개 포함하고,
    상기 비트라인 방전부는 로우레벨 전압을 상기 비트라인의 타단에 각각 인가하는 제 2 극성의 스위칭 소자를 복수개 포함하는 것인, 행렬 연산 장치.
KR1020210154893A 2021-11-11 2021-11-11 하드웨어 기반 인공 신경망 제공 장치 KR102511526B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210154893A KR102511526B1 (ko) 2021-11-11 2021-11-11 하드웨어 기반 인공 신경망 제공 장치
PCT/KR2022/010086 WO2023085545A1 (ko) 2021-11-11 2022-07-12 하드웨어 기반 인공 신경망 제공 장치
US17/953,909 US20230147403A1 (en) 2021-11-11 2022-09-27 Hardware-based artificial neural network device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210154893A KR102511526B1 (ko) 2021-11-11 2021-11-11 하드웨어 기반 인공 신경망 제공 장치

Publications (1)

Publication Number Publication Date
KR102511526B1 true KR102511526B1 (ko) 2023-03-17

Family

ID=85872369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210154893A KR102511526B1 (ko) 2021-11-11 2021-11-11 하드웨어 기반 인공 신경망 제공 장치

Country Status (2)

Country Link
KR (1) KR102511526B1 (ko)
WO (1) WO2023085545A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233709A1 (en) * 2003-05-22 2004-11-25 Kenji Tsuchida MRAM having memory cell array in which cross-point memory cells are arranged by hierarchical bit line scheme and data read method thereof
KR20070029831A (ko) * 2004-07-01 2007-03-14 띤 필름 일렉트로닉스 에이에스에이 비트라인과 워드라인의 단락에 의한 효과를 감소시키는교차점 강유전성 메모리
KR20190051766A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 시냅스 가중치 학습을 위한 뉴런 회로, 시스템 및 방법
KR20210034172A (ko) * 2019-09-20 2021-03-30 에스케이하이닉스 주식회사 Mac 연산 동작을 수행하는 반도체 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102669205B1 (ko) * 2018-12-04 2024-05-28 한국전자통신연구원 뉴로모픽 연산 장치 및 그것의 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233709A1 (en) * 2003-05-22 2004-11-25 Kenji Tsuchida MRAM having memory cell array in which cross-point memory cells are arranged by hierarchical bit line scheme and data read method thereof
KR20070029831A (ko) * 2004-07-01 2007-03-14 띤 필름 일렉트로닉스 에이에스에이 비트라인과 워드라인의 단락에 의한 효과를 감소시키는교차점 강유전성 메모리
KR20190051766A (ko) 2017-11-06 2019-05-15 삼성전자주식회사 시냅스 가중치 학습을 위한 뉴런 회로, 시스템 및 방법
KR20210034172A (ko) * 2019-09-20 2021-03-30 에스케이하이닉스 주식회사 Mac 연산 동작을 수행하는 반도체 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Daewoong Kwon 외 1인. "Capacitive Neural Network Using Charge-Stored Memory Cells for Pattern Recognition Applications". (2020.01.27.)* *

Also Published As

Publication number Publication date
WO2023085545A1 (ko) 2023-05-19

Similar Documents

Publication Publication Date Title
US10810489B2 (en) Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US20240086697A1 (en) Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
US11615299B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
US11157810B2 (en) Resistive processing unit architecture with separate weight update and inference circuitry
US11119674B2 (en) Memory devices and methods for operating the same
US10783963B1 (en) In-memory computation device with inter-page and intra-page data circuits
Milo et al. Optimized programming algorithms for multilevel RRAM in hardware neural networks
TWI699711B (zh) 記憶體裝置及其製造方法
CN110852429B (zh) 一种基于1t1r的卷积神经网络电路及其操作方法
US11797833B2 (en) Competitive machine learning accuracy on neuromorphic arrays with non-ideal non-volatile memory devices
US20200167638A1 (en) Circuit neuronal apte à mettre en oeuvre un apprentissage synaptique
EP3654250B1 (en) Machine learning accelerator
US11347999B2 (en) Closed loop programming of phase-change memory
Kang et al. A spiking neural network with a global self-controller for unsupervised learning based on spike-timing-dependent plasticity using flash memory synaptic devices
KR20210151737A (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
Muńoz-Martín et al. Hardware implementation of PCM-based neurons with self-regulating threshold for homeostatic scaling in unsupervised learning
US11195089B2 (en) Multi-terminal cross-point synaptic device using nanocrystal dot structures
KR102511526B1 (ko) 하드웨어 기반 인공 신경망 제공 장치
US20230147403A1 (en) Hardware-based artificial neural network device
CN117497026A (zh) 存储器单元、阵列电路结构及数据处理方法
CN113222127A (zh) 脉冲神经网络电路及其运作方法
KR102612011B1 (ko) 인공 신경망 소자 및 이의 동작 방법
US20220383083A1 (en) Method for training a binarized neural network and related electronic circuit

Legal Events

Date Code Title Description
GRNT Written decision to grant