KR102434119B1 - 시냅스 스트링 어레이를 이용한 신경망 - Google Patents

시냅스 스트링 어레이를 이용한 신경망 Download PDF

Info

Publication number
KR102434119B1
KR102434119B1 KR1020190158969A KR20190158969A KR102434119B1 KR 102434119 B1 KR102434119 B1 KR 102434119B1 KR 1020190158969 A KR1020190158969 A KR 1020190158969A KR 20190158969 A KR20190158969 A KR 20190158969A KR 102434119 B1 KR102434119 B1 KR 102434119B1
Authority
KR
South Korea
Prior art keywords
synaptic
string
neural network
cell
memory cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190158969A
Other languages
English (en)
Other versions
KR20210069313A (ko
Inventor
이종호
이성태
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020190158969A priority Critical patent/KR102434119B1/ko
Priority to US16/819,798 priority patent/US11461624B2/en
Publication of KR20210069313A publication Critical patent/KR20210069313A/ko
Application granted granted Critical
Publication of KR102434119B1 publication Critical patent/KR102434119B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G11C16/28—Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/20—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits characterised by logic function, e.g. AND, OR, NOR, NOT circuits
    • H03K19/21—EXCLUSIVE-OR circuits, i.e. giving output if input signal exists at only one input; COINCIDENCE circuits, i.e. giving output only if all input signals are identical
    • H03K19/215—EXCLUSIVE-OR circuits, i.e. giving output if input signal exists at only one input; COINCIDENCE circuits, i.e. giving output only if all input signals are identical using field-effect transistors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)
  • Read Only Memory (AREA)

Abstract

본 발명은 이진 신경망에 관한 것이다. 상기 이진 신경망은, 복수 개의 시냅스 스트링들이 순차적으로 연결된 시냅스 스트링 어레이로 이루어지고, 상기 시냅스 스트링 어레이의 시냅스 스트링은, 각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링; 제1 및 제2 셀 스트링의 양단부들 중 제1 단부에 각각 연결된 스위치 소자들; 을 구비하고, 상기 제1 셀 스트링의 메모리 셀 소자들과 상기 제2 셀 스트링의 메모리 셀 소자들은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)은 하나의 단자가 서로 전기적으로 연결되어 하나의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링의 시냅스 모방 소자들은 다른 시냅스 스트링의 시냅스 모방 소자들과 서로 전기적으로 연결된다.

Description

시냅스 스트링 어레이를 이용한 신경망{Neural network with a synapse string array}
본 발명은 이진 신경망(Binary neural networks)을 포함하는 다양한 신경망에 응용될 수 있는 신경 모방(neuromorphic) 기술에 관한 것으로서, 더욱 구체적으로는, 2차원이나 3차원 메모리 셀 스트링(string) 2개와 각 스트링에 직렬 연결된 스위치 소자를 활용하여 고집적, 저전력, 높은 내구성을 갖는 복수 개의 시냅스(synapse) 모방소자를 포함하는 시냅스 스트링(string), 뉴런 기능을 포함하는 시냅스 스트링들을 이용한 시냅스 스트링 어레이로 구성된 신경망에 관한 것이다.
최근 폰 노이만 아키텍처 기반의 집적회로에서 전력 소모가 크게 증가하고 발열 문제가 심각해지면서 동물의 신경계를 모방하려는 시도가 많이 시도되고 있다. 특히, 동물의 신경계를 모방한 기술에서는 전력 소모를 크게 줄이면서, 인지 기능이 가능하고 학습이 가능함으로써 인식 기능과 판단 기능을 개선할 수 있게 되었다. 이에 따라 기존의 폰 노이만 방식의 집적회로의 기능을 대체하거나 크게 개선할 수 있는 기회가 생겼다. 따라서, 이에 대한 관심이 증가하고 연구의 필요성이 크게 대두되었다.
뉴런의 기본 기능은 임계치 이상의 자극을 받았을 경우 전기적 스파이크를 발생시켜 다른 세포에 정보를 전달하는 것이다. 이렇게 발생하는 전기 신호를 활동전위(活動電位:action potential)라고 한다. 뉴런은 크게 세 가지 부분으로 나눌 수 있다. 핵이 있는 세포 부분이 신경세포체이며, 다른 세포에서 신호를 받는 부분이 수상돌기(樹狀突起:dendrite), 그리고 다른 세포에 신호를 주는 부분이 축삭돌기(軸索突起:axon)이다. 돌기 사이에 신호를 전달하는 부분을 시냅스(synapse)라고 한다.
뉴런은 다른 신경세포나 자극수용세포에서 자극을 받아 다른 신경세포 또는 샘세포로 자극을 전달하는데, 이러한 자극의 상호교환은 시냅스에서 일어난다. 1개의 신경세포(뉴런)는 다수의 시냅스를 통하여 자극을 받아 흥분을 통합한 후 신경세포체에 가까운 축삭 돌기로 전기적 스파이크를 전달하여 시냅스에 도달하게 한다.
이와 같이, 뉴런의 흥분이 시냅스를 거쳐 다른 신경세포에 전해지는 것을 흥분 전달이라고 한다. 시냅스에서의 흥분전달은 신경섬유로부터 세포체 또는 수상돌기 방향으로만 전해지고, 역방향으로는 전달되지 않으므로, 전체로서 한 방향으로만 흥분을 전달하게 된다.
또한, 시냅스는 단지 흥분을 전달하는 중계 장소일 뿐만 아니라 거기에 도착하는 흥분의 시간적/공간적 변화에 따라 가중을 일으키거나, 또는 억제를 일으켜 신경계의 고차적인 통합작용을 가능하게 하고 있다.
한편, 시냅스는 흥분을 전달하는 것 이외에 다른 신경세포로부터의 흥분의 전달을 억제하는 작용을 가진 것도 있다. 이런 것을 억제성 시냅스라고 한다. 어떤 신경섬유를 따라 전달되어 온 흥분이 억제성 시냅스에 도달하면 거기에서 억제성 전달물질이 분비된다. 이 물질은 시냅스에 접하는 신경세포의 세포막에 작용하여 그 세포의 흥분(활동전위의 발생)을 억제하는 작용이 있다. 그 때문에 억제성 전달물질이 작용하고 있는 동안, 다른 시냅스에 도달한 흥분은 전달되지 않게 된다.
또한 최근에 시냅스와 뉴런의 값을 -1 과 1의 값으로 제한시켜서 순방향전파와 역방향전파를 진행하는 이진신경망 (binary neural networks)이 활발히 연구되고 있다. 이진신경망 (binary neural networks)은 곱셈연산기 (multiplier)를 없앰으로써 면적과 전력측면에서 유리하다. 최근 RRAM 소자를 이용하여 이진신경망을 구현하는 시도가 있었다 (Xiaoyu Sun et al., "XNOR-RRAM: A Scalable and Parallel Resistive Synaptic Architecture for Binary Neural Networks", 　2018 Design, Automation & Test in Europe Conference & Exhibition). 여기서는 2T2R구조를 하나의 시냅스로 사용하고 이를 이용하여 XNOR operation을 하는 구조를 고안하고 이를 binary neural networks에 사용하였다. 그러나 종래 기술의 MEMRISTOR기반 시냅스의 경우, 소자의 신뢰성이 좋지 않고 또한 소자 사이의 산포가 큰 단점이 있다.
또한 최근 logic gate를 이용하여 이진신경망을 구현하는 시도가 있었다 (Daniel Bankman et al., "An always-on 3.8uJ/86% CIFAR-10 Mixed-signal binary CNN processor with all memory on chip in 28nm CMOS", 　2018 ISSCC). 그러나, 전술한 종래의 기술에 따라 logic gate를 이용하여 이진 신경망을 구현하는 것은 신뢰성은 좋으나 상대적으로 더 많은 수의 소자를 사용함으로써 직접도가 낮은 단점이 있다.
따라서 본 발명에서는 바람직하게는 고집적이면서 신뢰성이 우수한 NAND flash memory cell을 시냅스 모방소자로 사용하여 이진신경망 (binary neural networks)을 구현하는 방법을 제안하고, 이를 변화시켜 좀 더 복잡하고 다양한 신경망에 적용할 수 있는 방법을 제안한다.
국제특허공개공보 PCT/EP2012/062420
High-Performance Mixed-Signal Neurocomputing with Nanoscale Floating -Gate Memory Cell Arrays (IEEE Trans. on Neural Networks and Learning Systems, vol. 29, pp. 4782　- 4790, 2017)
전술한 문제점을 해결하기 위한 본 발명은, 높은 신뢰성과 저전력, 그리고 높은 집적도를 갖는 다수의 시냅스 모방 소자와 스위치 소자를 포함하는 시냅스 스트링들로 구성되는 시냅스 스트링 어레이를 이용한 신경망을 제공하는 것을 목적으로 한다.
전술한 기술적 과제를 달성하기 위한 본 발명의 제1 특징에 따른 이진 신경망은, 복수 개의 시냅스 스트링들이 순차적으로 연결된 시냅스 스트링 어레이;로 이루어지고,
상기 시냅스 스트링 어레이의 시냅스 스트링은, 각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링; 제1 및 제2 셀 스트링의 양단부들 중 제1 단부에 각각 연결된 스위치 소자들; 을 구비하고,
상기 제1 셀 스트링의 메모리 셀 소자들과 상기 제2 셀 스트링의 메모리 셀 소자들은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)은 하나의 단자가 서로 전기적으로 연결되어 하나의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링의 시냅스 모방 소자들은 다른 시냅스 스트링의 시냅스 모방 소자들과 서로 전기적으로 연결되고, 시냅스 모방 소자들이 서로 전기적으로 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 하며, 상기의 시냅스 모방 소자들의 전기적으로 연결된 단자에 읽기 전압이 인가되면 시냅스 후 뉴런 (post-neuron) 층의 특정 뉴런을 위한 출력 값이 출력되는 것을 특징으로 한다.
전술한 제1 특징에 따른 이진 신경망은, 시냅스 스트링 어레이의 복수 개의 시냅스 스트링들의 일단에 각각 연결된 복수 개의 감지 회로들(Sense Amplifier)를 구비하고, 각 감지 회로는 연결된 시냅스 스트링에서 나오는 전류를 감지하여 출력하도록 구성된 감지 회로부; 및 상기 감지 회로부의 복수 개의 감지 회로들로부터 출력된 값을 합산하여 출력하는 신호 합산 회로;를 더 구비하고,
상기 시냅스 스트링 어레이의 시냅스 스트링의 제1 및 제2 셀 스트링의 양단부들 중 제2 단부는 상기 감지 회로에 연결된 것이 바람직하다.
전술한 제1 특징에 따른 이진 신경망에 있어서, 각 시냅스 스트링을 구성하는 제1 셀 스트링과 제2 셀 스트링에서 일대일 대응되는 메모리 셀 소자들의 서로 전기적 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 하며, 각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하는 것이 바람직하다.
전술한 제1 특징에 따른 이진 신경망에 있어서, 시냅스 스트링에서 하나의 시냅스 모방 소자를 구성하는 메모리 셀 소자들과 상기 스위치 소자들은 XNOR 동작을 수행하도록 구성된 것이 바람직하다.
전술한 제1 특징에 따른 이진 신경망에 있어서, 상기 감지 회로부는 기준 전류를 제공하는 기준 전류원을 더 구비하고, 각 감지 회로는 상기 기준 전류원을 통해 흐르는 기준 전류(I ref)가 입력되고, 상기 시냅스에 대한 시냅스 스트링 전류(I ss)와 상기 기준 전류를 비교하여 처리하여 그 결과를 출력하는 것이 바람직하다.
전술한 제1 특징에 따른 이진 신경망에 있어서, 상기 감지 회로부는 상기 제1 셀 스트링의 전류와 제2 셀 스트링의 전류의 크기를 비교하여 그 결과를 출력하는 것이 바람직하다.
전술한 제1 특징에 따른 이진 신경망에 있어서, 상기 신호 합산 회로는 가산기 또는 카운터로 구성되는 것이 바람직하다.
전술한 제1 특징에 따른 이진 신경망에 있어서, 상기 이진 신경망은 상기 신호 합산 회로로부터 출력되는 값을 사전 설정된 기준값과 비교하여 출력하는 비교기;를 더 구비하는 것이 바람직하다.
본 발명의 제2 특징에 따른 이진 신경망은, 복수 개의 시냅스 스트링들이 순차적으로 연결된 시냅스 스트링 어레이; 및 상기 시냅스 스트링들로부터 출력되는 전류 또는 전압의 합이 사전 설정된 임계치에 도달하면 스위칭되는 스위칭 회로부;를 구비하고,
상기 시냅스 스트링 어레이의 시냅스 스트링은, 각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링; 제1 및 제2 셀 스트링의 양단부들 중 제1 단부에 각각 연결된 스위치 소자들; 를 구비하고, 제1 및 제2 셀 스트링의 양단부들 중 제2 단부는 서로 결합되어 스위칭 회로부에 연결되며,
상기 제1 셀 스트링의 메모리 셀 소자들과 상기 제2 셀 스트링의 메모리 셀 소자들은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)은 하나의 단자가 서로 전기적으로 연결되어 하나의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링의 시냅스 모방 소자들은 다른 시냅스 스트링의 시냅스 모방 소자들과 서로 전기적으로 연결되고, 시냅스 모방 소자들이 서로 전기적으로 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 각 시냅스 스트링을 구성하는 제1 셀 스트링과 제2 셀 스트링에서 일대일 대응되는 메모리 셀 소자들의 서로 전기적 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 하며, 각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하는 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 시냅스 스트링에서 하나의 시냅스 모방 소자를 구성하는 메모리 셀 소자들과 상기 스위치 소자들은 XNOR 동작을 수행하도록 구성된 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 상기 스위칭 회로부는, 시냅스 스트링 어레이로부터 입력되는 전류 또는 전압을 저장하는 커패시터; 및 상기 커패시터의 충전 전압을 사전 설정된 기준값과 비교하여 비교값을 출력하는 비교기;를 구비하는 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 상기 스위칭 회로부는, 시냅스 스트링 어레이로부터 입력되는 전류 또는 전압을 사전 설정된 임계값과 비교하여 비교값을 출력하는 비교기; 를 구비하는 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 상기 스위칭 회로부는, 시냅스 스트링 어레이로부터 입력되는 전류 또는 전압이 사전 설정된 임계값에 도달하면 급격한 스위칭(Steep Switching)을 하는 소자를 구비하는 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 상기 스위칭 회로부의 스위칭 소자는, Positive feedback을 일으키는 pnpn 다이오드 또는 npnp 다이오드로 되거나, 전하 저장 기능을 갖는 절연층을 포함한 게이트 절연막 스택이 pnpn 다이오드 또는 npnp 다이오드 상에 더 구비되고 상기 게이트 절연막 스택 위에 게이트 전극이 구비되며, 상기 게이트 전극은 상기 pnpn 다이오드 또는 npnp 다이오드의 n 또는 p 영역 위에 적어도 하나를 포함하여 구성될 수 있다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 상기 스위칭 회로부는, 시냅스 스트링 어레이로부터 입력되는 전압을 저장하는 커패시터; 및 상기 커패시터의 충전 전압 전압이 사전 설정된 임계값에 도달하면 급격한 스위칭(Steep Switching)을 하는 IMT(Insulator Metal Transition)소자;를 구비하거나,
시냅스 스트링 어레이로부터 입력되는 전류 또는 전압이 사전 설정된 임계값에 도달하면 스위칭(Steep Switching)을 하는 MOSFET 또는 이중-게이트 (double-gate) MOSFET을 구비하거나,
전하 저장 기능을 갖는 절연층을 포함한 게이트 절연막 스택이 적어도 게이트 전극과 채널 사이에 구비되며, 상기 게이트 절연막 스택은 전하저장층을 포함하는 것이 바람직하다.
전술한 제2 특징에 따른 이진 신경망에 있어서, 상기 스위칭 회로부에서 이중-게이트 MOSFET은, 전하 저장 기능을 갖는 절연층을 포함한 게이트 절연막 스택이 적어도 게이트 전극과 채널 사이에 구비할 수 있으며, 두개의 게이트는 전기적으로 분리되는 것이 바람직하다.
본 발명에 따른 이진 신경망을 구성하는 시냅스 스트링은 직렬로 연결된 다수의 시냅스 모방소자를 포함하고 있어 집적도를 크게 개선할 수 있다. 또한, 본 발명에 따른 시냅스 스트링의 시냅스 모방소자는 전하저장층을 포함하는 2개의 MOSFETs 또는 플래시 메모리 셀 소자들로 구성되어 내구성이나 신뢰성이 우수하다.
또한, 본 발명에 따른 시냅스 스트링은 직렬로 연결된 다수 개의 시냅스 모방소자와 제1 스위치 소자로 구성되어, XNOR 연산을 안정적으로 수행할 수 있다.
또한, 본 발명에 따른 시냅스 스트링 및 시냅스 스트링 어레이는 기존의 2차원 또는 3차원 낸드 플래시 기술을 활용하여 제작될 수 있다. 따라서, 본 발명에 따른 시냅스 스트링 및 시냅스 스트링 어레이를 이용하여 이진 신경망을 구성하는 경우, 이진 신경망 (binary neural networks)의 집적도와 신뢰성을 크게 높일 수 있고 전력소모를 줄일 수 있다.
또한, 본 발명의 시냅스 스트링에 부가적인 회로와 스위치를 추가하여 ternary 신경망 또는 좀 더 다양한 신경망을 구현할 수 있어 복잡하고 수준이 높은 데이터의 인식을 가능하게 할 수 있다.
도 1은 본 발명의 제1 실시예에 따른 이진 신경망의 구조를 도시한 회로도이다.
도 2는 본 발명의 제1 실시예에 따른 이진 신경망에 있어서, 감지회로부의 제2 실시 형태를 도시한 회로도이다.
도 3은 상기의 제2 실시형태에 따른 이진 신경망에 있어서, 상기 감지 회로부의 실시 형태를 일례로 도시한 회로도이다.
도 4는 본 발명의 제2 실시예에 따른 이진 신경망의 구조를 도시한 회로도이다.
도 5는 본 발명의 제2 실시예에 따른 이진 신경망에 있어서, 상기 스위칭 회로부(24)의 제2 실시 형태를 도시한 회로도이다.
도 6a 및 도 6b는 본 발명의 제1 실시예에 따른 시냅스 스트링의 일 실시형태를 도시한 회로도이다.
도 7은 본 발명의 제1 실시예에 따른 시냅스 스트링의 제2 실시 형태를 도시한 회로도이다.
도 8은 본 발명에 따른 시냅스 스트링의 제2 실시 형태에 있어서, 상기 제2 스위치 소자들의 변형 형태를 도시한 회로도이다.
도 9a 내지 도 9c는 본 발명에 따른 시냅스 스트링의 제4 실시 형태를 도시한 회로도이다.
도 10은 본 발명에 따른 시냅스 스트링의 제5 실시 형태를 도시한 회로도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들에 따른 이진 신경망의 구조 및 동작에 대하여 구체적으로 설명한다.
< 제1 실시예 >
먼저, 도 1을 참조하여 본 발명의 제1 실시예에 따른 이진 신경망의 구조 및 동작을 구체적으로 설명한다.
도 1은 본 발명의 제1 실시예에 따른 이진 신경망의 구조를 도시한 회로도이다. 도 1을 참조하면, 본 발명의 제1 실시예에 따른 이진 신경망(7)은, 복수 개의 시냅스 스트링들(700)이 순차적으로 연결된 시냅스 스트링 어레이(70), 감지 회로들을 구비하는 감지 회로부(72), 및 신호 합산 회로(74)를 구비하여, 시냅스 스트링들로부터 출력되는 값들을 합산하여 출력한다. 전술한 구성을 갖는 이진 신경망은 복수 개의 시냅스 스트링들을 구성하는 복수 개의 시냅스 모방 소자들이 갖는 가중치값을 합산하여 제공할 수 있게 된다.
상기 감지 회로부(72)의 제 1 실시형태는 상기 시냅스 스트링 어레이의 복수 개의 시냅스 스트링들(700)의 일단에 각각 연결된 복수 개의 감지 회로들(Sense Amplifier(720)를 구비하고, 각 감지 회로(720)는 연결된 시냅스 스트링의 전류인 시냅스 스트링 전류(I ss)를 감지하여 출력하도록 구성된다. 상기 신호 합산 회로(74)는 가산기 또는 카운터로 구성될 수 있으며, 이는 상기 감지 회로부의 복수 개의 감지 회로들로부터 출력된 값을 합산하여 출력한다.
상기 시냅스 스트링 어레이(70)의 시냅스 스트링(700)은, 각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링, 및 제1 및 제2 셀 스트링의 양단부들 중 제1 단부에 각각 연결된 스위치 소자들을 구비한다. 상기 제1 및 제2 셀 스트링의 양단부들 중 제2 단부는 서로 결합되어 상기 감지 회로에 연결된다. 상기 제1 셀 스트링의 메모리 셀 소자들과 상기 제2 셀 스트링의 메모리 셀 소자들은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)은 하나의 단자가 서로 전기적으로 연결되어 하나의 시냅스 모방 소자를 구성하며, 각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성한다. 각 시냅스 스트링을 구성하는 제1 셀 스트링과 제2 셀 스트링에서 일대일 대응되는 메모리 셀 소자에서 서로 전기적 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것이 바람직하다. 시냅스 스트링에서 하나의 시냅스 모방 소자를 구성하는 메모리 셀 소자들과 상기 스위치 소자들은 XNOR 동작을 수행하도록 구성된다. 시냅스 스트링에 대한 다양한 실시 형태에 대한 설명은 후술한다.
각 시냅스 스트링의 시냅스 모방 소자들은 다른 시냅스 스트링의 시냅스 모방 소자들과 서로 전기적으로 연결되고, 시냅스 모방 소자들이 서로 전기적으로 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자이다.
상기 감지 회로부는, 기준 전류를 제공하는 기준 전류원을 더 구비하고, 각 감지 회로는 상기 기준 전류원으로부터 흐르는 기준 전류(I ref)가 입력되고, 상기 시냅스에 대한 시냅스 스트링 전류(I ss)와 상기 기준 전류를 비교하여 처리하여 그 결과를 출력하도록 구성된 것이 바람직하다.
전술한 구성을 갖는 이진 신경망은 복수 개의 시냅스 스트링들을 구성하는 복수 개의 시냅스 모방 소자들이 갖는 가중치값들을 합산하여 제공할 수 있게 된다.
도 2는 본 발명의 제1 실시예에 따른 이진 신경망에 있어서, 감지회로부의 제2 실시 형태를 도시한 회로도이다. 도 2을 참조하면, 감지 회로부는 제1스트링의 전류와 제2스트링의 전류를 비교하여 출력값을 출력한다. 신호 합산 회로는 가산기 또는 카운터로 이루어질 수 있으며, 이는 상기 감지 회로부의 복수 개의 감지 회로들로부터 출력된 값을 합산하여 출력한다.
상기 감지 회로부(72)는 상기 시냅스 스트링 어레이의 복수 개의 시냅스 스트링들(700)의 일단에 각각 연결된 복수 개의 감지 회로들(Sense Amplifier)(720)를 구비하고, 각 감지 회로(720)는 연결된 제1 셀 스트링의 전류와 제2 셀 스트링의 전류를 비교하여 출력하도록 구성된다.
도 3은 상기의 제2 실시형태에 따른 이진 신경망에 있어서, 상기 감지 회로부의 실시 형태를 일례로 도시한 회로도이다. 일례로 제1 및 제2 셀 스트링의 양단부들 중 제2 단부는 상기 감지 회로에 연결되며 제 1단부는 접지된다. 감지 회로부(Sense Amplifier)는 4개의 스위치 소자를 포함한다. 이들 4개의 스위치 소자들은 감지 증폭기의 일부로 사용될 수 있고, 동시에 입력 전압 (V in1, V in2)이 인가될 수 있다.
< 제2 실시예 >
이하, 도 4를 참조하여 본 발명의 제2 실시예에 따른 이진 신경망의 구조 및 동작을 구체적으로 설명한다.
도 4는 본 발명의 제2 실시예에 따른 이진 신경망의 구조를 도시한 회로도이다. 도 4를 참조하면, 본 발명의 제2 실시예에 따른 이진 신경망(8)은, 복수 개의 시냅스 스트링들(800)이 순차적으로 연결된 시냅스 스트링 어레이(80) 및 스위칭 회로부(84)를 구비한다. 제2 실시예에 따른 이진 신경망(8)의 시냅스 스트링 어레이는 제1 실시예의 그것들과 동일하므로, 중복되는 설명은 생략한다.
상기 스위칭 회로부(84)는 상기 감지 회로부로부터 출력되는 전류 또는 전압의 합이 사전 설정된 임계치에 도달하면 스위칭되는 회로이다. 상기 스위칭 회로부(84)의 제1 실시 형태는, 도 4에 도시된 바와 같이, 커패시터(840) 및 비교기(842)로 구성될 수 있다. 상기 커패시터(840)는 상기 시냅스 스트링 어레이의 출력 단자에 연결되어, 시냅스 스트링 어레이부로부터 출력되는 전류가 시간에 따라 저장되도록 한다. 상기 커패시터에 저장된 전류는 전하가 되고 주어진 커패시터(840)의 크기에 따라 전압으로 변환된다. 상기 비교기(842)는 제1 입력단자로는 커패시터의 전압이 입력되고, 제2 입력단자로는 사전 설정된 기준값이 입력되고, 제1 및 제2 입력단자로 입력된 값을 비교하고, 비교 결과에 따라 +1 또는 -1을 출력하게 된다. 상기 비교기로는 일례로 Integrate-and-fire neuron 혹은 감지 증폭기(Sense amplifier) 등이 사용될 수 있고 Positive feedback을 일으켜서 급격한 스위칭을 하는 PNPN 다이오드, NPNP 다이오드 또는 IMT(Insulator Metal Transition) 소자, MOSFET 소자, Double-gate MOSFET 소자로 구성될 수 있다. 상기 PNPN 또는 NPNP 다이오드는 가운데 두 영역인 N과 P 영역 중 적어도 한 영역에 게이트가 형성될 수 있고, 이 게이트와 N 또는 P 영역 사이에는 전하를 저장하는 층이 적어도 포함될 수 있다.
도 5는 본 발명의 제2 실시예에 따른 이진 신경망에 있어서, 상기 스위칭 회로부(84)의 제2 실시 형태를 도시한 회로도이다. 도 5를 참조하면, 스위칭 회로부의 제2 실시 형태는 비교기로 구성될 수 있다. 상기 비교기(842)는 제1 입력단자로는 시냅스 스트링 어레이로부터의 전압 또는 전류가 입력되고, 제2 입력단자로는 사전 설정된 기준값이 입력되고, 제1 및 제2 입력단자로 입력된 값을 비교하고, 비교 결과에 따라 +1 또는 -1을 출력하게 된다. 상기 비교기의 일례로 Neuron circuit 혹은 감지 증폭기(Sense amplifier) 등이 사용될 수 있다. 또한, 상기 비교기는 Positive feedback을 일으켜서 급격한 스위칭을하는 PNPN 다이오드 또는 NPNP 다이오드 또는 IMT(Insulator Metal Transition) 소자, MOSFET 소자, Double-gate MOSFET 소자로 구성될 수 있다. 상기 PNPN 또는 NPNP 다이오드는 가운데 두 영역인 N과 P 영역 중 적어도 한 영역에 게이트가 형성될 수 있고, 이 게이트와 N 또는 P 영역 사이에는 전하를 저장하는 층이 적어도 포함될 수 있다.
이하, 전술한 제1 내지 제2 실시예에 따른 이진 신경망의 시냅스 스트링 어레이를 구성하는 시냅스 스트링에 대한 다양한 실시 형태들에 대하여 설명한다.
도 6a 및 도 6b는 본 발명의 제1 실시예에 따른 시냅스 스트링의 일 실시형태를 도시한 회로도이다. 도 6a 및 도 6b를 참조하면, 본 발명에 따른 시냅스 스트링(1)은 각각 직렬 연결된 복수 개의 메모리 셀 소자들(100, 200)을 구비한 제1 및 제2 셀 스트링(10, 20), 및 제1 및 제2 셀 스트링의 양단부들 중 하나의 단부들에 각각 연결된 제1 스위치 소자들(12, 22)을 구비한다. 본 명세서에서는, 설명의 편의상, 제1 및 제2 셀 스트링의 양단부들 중 하나의 단부들에 각각 제1 스위치 소자들이 연결되며, 제1 스위치 소자들이 연결된 제1 및 제2 셀 스트링의 단부를 제1 단부로 정의하고, 제1 및 제2 셀 스트링의 나머지 단부를 제2 단부로 정의한다.
상기 제1 셀 스트링(10)의 메모리 셀 소자들(100)과 상기 제2 셀 스트링(20)의 메모리 셀 소자들(200)은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)(300)은 하나의 시냅스 모방 소자를 구성한다. 하나의 시냅스 모방 소자를 구성하는 상기 메모리 셀 소자들에서 서로 전기적으로 연결되는 단자는 상기 메모리 셀 소자의 단자들 중 읽기(Read) 전압 또는 통과(Pass) 전압이 인가되거나 프로그램(Program) 전압 또는 이레이저(Erase) 전압이 인가되는 단자인 것이 바람직하다. 한편, 상기 메모리 셀 소자들에서 서로 전기적으로 연결되는 단자에는 필요에 따라 스위칭을 위한 전압 또는 기준 전류원을 턴온시키거나 턴오프시키기 위해 인가되는 전압이 인가될 수도 있다.
상기 제1 및 제2 셀 스트링에 포함된 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하게 되고, 그 결과 제1 및 제2 셀 스트링을 구비하는 상기 시냅스 스트링은 복수 개의 시냅스 모방 소자들을 포함하게 된다.
상기 시냅스 스트링에서 하나의 시냅스를 구성하는 메모리 셀 소자들과 상기 제1 스위치 소자들은 XNOR 동작을 수행하도록 구성된 것이 바람직하다.
상기 제1 및 제2 셀 스트링의 메모리 셀 소자는 비휘발성 메모리 기능을 가진 MOSFET으로 구성될 수 있고, 이 경우 하나의 쌍을 이루는 메모리 셀 소자들은 게이트 단자 또는 제어 게이트 단자가 서로 연결되는 것이 바람직하다.
상기 제1 스위치 소자들(12, 22)은 제1 및 제2 셀 스트링들(10, 20)의 양단부들 중 어느 하나의 단부에만 연결된다. 본 명세서에서는, 설명의 편의상 제1 스위치 소자들(12, 22)이 연결된 제1 및 제2 셀 스트링의 단부를 제1 및 제2 셀 스트링들의 제1 단부로 정의하고, 제1 및 제2 셀 스트링의 나머지 단부를 제2 단부로 정의한다. 상기 제1 스위치 소자들의 입력 단자들로 각각 입력되는 입력 신호는 이전 뉴런들로부터 나오는 신호들로 구성될 수 있다. 상기 제1 스위치 소자들은 MOSFET, 비휘발성 메모리 기능을 갖는 MOSFET 및 상기 메모리 셀 소자와 같은 소자 중 하나로 이루어질 수 있다. 도 6a는 상기 제1 스위치 소자들을 비휘발성 메모리 기능을 갖는 MOSFET 또는 플래시 메모리 셀 소자로 구성한 것이며, 도 5b는 상기 제1 스위치 소자들을 MOSFET으로 구성한 것이다. 이 경우, 상기 제1 스위치 소자들의 입력 단자는 게이트 전극 또는 제어 전극이 될 수 있으며, 상기 제1 스위치 소자가 비휘발성 메모리 기능을 갖는 소자이면 비휘발성 메모리 기능을 이용하여 문턱 전압을 바꿀 수 있게 된다.
상기 시냅스 스트링에서 하나의 시냅스 모방 소자를 구성하는 제1 셀 스트링의 메모리 셀 소자와 제2 셀 스트링의 메모리 셀 소자의 쌍은 인접한 위치에 배치되어 두 소자의 특성이 동일하도록 하는 것이 바람직하다.
도 7은 본 발명의 제1 실시예에 따른 시냅스 스트링의 제2 실시 형태를 도시한 회로도이다. 도 7을 참조하면, 본 발명에 따른 시냅스 스트링의 제2 실시 형태는 전술한 제1 실시 형태에 따른 시냅스 스트링에 제2 및 제3 스위치 소자를 더 구비하는 것을 특징으로 한다. 따라서, 본 발명의 제1 실시예에 따른 시냅스 스트링의 제2 실시 형태는, 각각 직렬 연결된 복수 개의 메모리 셀 소자들(100, 200)을 구비한 제1 및 제2 셀 스트링(10, 20), 제1 및 제2 셀 스트링의 제1 단부들에 각각 연결된 제1 스위치 소자들(12, 22), 상기 제1 스위치 소자들에 직렬 연결된 제2 스위치 소자들(14, 24), 및 제1 및 제2 셀 스트링의 제2 단부들에 각각 직렬 연결된 제3 스위치 소자들(16, 26)을 구비한다. 상기 제1 및 제2 셀 스트링과 제1 스위치 소자들의 구조 및 동작은 전술한 제1 실시형태와 동일하므로, 중복되는 설명은 생략한다.
상기 제2 스위치 소자들(14, 24)은 각각, 도 7에 도시된 바와 같이 상기 제1 스위치 소자들에 직렬로 연결되는 것이 바람직하다.
도 8은 본 발명에 따른 시냅스 스트링의 제2 실시 형태에 있어서, 상기 제2 스위치 소자들의 변형 형태를 도시한 회로도이다. 상기 제2 스위치 소자들의 변형 형태는, 도 8에 도시된 바와 같이, 제1 스위치 소자들과 제1 및 제2 셀 스트링의 제1 단부의 사이에 직렬로 연결될 수 있다.
상기 제3 스위치 소자들(16, 26)은 제1 및 제2 셀 스트링의 제2 단부들에 각각 직렬 연결된 것이 바람직하다. 상기 제2 및 제3 스위치 소자들은, 제1 스위치 소자들과 마찬가지로, MOSFET, 비휘발성 메모리 기능을 갖는 MOSFET 및 상기 메모리 셀 소자와 같은 소자 중 하나로 이루어지는 것이 바람직하다.
본 발명에 따른 시냅스 스트링의 제2 실시 형태에 있어서, 제1 스위치는 입력값(INPUT)이 입력되며, 제2 및 제3 스위치는 제1 및 제2 셀 스트링에 있는 메모리 셀 소자들을 독립적으로 프로그램 또는 이레이저할 수 있도록 하기 위해 구비한다.
제2 스위치와 제3 스위치를 이용하여 제1 및 제2 셀 스트링들을 서로 분리하여 각각 프로그램 또는 이레이저하거나 제1 및 제2 셀 스트링을 같이 프로그램 또는 이레이저할 수 있도록 한다. 한편, 시냅스 스트링 어레이를 구성하는 경우, 상기 제2 스위치와 제3 스위치를 이용하여 시냅스 스트링 어레이에서 특정 시냅스 스트링을 선택하여 동작시킬 수 있다.
본 발명에 따른 시냅스 스트링의 제3 실시 형태는 전술한 제1 실시 형태에 따른 시냅스 스트링에 제2 스위치 소자를 더 구비하는 것을 특징으로 한다. 따라서, 본 발명에 따른 시냅스 스트링의 제3 실시 형태는, 각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링, 제1 및 제2 셀 스트링의 제1 단부들에 각각 연결된 제1 스위치 소자들 및 제2 스위치 소자들을 구비한다. 상기 제1 및 제2 셀 스트링과 제1 스위치 소자들의 구조 및 동작은 전술한 제1 실시형태와 동일하므로, 중복되는 설명은 생략한다.
상기 제2 스위치 소자들은 각각 상기 제1 스위치 소자들에 직렬로 연결되거나, 제1 스위치 소자들과 제1 및 제2 셀 스트링의 제1 단부의 사이에 직렬로 연결되거나, 제1 및 제2 셀 스트링의 제2 단부들에 직렬 연결되는 것이 바람직하며, 특히 제2 스위치 소자들은 제2 단부들에 직렬로 연결되는 것이 바람직하다. 바람직한 경우, 각 시냅스 모방소자의 셀 소자를 프로그램/이레이져 할 때 제1 스위치 소자와 제2 스위치 소자를 이용하여 독립적으로 셀 소자의 문턱전압을 제어할 수 있다. 상기 제2 스위치 소자들은, 제1 스위치 소자들과 마찬가지로, MOSFET, 비휘발성 메모리 기능을 갖는 MOSFET 및 상기 메모리 셀 소자와 같은 소자 중 하나로 이루어지는 것이 바람직하다. 상기 제3 실시 형태에 따른 제2 스위치 소자는 제2 실시 형태의 제2 또는 제3 스위치 소자와 동일하게 동작된다. 제1 스위치 소자와 제2 스위치 소자는 시냅스 모방 소자의 셀 소자를 독립적으로 프로그램 또는 이레이져하여 문턱전압을 바꿀 때 사용될 수 있다. 여기서 XNOR 동작 시에는 제1 스위치 소자의 입력에 입력 신호가 주어진다.
도 9a 내지 도 9c는 본 발명에 따른 시냅스 스트링의 제4 실시 형태를 도시한 회로도이다. 도 9a 내지 도 9c를 참조하면, 본 발명에 따른 시냅스 스트링의 제4 실시 형태는 전술한 제1 실시 형태에 따른 시냅스 스트링에 제4 스위치 소자를 더 구비하는 것을 특징으로 한다. 따라서, 본 발명에 따른 시냅스 스트링의 제4 실시 형태는, 각각 직렬 연결된 복수 개의 메모리 셀 소자들(100, 200)을 구비한 제1 및 제2 셀 스트링(10, 20), 제1 및 제2 셀 스트링의 제1 단부들에 각각 연결된 제1 스위치 소자들(12, 22), 및 제4 스위치 소자(18, 28)을 구비한다. 상기 제1 및 제2 셀 스트링, 제1 스위치 소자들은 전술한 제1 실시형태와 동일하므로 중복되는 설명은 생략한다.
상기 제4 스위치 소자들(18, 28)은 각각, 도 9a에 도시된 바와 같이 전기적으로 서로 연결된 상기 제1 스위치 소자들에 직렬로 연결되고 전기적으로 서로 연결된 제1 및 제2 셀 스트링의 제2 단부에 직렬로 연결되거나, 도 9b에 도시된 바와 같이 전기적으로 서로 연결된 상기 제1 스위치 소자들에 직렬로 연결되거나, 도 9c에 도시된 바와 같이 전기적으로 서로 연결된 제1 및 제2 셀 스트링의 제2 단부에 직렬로 연결되는 것이 바람직하다.
상기 제4 스위치 소자들은, 제1 스위치 소자들과 마찬가지로, MOSFET, 비휘발성 메모리 기능을 갖는 MOSFET 및 상기 메모리 셀 소자와 같은 소자 중 하나로 이루어지는 것이 바람직하다.
상기 제4 스위치는, 복수 개의 시냅스 스트링들을 포함하는 시냅스 스트링 어레이를 구현하는 경우, 복수 개의 시냅스 스트링들 중 특정 시냅스 스트링을 선택하기 위하여 사용되거나, 기준 전류원과 해당 시냅스 스트링을 서로 동기화시켜 동작시키기 위해 사용될 수 있다.
도 10은 본 발명에 따른 시냅스 스트링의 제5 실시 형태를 도시한 회로도이다. 도 10을 참조하면, 본 발명에 따른 시냅스 스트링의 제5 실시 형태는 전술한 제2 실시 형태에 따른 시냅스 스트링에 제4 스위치 소자를 더 구비하는 것을 특징으로 한다. 따라서, 본 발명에 따른 시냅스 스트링의 제5 실시 형태는, 각각 직렬 연결된 복수 개의 메모리 셀 소자들(100, 200)을 구비한 제1 및 제2 셀 스트링(10, 20), 제1 및 제2 셀 스트링의 제1 단부들에 각각 연결된 제1 스위치 소자들(12, 22), 상기 제1 스위치 소자들에 직렬 연결된 제2 스위치 소자들(14, 24), 제1 및 제2 셀 스트링의 제2 단부들에 각각 직렬 연결된 제3 스위치 소자들(16, 26) 및 제4 스위치 소자들(18, 28)을 구비한다.
상기 제1 및 제2 셀 스트링과 제1, 제2 및 제3 스위치 소자들은 전술한 제2 실시형태와 동일하므로, 중복되는 설명은 생략한다.
상기 제4 스위치 소자들(18, 28)은 각각, 도 10에 도시된 바와 같이 전기적으로 서로 연결된 상기 제2 스위치 소자들에 직렬로 연결되고 전기적으로 서로 연결된 제3 스위치 소자들에 직렬로 연결되거나, 전기적으로 서로 연결된 상기 제2 스위치 소자들에 직렬로 연결되거나, 전기적으로 서로 연결된 제3 스위치 소자들에 직렬로 연결되는 것이 바람직하다. 상기 제4 스위치 소자들은, 제1 스위치 소자들과 마찬가지로, MOSFET, 비휘발성 메모리 기능을 갖는 MOSFET 및 상기 메모리 셀 소자와 같은 소자 중 하나로 이루어지는 것이 바람직하다. 상기 제4 스위치는, 복수 개의 시냅스 스트링들을 포함하는 시냅스 스트링 어레이를 구현하는 경우, 복수 개의 시냅스 스트링들 중 특정 시냅스 스트링을 선택하기 위하여 사용되거나, 기준 전류원과 해당 시냅스 스트링을 서로 동기화시켜 동작시키기 위해 사용될 수 있다.
이상에서 본 발명에 대하여 그 바람직한 실시예를 중심으로 설명하였으나, 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 발명의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 그리고, 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
7, 8 : 이진 신경망
700 , 800, 2 : 시냅스 스트링
1, : 기본 구조의 시냅스 스트링
70, 80, 3시냅스 스트링 어레이
72 : 감지 회로부
74 : 신호 합산 회로
84 : 스위칭 회로부
10 : 제1 셀 스트링
20 : 제2 셀 스트링
100, 200 : 메모리 셀 소자
12, 22 : 제1 스위치 소자
14, 24 : 제2 스위치 소자
16,26 : 제3 스위치 소자
18, 28 : 제4 스위치 소자

Claims (20)

  1. 복수 개의 시냅스 스트링들이 순차적으로 연결된 시냅스 스트링 어레이;로 이루어지고,
    상기 시냅스 스트링 어레이의 시냅스 스트링은,
    각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링; 및
    제1 및 제2 셀 스트링들에 각각 연결된 스위치 소자들;을 구비하고,
    상기 제1 셀 스트링의 메모리 셀 소자들과 상기 제2 셀 스트링의 메모리 셀 소자들은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)은 하나의 단자가 서로 전기적으로 연결되어 하나의 시냅스 모방 소자를 구성하며 (-여기서, 제1 셀트링과 제2 셀 스트링에서 서로 일대일 대응되는 메모리 셀 소자들이 서로 전기적 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 함),
    각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하며,
    각 시냅스 스트링의 시냅스 모방 소자들은 다른 시냅스 스트링의 시냅스 모방 소자들과 서로 전기적으로 연결되고, 시냅스 모방 소자들이 서로 전기적으로 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 하며
    상기의 시냅스 모방 소자들의 전기적으로 연결된 단자에 읽기 전압이 인가되면 시냅스 후 뉴런 (post-neuron) 층의 특정 뉴런을 위한 출력 값이 출력되는 것을 특징으로 하는 이진 신경망.
  2. 제1항에 있어서, 상기 이진 신경망은,
    시냅스 스트링 어레이의 복수 개의 시냅스 스트링들의 일단에 각각 연결된 복수 개의 감지 회로들(Sense Amplifier)를 구비하고, 각 감지 회로는 연결된 시냅스 스트링에서 나오는 전류를 감지하여 출력하도록 구성된 감지 회로부; 및
    상기 감지 회로부의 복수 개의 감지 회로들로부터 출력된 값을 합산하여 출력하는 신호 합산 회로;를 더 구비하고,
    상기 시냅스 스트링 어레이의 시냅스 스트링의 제1 및 제2 셀 스트링의 양단부들 중 제2 단부는 상기 감지 회로에 연결된 것을 특징으로 하는 이진 신경망.
  3. 삭제
  4. 제1항에 있어서,
    시냅스 스트링에서 하나의 시냅스 모방 소자를 구성하는 메모리 셀 소자들과 상기 스위치 소자들은 XNOR 동작을 수행하도록 구성된 것을 특징으로 하는 이진 신경망.
  5. 제2항에 있어서, 상기 감지 회로부는,
    기준 전류를 제공하는 기준 전류원을 더 구비하고,
    각 감지 회로는 상기 기준 전류원을 통해 흐르는 기준 전류(I ref)가 입력되고, 상기 시냅스에 대한 시냅스 스트링 전류(I ss)와 상기 기준 전류를 비교하여 처리하여 그 결과를 출력하는 것을 특징으로 하는 이진 신경망.
  6. 제2항에 있어서, 상기 감지 회로부는,
    상기 제1 셀 스트링의 전류와 제2 셀 스트링의 전류의 크기를 비교하여 그 결과를 출력하는 것을 특징으로 하는 이진 신경망.
  7. 제2항에 있어서, 상기 신호 합산 회로는,
    가산기 또는 카운터로 구성되는 것을 특징으로 하는 이진 신경망.
  8. 제2항에 있어서, 상기 이진 신경망은,
    상기 신호 합산 회로로부터 출력되는 값을 사전 설정된 기준값과 비교하여 출력하는 비교기;를 더 구비하는 것을 특징으로 하는 이진 신경망.
  9. 복수 개의 시냅스 스트링들이 순차적으로 연결된 시냅스 스트링 어레이; 및
    상기 시냅스 스트링들로부터 출력되는 전류 또는 전압의 합이 사전 설정된 임계치에 도달하면 스위칭되는 스위칭 회로부;
    를 구비하고, 상기 시냅스 스트링 어레이의 시냅스 스트링은,
    각각 직렬 연결된 복수 개의 메모리 셀 소자들을 구비한 제1 및 제2 셀 스트링;
    제1 및 제2 셀 스트링의 양단부들 중 제1 단부에 각각 연결된 스위치 소자들;
    를 구비하고, 제1 및 제2 셀 스트링의 양단부들 중 제2 단부는 서로 결합되어 스위칭 회로부에 연결되며,
    상기 제1 셀 스트링의 메모리 셀 소자들과 상기 제2 셀 스트링의 메모리 셀 소자들은 서로 일대일 대응되고, 일대일 대응되는 메모리 셀 소자들의 쌍(pair)은 하나의 단자가 서로 전기적으로 연결되어 하나의 시냅스 모방 소자를 구성하며(-여기서, 제1 셀트링과 제2 셀 스트링에서 서로 일대일 대응되는 메모리 셀 소자들이 서로 전기적 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 함),
    각 시냅스 스트링을 구성하는 제1 및 제2 셀 스트링에 의해 이루어지는 메모리 셀 소자들의 복수 개의 쌍은 복수 개의 시냅스 모방 소자를 구성하며,
    각 시냅스 스트링의 시냅스 모방 소자들은 다른 시냅스 스트링의 시냅스 모방 소자들과 서로 전기적으로 연결되고, 시냅스 모방 소자들이 서로 전기적으로 연결되는 단자는 읽기 (Read), 또는 통과 (Pass) 전압이 인가되거나 프로그램 또는 이레이저 (Program/Erase) 전압이 인가되는 단자인 것을 특징으로 하는 이진 신경망.
  10. 삭제
  11. 제9항에 있어서,
    시냅스 스트링에서 하나의 시냅스 모방 소자를 구성하는 메모리 셀 소자들과 상기 스위치 소자들은 XNOR 동작을 수행하도록 구성된 것을 특징으로 하는 이진 신경망.
  12. 제9항에 있어서, 상기 스위칭 회로부는,
    시냅스 스트링 어레이로부터 입력되는 전류 또는 전압을 저장하는 커패시터; 및
    상기 커패시터의 충전 전압을 사전 설정된 기준값과 비교하여 비교값을 출력하는 비교기;
    를 구비하는 것을 특징으로 하는 이진 신경망.
  13. 제9항에 있어서, 상기 스위칭 회로부는,
    시냅스 스트링 어레이로부터 입력되는 전류 또는 전압을 사전 설정된 임계값과 비교하여 비교값을 출력하는 비교기;
    를 구비하는 것을 특징으로 하는 이진 신경망.
  14. 제9항에 있어서, 상기 스위칭 회로부는,
    시냅스 스트링 어레이로부터 입력되는 전류 또는 전압이 사전 설정된 임계값에 도달하면 급격한 스위칭(Steep Switching)을 하는 소자를 구비하는 것을 특징으로 하는 이진 신경망.
  15. 제9항에 있어서, 상기 스위칭 회로부의 스위칭 소자는,
    Positive feedback을 일으키는 pnpn 다이오드 또는 npnp 다이오드로 구성되는 것을 특징으로 하는 이진 신경망.
  16. 제15항에 있어서, 상기 스위칭 회로부의 스위칭 소자는,
    전하 저장 기능을 갖는 절연층을 포함한 게이트 절연막 스택이 pnpn 다이오드 또는 npnp 다이오드 상에 더 구비되고 상기 게이트 절연막 스택 위에 게이트 전극이 구비되며, 상기 게이트 전극은 상기 pnpn 다이오드 또는 npnp 다이오드의 n 또는 p 영역 위에 적어도 하나를 포함하는 것을 특징으로 하는 이진 신경망.
  17. 제9항에 있어서, 상기 스위칭 회로부는,
    시냅스 스트링 어레이로부터 입력되는 전압을 저장하는 커패시터; 및
    상기 커패시터의 충전 전압 전압이 사전 설정된 임계값에 도달하면 급격한 스위칭(Steep Switching)을 하는 IMT(Insulator Metal Transition)소자;를 구비하는 것을 특징으로 하는 이진 신경망.
  18. 제9항에 있어서, 상기 스위칭 회로부는,
    시냅스 스트링 어레이로부터 입력되는 전류 또는 전압이 사전 설정된 임계값에 도달하면 스위칭(Steep Switching)을 하는 MOSFET 또는 이중-게이트 (double-gate) MOSFET을 구비하는 것을 특징으로 하는 이진 신경망.
  19. 제18항에 있어서, 상기 스위칭 회로부는,
    전하 저장 기능을 갖는 절연층을 포함한 게이트 절연막 스택이 적어도 게이트 전극과 채널 사이에 구비되며, 상기 게이트 절연막 스택은 전하저장층을 포함하는 것을 특징으로 하는 이진 신경망.
  20. 제18항에 있어서, 상기 스위칭 회로부에서 이중-게이트 MOSFET은,
    전하 저장 기능을 갖는 절연층을 포함한 게이트 절연막 스택이 적어도 게이트 전극과 채널 사이에 구비할 수 있으며, 두개의 게이트는 전기적으로 분리되는 것을 특징으로 하는 이진 신경망.
KR1020190158969A 2019-12-03 2019-12-03 시냅스 스트링 어레이를 이용한 신경망 Active KR102434119B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190158969A KR102434119B1 (ko) 2019-12-03 2019-12-03 시냅스 스트링 어레이를 이용한 신경망
US16/819,798 US11461624B2 (en) 2019-12-03 2020-03-16 Neural network with synapse string array

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190158969A KR102434119B1 (ko) 2019-12-03 2019-12-03 시냅스 스트링 어레이를 이용한 신경망

Publications (2)

Publication Number Publication Date
KR20210069313A KR20210069313A (ko) 2021-06-11
KR102434119B1 true KR102434119B1 (ko) 2022-08-19

Family

ID=76091565

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190158969A Active KR102434119B1 (ko) 2019-12-03 2019-12-03 시냅스 스트링 어레이를 이용한 신경망

Country Status (2)

Country Link
US (1) US11461624B2 (ko)
KR (1) KR102434119B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523658B (zh) * 2020-07-02 2020-12-15 南京优存科技有限公司 双位存储单元及其在存内计算的电路结构
KR102565801B1 (ko) * 2021-06-17 2023-08-10 서강대학교산학협력단 인공신경망 연산 장치
FR3126252B1 (fr) * 2021-08-20 2024-06-14 Commissariat Energie Atomique Circuit neuromorphique à base de cellules RRAM 2T2R
KR20230106484A (ko) 2022-01-06 2023-07-13 삼성전자주식회사 스파이킹 신경망 장치, 불휘발성 메모리 장치 및 그것의 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101701250B1 (ko) * 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9005723B2 (en) 2010-11-09 2015-04-14 Tarkett Inc. Fiber for synthetic grass field
US8638605B2 (en) * 2011-05-25 2014-01-28 Micron Technology, Inc. Apparatus and methods including a bipolar junction transistor coupled to a string of memory cells
FR2977351B1 (fr) 2011-06-30 2013-07-19 Commissariat Energie Atomique Methode d'apprentissage non supervise dans un reseau de neurones artificiel a base de nano-dispositifs memristifs et reseau de neurones artificiel mettant en oeuvre la methode.
KR20150034900A (ko) * 2013-09-26 2015-04-06 삼성전자주식회사 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US11308383B2 (en) * 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
KR102112393B1 (ko) * 2018-02-28 2020-05-18 부산대학교 산학협력단 3차원 적층 시냅스 어레이 기반의 뉴로모픽 시스템과 그 동작 방법 및 제조 방법
KR102141385B1 (ko) * 2018-03-08 2020-08-05 포항공과대학교 산학협력단 전치 가능한 메모리와 가상 순람표를 이용한 뉴로모픽 시스템
US10748620B2 (en) * 2018-03-22 2020-08-18 Micron Technology, Inc. Memory block select circuitry including voltage bootstrapping control
KR102354286B1 (ko) * 2019-03-15 2022-01-24 서울대학교 산학협력단 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101701250B1 (ko) * 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kunliang Wang 외 3인, "The Method of Predicting Retention Threshold Voltage Distribution for NAND Flash Memory Based on Back-Propagation Neural Network", 2019 IEEE 11th IMW, (12 May.2019)*

Also Published As

Publication number Publication date
US11461624B2 (en) 2022-10-04
KR20210069313A (ko) 2021-06-11
US20210166108A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
KR102434119B1 (ko) 시냅스 스트링 어레이를 이용한 신경망
KR102224320B1 (ko) 신경 모방 시스템
KR101695737B1 (ko) 흥분/억제 기능을 포함하는 신경 모방 소자
US11157803B2 (en) Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other
US10103162B2 (en) Vertical neuromorphic devices stacked structure and array of the structure
KR20210151737A (ko) 신경망을 위한 시냅스 스트링 및 시냅스 스트링 어레이
KR102196523B1 (ko) 플로팅 게이트 멤리스터 소자 및 이를 구비하는 뉴런 소자
KR102514931B1 (ko) 확장 가능한 뉴로모픽 회로
CN112598124A (zh) 神经元模拟电路及神经网络装置
US11625590B2 (en) Memristive multi-terminal spiking neuron
KR102584868B1 (ko) 온칩 학습이 가능한 뉴로모픽 아키텍쳐
US9099179B2 (en) Thermodynamic bit formed of two memristors
US20190147328A1 (en) Competitive machine learning accuracy on neuromorphic arrays with non-ideal non-volatile memory devices
KR101954254B1 (ko) 재구성 가능한 신경모방 소자 및 어레이
US12141546B2 (en) Product-sum calculation device and product-sum calculation method
Garbin et al. Probabilistic neuromorphic system using binary phase-change memory (PCM) synapses: Detailed power consumption analysis
CN117391161A (zh) 基于存储器的神经拟态器件及其操作方法
KR102556249B1 (ko) 신경망을 위한 시냅스 스트링 어레이 아키텍처
Aziza et al. An augmented OxRAM synapse for spiking neural network (SNN) circuits
KR102456357B1 (ko) 시냅스 모방 소자 및 어레이
KR102610430B1 (ko) 이진 신경망 및 그 동작 방법
KR102511526B1 (ko) 하드웨어 기반 인공 신경망 제공 장치
KR20230133051A (ko) 뉴로모픽 반도체 소자 및 동작 방법
KR20240147444A (ko) 업데이트 셀과 이를 포함하는 뉴로모픽 회로 및 뉴로모픽 회로의 동작 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191203

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211230

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220729

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220816

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220816

End annual number: 3

Start annual number: 1

PG1601 Publication of registration