KR20200121347A - 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치 - Google Patents

심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치 Download PDF

Info

Publication number
KR20200121347A
KR20200121347A KR1020207026690A KR20207026690A KR20200121347A KR 20200121347 A KR20200121347 A KR 20200121347A KR 1020207026690 A KR1020207026690 A KR 1020207026690A KR 20207026690 A KR20207026690 A KR 20207026690A KR 20200121347 A KR20200121347 A KR 20200121347A
Authority
KR
South Korea
Prior art keywords
current
memory cell
refreshing
cells
data
Prior art date
Application number
KR1020207026690A
Other languages
English (en)
Other versions
KR102430151B1 (ko
Inventor
휴 반 트란
비핀 티와리
난 도
Original Assignee
실리콘 스토리지 테크놀로지 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 실리콘 스토리지 테크놀로지 인크 filed Critical 실리콘 스토리지 테크놀로지 인크
Priority to KR1020227026678A priority Critical patent/KR102716617B1/ko
Publication of KR20200121347A publication Critical patent/KR20200121347A/ko
Application granted granted Critical
Publication of KR102430151B1 publication Critical patent/KR102430151B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G11C16/28—Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/30—Power supply circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3418—Disturbance prevention or evaluation; Refreshing of disturbed memory data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3418—Disturbance prevention or evaluation; Refreshing of disturbed memory data
    • G11C16/3431—Circuits or methods to detect disturbed nonvolatile memory cells, e.g. which still read as programmed but with threshold less than the program verify threshold or read as erased but with threshold greater than the erase verify threshold, and to reverse the disturbance via a refreshing programming or erasing step
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/44—Indication or identification of errors, e.g. for repair
    • G11C29/4401—Indication or identification of errors, e.g. for repair for self repair
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/52—Protection of memory contents; Detection of errors in memory contents
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)

Abstract

인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이와 함께 사용하기 위한 데이터 리프레시 방법 및 장치의 다수의 실시예들이 개시된다. VMM 어레이 내의 플래시 메모리 셀들에서의 데이터 드리프트를 검출하기에 적합한 데이터 드리프트 검출기의 다양한 실시예들이 개시된다.

Description

심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치
우선권 주장
본 출원은 2018년 3월 14일자로 출원되고 발명의 명칭이 "Method and Apparatus for Data Refresh for Analog Neuromorphic Memory in Artificial Neural Network"인 미국 가특허 출원 제62/642,867호, 및 2018년 5월 25일자로 출원되고 발명의 명칭이 "Method and Apparatus for Data Refresh for Analog Non-volatile Memory in Deep Learning Neural Network"인 미국 특허 출원 제15/990,220호에 대한 우선권을 주장한다.
기술분야
인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이 내의 플래시 메모리 셀들과 함께 사용하기 위한 데이터 리프레시 방법 및 장치의 다수의 실시예들이 개시된다.
인공 신경망은 생물학적 신경망(동물의 중추신경계, 특히 뇌)을 모방하는데, 이들은 다수의 입력에 의존할 수 있고 일반적으로 알려져 있지 않은 기능들을 추정하거나 근사화하는 데 이용된다. 인공 신경망은, 일반적으로, 서로 메시지들을 교환하는 상호연결된 "뉴런(neuron)"의 층들을 포함한다.
도 1은 인공 신경망을 예시하며, 여기서 원은 뉴런의 층 또는 입력을 나타낸다. 연접부(시냅스(synapse)들로 지칭됨)는 화살표로 표현되며, 경험에 기초하여 튜닝될 수 있는 수치 가중치를 갖는다. 이는 신경망을 입력에 적응시키고 학습할 수 있게 한다. 전형적으로, 신경망은 다수의 입력들의 층을 포함한다. 전형적으로 뉴런의 하나 이상의 중간 층, 및 신경망의 출력을 제공하는 뉴런의 출력 층이 있다. 각각의 레벨의 뉴런은 개별적으로 또는 집합적으로 시냅스들로부터의 수신된 데이터에 기초하여 결정을 행한다.
고성능 정보 처리를 위한 인공 신경망의 개발에서의 주요 과제들 중 하나는 적절한 하드웨어 기술의 결여이다. 사실상, 실제 신경망은 매우 많은 수의 시냅스들에 의존하여, 뉴런들 사이의 높은 연결성, 즉 매우 높은 계산 병렬성(computational parallelism)을 가능하게 한다. 원칙적으로, 그러한 복잡성은 디지털 슈퍼컴퓨터들 또는 특수 그래픽 처리 유닛 클러스터들로 달성될 수 있다. 그러나, 고비용에 더하여, 이들 접근법은 또한 주로 저-정밀 아날로그 계산을 수행하기 때문에 훨씬 적은 에너지를 소비하는 생물학적 망(biological network)과 비교하여 평범한 에너지 효율을 겪는다. CMOS 아날로그 회로가 인공 신경망에 사용되어 왔지만, 대부분의 CMOS-구현된 시냅스들은 많은 수의 뉴런들 및 시냅스들이 주어지면 너무 부피가 커졌다.
출원인은, 참고로 포함되는, 미국 특허 출원 제15/594,439호에서 하나 이상의 비휘발성 메모리 어레이를 시냅스로서 이용하는 인공 (아날로그) 신경망을 이전에 개시하였다. 비휘발성 메모리 어레이들은 아날로그 뉴로모픽 메모리(analog neuromorphic memory)로서 동작한다. 신경망 디바이스는 제1 복수의 입력들을 수신하고 그로부터 제1 복수의 출력들을 생성하도록 구성된 제1 복수의 시냅스들, 및 제1 복수의 출력들을 수신하도록 구성된 제1 복수의 뉴런들을 포함한다. 제1 복수의 시냅스들은 복수의 메모리 셀들을 포함하는데, 여기서 메모리 셀들 각각은 반도체 기판 내에 형성되고 채널 영역이 사이에 연장되는 이격된 소스 영역과 드레인 영역, 채널 영역의 제1 부분 위에 배치되고 그로부터 절연되는 플로팅 게이트, 및 채널 영역의 제2 부분 위에 배치되고 그로부터 절연되는 비-플로팅 게이트를 포함한다. 복수의 메모리 셀들 각각은 플로팅 게이트 상의 전자들의 수에 대응하는 가중치 값을 저장하도록 구성된다. 복수의 메모리 셀들은 제1 복수의 입력들을 저장된 가중치 값들과 승산하여 제1 복수의 출력들을 생성하도록 구성된다.
아날로그 뉴로모픽 메모리 시스템에서 사용되는 각각의 비휘발성 메모리 셀은 플로팅 게이트에서 매우 특정적이고 정확한 양의 전하를 보유하도록 소거되고 프로그램되어야 한다. 예를 들어, 각각의 플로팅 게이트는 N개의 상이한 값들 중 하나를 보유해야 하며, 여기서 N은 각각의 셀에 의해 표시될 수 있는 상이한 가중치들의 수이다. N의 예들은 16, 32 및 64를 포함한다.
종래의 플래시 메모리 디바이스는 그들의 데이터가 리프레시될 필요가 없는데, 그 이유는 각각의 플래시 메모리 셀이 그의 값(이는 전형적으로, 2개의 가능한 레벨들, 또는 때때로, 4개의 가능한 레벨들로 제한됨, 즉, N = 2 또는 4)을 무기한으로 유지할 수 있기 때문이다. 그러나, VNM들에서 사용되는 플래시 메모리 셀들에서, N이 상당히 더 크기 때문에, 시간 경과에 따라 데이터가 부정확해질(즉, 손상될) 확률은 온도 변화 및 프로세스 변동에 기초하여 시간 경과에 따라 자연적으로 발생하는 데이터 드리프트로 인해 증가한다.
VNM 내의 플래시 메모리 셀에서의 데이터 드리프트를 검출하고 셀 내의 데이터를 그의 원래의 원하는 상태로 리프레시하기 위한 메커니즘이 필요하다.
인공 신경망에서 VMM 어레이 내의 플래시 메모리 셀들과 함께 사용하기 위한 데이터 리프레시 방법 및 장치의 다수의 실시예들이 개시된다.
도 1은 인공 신경망을 예시하는 도면이다.
도 2는 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 3은 종래의 4-게이트 비휘발성 메모리 셀의 측단면도이다.
도 4는 종래의 3-게이트 비휘발성 메모리 셀의 측단면도이다.
도 5는 다른 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 6은 비휘발성 메모리 어레이를 활용하는 예시적인 인공 신경망의 상이한 레벨들을 예시하는 도면이다.
도 7은 벡터 승산기 매트릭스를 예시하는 블록도이다.
도 8은 다양한 레벨의 벡터 승산기 매트릭스를 예시하는 블록도이다.
도 9는 벡터 승산기 매트릭스의 일 실시예를 도시한다.
도 10은 도 9의 벡터 승산기 매트릭스에 대한 동작 전압들을 도시한다.
도 11은 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 12는 도 11의 벡터 승산기 매트릭스에 대한 동작 전압들을 도시한다.
도 13은 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 14는 도 13의 벡터 승산기 매트릭스에 대한 동작 전압들을 도시한다.
도 15는 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 16은 도 15의 벡터 승산기 매트릭스에 대한 동작 전압들을 도시한다.
도 17은 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 18은 벡터 승산기 매트릭스에서의 데이터 드리프트를 검출하기 위한 시스템을 도시한다.
도 19는 데이터 리프레시 방법을 도시한다.
도 20은 다른 데이터 리프레시 방법을 도시한다.
도 21은 벡터 승산기 매트릭스에서의 고속 셀들의 특성들을 도시한다.
도 22는 벡터 승산기 매트릭스에서의 고속 셀들의 특성들을 도시한다.
도 23은 데이터 드리프트를 평가하기 위한 메커니즘을 도시한다.
도 24는 데이터 드리프트 검출기의 일 실시예를 도시한다.
도 25는 데이터 드리프트 검출기의 다른 실시예를 도시한다.
도 26은 도 25의 실시예에 대한 예시적인 샘플링 기간을 도시한다.
도 27은 데이터 드리프트 검출기의 다른 실시예를 도시한다.
본 발명의 인공 신경망은 CMOS 기술과 비휘발성 메모리 어레이들의 조합을 이용한다.
비휘발성 메모리 셀들
디지털 비휘발성 메모리들이 잘 알려져 있다. 예를 들어, 미국 특허 제5,029,130호("'130 특허")가 분리형 게이트 비휘발성 메모리 셀들의 어레이를 개시하고 있으며, 모든 목적을 위해 본 명세서에 참고로 포함된다. 그러한 메모리 셀이 도 2에 도시되어 있다. 각각의 메모리 셀(210)은 반도체 기판(12) 내에 형성된 소스 영역(14) 및 드레인 영역(16)을 포함하며, 채널 영역(18)이 그들 사이에 있다. 플로팅 게이트(20)가 소스 영역(16)의 일부분 위에, 그리고 채널 영역(18)의 제1 부분 위에 형성되고 그로부터 절연된다(그리고 그의 전도율을 제어한다). 워드 라인 단자(22)(이는 전형적으로, 워드 라인에 커플링됨)가 채널 영역(18)의 제2 부분 위에 배치되고 그로부터 절연되는(그리고 그의 전도율을 제어하는) 제1 부분, 및 위쪽으로 그리고 플로팅 게이트(20) 위로 연장되는 제2 부분을 갖는다. 플로팅 게이트(20) 및 워드 라인 단자(22)는 게이트 산화물에 의해 기판(12)으로부터 절연된다. 비트 라인(24)이 드레인 영역(16)에 커플링된다.
메모리 셀(210)은 워드 라인 단자(22) 상에 높은 포지티브 전압을 배치함으로써 소거되는데(여기서 전자들이 플로팅 게이트로부터 제거됨), 이는 플로팅 게이트(20) 상의 전자들이 파울러-노드하임 터널링(Fowler-Nordheim tunneling)을 통해 중간 절연체를 통과하여 플로팅 게이트(20)로부터 워드 라인 단자(22)로 터널링하게 한다.
메모리 셀(210)은 워드 라인 단자(22) 상에 포지티브 전압을, 그리고 소스(16) 상에 포지티브 전압을 배치함으로써 프로그래밍된다(여기서 전자들이 플로팅 게이트 상에 배치됨). 전자 전류가 소스(16)로부터 드레인(14)을 향해 흐를 것이다. 전자들은 그들이 워드 라인 단자(22)와 플로팅 게이트(20) 사이의 갭에 도달할 때 가속되고 가열될 것이다. 가열된 전자들 중 일부는 플로팅 게이트(20)로부터의 정전 인력으로 인해 게이트 산화물(26)을 통과하여 플로팅 게이트(20) 상으로 주입될 것이다.
메모리 셀(210)은 드레인(14) 및 워드 라인 단자(22) 상에 포지티브 판독 전압들을 배치함(이는 워드 라인 단자 아래의 채널 영역을 턴 온시킴)으로써 판독된다. 플로팅 게이트(20)가 포지티브로 대전되면(즉, 전자들이 소거되고 드레인(16)에 포지티브로 커플링되면), 플로팅 게이트(20) 아래의 채널 영역의 부분이 또한 턴 온되고, 전류가 채널 영역(18)을 가로질러 흐를 것이며, 이는 소거 또는 "1" 상태로 감지된다. 플로팅 게이트(20)가 네거티브로 대전되면(즉, 전자들로 프로그래밍되면), 플로팅 게이트(20) 아래의 채널 영역의 부분은 대부분 또는 완전히 턴 오프되고, 전류가 채널 영역(18)을 가로질러 흐르지 않을 것이며(또는 흐름이 거의 없을 것이며), 이는 프로그래밍된 또는 "0" 상태로 감지된다.
표 1은 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(210)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 1]
Figure pct00001
다른 분리형 게이트 메모리 셀 구성들이 알려져 있다. 예를 들어, 도 3은 소스 영역(14), 드레인 영역(16), 채널 영역(18)의 제1 부분 위의 플로팅 게이트(20), 채널 영역(18)의 제2 부분 위의 선택 게이트(28)(전형적으로 워드 라인에 커플링됨), 플로팅 게이트(20) 위의 제어 게이트(22), 및 소스 영역(14) 위의 소거 게이트(30)를 포함하는 4-게이트 메모리 셀(310)을 도시한다. 이러한 구성은, 모든 목적을 위해 본 명세서에 참고로 포함되는, 미국 특허 제6,747,310호에 기재되어 있다. 여기서, 모든 게이트들은 플로팅 게이트(20)를 제외한 비-플로팅 게이트들이며, 이는 그것들이 전압원에 전기적으로 접속되어 있거나 접속가능하다는 것을 의미한다. 프로그래밍은 채널 영역(18)으로부터의 가열된 전자들이 플로팅 게이트(20) 상으로 자신들을 주입하는 것에 의해 나타난다. 소거는 전자들이 플로팅 게이트(20)로부터 소거 게이트(30)로 터널링하는 것에 의해 나타난다.
표 2는 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(310)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 2]
Figure pct00002
도 4는 분리형 게이트 3-게이트 메모리 셀(410)을 도시한다. 메모리 셀(410)은, 메모리 셀(410)이 별개의 제어 게이트를 갖지 않는다는 점을 제외하고는, 도 3의 메모리 셀(310)과 동일하다. 소거 동작(소거 게이트를 통하여 소거함) 및 판독 동작은, 제어 게이트 바이어스가 없다는 점을 제외하고는, 도 3의 것과 유사하다. 프로그래밍 동작은 또한 제어 게이트 바이어스 없이 행해지고, 따라서 소스 라인 상의 프로그래밍 전압은 제어 게이트 바이어스의 결여를 보상하기 위해 더 높다.
표 3은 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(410)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 3]
Figure pct00003
도 5는 스택형 게이트 메모리 셀(510)을 도시한다. 메모리 셀(510)은, 절연 층에 의해 분리되어, 플로팅 게이트(20)가 전체 채널 영역(18) 위로 연장되고, 제어 게이트(22)가 플로팅 게이트(20) 위로 연장된다는 점을 제외하고는, 도 2의 메모리 셀(210)과 유사하다. 소거, 프로그래밍, 및 판독 동작은 메모리 셀(210)에 대해 이전에 설명된 것과 유사한 방식으로 동작한다.
표 4는 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(510)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 4]
Figure pct00004
인공 신경망에서 위에서 설명된 비휘발성 메모리 셀들의 유형들 중 하나를 포함하는 메모리 어레이들을 이용하기 위해, 두 가지 수정이 이루어진다. 첫째, 라인들은, 하기에서 추가로 설명되는 바와 같이, 각각의 메모리 셀이 어레이 내의 다른 메모리 셀들의 메모리 상태에 악영향을 미치지 않으면서 개별적으로 프로그래밍, 소거, 및 판독될 수 있도록 구성된다. 둘째, 메모리 셀들의 연속적인 (아날로그식) 프로그래밍이 제공된다.
구체적으로, 어레이 내의 각각의 메모리 셀들의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 소거 상태로부터 완전 프로그래밍 상태로 연속적으로 변경될 수 있다. 다른 실시예에서, 어레이 내의 각각의 메모리 셀의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 프로그래밍 상태로부터 완전 소거 상태로 연속적으로 변경될 수 있고, 그 역도 성립한다. 이는 셀 저장소가 아날로그식이거나 또는 적어도 많은 개별 값들(예컨대, 16개 또는 64개의 상이한 값들) 중 하나를 저장할 수 있음을 의미하며, 이것은 메모리 어레이 내의 모든 셀들의 매우 정밀하고 개별적인 튜닝을 허용하고, 메모리 어레이를 신경망의 시냅스 가중치들에 대한 미세 튜닝 조정들을 저장하고 행하는 데 이상적인 것으로 되게 한다.
비휘발성 메모리 셀 어레이들을 채용한 신경망들
도 6은 비휘발성 메모리 어레이를 활용하는 신경망의 비제한적인 예를 개념적으로 예시한다. 이 예는 얼굴 인식 애플리케이션에 대해 비휘발성 메모리 어레이 신경망을 이용하지만, 비휘발성 메모리 어레이 기반 신경망을 이용하여 임의의 다른 적절한 애플리케이션이 구현될 수 있다.
S0은, 이 예에 대해, 5 비트 정밀도를 갖는 32x32 픽셀 RGB 이미지(즉, 각각의 색상 R, G 및 B에 대해 하나씩인 3개의 32x32 픽셀 어레이들, 각각의 픽셀은 5 비트 정밀도임)인 입력이다. S0으로부터 C1로 가는 시냅스들(CB1)은 가중치들 및 공유 가중치들의 상이한 세트들 양측 모두를 가지며, 입력 이미지를 3x3 픽셀 중첩 필터들(커널(kernel))로 스캔하여, 필터를 1 픽셀(또는 모델별로 지시되는 바와 같이 1 초과 픽셀)만큼 시프트시킨다. 구체적으로, 이미지의 3x3 부분 내의 9개 픽셀들(즉, 필터 또는 커널로 지칭됨)에 대한 값들이 시냅스들(CB1)에 제공되고, 이에 의해, 이들 9개의 입력 값들이 적절한 가중치들과 승산되고, 그 승산의 출력들을 합산한 후, 단일 출력 값이 결정되고, 피처 맵(feature map)(C1)의 층들 중 하나의 층의 픽셀을 생성하기 위해 CB1의 제1 뉴런에 의해 제공된다. 이어서, 3x3 필터가 하나의 픽셀씩 우측으로 시프트되고(즉, 우측에 3개 픽셀들의 컬럼(column)을 추가하고, 좌측에서 3개 픽셀들의 컬럼을 뺌), 이에 의해 이러한 새롭게 위치된 필터에서의 9개 픽셀 값들이 시냅스들(CB1)에 제공되고, 이에 의해 이들은 동일한 가중치들과 승산되고, 제2 단일 출력 값이 연관된 뉴런에 의해 결정된다. 이러한 프로세스는, 3개의 모든 색상들에 대해 그리고 모든 비트들(정밀도 값들)에 대해, 3x3 필터가 전체 32x32 픽셀 이미지를 가로질러서 스캔할 때까지 계속된다. 이어서, 프로세스는, 층(C1)의 모든 피처 맵들이 계산될 때까지, 가중치들의 상이한 세트들을 사용하여 반복되어 C1의 상이한 피처 맵을 생성한다.
C1에서, 본 예에서, 각각 30x30 픽셀들을 갖는 16개 피처 맵들이 있다. 각각의 픽셀은 입력들과 커널을 승산한 것으로부터 추출된 새로운 피처 픽셀이고, 따라서 각각의 피처 맵은 2차원 어레이이고, 따라서, 이러한 예에서, 시냅스들(CB1)은 2차원 어레이들의 16개 층들을 구성한다(본 명세서에서 언급된 뉴런 층들 및 어레이들은 반드시 물리적 관계인 것이 아니라 논리적 관계임 - 즉, 어레이들은 반드시 물리적으로 2차원 어레이들로 배향되지는 않음 - 에 유념한다). 16개 피처 맵들 각각은 필터 스캔에 적용되는 시냅스 가중치들의 상이한 16개 세트들 중 하나의 세트에 의해 생성된다. C1 피처 맵들은 모두, 경계 식별과 같은 동일한 이미지 피처의 상이한 태양들에 관한 것일 수 있다. 예를 들어, (제1 맵을 생성하는 데 사용되는 모든 스캔을 위해 공유되는 제1 가중치 세트를 사용하여 생성된) 제1 맵은 원형 에지들을 식별할 수 있고, (제1 가중치 세트와는 상이한 제2 가중치 세트를 사용하여 생성된) 제2 맵은 직사각형 에지들, 또는 특정 피처들의 종횡비 등을 식별할 수 있다.
활성화 함수(P1)(풀링(pooling))는 C1로부터 S1로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. 풀링 스테이지의 목적은, 예를 들어 에지 위치의 의존성을 감소시키고 다음 스테이지로 가기 전에 데이터 크기를 감소시키기 위해 인근 위치를 평균하는 것이다(또는 최대 함수가 또한 사용될 수 있음). S1에는, 16개 15x15 피처 맵들(즉, 각각 15x15 픽셀들의 상이한 16개 어레이들)이 있다. S1로부터 C2로 가는 CB2 내의 시냅스들 및 연관된 뉴런들은 1 픽셀의 필터 시프트를 갖는 4x4 필터들로 S1 내의 맵들을 스캔한다. C2에는, 22개 12x12 피처 맵들이 있다. 활성화 함수(P2)(풀링)가 C2로부터 S2로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. S2에는, 22개 6x6 피처 맵들이 있다. 활성화 함수가 S2로부터 C3으로 가는 시냅스들(CB3)에서 적용되며, 여기서 C3 내의 모든 뉴런은 S2 내의 모든 맵에 연결된다. C3에는, 64개 뉴런들이 있다. C3으로부터 출력(S3)으로 가는 시냅스들(CB4)은 S3을 C3에 완전히 연결한다. S3에서의 출력은 10개 뉴런들을 포함하고, 여기서 최고 출력 뉴런이 클래스를 결정한다. 이러한 출력은, 예를 들어, 원래의 이미지의 콘텐츠의 식별 또는 분류를 나타낼 수 있다.
시냅스들의 각각의 레벨은 비휘발성 메모리 셀들의 어레이 또는 그들의 어레이의 일부분을 사용하여 구현된다. 도 7은 비휘발성 메모리 셀들을 포함하고 입력 층과 다음 층 사이의 시냅스들로서 활용되는 VMM 어레이의 블록도이다. 구체적으로, VMM(32)은 비휘발성 메모리 셀들(33)의 어레이, 소거 게이트 및 워드 라인 게이트 디코더(34), 제어 게이트 디코더(35), 비트 라인 디코더(36) 및 소스 라인 디코더(37)를 포함하며, 이들은 메모리 어레이(33)에 대한 입력들을 디코딩한다. 이 예에서의 소스 라인 디코더(37)는 또한 메모리 셀 어레이의 출력을 디코딩한다. 대안으로, 비트 라인 디코더(36)는 메모리 어레이의 출력을 디코딩할 수 있다. 메모리 어레이는 두 가지 목적들을 제공한다. 첫째, 그것은 VMM에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이는 입력들을 메모리 어레이에 저장된 가중치들과 유효하게 승산하고 이들을 출력 라인(소스 라인 또는 비트 라인)마다 합산하여 출력을 생성하며, 이는 다음 층으로의 입력 또는 최종 층으로의 입력일 것이다. 승산 및 합산 기능을 수행함으로써, 메모리 어레이는 별개의 승산 및 합산 로직 회로들에 대한 필요성을 무효화하고, 또한 인-시츄(in-situ) 메모리 계산으로 인해 전력 효율적이다.
메모리 어레이의 출력은 차동 합산기(예컨대, 합산 연산 증폭기)(38)에 공급되고, 이는 메모리 셀 어레이의 출력들을 합산하여 그 컨볼루션(convolution)에 대한 단일 값을 생성한다. 차동 합산기는 예를 들어 양의 가중치 및 음의 가중치와 양의 입력의 합산을 실현하기 위한 것이다. 이어서 합산된 출력 값들은 출력을 정류하는 활성화 함수 회로(39)에 공급된다. 활성화 함수는 시그모이드, tanh 또는 ReLU 함수들을 포함할 수 있다. 정류된 출력 값들은 다음 층(예를 들어, 위의 설명의 C1)으로서 피처 맵의 요소가 되고, 이어서 다음 시냅스에 적용되어 다음 피처 맵 층 또는 최종 층을 생성한다. 따라서, 이 예에서, 메모리 어레이는 복수의 시냅스들(이들은 이전 뉴런 층으로부터 또는 이미지 데이터베이스와 같은 입력 층으로부터 그들의 입력들을 수신함)을 구성하고, 합산 연산 증폭기(38) 및 활성화 함수 회로(39)는 복수의 뉴런들을 구성한다.
도 8은 다양한 레벨들의 VMM의 블록도이다. 입력은 디지털-아날로그 변환기(31)에 의해 디지털로부터 아날로그로 변환되고, 입력 VMM(32a)에 제공된다. 입력 VMM(32a)에 의해 생성된 출력은 다음 VMM(은닉 레벨 1)(32b)으로의 입력으로서 제공되고 다음 VMM으로의 입력은 이어서 다음 VMM(은닉 레벨 2)(32b)으로의 입력으로서 제공되는 출력을 생성하고, 등등이다. VMM(32)의 다양한 층들은 컨볼루션 신경망(convolutional neural network, CNN)의 시냅스들 및 뉴런들의 상이한 층들로서 기능한다. 각각의 VMM은 독립형 비휘발성 메모리 어레이일 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 상이한 부분들을 활용할 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 중첩 부분들을 활용할 수 있다.
VMM 어레이들
도 9는 뉴런 VMM(900)을 도시하며, 이는 도 2에 도시된 타입의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 활용된다. VMM(900)은 비휘발성 메모리 셀들의 메모리 어레이(903), 기준 어레이(901) 및 기준 어레이(902)를 포함한다. 기준 어레이들(901, 902)은 단자들 BLR0 내지 BLR3 내로 흐르는 전류 입력들을 전압 입력들 WL0 내지 WL3으로 변환하는 역할을 한다. 도시된 바와 같은 기준 어레이들(901, 902)은 컬럼 방향으로 있다. 일반적으로, 기준 어레이 방향은 입력 라인들에 직교한다. 사실상, 기준 메모리 셀들은 전류 입력들이 그들 안으로 흐르는 멀티플렉서들(멀티플렉서 및 기준 비트 라인을 바이어싱하기 위한 캐스코딩 트랜지스터(VBLR)를 포함하는, 멀티플렉서(914))을 통해 다이오드 접속된다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다.
메모리 어레이(903)는 두 가지 목적들을 제공한다. 첫째, 그것은 VMM(900)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(903)는 입력들(단자들 BLR0 내지 BLR3에 제공되는 전류 입력들; 기준 어레이들(901, 902)은 이들 전류 입력들을 워드 라인들 WL0 내지 WL3에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 승산하여 출력을 생성하며, 이는 다음 층으로의 입력 또는 최종 층으로의 입력일 것이다. 승산 기능을 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 전압 입력들은 워드 라인들 상에 제공되고, 출력은 판독(추론) 동작 동안 비트 라인 상에 나타난다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 기능을 수행한다.
도 10은 VMM(900)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우(row)들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
도 11은 뉴런 VMM(1100)을 도시하며, 이는 도 2에 도시된 타입의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 활용된다. VMM(1100)은 비휘발성 메모리 셀들의 메모리 어레이(1103), 기준 어레이(1101) 및 기준 어레이(1102)를 포함한다. VMM(1100)은, VMM(1100)에서 워드 라인들이 수직 방향으로 이어진다는 점을 제외하고는, VMM(900)과 유사하다. 2개의 기준 어레이(1101)(상부에 있음, 이는 입력 전류를 짝수 로우들에 대한 전압으로 변환하는 기준을 제공함) 및 기준 어레이(1102)(하부에 있음, 이는 입력 전류를 홀수 로우들에 대한 전압으로 변환하는 기준을 제공함)가 존재한다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 소스 라인 상에 나타난다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 기능을 수행한다.
도 12는 VMM(1100)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
도 13은 뉴런 VMM(1300)을 도시하며, 이는 도 3에 도시된 타입의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 활용된다. VMM(1300)은 비휘발성 메모리 셀들의 메모리 어레이(1301), 기준 어레이(1302)(입력 전류를 짝수 로우들에 대한 입력 전압으로 변환하는 기준을 제공함), 및 기준 어레이(1303)(입력 전류를 홀수 로우들에 대한 입력 전압으로 변환하는 기준을 제공함)를 포함한다. VMM(1300)은, VMM(1300)이 메모리 셀들의 로우의 제어 게이트들에 커플링된 제어 라인(1306) 및 메모리 셀들의 인접한 로우들의 소거 게이트들에 커플링된 제어 라인(1307)을 추가로 포함한다는 점을 제외하고는, VMM(900)과 유사하다. 여기서, 워드 라인들, 제어 게이트 라인들, 및 소거 게이트 라인들은 동일한 방향을 갖는다. VMM은, 기준 비트 라인을 선택된 기준 메모리 셀의 비트 라인 콘택트에 선택적으로 커플링하는 기준 비트 라인 선택 트랜지스터(1304)(mux(1314)의 일부), 및 기준 비트 라인을 특정 선택된 기준 메모리 셀에 대한 제어 라인(1306)에 선택적으로 커플링하는 스위치(1305)(mux(1314)의 일부)를 추가로 포함한다. 여기서, 입력들은 (메모리 어레이(1301)의) 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 비트 라인(1309)과 같은 비트 라인 상에 나타난다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 기능을 수행한다.
도 14는 VMM(1300)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들을 위한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
도 15는 뉴런 VMM(1500)을 도시하며, 이는 도 3에 도시된 타입의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 활용된다. VMM(1500)은, VMM(1500)에서 소거 게이트 라인(1501)과 같은 소거 게이트 라인들이 수직 방향으로 이어진다는 점을 제외하고는, VMM(1100)과 유사하다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 소스 라인들 상에 나타난다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 기능을 수행한다.
도 16은 VMM(1500)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들을 위한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
도 17은 뉴런 VMM(1700)을 도시하며, 이는 도 3에 도시된 타입의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 활용된다. VMM(1700)은 비휘발성 메모리 셀들의 메모리 어레이(1701) 및 (어레이의 상부에 있는) 기준 어레이(1702)를 포함한다. 대안으로, 다른 기준 어레이가, 도 10의 것과 유사하게, 하부에 배치될 수 있다. 다른 면에서, VMM(1700)은, VMM(1700)에서 제어 게이트 라인(1703)과 같은 제어 게이트 라인들이 수직 방향으로 이어지고(따라서, 입력 제어 게이트 라인들에 직교하는, 로우 방향의 기준 어레이(1702)), 소거 게이트 라인(1704)과 같은 소거 게이트 라인들이 수평 방향으로 이어진다는 점을 제외하고는, 이전에 기술된 VMM들과 유사하다. 여기서, 입력들은 제어 게이트 라인들 상에 제공되고, 출력은 소스 라인들 상에 나타난다. 일 실시예에서 짝수 로우들만이 사용되고, 다른 실시예에서 홀수 로우들만이 사용된다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 기능을 수행한다.
신경망에 대해 본 명세서에 설명된 바와 같이, 플래시 셀들은 바람직하게는 서브-임계 영역에서 동작하도록 구성된다.
본 명세서에 기술된 메모리 셀들은 하기와 같은 약 반전(weak inversion)으로 바이어싱된다:
Ids = Io * e (Vg- Vth)/㎸t = w * Io * e (Vg)/㎸t
w = e (- Vth)/㎸t
메모리 셀을 사용하는 I-V(I-to-V) 로그 변환기가 입력 전류를 입력 전압으로 변환하도록 하기 위해:
Vg= k*Vt*log [Ids/wp*Io]
벡터-매트릭스 승산기(VMM)로서 사용되는 메모리 어레이의 경우, 출력 전류는 하기와 같다:
Iout = wa * Io * e (Vg)/㎸t, 즉
Iout = (wa/wp) * Iin = W * Iin
W = e (Vthp - Vtha)/㎸t
워드 라인 또는 제어 게이트가 입력 전압을 위해 메모리 셀에 대한 입력으로서 사용될 수 있다.
대안으로, 플래시 메모리 셀들은 선형 영역에서 동작하도록 구성될 수 있다:
Ids = beta* (Vgs-Vth)*Vds; beta = u*Cox*W/L
W α (Vgs-Vth)
I-V 선형 변환기에 대해, 선형 영역에서 동작하는 메모리 셀은 입력/출력 전류를 입력/출력 전압으로 선형으로 변환하는 데 사용될 수 있다.
ESF 벡터 매트릭스 승산기에 대한 다른 실시예들은, 본 명세서에 참고로 포함되는 미국 특허 출원 제15/826,345호에 기재된 바와 같다. 소스 라인 또는 비트 라인이 뉴런 출력(전류 합산 출력)으로서 사용될 수 있다.
도 18은 시스템 제어기(1801), 아날로그 뉴로모픽 메모리 엔진(1802), 및 아날로그 뉴로모픽 메모리 엔진(1803)을 포함하는 아날로그 뉴로모픽 메모리 시스템(1800)을 도시한다. 아날로그 뉴로모픽 메모리 엔진(1802) 및 아날로그 뉴로모픽 메모리 엔진(1803) 각각은 가중치들로 프로그래밍된 VNM 어레이를 포함한다. 아날로그 뉴로모픽 메모리 엔진(1803) 내의 VNM의 어레이의 일부는 데이터가 드리프트되었는지를 결정하기 위한 프로세스에 전용된다.
도 19는 VNM에서 데이터를 리프레시하는 방법(1900)을 도시한다. 한 세트의 플래시 메모리 셀들이 샘플링된다(단계(1901)에서, 샘플 선택). 플래시 메모리 셀들(L0, … LN-1)에 의해 저장된 각각의 가능한 레벨(N 값들)에 대해 샘플이 분석되고, 차이(DRx)가 각각의 쌍의 인접 레벨들 사이에서 계산된다(단계(1902)). 각각의 레벨에 대해, 차이(DRx)가 타깃(이상적)(DRx_target)에 비교된다(단계(1903)). 차이들(DRx) 중 임의의 차이가 타깃을 초과하는 경우, 리프레시 플래그가 설정된다(단계(1904)). 이어서, 복원 데이터 프로세스가 발생한다(단계(1905)). 이러한 단계는 온-칩(on-chip) 제어기에 의해 또는 오프-칩(off-chip) 제어기에 의해 행해질 수 있다. 단계(1905)에서, 리튜닝(re-tuning) 단계(예컨대, 재-프로그래밍)가 각각의 레벨에 대해 조정된다. 먼저, 셀이 다시 판독되고, 이어서, 레벨에 따라, 그 레벨에 대해 델타 리튜닝이 적용된다. 룩업 테이블(Icell 대 I-tuned target)이 이러한 목적을 위해 사용될 수 있다. 이 단계에서, (예컨대, 본 명세서에 참고로 포함된 미국 특허 출원 제15/826,345호에 기재된 알고리즘을 이용함으로써) 타깃에 도달하기 위해 튜닝 알고리즘(반복 검증 및 프로그래밍)이 사용된다. 복원은, 또한, 샘플링된 데이터 보유 셀들에 대해 행해진다. 일단 각각의 셀이 그 셀에 저장된 레벨에 대한 타깃 전류와 동일한 전류를 가지면(단계(1906)), 프로세스는 완료된다(단계(1908)). 그에 결코 도달되지 않은 경우, 셀은 불량한 것으로 간주되고, 프로세스는 완료된다(단계(1907)).
도 20은 VNM에서 데이터를 리프레시하는 다른 방법(2000)을 도시한다. 한 세트의 예시적인 플래시 메모리 셀들이 샘플링된다(단계(2001)). 플래시 메모리 셀들(L0, … LN-1)에 의해 저장된 각각의 가능한 레벨(N 값들)에 대해 샘플이 분석되고, 차이(DRx)가 각각의 쌍의 인접 레벨들 사이에서 계산된다(단계(2002)). 각각의 레벨에 대해, 차이(DRx)가 타깃(이상적)(DRx_target)에 비교된다(단계(2003)). 차이들(DRx) 중 임의의 차이가 타깃을 초과하는 경우, 리프레시 플래그가 설정된다(단계(2004)). 이어서, 복원 데이터 프로세스가 발생한다(단계(2005)). 복원은 온-칩 또는 오프-칩 제어기에 의해 행해질 수 있다. 단계(2005)에서, 리튜닝 단계(예컨대, 재-프로그래밍)가 각각의 레벨에 대해 조정된다. 먼저, 셀(어레이 셀 및 샘플링된 데이터 보유 셀들)이 다시 판독되고, 이어서, 레벨에 따라, 미세 증분 복원(fine increment restore) 알고리즘에 의해 그 레벨에 대해 델타 리튜닝이 적용된다. 룩업 테이블(Icell 대 I-tuned target)이 이러한 목적을 위해 사용될 수 있다. 이 단계에서, (예컨대, 본 명세서에 참고로 포함된 미국 특허 출원 제15/826,345호에 기재된 알고리즘을 이용함으로써) 타깃에 도달하기 위해 미세 튜닝 알고리즘(미세 단계 반복 검증 및 프로그래밍)이 사용된다. 대안으로, 데이터 복원은 트레이닝으로부터의 모든 가중치들을 VMM 어레이들로 전달하는 것에 의해 전체 VMM 어레이들을 재-프로그래밍함으로써 행해질 수 있다. 일단 각각의 셀이 그 셀에 저장된 레벨에 대한 타깃 전류와 동일한 전류를 가지면(단계(2006)), 프로세스는 완료된다(단계(2007)). 그에 결코 도달되지 않은 경우, 셀은 불량한 것으로 간주된다(단계(2008)). 이어서, 불량 어레이 섹터를 대체하기 위해 리던던시 어레이 섹터가 사용된다(단계(2009)). 이러한 방식으로 사용되는 리던던시 셀들의 수가 임계치를 초과하는 경우(단계(2010)), 전체 섹터가 불량한 것으로 간주된다(단계(2011)).
도 21 및 도 22와 관련하여, 평균 셀에 비해 프로그래밍 동작 동안 그들의 플로팅 게이트들로부터 전하를 비교적 빨리 상실할 수 있는 셀들인 "고속 셀들"을 식별하는 것이 바람직할 수 있는데, 이는 그러한 고속 셀들이 시간 경과에 따른 데이터 드리프트에 더 민감하기 때문이다. 도 21에서, 고속 셀들은, 그래프(2100)를 참조하면, 비교적 적은 프로그래밍 시도들(카운트들)로 높은 전류 레벨 Ircell을 획득하는 것들로서 식별될 수 있다. 도 22에서, 그래프(2200)를 참조하면, 고속 셀이 일반 셀들보다 높은 Ir 동작 범위를 가질 가능성이 있다는 것이 이해된다. 도 22는 데이터 보유(드리프트) 모니터에 사용되는 예시적인 셀들을 도시한다. 최소 및 최대 범위를 초과하는 셀들이 모니터 목적을 위해 사용된다. 이것은 일반 셀들보다 불량한 응력 상태를 갖는 모니터 셀들을 생성하는 데 사용된다.
도 23은 데이터 드리프트 검출 방식을 도시한다. 이 예에서, 소정 전류 레벨이 target1과 target2 사이에 있는 것이 바람직하다. 감지된 전류가 이들 타깃들 사이에 있는 경우, 어떠한 리프레시도 필요하지 않는데, 이는 드리프트가 시스템 성능에 대해 허용가능함을 의미한다. 그러나, 감지된 전류가 target1과 target 2 사이의 범위 밖에 있는 경우, 데이터 리프레시(복원) 프로세스가 수행된다.
도 24는 데이터 드리프트 검출기의 일 실시예를 도시한다. 데이터 드리프트 검출기(2400)는 전류(2402)(이는 선택된 셀을 통한 감지된 전류 레벨 또는 그러한 전류들 사이의 차이일 수 있음) 및 기준 전류(2401)를 비교기(2403)에서 수신하는데, 이 비교기는 전류(2402)가 기준 전류(2401)를 초과하는지의 여부를 나타내는 값을 출력한다. 데이터 드리프트 검출기(2400)는 선택된 셀에 저장되었도록 의도된 값에 기초하여, 선택된 셀에 의해 인출된 전류를 타깃 전류와 비교한다.
도 25는 데이터 드리프트 검출기의 다른 실시예를 도시한다. 데이터 드리프트 검출기(2500)는 샘플-앤드-홀드 커패시터들(2501, 2504), 스위치들(2502, 2505), 전류원(2506)(이는 선택된 셀을 통한 감지된 전류 레벨 또는 그러한 전류들 사이의 차이일 수 있음), 기준 전류(2503), 및 비교기(2507)를 포함한다. 이 실시예에서, 2개의 전류원들은 결정된 램핑(ramping) 기간을 통해 커패시터들에 의해 샘플링되고 유지되며, 이어서, 이들 샘플링된 값들이 비교기(2507)에 의해 비교된다. 따라서, 데이터 드리프트 검출기(2500)는 선택된 셀에 저장되었도록 의도된 값에 기초하여, 선택된 셀에 의해 인출된 샘플링된 전류를 샘플링된 타깃 전류와 비교한다.
도 26을 참조하면, 그래프(2600)에 도시된 바와 같이, 데이터 드리프트 검출기(2500)의 샘플링 기간은 상당한 데이터 드리프트가 발생하기 전에 얼마나 많은 시간이 경과할 가능성이 있는지의 이해에 기초하여 선택될 수 있다. 이는 데이터 드리프트 검출기(2400)에 비해 더 적은 전력 소비를 초래할 수 있다.
도 27은 데이터 드리프트 검출기의 다른 실시예를 도시한다. 데이터 드리프트 검출기(2700)는 선택된 메모리 셀(2701), 전류원(2702), 기준 전압(2703), 및 비교기(2704)를 포함한다. 이 실시예에서, 선택된 메모리 셀(2701)의 플로팅 게이트 상에 저장된 전압(노드(2705) 상의 전압 = ~VFG - VtFG)과 기준 전압(2703)(이는, 선택된 메모리 셀(2701)이 저장하도록 의도되는 전압임) 사이에 직접 비교가 이루어진다. 메모리 셀(2701)은 소스-팔로워 동작 모드로 구성된다. 기준 전압은 기준 메모리 셀로부터 생성될 수 있다.
본 명세서에 사용된 바와 같이, 용어들 "~ 위에" 및 "~ 상에" 둘 모두는 "직접적으로 ~ 상에"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)와 "간접적으로~ 상에"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)를 포괄적으로 포함한다는 것에 유의하여야 한다. 마찬가지로, 용어 "인접한"은 "직접적으로 인접한"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 인접한"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "~에 실장되는"은 "직접적으로 ~에 실장되는"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 ~에 실장되는"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "전기적으로 커플링되는"은 "직접적으로 ~에 전기적으로 커플링되는"(요소들을 함께 전기적으로 접속시키는 어떠한 중간 재료들 또는 요소들도 사이에 없음)과 "간접적으로 ~에 전기적으로 커플링되는"(요소들을 함께 전기적으로 접속시키는 중간 재료들 또는 요소들이 사이에 있음)을 포함한다. 예를 들어, "기판 위에" 요소를 형성하는 것은 어떠한 중간 재료들/요소들도 사이에 갖지 않고서 직접적으로 기판 상에 요소를 형성하는 것뿐만 아니라, 하나 이상의 중간 재료들/요소들을 사이에 갖고서 간접적으로 기판 상에 요소를 형성하는 것을 포함할 수 있다.

Claims (43)

  1. 아날로그 뉴로모픽 메모리(analog neuromorphic memory) 시스템 내의 선택된 플래시 메모리 셀에서 데이터 드리프트를 검출하고 데이터를 리프레시하는 방법으로서,
    상기 선택된 플래시 메모리 셀의 플로팅 게이트에 저장된 제1 전압을 감지하는 단계;
    상기 제1 전압을 기준 회로에 의해 제공되는 제2 전압과 비교하는 단계; 및
    상기 제1 전압이 상기 제2 전압을 초과하는 경우, 상기 플로팅 게이트 상에 제3 전압을 저장함으로써 상기 플로팅 게이트에 저장된 상기 데이터를 리프레시하는 단계 - 상기 제3 전압은 상기 제1 전압보다 상기 제2 전압에 더 가까움 - 를 포함하는, 방법.
  2. 제1항에 있어서, 상기 기준 회로는 전압원을 포함하는, 방법.
  3. 제1항에 있어서, 상기 기준 회로는 기준 메모리 셀을 포함하는, 방법.
  4. 제1항에 있어서, 상기 선택된 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  5. 제1항에 있어서, 상기 선택된 메모리 셀은 적층형 게이트 메모리 셀인, 방법.
  6. 제1항에 있어서, 상기 선택된 메모리 셀은 소스 팔로워 모드로 구성되는, 방법.
  7. 제1항에 있어서, 상기 리프레시하는 단계는 구체적으로 전류 레벨에 대해 복원된 양으로 행해지는, 방법.
  8. 제1항에 있어서, 상기 리프레시하는 단계는 트레이닝 가중치를 상기 선택된 메모리 셀로 재전달함으로써 행해지는, 방법.
  9. 아날로그 뉴로모픽 메모리 시스템 내의 선택된 플래시 메모리 셀에서 데이터 드리프트를 검출하고 데이터를 리프레시하는 방법으로서,
    판독 동작 동안 선택된 플래시 메모리 셀에 의해 인출되는 제1 전류를 감지하는 단계;
    상기 제1 전류를 기준 회로에 의해 인출되는 제2 전류와 비교하는 단계; 및
    상기 제1 전류가 상기 제2 전류를 초과하는 경우, 상기 선택된 메모리 셀의 플로팅 게이트에 저장된 상기 데이터를 리프레시하여, 상기 선택된 플래시 메모리 셀이 판독 동작 동안 제3 전류를 인출하게 하는 단계 - 상기 제3 전류는 상기 제1 전류보다 상기 제2 전류에 더 가까움 - 를 포함하는, 방법.
  10. 제9항에 있어서, 상기 기준 회로는 전류원을 포함하는, 방법.
  11. 제9항에 있어서, 상기 선택된 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  12. 제9항에 있어서, 상기 선택된 메모리 셀은 적층형 게이트 메모리 셀인, 방법.
  13. 제9항에 있어서, 상기 리프레시하는 단계는 구체적으로 전류 레벨에 대해 복원된 양으로 행해지는, 방법.
  14. 제9항에 있어서, 상기 리프레시하는 단계는 트레이닝 가중치를 상기 선택된 메모리 셀로 재전달함으로써 행해지는, 방법.
  15. 아날로그 뉴로모픽 메모리 시스템 내의 선택된 플래시 메모리 셀에서 데이터 드리프트를 검출하고 데이터를 리프레시하는 방법으로서,
    판독 동작 동안 선택된 플래시 메모리 셀에 의해 인출된 제1 전류를 샘플링하여 제1 샘플링된 값을 생성하는 단계;
    기준 회로에 의해 인출된 제2 전류를 샘플링하여 제2 샘플링된 값을 생성하는 단계;
    상기 제1 샘플링된 값과 상기 제2 샘플링된 값을 비교하는 단계; 및
    상기 제1 샘플링된 값이 상기 제2 샘플링된 값을 초과하는 경우, 상기 선택된 메모리 셀의 플로팅 게이트에 저장된 상기 데이터를 리프레시하여, 상기 선택된 플래시 메모리 셀이 판독 동작 동안 제3 전류를 인출하게 하는 단계 - 상기 제3 전류는 상기 제1 전류보다 상기 제2 전류에 더 가까움 - 를 포함하는, 방법.
  16. 제15항에 있어서, 상기 기준 회로는 전류원을 포함하는, 방법.
  17. 제15항에 있어서, 상기 선택된 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  18. 제15항에 있어서, 상기 선택된 메모리 셀은 적층형 게이트 메모리 셀인, 방법.
  19. 제15항에 있어서, 상기 리프레시하는 단계는 구체적으로 전류 레벨에 대해 복원된 양으로 행해지는, 방법.
  20. 제15항에 있어서, 상기 리프레시하는 단계는 트레이닝 가중치를 상기 선택된 메모리 셀로 재전달함으로써 행해지는, 방법.
  21. 아날로그 뉴로모픽 메모리 시스템 내의 선택된 플래시 메모리 셀에서 데이터 드리프트를 검출하고 데이터를 리프레시하는 방법으로서,
    판독 동작 동안 선택된 플래시 메모리 셀에 의해 인출되는 제1 전류를 감지하는 단계;
    상기 제1 전류를 기준 회로에 의해 인출되는 제2 전류와 비교하는 단계;
    상기 제1 전류를 기준 회로에 의해 인출되는 제3 전류와 비교하는 단계; 및
    상기 제1 전류가 상기 제3 전류를 초과하는 경우, 상기 선택된 메모리 셀의 플로팅 게이트에 저장된 상기 데이터를 리프레시하여, 상기 선택된 플래시 메모리 셀이 판독 동작 동안 전류를 인출하게 하는 단계 - 복원된 전류는 상기 제2 전류와 상기 제3 전류 사이에 있음 -; 또는
    상기 제1 전류가 상기 제2 전류를 초과하고 상기 제3 전류를 초과하지 않는 경우, 상기 데이터를 리프레시하는 것을 억제하는 단계를 포함하는, 방법.
  22. 제21항에 있어서, 상기 기준 회로는 전류원을 포함하는, 방법.
  23. 제21항에 있어서, 상기 선택된 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  24. 제21항에 있어서, 상기 선택된 메모리 셀은 적층형 게이트 메모리 셀인, 방법.
  25. 제21항에 있어서, 상기 리프레시하는 단계는 구체적으로 전류 레벨에 대해 복원된 양으로 행해지는, 방법.
  26. 제21항에 있어서, 상기 리프레시하는 단계는 트레이닝 가중치를 상기 선택된 메모리 셀로 재전달함으로써 행해지는, 방법.
  27. 아날로그 뉴로모픽 메모리 시스템 내의 선택된 플래시 메모리 셀에서 데이터 드리프트를 검출하고 데이터를 리프레시하는 방법으로서,
    고속 셀들을 식별하는 단계;
    데이터 드리프트 검출을 위해 상기 고속 셀들을 샘플링하는 단계;
    데이터 드리프트 검출을 위해 예시적인 레벨에서 상기 고속 셀들을 프로그래밍하는 단계; 및
    데이터 드리프트 검출을 위해 상기 샘플링된 고속 셀들을 모니터링하는 단계를 포함하는, 방법.
  28. 제27항에 있어서, 상기 모니터링하는 단계는,
    판독 동작 동안 샘플링된 플래시 메모리 셀에 의해 인출되는 제1 전류를 감지하는 단계;
    상기 제1 전류를 기준 회로에 의해 인출되는 제2 전류와 비교하는 단계;
    상기 제1 전류를 기준 회로에 의해 인출되는 제3 전류와 비교하는 단계; 및
    상기 제1 전류가 상기 제3 전류를 초과하는 경우, 상기 메모리 셀의 플로팅 게이트에 저장된 상기 데이터를 리프레시하여, 상기 선택된 플래시 메모리 셀이 판독 동작 동안 전류를 인출하게 하는 단계 - 복원된 전류는 상기 제2 전류와 상기 제3 전류 사이에 있음 -; 또는
    상기 제1 전류가 상기 제2 전류를 초과하고 상기 제3 전류를 초과하지 않는 경우, 상기 데이터를 리프레시하는 것을 억제하는 단계를 포함하는, 방법.
  29. 제27항에 있어서, 상기 기준 회로는 전류원을 포함하는, 방법.
  30. 제27항에 있어서, 상기 샘플링된 플래시 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  31. 제27항에 있어서, 상기 샘플링된 메모리 셀은 적층형 게이트 메모리 셀인, 방법.
  32. 제27항에 있어서, 상기 리프레시하는 단계는 구체적으로 전류 레벨에 대해 복원된 양으로 행해지는, 방법.
  33. 제27항에 있어서, 상기 리프레시하는 단계는 트레이닝 가중치를 상기 샘플링된 메모리 셀로 재전달함으로써 행해지는, 방법.
  34. 아날로그 뉴로모픽 메모리 시스템 내의 선택된 플래시 메모리 셀에서 데이터 드리프트를 검출하고 데이터를 리프레시하는 방법으로서,
    메모리 셀들의 샘플들을 선택하는 단계;
    데이터 드리프트 검출을 위해 상기 샘플링된 셀들을 테스트하는 단계;
    데이터 드리프트 검출을 위해 N개의 레벨들로부터 선택된 예시적인 레벨에서 상기 테스트된 셀들을 프로그래밍하는 단계; 및
    데이터 드리프트 검출을 위해 상기 샘플링된 셀들을 모니터링하는 단계를 포함하는, 방법.
  35. 제34항에 있어서, 상기 테스트된 셀들의 임의의 전류가 델타 타깃을 초과할 때, 데이터 복원을 수행하는 단계를 포함하는, 방법.
  36. 제34항에 있어서, 상기 샘플링된 셀들의 임의의 전류가 델타 타깃을 초과하고, 이어서, 상기 데이터 복원 플래그를 설정하는, 방법.
  37. 제35항에 있어서, 복원된 셀의 임의의 전류가 타깃을 충족시킬 수 없을 때, 상기 복원된 셀을 불량 셀로서 식별하는 단계를 포함하는, 방법.
  38. 제37항에 있어서, 불량 셀을 리던던트 셀로 대체하는 단계를 추가로 포함하는, 방법.
  39. 제35항에 있어서, 상기 데이터 복원은 셀 튜닝을 포함하는, 방법.
  40. 제35항에 있어서, 상기 데이터 복원은 상기 예시적인 레벨에 대응하는 타깃 양을 갖는 셀 튜닝을 포함하는, 방법.
  41. 제34항에 있어서, 상기 메모리 셀들은 분리형 게이트 메모리 셀들인, 방법.
  42. 제34항에 있어서, 상기 메모리 셀들은 적층형 게이트 메모리 셀들인, 방법.
  43. 제35항에 있어서, 상기 데이터 복원은 트레이닝 가중치들을 상기 메모리 셀들로 재전달하는 것을 포함하는 방법.
KR1020207026690A 2018-03-14 2019-01-16 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치 KR102430151B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227026678A KR102716617B1 (ko) 2018-03-14 2019-01-16 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862642867P 2018-03-14 2018-03-14
US62/642,867 2018-03-14
US15/990,220 US10446246B2 (en) 2018-03-14 2018-05-25 Method and apparatus for data refresh for analog non-volatile memory in deep learning neural network
US15/990,220 2018-05-25
PCT/US2019/013871 WO2019177687A1 (en) 2018-03-14 2019-01-16 Method and apparatus for data refresh for analog non-volatile memory in deep learning neural network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227026678A Division KR102716617B1 (ko) 2018-03-14 2019-01-16 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200121347A true KR20200121347A (ko) 2020-10-23
KR102430151B1 KR102430151B1 (ko) 2022-08-08

Family

ID=67906045

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207026690A KR102430151B1 (ko) 2018-03-14 2019-01-16 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치
KR1020227026678A KR102716617B1 (ko) 2018-03-14 2019-01-16 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227026678A KR102716617B1 (ko) 2018-03-14 2019-01-16 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치

Country Status (6)

Country Link
US (3) US10446246B2 (ko)
EP (1) EP3766071B1 (ko)
JP (1) JP7153737B2 (ko)
KR (2) KR102430151B1 (ko)
TW (3) TWI755339B (ko)
WO (1) WO2019177687A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220133005A (ko) * 2021-03-24 2022-10-04 광운대학교 산학협력단 인공 신경망 소자 및 이의 동작 방법
KR102525664B1 (ko) * 2022-09-15 2023-04-25 전남대학교산학협력단 메모리 반도체 최적의 예비자원 수 예측 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110797067B (zh) * 2019-10-21 2021-10-22 上海闪易半导体有限公司 存储阵列模块及其控制方法、装置、模组
CN111222626B (zh) * 2019-11-07 2021-08-10 恒烁半导体(合肥)股份有限公司 一种基于NOR Flash模块的神经网络的数据切分运算方法
US11636322B2 (en) * 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
DE112021003900T5 (de) * 2020-07-17 2023-07-13 Semiconductor Energy Laboratory Co., Ltd. Halbleitervorrichtung und elektronisches Gerät
CN112053726B (zh) * 2020-09-09 2022-04-12 哈尔滨工业大学 一种基于Er态阈值电压分布的闪存误擦除数据恢复方法
US11626168B2 (en) 2021-03-10 2023-04-11 Samsung Electronics Co.. Ltd. De-noising using multiple threshold-expert machine learning models
US12014768B2 (en) 2021-07-29 2024-06-18 Taiwan Semiconductor Manufacturing Company, Ltd. DRAM computation circuit and method
KR20240052994A (ko) * 2021-11-12 2024-04-23 실리콘 스토리지 테크놀로지 인크 신경망에서 하나 이상의 메모리 셀에 인가할 바이어스 전압 결정
US11942144B2 (en) 2022-01-24 2024-03-26 Stmicroelectronics S.R.L. In-memory computation system with drift compensation circuit
CN115148248B (zh) * 2022-09-06 2022-11-08 北京奎芯集成电路设计有限公司 基于深度学习的dram刷新方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070084240A (ko) * 2004-10-21 2007-08-24 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 비휘발성 메모리 장치 및 이의 리프레싱 방법
US20070263454A1 (en) * 2006-05-15 2007-11-15 Apple Inc. Maintenance Operations for Multi-Level Data Storage Cells
KR20110106378A (ko) * 2008-12-18 2011-09-28 샌디스크 코포레이션 비휘발성 저장장치를 위한 데이터 리프레시
KR20120104276A (ko) * 2009-12-02 2012-09-20 마이크론 테크놀로지, 인크. 비휘발성 메모리에 대한 리프레시 아키텍처 및 알고리즘
KR20160137501A (ko) * 2013-07-16 2016-11-30 시게이트 테크놀로지 엘엘씨 고체-상태 비휘발성 메모리 셀들의 부분적 재프로그래밍

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5239505A (en) * 1990-12-28 1993-08-24 Intel Corporation Floating gate non-volatile memory with blocks and memory refresh
US5479170A (en) * 1992-10-16 1995-12-26 California Institute Of Technology Method and apparatus for long-term multi-valued storage in dynamic analog memory
US5909449A (en) * 1997-09-08 1999-06-01 Invox Technology Multibit-per-cell non-volatile memory with error detection and correction
US6493270B2 (en) * 1999-07-01 2002-12-10 Micron Technology, Inc. Leakage detection in programming algorithm for a flash memory device
WO2001015172A2 (en) * 1999-08-23 2001-03-01 Micron Technology, Inc. Flash memory with externally triggered detection and repair of leaky cells
JP2001076496A (ja) * 1999-09-02 2001-03-23 Fujitsu Ltd 不揮発性メモリのデータ化け防止回路およびその方法
US6396744B1 (en) * 2000-04-25 2002-05-28 Multi Level Memory Technology Flash memory with dynamic refresh
JP2002230984A (ja) * 2001-02-05 2002-08-16 Fujitsu Ltd 不揮発性半導体記憶装置
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
WO2004097839A1 (ja) * 2003-04-28 2004-11-11 Fujitsu Limited 不揮発性半導体記憶装置及び不揮発性半導体記憶装置のプログラム方法
CN1710661A (zh) * 2004-06-16 2005-12-21 皇家飞利浦电子股份有限公司 一种确定光盘读取信号质量的方法及装置
US7551503B2 (en) * 2005-06-24 2009-06-23 Macronix International Co., Ltd. Method for refreshing a flash memory
US7558149B2 (en) * 2006-01-24 2009-07-07 Macronix International Co., Ltd. Method and apparatus to control sensing time for nonvolatile memory
EP1843356A1 (en) * 2006-04-03 2007-10-10 STMicroelectronics S.r.l. Method and system for refreshing a memory device during reading thereof
US7869275B2 (en) * 2006-10-07 2011-01-11 Active-Semi, Inc. Memory structure capable of bit-wise write or overwrite
US8194487B2 (en) * 2007-09-17 2012-06-05 Micron Technology, Inc. Refreshing data of memory cells with electrically floating body transistors
US8000141B1 (en) * 2007-10-19 2011-08-16 Anobit Technologies Ltd. Compensation for voltage drifts in analog memory cells
JP2009140564A (ja) * 2007-12-06 2009-06-25 Toshiba Corp Ｎａｎｄ型フラッシュメモリおよびメモリシステム
US8032804B2 (en) * 2009-01-12 2011-10-04 Micron Technology, Inc. Systems and methods for monitoring a memory system
KR101099911B1 (ko) * 2009-12-17 2011-12-28 주식회사 하이닉스반도체 반도체 메모리 장치 및 그 동작 방법
US8649215B2 (en) * 2010-12-22 2014-02-11 HGST Netherlands B.V. Data management in flash memory using probability of charge disturbances
US9159396B2 (en) * 2011-06-30 2015-10-13 Lattice Semiconductor Corporation Mechanism for facilitating fine-grained self-refresh control for dynamic memory devices
CN103999161B (zh) * 2011-12-20 2016-09-28 英特尔公司 用于相变存储器漂移管理的设备和方法
US9645177B2 (en) * 2012-05-04 2017-05-09 Seagate Technology Llc Retention-drift-history-based non-volatile memory read threshold optimization
US9224089B2 (en) * 2012-08-07 2015-12-29 Qualcomm Incorporated Method and apparatus for adaptive bit-allocation in neural systems
US9208847B2 (en) * 2013-10-30 2015-12-08 Taiwan Semiconductor Manufacturing Co., Ltd. Memory devices with improved refreshing operations
US9564219B2 (en) * 2015-04-08 2017-02-07 Sandisk Technologies Llc Current based detection and recording of memory hole-interconnect spacing defects
US9563505B2 (en) * 2015-05-26 2017-02-07 Winbond Electronics Corp. Methods and systems for nonvolatile memory data management
US9836349B2 (en) * 2015-05-29 2017-12-05 Winbond Electronics Corp. Methods and systems for detecting and correcting errors in nonvolatile memory
US10121553B2 (en) * 2015-09-30 2018-11-06 Sunrise Memory Corporation Capacitive-coupled non-volatile thin-film transistor NOR strings in three-dimensional arrays
KR102491133B1 (ko) * 2016-03-21 2023-01-25 에스케이하이닉스 주식회사 메모리 장치 및 이의 동작 방법
US20170330109A1 (en) * 2016-05-16 2017-11-16 Purepredictive, Inc. Predictive drift detection and correction
US11308383B2 (en) * 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
EP3367385B1 (en) * 2017-02-28 2020-07-08 ams AG Memory arrangement and method for operating a memory arrangement
US10748630B2 (en) * 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
KR102415867B1 (ko) * 2017-11-29 2022-07-04 에스케이하이닉스 주식회사 메모리 셀의 결함을 제거하기 위한 메모리 시스템 및 그의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070084240A (ko) * 2004-10-21 2007-08-24 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 비휘발성 메모리 장치 및 이의 리프레싱 방법
US20070263454A1 (en) * 2006-05-15 2007-11-15 Apple Inc. Maintenance Operations for Multi-Level Data Storage Cells
KR20110106378A (ko) * 2008-12-18 2011-09-28 샌디스크 코포레이션 비휘발성 저장장치를 위한 데이터 리프레시
KR20120104276A (ko) * 2009-12-02 2012-09-20 마이크론 테크놀로지, 인크. 비휘발성 메모리에 대한 리프레시 아키텍처 및 알고리즘
KR20160137501A (ko) * 2013-07-16 2016-11-30 시게이트 테크놀로지 엘엘씨 고체-상태 비휘발성 메모리 셀들의 부분적 재프로그래밍

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220133005A (ko) * 2021-03-24 2022-10-04 광운대학교 산학협력단 인공 신경망 소자 및 이의 동작 방법
KR102525664B1 (ko) * 2022-09-15 2023-04-25 전남대학교산학협력단 메모리 반도체 최적의 예비자원 수 예측 방법 및 장치

Also Published As

Publication number Publication date
TWI755339B (zh) 2022-02-11
KR20220114095A (ko) 2022-08-17
TWI733451B (zh) 2021-07-11
TW202137074A (zh) 2021-10-01
KR102716617B1 (ko) 2024-10-14
US10607710B2 (en) 2020-03-31
JP7153737B2 (ja) 2022-10-14
EP3766071B1 (en) 2022-11-23
TW202044127A (zh) 2020-12-01
EP3766071A1 (en) 2021-01-20
EP3766071A4 (en) 2021-09-29
TW201939362A (zh) 2019-10-01
WO2019177687A1 (en) 2019-09-19
JP2021517704A (ja) 2021-07-26
CN111837189A (zh) 2020-10-27
US20190287631A1 (en) 2019-09-19
US20200035310A1 (en) 2020-01-30
US10861568B2 (en) 2020-12-08
US20190341118A1 (en) 2019-11-07
US10446246B2 (en) 2019-10-15
KR102430151B1 (ko) 2022-08-08
TWI696128B (zh) 2020-06-11

Similar Documents

Publication Publication Date Title
KR102430151B1 (ko) 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치
KR102653629B1 (ko) 다수의 벡터 매트릭스 승산 어레이들 및 공유 컴포넌트들을 포함한 딥 러닝 신경 네트워크를 위한 아날로그 신경 메모리 시스템
KR102616978B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런
KR102604405B1 (ko) 심층 학습 인공 신경망에서 아날로그 신경 메모리를 위한 디코더들
KR102654503B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리용 고전압 생성을 위한 방법 및 장치
KR102457394B1 (ko) 딥 러닝 신경 네트워크에서 사용되는 아날로그 신경 메모리 시스템 내의 메모리 셀들에 대한 온도 및 누설 보상
KR102351423B1 (ko) 딥 러닝 신경 네트워크에 대한 구성가능 아날로그 신경 메모리 시스템
KR20200101459A (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치
CN115885345A (zh) 模拟神经存储器中的并发写入和验证操作
KR20210024640A (ko) 딥 러닝 인공 신경 네트워크에서 아날로그 신경 메모리 내의 결함이 있는 메모리 셀들을 포함하는 로우들 또는 컬럼들에 대한 리던던트 메모리 액세스
CN111837189B (zh) 用于深度学习神经网络中的模拟非易失性存储器的数据刷新的方法和设备
CN115516565A (zh) 人工神经网络中的具有源极线拉低机构的模拟神经存储器阵列
KR20240153606A (ko) 심층 학습 신경망에서 아날로그 비휘발성 메모리를 위한 데이터 리프레쉬 방법 및 장치
CN111886804B (zh) 用于深度学习人工神经网络中的模拟神经存储器的解码器
KR20240026489A (ko) 신경 메모리 가중치 데이터를 아날로그 형태 또는 디지털 형태로 저장하도록 구성 가능한 하이브리드 메모리 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant