KR20200101459A - 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치 - Google Patents

딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200101459A
KR20200101459A KR1020207022362A KR20207022362A KR20200101459A KR 20200101459 A KR20200101459 A KR 20200101459A KR 1020207022362 A KR1020207022362 A KR 1020207022362A KR 20207022362 A KR20207022362 A KR 20207022362A KR 20200101459 A KR20200101459 A KR 20200101459A
Authority
KR
South Korea
Prior art keywords
memory cell
circuit
current
cell
coupled
Prior art date
Application number
KR1020207022362A
Other languages
English (en)
Other versions
KR102457901B1 (ko
Inventor
휴 반 트랜
비핀 티와리
난 도
마크 레이튼
Original Assignee
실리콘 스토리지 테크놀로지 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 실리콘 스토리지 테크놀로지 인크 filed Critical 실리콘 스토리지 테크놀로지 인크
Priority to KR1020227036132A priority Critical patent/KR102675657B1/ko
Publication of KR20200101459A publication Critical patent/KR20200101459A/ko
Application granted granted Critical
Publication of KR102457901B1 publication Critical patent/KR102457901B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/107—Programming all cells in an array, sector or block to the same state prior to flash erasing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G11C16/28—Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • G06N3/0454—
    • G06N3/0481—
    • G06N3/0635—
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0441—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing multiple floating gate devices, e.g. separate read-and-write FAMOS transistors with connected floating gates
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3404—Convergence or correction of memory cell threshold voltages; Repair or recovery of overerased or overprogrammed cells
    • G11C16/3409—Circuits or methods to recover overerased nonvolatile memory cells detected during erase verification, usually by means of a "soft" programming step
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3404—Convergence or correction of memory cell threshold voltages; Repair or recovery of overerased or overprogrammed cells
    • G11C16/3413—Circuits or methods to recover overprogrammed nonvolatile memory cells detected during program verification, usually by means of a "soft" erasing step
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3418—Disturbance prevention or evaluation; Refreshing of disturbed memory data
    • G11C16/3427—Circuits or methods to prevent or reduce disturbance of the state of a memory cell when neighbouring cells are read or written
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436—Arrangements for verifying correct programming or erasure
    • G11C16/3454—Arrangements for verifying correct programming or for detecting overprogrammed cells
    • G11C16/3459—Circuits or methods to verify correct programming of nonvolatile memory cells
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)
  • Feedback Control In General (AREA)
  • Networks Using Active Elements (AREA)

Abstract

인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이와 함께 사용하기 위한 프로그래밍 시스템들 및 방법들의 다수의 실시예들이 개시된다. 선택된 셀들은 그에 의해 N개의 상이한 값들 중 하나를 유지하도록 극도의 정밀도를 가지고 프로그래밍될 수 있다.

Description

딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치
우선권 주장
본 출원은 2018년 3월 14일자로 출원된, 발명의 명칭이 "인공 신경망에서의 아날로그 뉴로모픽 메모리를 프로그래밍하기 위한 방법 및 장치(Method and Apparatus for Programming Analog Neuromorphic Memory in an Artificial Neural Network)"인 미국 가특허 출원 제62/642,878호, 및 2018년 5월 25일자로 출원된, 발명의 명칭이 "딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치(Method And Apparatus For Programming Analog Neural Memory In A Deep Learning Artificial Neural Network)"인 미국 특허 출원 제15/990,395호에 대한 우선권을 주장한다.
기술분야
인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이와 함께 사용하기 위한 프로그래밍 장치 및 방법의 다수의 실시예들이 개시된다.
인공 신경망은 생물학적 신경망(동물의 중추신경계, 특히 뇌)을 모방하는데, 이들은 다수의 입력에 의존할 수 있고 일반적으로 알려져 있지 않은 기능들을 추정하거나 근사화하는 데 이용된다. 인공 신경망은, 일반적으로, 서로 메시지들을 교환하는 상호연결된 "뉴런(neuron)"의 층들을 포함한다.
도 1은 인공 신경망을 예시하며, 여기서 원은 뉴런의 층 또는 입력을 나타낸다. 연접부(시냅스(synapse)들로 지칭됨)는 화살표로 표현되며, 경험에 기초하여 튜닝될 수 있는 수치 가중치를 갖는다. 이는 신경망을 입력에 적응시키고 학습할 수 있게 한다. 전형적으로, 신경망은 다수의 입력들의 층을 포함한다. 전형적으로 뉴런의 하나 이상의 중간 층, 및 신경망의 출력을 제공하는 뉴런의 출력 층이 있다. 각각의 레벨의 뉴런은 개별적으로 또는 집합적으로 시냅스들로부터의 수신된 데이터에 기초하여 결정을 행한다.
고성능 정보 처리를 위한 인공 신경망의 개발에서의 주요 과제들 중 하나는 적절한 하드웨어 기술의 결여이다. 사실상, 실제 신경망은 매우 많은 수의 시냅스들에 의존하여, 뉴런들 사이의 높은 연결성, 즉 매우 높은 계산 병렬성(computational parallelism)을 가능하게 한다. 원칙적으로, 그러한 복잡성은 디지털 슈퍼컴퓨터들 또는 특수 그래픽 처리 유닛 클러스터들로 달성될 수 있다. 그러나, 고비용에 더하여, 이들 접근법은 또한 주로 저-정밀 아날로그 계산을 수행하기 때문에 훨씬 적은 에너지를 소비하는 생물학적 망(biological network)과 비교하여 평범한 에너지 효율을 겪는다. CMOS 아날로그 회로가 인공 신경망에 사용되어 왔지만, 대부분의 CMOS-구현된 시냅스들은 많은 수의 뉴런들 및 시냅스들이 주어지면 너무 부피가 커졌다.
출원인은, 참고로 포함되는, 미국 특허 출원 제15/594,439호에서 하나 이상의 비휘발성 메모리 어레이를 시냅스로서 이용하는 인공 (아날로그) 신경망을 이전에 개시하였다. 비휘발성 메모리 어레이들은 아날로그 뉴로모픽 메모리로서 동작한다. 신경망 디바이스는 제1 복수의 입력들을 수신하고 그로부터 제1 복수의 출력들을 생성하도록 구성된 제1 복수의 시냅스들, 및 제1 복수의 출력들을 수신하도록 구성된 제1 복수의 뉴런들을 포함한다. 제1 복수의 시냅스들은 복수의 메모리 셀들을 포함하는데, 여기서 메모리 셀들 각각은 반도체 기판 내에 형성되고 채널 영역이 사이에 연장되는 이격된 소스 영역과 드레인 영역, 채널 영역의 제1 부분 위에 배치되고 그로부터 절연되는 플로팅 게이트, 및 채널 영역의 제2 부분 위에 배치되고 그로부터 절연되는 비-플로팅 게이트를 포함한다. 복수의 메모리 셀들 각각은 플로팅 게이트 상의 전자들의 수에 대응하는 가중치 값을 저장하도록 구성된다. 복수의 메모리 셀들은 제1 복수의 입력들을 저장된 가중치 값들과 곱하여 제1 복수의 출력들을 생성하도록 구성된다.
아날로그 뉴로모픽 메모리 시스템에서 사용되는 각각의 비휘발성 메모리 셀은 플로팅 게이트에서 매우 특정적이고 정확한 양의 전하를 유지하도록 소거되고 프로그래밍되어야 한다. 예를 들어, 각각의 플로팅 게이트는 N개의 상이한 값 중 하나를 유지해야 하며, 여기서 N은 각각의 셀에 의해 표시될 수 있는 상이한 가중치들의 수이다. N의 예는 16, 32 및 64를 포함한다.
VMM 시스템들에서의 하나의 난제는 선택한 셀들을 N의 상이한 값들에 대해 요구되는 정밀도와 세분성(granularity)을 가지고 프로그래밍하는 능력이다. 예를 들어, 선택된 셀이 64개의 상이한 값들 중 하나를 포함할 수 있다면, 프로그램 동작들에서 극도의 정밀도가 요구된다.
필요한 것은 아날로그 뉴로모픽 메모리 시스템에서 VMM과 함께 사용하기에 적합한 개선된 프로그래밍 시스템들 및 방법들이다.
인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이와 함께 사용하기 위한 프로그래밍 시스템들 및 방법들의 다수의 실시예들이 개시된다. 선택된 셀들은 그에 의해 N개의 상이한 값들 중 하나를 유지하도록 극도의 정밀도를 가지고 프로그래밍될 수 있다.
도 1은 인공 신경망을 예시하는 다이어그램이다.
도 2는 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 3은 종래의 4-게이트 비휘발성 메모리 셀의 측단면도이다.
도 4는 종래의 3-게이트 비휘발성 메모리 셀의 측단면도이다.
도 5는 다른 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 6은 비휘발성 메모리 어레이를 활용하는 상이한 레벨들의 예시적인 인공 신경망을 예시하는 다이어그램이다.
도 7은 벡터 승수 행렬(vector multiplier matrix)을 예시하는 블록도이다.
도 8은 다양한 레벨의 벡터 승수 행렬을 예시하는 블록도이다.
도 9는 벡터 승수 행렬의 다른 실시예를 도시한다.
도 10은 벡터 승수 행렬의 다른 실시예를 도시한다.
도 11은 도 10의 벡터 승수 행렬에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 12는 벡터 승수 행렬의 다른 실시예를 도시한다.
도 13은 도 12의 벡터 승수 행렬에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 14는 벡터 승수 행렬의 다른 실시예를 도시한다.
도 15는 도 14의 벡터 승수 행렬에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 16은 벡터 승수 행렬의 다른 실시예를 도시한다.
도 17은 도 216의 벡터 승수 행렬에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 18a 및 도 18b는 벡터 승수 행렬에 대한 프로그래밍 방법을 도시한다.
도 19는 도 18a 및 도 18b의 프로그래밍을 위한 파형들을 도시한다.
도 20은 도 18a 및 도 18b의 프로그래밍을 위한 파형들을 도시한다.
도 21은 도 18a 및 도 18b의 프로그래밍을 위한 파형들을 도시한다.
도 22는 벡터 승수 행렬 시스템을 도시한다.
도 23은 컬럼 드라이버(column driver)를 도시한다.
도 24는 복수의 기준 행렬들을 도시한다.
도 25는 단일 기준 행렬을 도시한다.
도 26은 기준 행렬을 도시한다.
도 27은 다른 기준 행렬을 도시한다.
도 28은 비교 회로를 도시한다.
도 29는 다른 비교 회로를 도시한다.
도 30은 다른 비교 회로를 도시한다.
도 31은 전류-디지털 비트 회로(current-to-digital bits circuit)를 도시한다.
도 32는 도 31의 회로에 대한 파형들을 도시한다.
도 33은 전류-기울기 회로(current-to-slope circuit)를 도시한다.
도 34는 도 33의 회로에 대한 파형들을 도시한다.
도 35는 전류-기울기 회로를 도시한다.
도 36은 도 35의 회로에 대한 파형들을 도시한다.
본 발명의 인공 신경망은 CMOS 기술과 비휘발성 메모리 어레이들의 조합을 이용한다.
비휘발성 메모리 셀들
디지털 비휘발성 메모리들이 잘 알려져 있다. 예를 들어, 미국 특허 제5,029,130호("'130 특허")가 분리형 게이트 비휘발성 메모리 셀들의 어레이를 개시하고 있으며, 모든 목적을 위해 본 명세서에 참고로 포함된다. 그러한 메모리 셀이 도 2에 도시되어 있다. 각각의 메모리 셀(210)은 반도체 기판(12) 내에 형성된 소스 영역(14) 및 드레인 영역들(16)을 포함하며, 채널 영역(18)이 그들 사이에 있다. 플로팅 게이트(20)가 소스 영역(16)의 일부분 위에, 그리고 채널 영역(18)의 제1 부분 위에 형성되고 그로부터 절연된다(그리고 그의 전도율을 제어한다). 워드 라인 단자(22)(전형적으로 워드 라인에 결합됨)가 채널 영역(18)의 제2 부분 위에 배치되고 그로부터 절연되는(그리고 그의 전도율을 제어하는) 제1 부분, 및 위쪽으로 그리고 플로팅 게이트(20) 위로 연장되는 제2 부분을 갖는다. 플로팅 게이트(20) 및 워드 라인 단자(22)는 게이트 산화물에 의해 기판(12)으로부터 절연된다. 비트 라인(24)이 드레인 영역(16)에 결합된다.
메모리 셀(210)은 워드 라인 단자(22) 상에 높은 포지티브 전압을 배치함으로써 소거되는데(여기서 전자들이 플로팅 게이트로부터 제거됨), 이는 플로팅 게이트(20) 상의 전자들이 파울러-노드하임 터널링(Fowler-Nordheim tunneling)을 통해 중간 절연체를 통과하여 플로팅 게이트(20)로부터 워드 라인 단자(22)로 터널링하게 한다.
메모리 셀(210)은 워드 라인 단자(22) 상에 포지티브 전압을, 그리고 소스(16) 상에 포지티브 전압을 배치함으로써 프로그래밍된다(여기서 전자들이 플로팅 게이트 상에 배치됨). 전자 전류가 소스(16)로부터 드레인(14)을 향해 흐를 것이다. 전자들은 그들이 워드 라인 단자(22)와 플로팅 게이트(20) 사이의 갭에 도달할 때 가속되고 가열될 것이다. 가열된 전자들 중 일부는 플로팅 게이트(20)로부터의 정전 인력으로 인해 게이트 산화물(26)을 통과하여 플로팅 게이트(20) 상으로 주입될 것이다.
메모리 셀(210)은 드레인(14) 및 워드 라인 단자(22) 상에 포지티브 판독 전압들을 배치함(이는 워드 라인 단자 아래의 채널 영역을 턴 온시킴)으로써 판독된다. 플로팅 게이트(20)가 포지티브로 대전되면(즉, 전자들이 소거되고 드레인(16)에 포지티브로 결합되면), 플로팅 게이트(20) 아래의 채널 영역의 부분이 또한 턴 온되고, 전류가 채널 영역(18)을 가로질러 흐를 것이며, 이는 소거 또는 "1" 상태로 감지된다. 플로팅 게이트(20)가 네거티브로 대전되면(즉, 전자들로 프로그래밍되면), 플로팅 게이트(20) 아래의 채널 영역의 부분은 대부분 또는 완전히 턴 오프되고, 전류가 채널 영역(18)을 가로질러 흐르지 않을 것이며(또는 흐름이 거의 없을 것이며), 이는 프로그래밍된 또는 "0" 상태로 감지된다.
표 1은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(210)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 나타낸다:
[표 1]
Figure pct00001
다른 분리형 게이트 메모리 셀 구성들이 알려져 있다. 예를 들어, 도 3은 소스 영역(14), 드레인 영역(16), 채널 영역(18)의 제1 부분 위의 플로팅 게이트(20), 채널 영역(18)의 제2 부분 위의 선택 게이트(28)(전형적으로 워드 라인에 결합됨), 플로팅 게이트(20) 위의 제어 게이트(22), 및 소스 영역(14) 위의 소거 게이트(30)를 포함하는 4-게이트 메모리 셀(310)을 도시한다. 이러한 구성은, 모든 목적을 위해 본 명세서에 참고로 포함되는, 미국 특허 제6,747,310호에 기재되어 있다. 여기서, 모든 게이트들은 플로팅 게이트(20)를 제외한 비-플로팅 게이트들이며, 이는 그것들이 전압원에 전기적으로 접속되어 있거나 접속가능하다는 것을 의미한다. 프로그래밍은 채널 영역(18)으로부터의 가열된 전자들이 플로팅 게이트(20) 상으로 자신들을 주입하는 것에 의해 나타난다. 소거는 전자들이 플로팅 게이트(20)로부터 소거 게이트(30)로 터널링하는 것에 의해 나타난다.
표 2는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(310)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 나타낸다:
[표 2]
Figure pct00002
도 4는 분리형 게이트 3-게이트 메모리 셀(410)을 도시한다. 메모리 셀(410)은, 메모리 셀(410)이 별개의 제어 게이트를 갖지 않는다는 점을 제외하고는, 도 3의 메모리 셀(310)과 동일하다. 소거 동작(소거 게이트를 통하여 소거함) 및 판독 동작은, 제어 게이트 바이어스가 없다는 점을 제외하고는, 도 3의 것과 유사하다. 프로그래밍 동작은 또한 제어 게이트 바이어스 없이 행해지고, 따라서 소스 라인 상의 프로그램 전압은 제어 게이트 바이어스의 결여를 보상하기 위해 더 높다.
표 3은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(410)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 나타낸다:
[표 3]
Figure pct00003
도 5는 적층 게이트 메모리 셀(510)을 도시한다. 메모리 셀(510)은, 절연 층에 의해 분리되어, 플로팅 게이트(20)가 전체 채널 영역(18) 위로 연장되고, 제어 게이트(22)가 플로팅 게이트(20) 위로 연장된다는 점을 제외하고는, 도 2의 메모리 셀(210)과 유사하다. 소거, 프로그래밍, 및 판독 동작은 메모리 셀(210)에 대해 이전에 설명된 것과 유사한 방식으로 동작한다.
표 4는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(510)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 나타낸다:
[표 4]
Figure pct00004
인공 신경망에서 위에서 설명된 비휘발성 메모리 셀들의 유형들 중 하나를 포함하는 메모리 어레이들을 이용하기 위해, 두 가지 수정이 이루어진다. 첫째, 라인들은, 하기에서 추가로 설명되는 바와 같이, 각각의 메모리 셀이 어레이 내의 다른 메모리 셀들의 메모리 상태에 악영향을 미치지 않으면서 개별적으로 프로그램, 소거, 및 판독될 수 있도록 구성된다. 둘째, 메모리 셀들의 연속적인 (유사한) 프로그래밍이 제공된다.
구체적으로, 어레이 내의 각각의 메모리 셀들의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 소거 상태로부터 완전 프로그래밍된 상태로 연속적으로 변경될 수 있다. 다른 실시예에서, 어레이 내의 각각의 메모리 셀의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 프로그래밍된 상태로부터 완전 소거 상태로 연속적으로 변경될 수 있고, 그 역으로도 가능하다. 이것은 셀 저장소가 유사하거나 또는 적어도, 많은 개별 값들(예컨대 16개 또는 64개의 상이한 값) 중 하나를 저장할 수 있음을 의미하는데, 이는 메모리 어레이 내의 모든 셀들의 매우 정밀하고 개별적인 튜닝을 허용하고, 메모리 어레이를 신경망의 시냅스 가중치들에 대한 미세 튜닝 조정을 저장하고 행하는 데 이상적인 것으로 되게 한다.
비휘발성 메모리 셀 어레이들을 채용한 신경망들
도 6은 비휘발성 메모리 어레이를 활용하는 신경망의 비제한적인 예를 개념적으로 예시한다. 이 예는 얼굴 인식 애플리케이션에 대해 비휘발성 메모리 어레이 신경망을 이용하지만, 비휘발성 메모리 어레이 기반 신경망을 이용하여 임의의 다른 적절한 애플리케이션이 구현될 수 있다.
S0은, 이 예에 대해, 5 비트 정밀도를 갖는 32x32 픽셀 RGB 이미지(즉, 각각의 색상 R, G 및 B에 대해 하나씩인 3개의 32x32 픽셀 어레이들, 각각의 픽셀은 5 비트 정밀도임)인 입력이다. S0으로부터 C1로 가는 시냅스들(CB1)은 가중치들 및 공유 가중치들의 상이한 세트들 양측 모두를 가지며, 입력 이미지를 3x3 픽셀 중첩 필터들(커널(kernel))로 스캔하여, 필터를 1 픽셀(또는 모델별로 지시되는 바와 같이 1 초과 픽셀)만큼 시프트시킨다. 구체적으로, 이미지의 3x3 부분 내의 9개 픽셀들(즉, 필터 또는 커널로 지칭됨)에 대한 값들이 시냅스들(CB1)에 제공되고, 이에 의해, 이들 9개의 입력 값들이 적절한 가중치들과 곱해지고, 그 승산의 출력들을 합산한 후, 단일 출력 값이 결정되고, 피처 맵(feature map)(C1)의 층들 중 하나의 층의 픽셀을 생성하기 위해 CB1의 제1 뉴런에 의해 제공된다. 이어서, 3x3 필터가 하나의 픽셀씩 우측으로 시프트되고(즉, 우측에 3개 픽셀들의 컬럼을 추가하고, 좌측에서 3개 픽셀들의 컬럼을 뺌), 이에 의해 이러한 새롭게 위치된 필터에서의 9개 픽셀 값들이 시냅스들(CB1)에 제공되고, 이에 의해 이들은 동일한 가중치들과 곱해지고, 제2 단일 출력 값이 연관된 뉴런에 의해 결정된다. 이러한 프로세스는, 3개의 모든 색상들에 대해 그리고 모든 비트들(정밀도 값들)에 대해, 3x3 필터가 전체 32x32 픽셀 이미지를 가로질러서 스캔할 때까지 계속된다. 이어서, 프로세스는, 층(C1)의 모든 피처 맵들이 계산될 때까지, 가중치들의 상이한 세트들을 사용하여 반복되어 C1의 상이한 피처 맵을 생성한다.
C1에서, 본 예에서, 각각 30x30 픽셀들을 갖는 16개 피처 맵들이 있다. 각각의 픽셀은 입력들과 커널을 곱하는 것으로부터 추출된 새로운 피처 픽셀이고, 따라서 각각의 피처 맵은 2 차원 어레이이고, 따라서, 이러한 예에서, 시냅스들(CB1)은 2차원 어레이들의 16개 층들을 구성한다(본 명세서에서 언급된 뉴런 층들 및 어레이들은 반드시 물리적 관계인 것이 아니라 논리적 관계임 - 즉, 어레이들은 반드시 물리적으로 2차원 어레이들로 배향되지는 않음 - 에 유념한다). 16개 피처 맵들 각각은 필터 스캔에 적용되는 시냅스 가중치들의 상이한 16개 세트들 중 하나의 세트에 의해 생성된다. C1 피처 맵들은 모두, 경계 식별과 같은 동일한 이미지 피처의 상이한 태양들에 관한 것일 수 있다. 예를 들어, (제1 맵을 생성하는 데 사용되는 모든 스캔을 위해 공유되는 제1 가중치 세트를 사용하여 생성된) 제1 맵은 원형 에지들을 식별할 수 있고, (제1 가중치 세트와는 상이한 제2 가중치 세트를 사용하여 생성된) 제2 맵은 직사각형 에지들, 또는 특정 피처들의 종횡비 등을 식별할 수 있다.
활성화 함수(P1)(풀링(pooling))는 C1로부터 S1로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. 풀링 스테이지의 목적은, 예를 들어 에지 위치의 의존성을 감소시키고 다음 스테이지로 가기 전에 데이터 크기를 감소시키기 위해 인근 위치를 평균하는 것이다(또는 최대 함수가 또한 사용될 수 있음). S1에는, 16개 15x15 피처 맵들(즉, 각각 15x15 픽셀들의 상이한 16개 어레이들)이 있다. S1로부터 C2로 가는 CB2 내의 시냅스들 및 연관된 뉴런들은 1 픽셀의 필터 시프트를 갖는 4x4 필터들로 S1 내의 맵들을 스캔한다. C2에는, 22개 12x12 피처 맵들이 있다. 활성화 함수(P2)(풀링)가 C2로부터 S2로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. S2에는, 22개 6x6 피처 맵들이 있다. 활성화 함수가 S2로부터 C3으로 가는 시냅스들(CB3)에서 적용되며, 여기서 C3 내의 모든 뉴런은 S2 내의 모든 맵에 연결된다. C3에는, 64개 뉴런들이 있다. C3으로부터 출력(S3)으로 가는 시냅스들(CB4)은 S3을 C3에 완전히 연결한다. S3에서의 출력은 10개 뉴런들을 포함하고, 여기서 최고 출력 뉴런이 분류를 결정한다. 이러한 출력은, 예를 들어, 원래의 이미지의 콘텐츠의 식별 또는 분류를 나타낼 수 있다.
시냅스들의 각각의 레벨은 비휘발성 메모리 셀들의 어레이 또는 그들의 어레이의 일부분을 사용하여 구현된다. 도 7은 비휘발성 메모리 셀들을 포함하고 입력 층과 다음 층 사이의 시냅스들로서 활용되는 VMM(vector-by-matrix multiplication) 어레이의 블록도이다. 구체적으로, VMM(32)은 비휘발성 메모리 셀들(33)의 어레이, 소거 게이트 및 워드 라인 게이트 디코더(34), 제어 게이트 디코더(35), 비트 라인 디코더(36) 및 소스 라인 디코더(37)를 포함하며, 이들은 메모리 어레이(33)에 대한 입력들을 디코딩한다. 이 예에서의 소스 라인 디코더(37)는 또한 메모리 셀 어레이의 출력을 디코딩한다. 대안적으로, 비트 라인 디코더(36)가 메모리 어레이의 출력을 디코딩할 수 있다. 메모리 어레이는 두 가지 목적을 제공한다. 첫째, 그것은 VMM에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이는 입력들을 메모리 어레이에 저장된 가중치들과 유효하게 곱하고 출력 라인(소스 라인 또는 비트 라인)마다 그것들을 합산하여 출력을 생성하며, 이 출력은 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 및 가산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 원위치 메모리 계산으로 인해 전력 효율적이다.
메모리 어레이의 출력은 차동 합산기(예컨대, 합산 연산 증폭기)(38)에 공급되고, 이는 메모리 셀 어레이의 출력들을 합산하여 그 컨볼루션(convolution)에 대한 단일 값을 생성한다. 차동 합산기는 예를 들어 양의 가중치 및 음의 가중치와 양의 입력의 합산을 실현하기 위한 것이다. 이어서 합산된 출력 값들은 출력을 정류하는 활성화 함수 회로(39)에 공급된다. 활성화 함수는 시그모이드, tanh 또는 ReLU 함수들을 포함할 수 있다. 정류된 출력 값들은 다음 층(예를 들어, 위의 설명의 C1)으로서 피처 맵의 요소가 되고, 이어서 다음 시냅스에 적용되어 다음 피처 맵 층 또는 최종 층을 생성한다. 따라서, 이 예에서, 메모리 어레이는 복수의 시냅스들(이들은 이전 뉴런 층으로부터 또는 이미지 데이터베이스와 같은 입력 층으로부터 그들의 입력들을 수신함)을 구성하고, 합산 연산 증폭기(38) 및 활성화 함수 회로(39)는 복수의 뉴런들을 구성한다.
도 8은 다양한 레벨들의 VMM의 블록도이다. 도 8에 도시된 바와 같이, 입력은 디지털-아날로그 변환기(31)에 의해 디지털로부터 아날로그로 변환되고, 입력 VMM(32a)에 제공된다. 입력 VMM(32a)에 의해 생성된 출력은 다음 VMM(은닉 레벨 1)(32b)으로의 입력으로서 제공되고 다음 VMM으로의 입력은 이어서 다음 VMM(은닉 레벨 2)(32b)으로의 입력으로서 제공되는 출력을 생성하는 등등이다. VMM(32)의 다양한 층들은 컨볼루션 신경망(convolutional neural network, CNN)의 시냅스들 및 뉴런들의 상이한 층들로서 기능한다. 각각의 VMM은 독립형 비휘발성 메모리 어레이일 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 상이한 부분들을 활용할 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 중첩 부분들을 활용할 수 있다. 도 8에 도시된 예는 다음과 같은 5개의 층(32a, 32b, 32c, 32d, 32e)을 포함한다: 하나의 입력 층(32a), 2개의 은닉 층(32b, 32c) 및 2개의 완전히 연결된 층(32d, 32e). 당업자는 이것이 단지 예시에 불과하고 시스템이 대신에 2개 초과의 은닉 층 및 2개 초과의 완전히 연결된 층을 포함할 수 있다는 것을 이해할 것이다.
VMM(Vector-by-Matrix Multiplication) 어레이들
도 9는 뉴런 VMM(900)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(900)은 (어레이의 상부에서) 비휘발성 메모리 셀들의 메모리 어레이(901) 및 기준 어레이(902)를 포함한다. 대안적으로, 다른 기준 어레이가 하부에 배치될 수 있다. VMM(900)에서, 제어 게이트 라인(903)과 같은 제어 게이트 라인이 수직 방향으로 연장되고(따라서 입력 제어 게이트 라인들에 직교하는, 로우(row) 방향의 기준 어레이(902)), 소거 게이트 라인(904)과 같은 소거 게이트 라인들이 수평 방향으로 연장된다. 여기서, 입력들은 제어 게이트 라인들 상에 제공되고, 출력은 소스 라인들 상에서 나온다. 일 실시예에서 짝수 로우들만이 사용되고, 다른 실시예에서 홀수 로우들만이 사용된다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
신경망에 대해 본 명세서에 설명된 바와 같이, 플래시 셀들은 바람직하게는 하위 임계 영역에서 동작하도록 구성된다.
본 명세서에 기술된 메모리 셀들은 하기와 같은 약 반전(weak inversion)으로 바이어싱된다:
Ids = Io * e (Vg- Vth)/㎸t = w * Io * e (Vg)/㎸t
w = e (- Vth)/㎸t
메모리 셀을 사용하는 I-V 로그 변환기가 입력 전류를 입력 전압으로 변환하도록 하기 위해 하기와 같다:
Vg= k*Vt*log [Ids/wp*Io]
벡터 행렬 승산기(vector matrix multiplier)(VMM)로서 사용되는 메모리 어레이의 경우, 출력 전류는 하기와 같다:
Iout = wa * Io * e (Vg)/㎸t, 즉
Iout = (wa/wp) * Iin = W * Iin
W = e (Vthp - Vtha)/㎸t
입력 전압에 대한 메모리 셀에 대한 입력으로서 워드라인 또는 제어 게이트가 사용될 수 있다.
대안적으로, 플래시 메모리 셀들은 선형 영역에서 동작하도록 구성될 수 있다:
Ids = beta* (Vgs-Vth)*Vds; beta = u*Cox*W/L
W α (Vgs-Vth)
I-V 선형 변환기에 대해, 선형 영역에서 동작하는 메모리 셀은 입력/출력 전류를 입력/출력 전압으로 선형으로 변환하는 데 사용될 수 있다.
ESF 벡터 행렬 승산기에 대한 다른 실시예들이, 본 명세서에 참고로 포함되는, 미국 특허 출원 제15/826,345호에 기재되어 있다. 소스 라인 또는 비트 라인이 뉴런 출력(전류 합산 출력)으로서 사용될 수 있다.
도 10은 뉴런 VMM(1000)을 도시하며, 이는 도 2에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스로서 이용된다. VMM(1000)은 비휘발성 메모리 셀들의 메모리 어레이(1003), 기준 어레이(1001) 및 기준 어레이(1002)를 포함한다. 기준 어레이들(1001, 1002)은, 어레이의 컬럼 방향으로, 단자들(BLR0-3) 내로 흐르는 전류 입력들을 전압 입력들(WL0-3)로 변환하는 역할을 한다. 실제로, 기준 메모리 셀들은 그들 내로 흐르는 전류 입력들과 멀티플렉서들을 통해 다이오드 접속된다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다(예를 들어, 프로그래밍됨). 타깃 기준 레벨들은 기준 미니-어레이 행렬에 의해 제공된다. 메모리 어레이(1003)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(1000)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1003)는 입력들(단자들(BLR0-3)에서 제공되는 전류 입력들; 기준 어레이들(1001, 1002)이 이러한 전류 입력들을 워드 라인들(WL0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 곱하여 출력을 생성하며, 이 출력은 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 전압 입력들은 워드 라인들 상에 제공되고, 출력은 판독(추론) 동작 동안 비트 라인 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
도 11은 VMM(1000)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 12는 뉴런 VMM(1200)을 도시하며, 이는 도 2에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1200)은 비휘발성 메모리 셀들의 메모리 어레이(1203), 기준 어레이(1201) 및 기준 어레이(1202)를 포함한다. 어레이 VMM(1200)의 로우 방향으로 연장되는 기준 어레이(1201, 1202)는 VMM(1200)에서 워드 라인들이 수직 방향으로 연장되는 것을 제외하고는 VMM(1000)과 유사하다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 소스 라인 상에서 나온다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
도 13은 VMM(1200)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 14는 뉴런 VMM(1400)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1400)은 비휘발성 메모리 셀들의 메모리 어레이(1403), 기준 어레이(1401) 및 기준 어레이(1402)를 포함한다. 기준 어레이(1401, 1402)는 단자들(BLR0-3) 내로 흐르는 전류 입력들을 전압 입력들(CG0-3)로 변환하는 역할을 한다. 실제로, 기준 메모리 셀들은 전류 입력들이 내부로 흐르는 캐스코딩 멀티플렉서들(1414)을 통해 다이오드 접속된다. mux(1414)는 판독시 기준 셀들의 비트 라인 상의 일정한 전압을 보장하기 위한 캐스코딩 트랜지스터(1404) 및 mux(1405)를 포함한다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다. 메모리 어레이(1403)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(1400)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1403)는 입력들(단자들(BLR0-3)에 제공되는 전류 입력들; 기준 어레이들(1401, 1402)이 이러한 전류 입력들을 제어 게이트들(CG0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 곱하여 출력을 생성하며, 이 출력은 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 비트 라인 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
VMM(1400)은 메모리 어레이(1403) 내의 메모리 셀들에 대한 단방향 튜닝을 구현한다. 즉, 각각의 셀은 소거된 다음에 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그래밍된다. (잘못된 값이 셀에 저장되도록) 너무 많은 전하가 플로팅 게이트 상에 배치되는 경우, 셀은 소거되어야 하고, 부분 프로그래밍 동작들의 시퀀스가 다시 시작되어야 한다. 도시된 바와 같이, 동일한 소거 게이트를 공유하는 2개의 로우가 함께 소거될 필요가 있고(페이지 소거로서 알려짐), 그 후에 각각의 셀은 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그래밍된다.
도 15는 VMM(1400)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들을 위한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 16은 뉴런 VMM(1600)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1600)은 비휘발성 메모리 셀들의 메모리 어레이(1603), 기준 어레이(1601) 및 기준 어레이(1602)를 포함한다. EG 라인들은 수직으로 연장되는 반면 CG 및 SL 라인들은 수평으로 연장된다. VMM(1600)은 VMM(1600)이 양방향 튜닝을 구현한다는 점을 제외하고는 VMM(1400)과 유사하며, 양방향 튜닝에서 각각의 개별 셀은 플로팅 게이트 상의 원하는 전하량에 도달하기 위해 필요에 따라 완전히 소거되고, 부분적으로 프로그래밍되고, 부분적으로 소거될 수 있다. 도시된 바와 같이, 기준 어레이들(1601, 1602)은 (멀티플렉서들을 통한 다이오드 접속된 기준 셀들의 액션을 통해) 단자(BLR0-3) 내의 입력 전류를 로우 방향으로 메모리 셀들에 인가될 제어 게이트 전압들(CG0-3)로 변환한다. 전류 출력(뉴런)은 비트 라인에 있으며, 이는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들을 합산한다.
도 17은 VMM(1600)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들을 위한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 18a 및 도 18b는 프로그래밍 방법(1800)을 도시한다. 먼저, 방법이 시작되고(단계 1801), 이는 전형적으로 프로그램 명령이 수신되는 것에 응답하여 발생한다. 다음으로, 대량 프로그램 동작(mass program operation)이 모든 셀들을 '0' 상태로 프로그래밍한다(단계 1802). 이어서 소프트 소거가 모든 셀들을 대략 3 내지 5 ㎂의 중간의 약하게 소거된 레벨로 소거한다(단계 1803). 이는 모든 셀들을 디지털 응용을 위해 완전 소거된 상태로, 예를 들어, 약 20 내지 30 uA 셀 전류로 가져올 깊은 소거와는 대조적이다. 이어서, 모든 비선택된 셀들에 대해 이 셀들로부터 사용되지 않은 셀들에 대하여 전하를 제거하도록 매우 깊이 프로그래밍된 상태로 하드 프로그램이 수행되어(단계 1804), 셀들이 실제로 오프가 되도록 하는데, 이는 이들 메모리 셀이 미미한 전류에 기여함을 의미한다. 이어서 선택된 셀들에 대해 이 셀들로부터 일부 전하를 제거하도록, 코스(coarse) 알고리즘을 이용하여 대략 0.7 내지 1.5 ㎂의 중간의 약하게 프로그래밍된 레벨로 소프트 프로그램이 수행된다(단계 1805, 단계 1806, 단계 1807). 검증 동작이 뒤따르는 코스 스텝(coarse step) 프로그램 사이클이 발생하고, 여기서 선택 셀들 상의 전하가 코스 반복 방식으로 다양한 임계 값들과 비교된다(단계 1806, 단계 1807). 코스 스텝 프로그램 사이클은 하나의 프로그램 단계로부터 다음 프로그램 단계까지 코스 셀 전류 변화를 야기하는 코스 전압 증분, 및/또는 코스 프로그램 시간, 및/또는 코스 프로그램 전류를 포함한다. 다음으로, 정밀 프로그래밍이 발생하고(단계 1808 내지 단계 1813), 여기서 모든 셀들이 미세 스텝(fine step) 프로그램 알고리즘에 의해 원하는 레벨에 따라 100 pA 내지 20 nA 범위 내의 타깃 레벨로 프로그래밍된다. 검증 동작이 뒤따르는 미세 스텝 프로그램 사이클이 발생한다(단계 1809 및 단계 1810). 미세 스텝 프로그램 사이클은 하나의 프로그램 단계로부터 다음 프로그램 단계까지 미세 셀 전류 변화를 야기하는 전압 증분, 및/또는 프로그램 시간, 및/또는 프로그램 전류의 코스 및 미세 분해능의 조합을 포함할 수 있다. 선택된 셀이 원하는 타깃에 도달하면, 프로그래밍 동작이 완료된다(단계 1811). 그렇지 않으면, 원하는 레벨에 도달할 때까지 정밀 프로그래밍 동작이 반복된다. 그러나, 시도 횟수가 임계 수를 초과하면(단계 1812), 프로그래밍 동작이 중단되고 선택된 셀은 불량 셀로 간주된다(단계 1813).
도 19는 펄스 변조를 이용하여 프로그래밍 동작을 수행하기 위한 예시적인 파형(1900)을 도시한다. 신호 1901은 다수의 프로그램 및 검증 사이클들로 이루어지는 프로그램 사이클 인에이블 신호이다. 신호 1902는 개별 펄스 프로그램 사이클 인에이블 신호이다(신호 1902 = 프로그래밍을 인에이블하기 위한 로직 '1'). 검증 사이클이 개별 펄스 프로그램 사이클을 뒤따른다(신호 1902 = 검증을 인에이블하기 위한 로직 '0'). 신호 1903은 특정 비트 라인에 대한 개별 펄스 프로그램 사이클 인에이블 신호이다. 신호 1903은 다른 특정 비트 라인에 대한 개별 펄스 프로그램 사이클 인에이블 신호이다. 도시된 바와 같이, 신호 1903의 폭은 신호 1904의 폭보다 좁다. 이는 신호 1903이 메모리 셀의 플로팅 게이트 상의 더 작은 전하가 변경되게 하여, 프로그래밍에서 더 작은 전류 정밀도로 이어진다는 것을 의미한다. 프로그램 사이클 1901 내에서, 특정 메모리 셀에 대한 원하는 프로그래밍 정밀도를 달성하기 위해 상이한 프로그램 펄스 폭 1903이 사용될 수 있다.
도 20은 고전압 레벨 변조를 이용하여 프로그래밍 동작을 수행하기 위한 예시적인 파형(2000)을 도시한다. 신호 2003은 특정 비트 라인에 대한 개별 펄스 프로그램 사이클 인에이블 신호이다. 신호 2004는 다른 특정 비트 라인에 대한 개별 펄스 프로그램 사이클 인에이블 신호이다. 신호 2003과 신호 2004의 프로그램 펄스 폭은 이 파형에서 동일하다. 신호 2005는 프로그래밍을 위한 예컨대 소스 라인 또는 제어 게이트에 대한 고전압 증분이다. 그것은 하나의 프로그램 펄스로부터 다음 프로그램 펄스까지 증분한다.
도 21은 고전압 레벨 변조를 이용하여 프로그래밍 동작을 수행하기 위한 예시적인 파형(2100)을 도시한다. 신호 2103은 특정 비트 라인에 대한 개별 펄스 프로그램 사이클 인에이블 신호이다. 신호 2104는 다른 특정 비트 라인에 대한 개별 펄스 프로그램 사이클 인에이블 신호이다. 신호 2105는 프로그래밍을 위한 예컨대 소스 라인 또는 제어 게이트에 대한 프로그램 고전압 증분이다. 그것은 하나의 프로그램 펄스로부터 다음 프로그램 펄스까지 동일할 수 있거나 증분한다. 신호 2103의 프로그램 펄스 폭은 증분 고전압을 갖는 다수의 펄스들에 걸쳐 동일하다. 신호 2104의 프로그램 펄스 폭은 동일한 고전압 증분에 대해, 다수의 펄스들에 걸쳐 상이하다(예를 들어, 제1 펄스에 대해 더 좁음).
도 22는 VMM 행렬(2201), 컬럼 디코더들(2202) 및 컬럼 드라이버들(2203)을 포함하는 VMM 시스템(2200)을 도시한다.
도 23은 도 22에서 컬럼 드라이버(2203)로서 사용될 수 있는 예시적인 컬럼 드라이버(2300)를 도시한다. 컬럼 드라이버(2300)는, 도시된 바와 같이 구성된, 래치(2301), 인버터(2302), NOR 게이트(2303), PMOS 트랜지스터(2304), 및 NMOS 트랜지스터들(2305, 2306)을 포함한다. 래치(2301)는 데이터 신호 DIN 및 인에이블 신호 EN을 수신하였다. PMOS 트랜지스터(2304)와 NMOS 트랜지스터(2305) 사이의 노드 BLIO는 비트 라인 입력 또는 출력 신호를 포함하며, 이는 도 22에서의 컬럼 디코더들(2202)과 같은 컬럼 디코더를 통해 비트 라인에 선택적으로 접속된다. 감지 증폭기 SA(2310)는 선택된 메모리 셀의 셀 전류를 판독하기 위해 노드 BLIO를 통해 비트 라인에 결합된다. 감지 증폭기 SA(2310)는, 예컨대 소거 또는 프로그램 동작 후에, 선택된 메모리 셀의 원하는 전류 레벨을 검증하기 위해 사용된다. PMOS 트랜지스터(2304)는 억제 제어 회로(2301/2302/2303)에 따라 프로그래밍에서 비트 라인을 억제하는 역할을 한다. NMOS 트랜지스터(2306)는 비트 라인에 바이어스 프로그램 전류를 제공한다. NMOS 트랜지스터(2305)는 비트 라인으로의 바이어스 프로그램 전류를 인에이블하고, 따라서 선택된 메모리 셀의 프로그래밍을 인에이블한다. 따라서 NMOS 트랜지스터(2305)의 게이트로의 프로그램 제어 신호(예컨대, 도 19에서의 신호 1902/1903, 도 20에서의 신호 2003/2004, 도 21에서의 신호 2103/2104)는 선택된 셀의 프로그램을 인에이블할 것이다.
도 24는 기준 어레이 행렬들(2401a, 2401b, 2401c, 2401d) 및 VMM 행렬들(2402a, 2402b, 2402c, 2402d)을 포함하는 예시적인 VMM 시스템(2400)을 도시한다. 각각의 VMM 행렬은 그 자체의 기준 어레이 행렬을 갖는다.
도 25는 단일 기준 어레이 행렬(2501) 및 VMM 행렬들(2502a, 2502b, 2502c, 2502d)을 포함하는 예시적인 VMM 시스템(2500)을 도시한다. 단일 기준 어레이 행렬(2501)은 다수의 VMM 행렬들에 걸쳐 공유된다.
도 26은 도 24에서의 기준 행렬들(2401a-d), 도 25에서의 행렬(2501), 또는 도 28 및 도 29에서의 기준 행렬(2801 또는 2901)로서 사용될 수 있는 예시적인 기준 행렬(2600)을 도시한다. 기준 행렬(2600)은 공통 제어 게이트 신호(2603) 및 소스 라인 기준 신호(2604)에 결합된 기준 메모리 셀들(2602a, 2602b, 2602c, 2602x)뿐만 아니라, 판독 또는 검증 동작들에서 사용하기 위한 복수의 비트 라인 기준 신호들을 제공하는 비트 라인 기준 디코더(2601)를 포함한다. 예를 들어, 기준 메모리 셀들(2602a-x)은 100 pA/200 pA/300 pA/.../30 nA의 증분 전류 레벨을 제공할 수 있다. 또는 기준 메모리 셀들(2602a-x)은 각각의 기준 메모리 셀에 대해 100 pA의 일정 전류 레벨을 제공할 수 있다. 이 경우에 대해, 상이한 기준 전류 레벨을 생성하기 위해, 예컨대 온도계 코드 방식으로 100 pA/200 pA/300 pA/등을 생성하기 위해, 기준 메모리 셀들(2602a-x)의 조합이 사용된다. 원하는 기준 전류 레벨을 생성하기 위해, 기준 전류 레벨들, 즉 일정 및/또는 증분의 다른 조합들이 사용될 수 있다. 또한, 기준 메모리 셀 전류를 생성하기 위해 2개의 기준 셀 사이의 차이 전류가 사용될 수 있다(예컨대 100 pA 기준 전류 = 250 pA 기준 전류 - 150 pA 기준 전류). 이는 예를 들어 온도에 걸쳐 보상되는 기준 전류를 생성하기 위해 사용된다.
도 27은 도 24에서의 기준 행렬들(2401a-d), 도 25에서의 행렬(2501), 또는 도 28 및 도 29에서의 기준 행렬(2801 또는 2901)로서 사용될 수 있는 예시적인 기준 행렬(2700)을 도시한다. 기준 행렬(2700)은 공통 제어 게이트 기준 신호(2703) 및 소거 게이트 기준 신호(2704), 및 소스 라인 기준 신호(2705)에 결합된 기준 메모리 셀들(2702a, 2702b, 2702c, 2702x)뿐만 아니라, 판독 또는 검증 동작들에서 사용하기 위한 복수의 비트 라인 기준 신호들을 제공하는 비트 라인 기준 디코더(2701)를 포함한다. 원하는 기준 전류 레벨을 생성하기 위해 도 26에서와 같이, 기준 전류 레벨들, 즉 일정 및/또는 증분의 조합이 사용될 수 있다.
도 28은 도시된 바와 같이 배열된, PMOS 트랜지스터들(2801, 2804), NMOS 캐스코딩 트랜지스터들(2802, 2805), VMM 메모리 어레이(2820)로부터 선택된 메모리 셀(2803), 및 기준 행렬(2806)(예컨대 기준 행렬(2500 또는 2600))을 포함하는, Icell PMOS 비교 회로(2800)를 도시한다. NMOS 트랜지스터들(2802, 2805)은 기준 비트 라인들을 원하는 전압 레벨로 바이어싱하기 위해 사용된다. 출력 전류 Iout은 선택된 메모리 셀(2803)에 저장된 값을 나타내는 전류 값이다. 출력 노드(2810)의 전압 레벨은 선택된 메모리 셀(2803)에서의 전류 대 기준 행렬(28006)로부터의 기준 전류 사이의 비교 결과를 나타낸다. 선택된 메모리 셀(2803)에서의 전류가 기준 행렬(2806)로부터의 기준 전류보다 크다면(또는 그보다 작다면), 노드(2801) 상의 전압은 Vdd로 상승한다(또는 접지로 떨어짐).
도 29는 도시된 바와 같이 배열된, PMOS 트랜지스터(2901), 스위치들(2902, 2903, 2904), NMOS 캐스코딩 트랜지스터들(2905, 2907), VMM 메모리 어레이(2920)로부터 선택된 메모리 셀(2908), 및 기준 행렬(2906)(예컨대 기준 행렬(2600 또는 2700)), 및 비교기(2909)를 포함하는 Icell PMOS 비교 회로(2900)를 도시한다. 출력 COMP_OUT은 기준 전류에 대한 선택된 메모리 셀(2908)에 저장된 값을 나타내는 전압 값이다. Icell 비교 회로는 2개의 미러 PMOS 트랜지스터 사이의 불일치를 제거하기 위해 시간 다중화된 단일 PMOS 전류 미러로서 이용함으로써 동작한다. 제1 기간 동안, S0 및 S1은 닫히고 S2는 열린다. 기준 메모리 행렬(2906)로부터의 전류는 PMOS 트랜지스터(2901)에 저장(유지)된다. 다음 기간 동안, S0 및 S1은 열리고 S2는 닫힌다. 저장된 기준 전류는 메모리 셀(2908)로부터의 전류와 비교되고 비교 결과는 출력 노드(2910) 상에 표시된다. 선택적으로, 비교기는 노드(2901) 상의 전압을 기준 전압 VREF와 비교하여 비교 결과를 나타낼 수 있다. 여기서, 기준 전류는 샘플링되어 유지되고, 선택된 메모리 셀(2902)로부터의 전류는 샘플링되고 PMOS 트랜지스터(2901)에 유지되어 기준 전류에 대해 비교된다.
다른 실시예에서, 도 30에 도시된 바와 같은 어레이 누출 보상 회로(3051)는 단일 PMOS 미러 회로와 함께 사용되어 VMM 어레이(3020) 상의 누출을 샘플링하고(S3 닫힘)(모든 워드 라인이 오프되고, 비트 라인 상의 누출 전류가 유지 PMOS에 샘플링됨) 유지 트랜지스터에서 누출을 유지할 수 있다(S3 열림). 이어서 이 누출은 비교를 위한 VMM 어레이(3020)로부터의 실제 메모리 셀 전류를 얻기 위해 비교 기간에 선택된 메모리 셀의 전류로부터 감산된다. 이는 본 명세서에 설명된 모든 비교 회로들에 사용될 수 있다. 이는 기준 어레이 누출 보상에 사용될 수 있다.
도 31은 전류원(3101), 스위치(3102), 커패시터(3103), 비교기(3104) 및 카운터(3105)를 포함하는, Icell-디지털 데이터 회로(Icell-to-digital data circuit)(3100)를 도시한다. 비교 기간의 시작에서, 신호(3110)는 접지로 풀 다운된다. 이어서 신호(3110)는 셀 전류(3101)(위에서 설명된 바와 같은 어레이 누출 보상을 갖는 VMM 메모리 어레이로부터 추출됨)에 따라 상승하기 시작한다. 램핑 속도(ramping rate)는 셀 전류(3101) 및 커패시터(3103)에 비례한다. 이어서 비교기(3104)의 출력(3112)은 카운터(3105)가 디지털 방식으로 카운팅을 시작하게 할 수 있다. 일단 노드(3110) 상의 전압이 전압 레벨 VREF(3111)에 도달하면, 비교기(3104)는 극성을 스위칭하고 카운터(3105)를 중단시킨다. 디지털 출력 Q<N:0>(3113) 값은 셀 전류(3101)의 값을 나타낸다.
도 32는 Icell-디지털 데이터 회로(3100)의 동작에 대한 파형(3200)을 도시한다. 신호(3201)는 램핑 전압(도 31에서의 신호(3110)에 대응함)이다. 상이한 셀 전류 레벨들에 대해 신호(3201)에 대한 상이한 램핑 속도들이 도시되어 있다. 신호들(3205, 3207)은 2개의 상이한 셀 전류에 대한 비교기들의 출력들(도 31에서의 신호(3121)에 대응함)이다. 신호들(3206, 3208)은 상기 2개의 상이한 셀 전류에 대한 디지털 출력들 Q<N:0>이다.
도 33은 메모리 셀 전류원(3301), 스위치(3302), 커패시터(3303), 및 비교기(3304)를 포함하는, Icell-기울기 회로(3300)를 도시한다. 메모리 셀 전류는 위에서 설명된 바와 같은 어레이 누출 보상을 갖는 VMM 메모리 어레이로부터 추출된다. 비교 기간의 시작에서, 신호(3310)는 접지로 풀 다운된다. 이어서 신호(3310)는 셀 전류(3301)(VMM 메모리 어레이로부터 추출됨)에 따라 상승하기 시작한다. 램핑 속도는 셀 전류(3301) 및 커패시터(3303)에 비례한다. 고정된 비교 기간 후에, 노드(3310) 상의 전압은 비교기(3304)에 의해 기준 전압 VREFx(3311)와 비교된다. VREFx(3311)는, 예를 들어, 16개의 기준 레벨에 대해 0.1 V, 0.2 V, 0.3 V, ..., 1.5 V, 1.6 V이다. 따라서 각각의 레벨은 16개의 상이한 전류 레벨에 대한 전류 레벨에 대응한다. 비교기(3304)의 출력은 셀 전류(3301)의 값을 나타낸다. 16개의 기준 레벨에 대해 노드(3310) 상의 전압(고정된 비교 기간 후 S1을 오프시킴으로써 커패시터(3303) 상에 유지될 수 있음)을 16개의 기준 레벨과 비교하기 위해, 16개의 기준 레벨을 갖는 16개의 비교기 또는 16개의 기준 레벨에 대해 16회 다중화된 기준 레벨을 갖는 하나의 비교기가 사용된다.
도 34는 Icell-기울기 회로(3300)의 동작에 대한 파형들(3400)을 도시한다. 신호(3401)는 인에이블 신호(3402)의 상승 에지에서 상이한 전압 레벨들(Vcellx)을 갖는 상이한 램핑 속도들을 도시한다. 셀 전류의 값을 나타내기 위해 전압 Vcellx는 기준 전압들(도 33에서의 기준 전압 VREFx(3311))과 비교된다.
도 35는 메모리 셀 전류원(3504), 스위치(3502), 커패시터(3501), NMOS 캐스코딩 트랜지스터(3503), 및 비교기(3505)를 포함하는 Icell-기울기 변환 회로(3500)를 도시한다. 메모리 셀 전류(3501)는 위에서 설명된 바와 같은 어레이 누출 보상을 갖는 VMM 메모리 어레이로부터 추출된다. NMOS(3503)는 선택된 메모리 셀(Icell(3504)로 도시됨)의 비트 라인 상의 전압을 바이어싱하기 위해 사용된다. 램프 방향이 램핑 업 대신 램핑 다운이라는 것을 제외하고는 동작은 도 31의 동작과 유사하다.
도 36은 Icell-기울기 회로(3500)의 동작에 대한 파형들(3600)을 도시한다.
본 명세서에 사용된 바와 같이, 용어들 "~ 위에" 및 "~ 상에" 둘 모두는 "직접적으로 ~ 상에"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)와 "간접적으로~ 상에"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)를 포괄적으로 포함한다는 것에 유의하여야 한다. 마찬가지로, 용어 "인접한"은 "직접적으로 인접한"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 인접한"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "~에 실장되는"은 "직접적으로 ~에 실장되는"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 ~에 실장되는"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "전기적으로 결합되는"은 "직접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 어떠한 중간 재료들 또는 요소들도 사이에 없음)과 "간접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 중간 재료들 또는 요소들이 사이에 있음)을 포함한다. 예를 들어, "기판 위에" 요소를 형성하는 것은 어떠한 중간 재료들/요소들도 사이에 갖지 않고서 직접적으로 기판 상에 요소를 형성하는 것뿐만 아니라, 하나 이상의 중간 재료들/요소들을 사이에 갖고서 간접적으로 기판 상에 요소를 형성하는 것을 포함할 수 있다.

Claims (41)

  1. 플래시 메모리 셀들의 로우(row)들 및 컬럼(column)들을 포함하는 VMM(vector-by-matrix multiplication) 어레이 내의 선택된 메모리 셀을 프로그래밍하는 방법으로서,
    상기 어레이 내의 복수의 플래시 메모리 셀들을 프로그래밍하는 단계;
    상기 어레이 내의 상기 복수의 플래시 메모리 셀들을 부분적으로 소거하는 단계;
    상기 복수의 플래시 메모리 셀들 내의 선택된 셀에 대해 제1 프로그램 동작을 수행하는 단계로서, 상기 선택된 셀의 플로팅 게이트(floating gate) 상에 제1 레벨의 전하가 저장되는, 상기 제1 프로그램 동작을 수행하는 단계;
    상기 선택된 셀에 대해 제2 프로그램 동작을 수행하는 단계로서, 상기 선택된 셀의 상기 플로팅 게이트 상에 추가적인 레벨의 전하가 저장되는, 상기 제2 프로그램 동작을 수행하는 단계; 및
    상기 선택된 셀 상에 원하는 레벨의 전하가 저장될 때까지 또는 상기 제2 프로그램 동작이 최대 횟수 수행될 때까지 상기 제2 프로그램 동작을 반복하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 각각의 제2 프로그램 동작 후에 검증 단계가 수행되고, 상기 검증 단계가 제1 결과를 산출하면 상기 반복하는 단계가 발생하고, 상기 검증 단계가 제2 결과를 산출하면 상기 반복하는 단계가 발생하지 않는, 방법.
  3. 제1항에 있어서, 사용되지 않은 메모리 셀들에 대한 하드 프로그램 단계를 더 포함하는, 방법.
  4. 제1항에 있어서, 상기 제1 프로그램 동작 및 상기 제2 프로그램 동작은 펄스 변조를 이용하는, 방법.
  5. 제1항에 있어서, 상기 제1 프로그램 동작 및 상기 제2 프로그램 동작은 프로그램 전류 변조를 이용하는, 방법.
  6. 제1항에 있어서, 상기 제1 프로그램 동작 및 상기 제2 프로그램 동작은 선택된 메모리 셀에 대해 펄스 변조를 이용하고 다른 선택된 메모리 셀에 대해 일정 펄스 변조를 이용하는, 방법.
  7. 제1항에 있어서, 상기 제1 프로그램 동작 및 상기 제2 프로그램 동작은 고전압 레벨 변조를 이용하는, 방법.
  8. 제2항에 있어서, 상기 검증 단계는 상기 선택된 셀에 의해 인출된 전류와 기준 행렬에 의해 인출된 전류를 비교하는 단계를 포함하는, 방법.
  9. 제1항에 있어서, 상기 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  10. 제1항에 있어서, 상기 메모리 셀은 적층형 게이트 메모리 셀인, 방법.
  11. 제1항에 있어서, 상기 기준 행렬은 공유 제어 게이트 및 공유 소거 게이트를 포함하는, 방법.
  12. 제1항에 있어서, 상기 기준 행렬은 공유 제어 게이트 및 각각의 기준 셀에 대한 별개의 소거 게이트를 포함하는, 방법.
  13. 제1항에 있어서, 상기 기준 전류는 기준 행렬로부터의 복수의 일정 전류들, 증분 전류들, 및 차이 전류들로부터 조합되는, 방법.
  14. 벡터-행렬-승산기(vector-matrix-multiplier)에 대한 선택된 메모리 셀에 의해 인출된 전류와 기준 행렬에 의해 인출된 전류를 비교하기 위한 회로로서,
    상기 선택된 메모리 셀에 결합된 제1 NMOS 트랜지스터에 결합된 제1 PMOS 트랜지스터를 포함하는 제1 회로; 및
    상기 기준 행렬에 결합된 제2 NMOS 트랜지스터에 결합된 제2 PMOS 트랜지스터를 포함하는 제2 회로
    를 포함하고,
    상기 제2 PMOS 트랜지스터와 상기 제2 NMOS 트랜지스터 사이의 노드가 상기 선택된 메모리 셀에 저장된 값을 나타내는 전류를 출력하는, 회로.
  15. 제14항에 있어서, 어레이 누출 보상 회로를 더 포함하는, 회로.
  16. 제14항에 있어서, 기준 어레이 누출 보상 회로를 더 포함하는, 회로.
  17. 제14항에 있어서, 상기 선택된 메모리 셀은 분리형 게이트 메모리 셀인, 회로.
  18. 제14항에 있어서, 상기 선택된 메모리 셀은 적층형 게이트 메모리 셀인, 회로.
  19. 벡터-행렬-승산기에 대한 선택된 셀에 의해 인출된 전류와 기준 행렬에 의해 인출된 전류를 비교하기 위한 회로로서,
    제1 노드로부터 수신된 전류와 기준 전류를 비교하기 위한 트랜지스터를 포함하고,
    상기 제1 노드는 제1 스위치에 의해 기준 행렬에 또는 제2 스위치에 의해 선택된 메모리 셀에 선택적으로 결합되며,
    상기 제1 노드 상의 전압이 비교 결과를 나타내는, 회로.
  20. 제19항에 있어서, 상기 기준 전류는 상기 트랜지스터 상에 유지되는, 회로.
  21. 제19항에 있어서,
    상기 제1 노드로부터 수신된 전류와 상기 기준 전류를 비교하기 위한 비교기를 더 포함하고,
    상기 비교기의 출력은 상기 선택된 셀에 저장된 값이 상기 기준 행렬에 저장된 값을 초과하는지 여부를 나타내는, 회로.
  22. 제19항에 있어서, 어레이 누출 보상 회로를 더 포함하는, 회로.
  23. 제19항에 있어서, 기준 어레이 누출 보상 회로를 더 포함하는, 회로.
  24. 제19항에 있어서, 상기 선택된 셀은 분리형 게이트 메모리 셀인, 회로.
  25. 제19항에 있어서, 상기 선택된 셀은 적층형 게이트 메모리 셀인, 회로.
  26. 벡터-행렬-승산기에 대한 메모리 셀 전류 신호를 디지털 비트들의 세트로 변환하기 위한 회로로서,
    메모리 셀 전류원;
    상기 전류원에 결합된 스위치;
    상기 스위치와 병렬로 상기 전류원에 결합된 커패시터;
    하나의 입력이 상기 전류원, 상기 스위치, 및 상기 커패시터에 결합되고 다른 입력이 전압 기준에 결합된 비교기; 및
    상기 비교기로부터의 출력을 수신하고 디지털 카운트 신호를 출력하도록 결합된 카운터
    를 포함하는, 회로.
  27. 제26항에 있어서, 메모리 전류가 트랜지스터 상에 유지되는, 회로.
  28. 제26항에 있어서, 어레이 누출 보상 회로를 더 포함하는, 회로.
  29. 제26항에 있어서, 메모리 셀이 분리형 게이트 메모리 셀인, 회로.
  30. 제26항에 있어서, 메모리 셀이 적층형 게이트 메모리 셀인, 회로.
  31. 벡터-행렬-승산기에 대한 메모리 셀 전류 신호를 기울기(slope)로 변환하기 위한 회로로서,
    메모리 셀 전류원;
    상기 전류원에 결합된 스위치;
    상기 스위치와 병렬로 상기 전류원에 결합된 커패시터;
    하나의 입력이 상기 전류원, 상기 스위치, 및 상기 커패시터에 결합되고 다른 입력이 전압 기준에 결합된 비교기
    를 포함하고,
    상기 비교기의 출력은 상기 전류원에 의해 출력된 전류를 나타내는 상기 기울기를 비교하는, 회로.
  32. 제31항에 있어서, 메모리 전류가 트랜지스터 상에 유지되는, 회로.
  33. 제31항에 있어서, 어레이 누출 보상 회로를 더 포함하는, 회로.
  34. 제31항에 있어서, 메모리 셀이 분리형 게이트 메모리 셀인, 회로.
  35. 제31항에 있어서, 메모리 셀이 적층형 게이트 메모리 셀인, 회로.
  36. 제31항에 있어서, 상기 전압 기준은 메모리 셀의 값을 나타내기 위해 시간 다중화되는, 회로.
  37. 벡터-행렬-승산기에 대한 메모리 셀 전류 신호를 기울기로 변환하기 위한 회로로서,
    메모리 셀 전류원;
    상기 전류원에 결합된 트랜지스터;
    상기 트랜지스터에 결합된 스위치;
    상기 스위치와 병렬로 상기 트랜지스터에 결합된 커패시터;
    하나의 입력이 상기 트랜지스터, 상기 스위치, 및 상기 커패시터에 결합되고 다른 입력이 전압 기준에 결합된 비교기
    를 포함하고,
    상기 비교기의 출력은 상기 전류원에 의해 출력된 전류를 나타내는 상기 기울기를 비교하는, 회로.
  38. 제37항에 있어서, 메모리 전류가 트랜지스터 상에 유지되는, 회로.
  39. 제37항에 있어서, 어레이 누출 보상 회로를 더 포함하는, 회로.
  40. 제37항에 있어서, 메모리 셀이 분리형 게이트 메모리 셀인, 회로.
  41. 제37항에 있어서, 메모리 셀이 적층형 게이트 메모리 셀인, 회로.
KR1020207022362A 2018-03-14 2019-01-18 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치 KR102457901B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227036132A KR102675657B1 (ko) 2018-03-14 2019-01-18 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862642878P 2018-03-14 2018-03-14
US62/642,878 2018-03-14
US15/990,395 2018-05-25
US15/990,395 US10910061B2 (en) 2018-03-14 2018-05-25 Method and apparatus for programming analog neural memory in a deep learning artificial neural network
PCT/US2019/014357 WO2019177691A1 (en) 2018-03-14 2019-01-18 Method and apparatus for programming analog neural memory in a deep learning artificial neural network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227036132A Division KR102675657B1 (ko) 2018-03-14 2019-01-18 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200101459A true KR20200101459A (ko) 2020-08-27
KR102457901B1 KR102457901B1 (ko) 2022-10-21

Family

ID=67904305

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207022362A KR102457901B1 (ko) 2018-03-14 2019-01-18 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치
KR1020227036132A KR102675657B1 (ko) 2018-03-14 2019-01-18 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227036132A KR102675657B1 (ko) 2018-03-14 2019-01-18 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치

Country Status (7)

Country Link
US (2) US10910061B2 (ko)
EP (2) EP3766072B1 (ko)
JP (2) JP7217753B2 (ko)
KR (2) KR102457901B1 (ko)
CN (1) CN111837190A (ko)
TW (2) TWI736845B (ko)
WO (1) WO2019177691A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220078263A (ko) * 2020-12-03 2022-06-10 광운대학교 산학협력단 정전용량을 이용한 가중치 메모리 시스템 및 이의 동작방법

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956814B2 (en) * 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
US10741568B2 (en) * 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US11755899B2 (en) * 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
US11636322B2 (en) * 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
US11393535B2 (en) * 2020-02-26 2022-07-19 Silicon Storage Technology, Inc. Ultra-precise tuning of analog neural memory cells in a deep learning artificial neural network
TWI751931B (zh) * 2020-05-04 2022-01-01 神盾股份有限公司 用於執行卷積神經網路運算的處理裝置與處理方法
US11682459B2 (en) * 2020-05-13 2023-06-20 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network comprising logical cells and improved programming mechanism
CN111625760B (zh) * 2020-06-01 2022-07-05 山东大学 基于闪存电学特性的存算一体方法
EP4268228A1 (en) * 2020-12-23 2023-11-01 Silicon Storage Technology, Inc. Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198652A1 (en) * 2006-05-12 2008-08-21 Anobit Technologies Ltd. Memory Device Programming Using Combined Shaping And Linear Spreading
KR20080080529A (ko) * 2005-11-10 2008-09-04 샌디스크 코포레이션 타이밍 정보를 이용한 리버스 커플링 효과
KR20080100416A (ko) * 2005-09-09 2008-11-18 샌디스크 코포레이션 프로그램 혼란이 감소된 ｎａｎｄ 타입 비휘발성 메모리의최종-최초 모드 및 프로그래밍 방법
US20090052255A1 (en) * 2007-08-20 2009-02-26 Moon Seunghyun Program and erase methods for nonvolatile memory
US20140380123A1 (en) * 2010-09-23 2014-12-25 Micron Technology, Inc. Memory quality monitor based compensation method and apparatus
GB2537484A (en) * 2015-03-20 2016-10-19 HGST Netherlands BV Read level grouping for increased flash performance
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP3145894B2 (ja) 1995-03-10 2001-03-12 日本電気株式会社 電気的に書込み・消去可能な不揮発性半導体記憶装置
JPH10134587A (ja) * 1996-10-29 1998-05-22 Sony Corp 不揮発性半導体記憶装置
US6153494A (en) 1999-05-12 2000-11-28 Taiwan Semiconductor Manufacturing Company Method to increase the coupling ratio of word line to floating gate by lateral coupling in stacked-gate flash
KR100336840B1 (ko) 1999-06-10 2002-05-16 윤종용 반도체 메모리 장치의 감지 증폭기
JP4599059B2 (ja) * 2001-09-18 2010-12-15 キロパス テクノロジー インコーポレイテッド 超薄膜誘電体のブレークダウン現象を利用した半導体メモリセルセル及びメモリアレイ
US6724029B2 (en) 2002-02-21 2004-04-20 International Business Machines Corporation Twin-cell flash memory structure and method
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US7630237B2 (en) * 2003-02-06 2009-12-08 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US7002943B2 (en) * 2003-12-08 2006-02-21 Airtight Networks, Inc. Method and system for monitoring a selected region of an airspace associated with local area networks of computing devices
US7002843B2 (en) 2004-01-27 2006-02-21 Sandisk Corporation Variable current sinking for coarse/fine programming of non-volatile memory
US7474559B1 (en) 2005-08-30 2009-01-06 Xilinx, Inc. Circuit and method for employing unused configuration memory cells as scratchpad memory
US7456465B2 (en) 2005-09-30 2008-11-25 Freescale Semiconductor, Inc. Split gate memory cell and method therefor
JP4904780B2 (ja) 2005-11-07 2012-03-28 富士通セミコンダクター株式会社 不揮発性半導体記憶装置
EP1843356A1 (en) 2006-04-03 2007-10-10 STMicroelectronics S.r.l. Method and system for refreshing a memory device during reading thereof
JP4364260B2 (ja) 2007-05-28 2009-11-11 株式会社東芝 半導体記憶装置
US7848158B2 (en) 2008-05-05 2010-12-07 Micron Technologies, Inc. Methods and apparatuses for programming flash memory using modulated pulses
US7852683B2 (en) 2008-07-02 2010-12-14 Sandisk Corporation Correcting for over programming non-volatile storage
US8144511B2 (en) * 2009-08-19 2012-03-27 Sandisk Technologies Inc. Selective memory cell program and erase
US9484097B2 (en) 2010-07-21 2016-11-01 Conversant Intellectual Property Management Inc. Multipage program scheme for flash memory
US8953384B2 (en) 2012-07-31 2015-02-10 Winbond Electronics Corporation Sense amplifier for flash memory
US8837210B2 (en) 2012-08-23 2014-09-16 Infineon Technologies Ag Differential sensing method and system for STT MRAM
US9165629B2 (en) 2013-03-12 2015-10-20 Taiwan Semiconductor Manufacturing Co., Ltd. Method and apparatus for MRAM sense reference trimming
US9275014B2 (en) * 2013-03-13 2016-03-01 Qualcomm Incorporated Vector processing engines having programmable data path configurations for providing multi-mode radix-2x butterfly vector processing circuits, and related vector processors, systems, and methods
US9268899B2 (en) 2013-03-14 2016-02-23 Silicon Storage Technology, Inc. Transistor design for use in advanced nanometer flash memory devices
US10120405B2 (en) * 2014-04-04 2018-11-06 National Instruments Corporation Single-junction voltage reference
KR20160050534A (ko) * 2014-10-30 2016-05-11 에스케이하이닉스 주식회사 누설 전류 감지부를 구비하는 반도체 집적 회로 장치 및 그 구동방법
US10049733B2 (en) * 2014-10-31 2018-08-14 Hewlett Packard Enterprise Development Lp Reusing sneak current in accessing memory cells
US9384845B2 (en) 2014-11-18 2016-07-05 Sandisk Technologies Llc Partial erase of nonvolatile memory blocks
KR20170096152A (ko) * 2014-12-15 2017-08-23 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 비 휘발성 메모리 크로스바 어레이
US9361995B1 (en) * 2015-01-21 2016-06-07 Silicon Storage Technology, Inc. Flash memory system using complementary voltage supplies
US9343131B1 (en) 2015-02-24 2016-05-17 International Business Machines Corporation Mismatch and noise insensitive sense amplifier circuit for STT MRAM
US10134475B2 (en) 2015-03-31 2018-11-20 Silicon Storage Technology, Inc. Method and apparatus for inhibiting the programming of unselected bitlines in a flash memory system
US9852024B2 (en) * 2016-04-19 2017-12-26 Winbond Electronics Corporation Apparatus and method for read time control in ECC-enabled flash memory
US10269440B2 (en) * 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
US10120649B2 (en) * 2016-07-29 2018-11-06 Microunity Systems Engineering, Inc. Processor and method for outer product accumulate operations
US9966127B2 (en) * 2016-10-12 2018-05-08 Micron Technology, Inc. Compensating for variations in selector threshold voltages
US10522226B2 (en) * 2018-05-01 2019-12-31 Silicon Storage Technology, Inc. Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080100416A (ko) * 2005-09-09 2008-11-18 샌디스크 코포레이션 프로그램 혼란이 감소된 ｎａｎｄ 타입 비휘발성 메모리의최종-최초 모드 및 프로그래밍 방법
KR20080080529A (ko) * 2005-11-10 2008-09-04 샌디스크 코포레이션 타이밍 정보를 이용한 리버스 커플링 효과
US20080198652A1 (en) * 2006-05-12 2008-08-21 Anobit Technologies Ltd. Memory Device Programming Using Combined Shaping And Linear Spreading
US20090052255A1 (en) * 2007-08-20 2009-02-26 Moon Seunghyun Program and erase methods for nonvolatile memory
US20140380123A1 (en) * 2010-09-23 2014-12-25 Micron Technology, Inc. Memory quality monitor based compensation method and apparatus
GB2537484A (en) * 2015-03-20 2016-10-19 HGST Netherlands BV Read level grouping for increased flash performance
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220078263A (ko) * 2020-12-03 2022-06-10 광운대학교 산학협력단 정전용량을 이용한 가중치 메모리 시스템 및 이의 동작방법

Also Published As

Publication number Publication date
EP4141875A1 (en) 2023-03-01
KR102675657B1 (ko) 2024-06-14
JP2021517706A (ja) 2021-07-26
JP2023065351A (ja) 2023-05-12
TW202143243A (zh) 2021-11-16
CN111837190A (zh) 2020-10-27
JP7217753B2 (ja) 2023-02-03
TW201939516A (zh) 2019-10-01
KR102457901B1 (ko) 2022-10-21
TWI810613B (zh) 2023-08-01
JP7493065B2 (ja) 2024-05-30
EP3766072A1 (en) 2021-01-20
EP3766072B1 (en) 2022-11-30
TWI736845B (zh) 2021-08-21
US20190287621A1 (en) 2019-09-19
EP3766072A4 (en) 2021-12-15
US20210142854A1 (en) 2021-05-13
US10910061B2 (en) 2021-02-02
KR20220147698A (ko) 2022-11-03
WO2019177691A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
KR102457901B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 프로그래밍하기 위한 방법 및 장치
KR102654503B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리용 고전압 생성을 위한 방법 및 장치
US10748630B2 (en) High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
KR102457394B1 (ko) 딥 러닝 신경 네트워크에서 사용되는 아날로그 신경 메모리 시스템 내의 메모리 셀들에 대한 온도 및 누설 보상
KR102404411B1 (ko) 딥 러닝 인공 신경 네트워크에서 아날로그 신경 메모리 내의 비휘발성 메모리 셀의 프로그래밍 동작 도중 저장된 값을 검증하기 위한 알고리즘들 및 회로부
WO2023018432A1 (en) Hybrid memory system configurable to store neural memory weight data in analog form or digital form
EP4381502A1 (en) Input circuitry for analog neural memory in a deep learning artificial neural network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant