KR20210021385A - 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상 - Google Patents

딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상 Download PDF

Info

Publication number
KR20210021385A
KR20210021385A KR1020217001465A KR20217001465A KR20210021385A KR 20210021385 A KR20210021385 A KR 20210021385A KR 1020217001465 A KR1020217001465 A KR 1020217001465A KR 20217001465 A KR20217001465 A KR 20217001465A KR 20210021385 A KR20210021385 A KR 20210021385A
Authority
KR
South Korea
Prior art keywords
memory cell
current
gate
selected memory
cell
Prior art date
Application number
KR1020217001465A
Other languages
English (en)
Other versions
KR102616977B1 (ko
Inventor
트란 휴 반
비핀 티와리
난 도
Original Assignee
실리콘 스토리지 테크놀로지 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 실리콘 스토리지 테크놀로지 인크 filed Critical 실리콘 스토리지 테크놀로지 인크
Publication of KR20210021385A publication Critical patent/KR20210021385A/ko
Application granted granted Critical
Publication of KR102616977B1 publication Critical patent/KR102616977B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G06N3/0635—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0445—
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G06N3/0481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/004—Reading or sensing circuits or methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G11C16/28—Sensing or reading circuits; Data output circuits using differential sensing or reference cells, e.g. dummy cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2211/00—Indexing scheme relating to digital stores characterized by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C2211/56—Indexing scheme relating to G11C11/56 and sub-groups for features not covered by these groups
    • G11C2211/563—Multilevel memory reading aspects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/10—Resistive cells; Technology aspects
    • G11C2213/15—Current-voltage curve

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Neurology (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)

Abstract

딥 러닝 인공 신경망에서 아날로그 신경 메모리에서의 판독 동작 동안 기준 트랜지스터들(2282), 기준 메모리 셀들 및 플래시 메모리 셀들(2284) 사이의 전류-전압 특성 곡선의 기울기에 있어서의 차이들을 보상하기 위한 다수의 실시예들이 개시된다. 실시예들은 기준 트랜지스터들의 서브-임계 및 선형 동작 둘 모두 동안 기울기 차이들을 보상할 수 있다.

Description

딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상
우선권 주장
본 출원은 2018년 7월 11일자로 출원되고 발명의 명칭이 "딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상(Compensation for Reference Transistors and Memory Cells in Analog Neuro Memory in Deep Learning Artificial Neural Network)"인 미국 가특허 출원 제62/696,718호, 및 2018년 10월 3일자로 출원되고 발명의 명칭이 "딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상(Compensation for Reference Transistors and Memory Cells in Analog Neuro Memory in Deep Learning Artificial Neural Network)"인 미국 특허 출원 제16/150,606호에 대한 우선권을 주장한다.
기술분야
딥 러닝 인공 신경망에서 아날로그 신경 메모리에서의 판독 동작 동안 기준 트랜지스터들, 기준 메모리 셀들 및 플래시 메모리 셀들 사이의 전류-전압 특성 곡선의 기울기에 있어서의 차이들을 보상하기 위한 다수의 실시예들이 개시된다. 실시예들은 기준 트랜지스터들의 서브-임계(sub-threshold) 및 선형 동작 둘 모두 동안 기울기 차이들을 보상할 수 있다.
인공 신경망은 생물학적 신경망(예컨대, 동물의 중추신경계, 특히 뇌)을 모방하는데, 이들은 다수의 입력에 의존할 수 있고 일반적으로 알려져 있지 않은 함수들을 추정하거나 근사화하는 데 이용된다. 인공 신경망은, 일반적으로, 서로 메시지들을 교환하는 상호접속된 "뉴런(neuron)"의 층들을 포함한다.
도 1은 인공 신경망(100)을 예시하며, 여기서 원은 뉴런의 층 또는 입력을 나타낸다. 연접부(시냅스(synapse)들로 지칭됨)는 화살표로 표현되며, 경험에 기초하여 튜닝될 수 있는 수치 가중치를 갖는다. 이는 신경망을 입력에 적응시키고 학습할 수 있게 한다. 전형적으로, 신경망은 다수의 입력들의 층을 포함한다. 전형적으로 뉴런의 하나 이상의 중간 층, 및 신경망의 출력을 제공하는 뉴런의 출력 층이 있다. 각각의 레벨의 뉴런은 개별적으로 또는 집합적으로 시냅스들로부터의 수신된 데이터에 기초하여 결정을 행한다.
고성능 정보 처리를 위한 인공 신경망의 개발에서의 주요 과제들 중 하나는 적절한 하드웨어 기술의 결여이다. 사실상, 실제 신경망은 매우 많은 수의 시냅스들에 의존하여, 뉴런들 사이의 높은 접속성, 즉 매우 높은 계산 병렬성(computational parallelism)을 가능하게 한다. 원칙적으로, 그러한 복잡성은 디지털 슈퍼컴퓨터들 또는 특수 그래픽 처리 유닛 클러스터들로 달성될 수 있다. 그러나, 고비용에 더하여, 이들 접근법은 또한 주로 저-정밀 아날로그 계산을 수행하기 때문에 훨씬 적은 에너지를 소비하는 생물학적 망(biological network)과 비교하여 평범한 에너지 효율을 겪는다. CMOS 아날로그 회로가 인공 신경망에 사용되어 왔지만, 대부분의 CMOS-구현된 시냅스들은 많은 수의 뉴런들 및 시냅스들이 주어지면 너무 부피가 커졌다.
출원인은, 참고로 포함되는, 미국 특허 출원 제15/594,439호에서 하나 이상의 비휘발성 메모리 어레이를 시냅스로서 이용하는 인공 (아날로그) 신경망을 이전에 개시하였다. 비휘발성 메모리 어레이들은 아날로그 뉴로모픽 메모리(analog neuromorphic memory)로서 동작한다. 신경망 디바이스는 제1 복수의 입력들을 수신하고 그로부터 제1 복수의 출력들을 생성하도록 구성된 제1 복수의 시냅스들, 및 제1 복수의 출력들을 수신하도록 구성된 제1 복수의 뉴런들을 포함한다. 제1 복수의 시냅스들은 복수의 메모리 셀들을 포함하는데, 여기서 메모리 셀들 각각은 반도체 기판 내에 형성되고 채널 영역이 사이에 연장되는 이격된 소스 영역과 드레인 영역, 채널 영역의 제1 부분 위에 배치되고 그로부터 절연되는 플로팅 게이트, 및 채널 영역의 제2 부분 위에 배치되고 그로부터 절연되는 비-플로팅 게이트를 포함한다. 복수의 메모리 셀들 각각은 플로팅 게이트 상의 전자들의 수에 대응하는 가중치 값을 저장하도록 구성된다. 복수의 메모리 셀들은 제1 복수의 입력들을 저장된 가중치 값들과 승산하여 제1 복수의 출력들을 생성하도록 구성된다.
아날로그 뉴로모픽 메모리 시스템에서 사용되는 각각의 비휘발성 메모리 셀은 플로팅 게이트에서 매우 특정적이고 정확한 양의 전하를 유지하도록 소거되고 프로그램되어야 한다. 예를 들어, 각각의 플로팅 게이트는 N개의 상이한 값 중 하나를 유지해야 하며, 여기서 N은 각각의 셀에 의해 표시될 수 있는 상이한 가중치들의 수이다. N의 예는 16, 32 및 64를 포함한다.
아날로그 뉴로모픽 메모리 시스템들의 하나의 고유한 특성은 시스템이 두 가지 상이한 유형의 판독 동작을 지원해야 한다는 것이다. 정상 판독 동작에서, 개별 메모리 셀이 종래의 메모리 시스템들에서와 같이 판독된다. 그러나, 신경 판독 동작에서, 메모리 셀들의 전체 어레이는 한 번에 판독되며, 여기서 각각의 비트 라인은 그 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합인 전류를 출력할 것이다.
그 결과, 아날로그 뉴로모픽 메모리 시스템들은 메모리 셀들과 트랜지스터들 간의 미스매칭에 매우 민감하다. 극도의 정확도가 요구되고, 2개의 디바이스가 상이한 전류-전압 특성 곡선들을 가지면, 시스템은 부정확할 것이다.
필요한 것은 상이한 메모리 셀들과 트랜지스터들 간의 전류-전압 특성 곡선들에 있어서의 차이들을 보상하는 개선된 아날로그 뉴로모픽 메모리 시스템이다.
딥 러닝 인공 신경망에서 아날로그 신경 메모리에서의 판독 동작 동안 기준 트랜지스터들, 기준 메모리 셀들 및 플래시 메모리 셀들 사이의 전류-전압 특성 곡선의 기울기에 있어서의 차이들을 보상하기 위한 다수의 실시예들이 개시된다. 실시예들은 기준 트랜지스터들의 서브-임계 및 선형 동작 둘 모두 동안 기울기 차이들을 보상할 수 있다.
도 1은 종래 기술의 인공 신경망을 예시하는 다이어그램이다.
도 2는 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 3은 종래의 4-게이트 비휘발성 메모리 셀의 측단면도이다.
도 4는 종래의 3-게이트 비휘발성 메모리 셀의 측단면도이다.
도 5는 다른 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 6은 비휘발성 메모리 어레이를 활용하는 상이한 레벨들의 예시적인 인공 신경망을 예시하는 다이어그램이다.
도 7은 벡터 승산기 매트릭스를 예시하는 블록도이다.
도 8은 다양한 레벨의 벡터 승산기 매트릭스를 예시하는 블록도이다.
도 9는 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 10은 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 11은 도 10의 벡터 승산기 매트릭스에 대해 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 12는 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 13은 도 12의 벡터 승산기 매트릭스에 대해 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 14는 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 15는 도 14의 벡터 승산기 매트릭스에 대해 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 16은 벡터 승산기 매트릭스의 다른 실시예를 도시한다.
도 17은 도 16의 벡터 승산기 매트릭스에 대해 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 18a는 기준 트랜지스터를 도시한다.
도 18b는 도 18a의 기준 트랜지스터에 대한 서브-임계 전류-전압 특성 곡선을 도시한다.
도 18c는 도 18a의 기준 트랜지스터에 대한 선형 전류-전압 특성 곡선을 도시한다.
도 18d는 메모리 셀을 도시한다.
도 18e는 도 18c의 메모리 셀에 대한 서브-임계 전류-전압 특성 곡선을 도시한다.
도 18f는 도 18d의 메모리 셀에 대한 선형 전류-전압 특성 곡선을 도시한다.
도 19는 기준 트랜지스터를 도시한다.
도 20은 기준 메모리 셀을 도시한다.
도 21은 다른 기준 메모리 셀을 도시한다.
도 22는 기울기 보상에 기초한 특성 곡선에 있어서의 변화를 도시한다.
도 23은 기울기 보상 시스템의 실시예를 도시한다.
도 24는 기울기 보상 시스템의 다른 실시예를 도시한다.
도 25는 기울기 보상 시스템의 다른 실시예를 도시한다.
도 26은 기울기 보상 시스템의 다른 실시예를 도시한다.
도 27은 메모리 셀 어레이의 실시예를 도시한다.
도 28은 다양한 기울기-보상된 시스템들의 전류-전압 특성 곡선들을 도시한다.
도 29는 다양한 기울기-보상된 시스템들의 전류-전압 특성 곡선들을 도시한다.
도 30은 예시적인 기준 트랜지스터 및 그의 전류-전압 특성 곡선을 도시한다.
도 31은 기울기 차이를 보상하는 데 사용될 룩업 테이블에 저장된 데이터를 도시한다.
도 32는 종래 기술의 장단기 메모리 시스템을 도시한다.
도 33은 종래 기술의 장단기 메모리 시스템 내의 예시적인 셀을 도시한다.
도 34는 도 33의 장단기 메모리 시스템 내의 예시적인 셀의 구현을 도시한다.
도 35는 종래 기술의 게이트형 회귀 유닛 시스템(gated recurrent unit system)을 도시한다.
도 36은 종래 기술의 게이트형 회귀 유닛 시스템 내의 예시적인 셀을 도시한다.
도 37은 도 36의 게이트형 회귀 유닛 시스템 내의 예시적인 셀의 구현을 도시한다.
본 발명의 인공 신경망은 CMOS 기술과 비휘발성 메모리 어레이들의 조합을 이용한다.
비휘발성 메모리 셀들
디지털 비휘발성 메모리들이 잘 알려져 있다. 예를 들어, 미국 특허 제5,029,130호("'130 특허")가 분리형 게이트 비휘발성 메모리 셀들의 어레이를 개시하고 있으며, 모든 목적을 위해 본 명세서에 참고로 포함된다. 그러한 메모리 셀이 도 2에 도시되어 있다. 각각의 메모리 셀(210)은 반도체 기판(12) 내에 형성된 소스 영역(14) 및 드레인 영역들(16)을 포함하며, 채널 영역(18)이 그들 사이에 있다. 플로팅 게이트(20)가 소스 영역(16)의 일부분 위에, 그리고 채널 영역(18)의 제1 부분 위에 형성되고 그로부터 절연된다(그리고 그의 전도율을 제어한다). 워드 라인 단자(22)(전형적으로 워드 라인에 결합됨)가 채널 영역(18)의 제2 부분 위에 배치되고 그로부터 절연되는(그리고 그의 전도율을 제어하는) 제1 부분, 및 위쪽으로 그리고 플로팅 게이트(20) 위로 연장되는 제2 부분을 갖는다. 플로팅 게이트(20) 및 워드 라인 단자(22)는 게이트 산화물에 의해 기판(12)으로부터 절연된다. 비트 라인(24)이 드레인 영역(16)에 결합된다.
메모리 셀(210)은 워드 라인 단자(22) 상에 높은 포지티브 전압을 배치함으로써 소거되는데(여기서 전자들이 플로팅 게이트로부터 제거됨), 이는 플로팅 게이트(20) 상의 전자들이 파울러-노드하임 터널링(Fowler-Nordheim tunneling)을 통해 중간 절연체를 통과하여 플로팅 게이트(20)로부터 워드 라인 단자(22)로 터널링하게 한다.
메모리 셀(210)은 워드 라인 단자(22) 상에 포지티브 전압을, 그리고 소스(16) 상에 포지티브 전압을 배치함으로써 프로그램된다(여기서 전자들이 플로팅 게이트 상에 배치됨). 전자 전류가 소스(16)로부터 드레인(14)을 향해 흐를 것이다. 전자들은 그들이 워드 라인 단자(22)와 플로팅 게이트(20) 사이의 갭에 도달할 때 가속되고 가열될 것이다. 가열된 전자들 중 일부는 플로팅 게이트(20)로부터의 정전 인력으로 인해 게이트 산화물(26)을 통과하여 플로팅 게이트(20) 상으로 주입될 것이다.
메모리 셀(210)은 드레인(14) 및 워드 라인 단자(22) 상에 포지티브 판독 전압들을 배치함(이는 워드 라인 단자 아래의 채널 영역을 턴 온시킴)으로써 판독된다. 플로팅 게이트(20)가 포지티브로 대전되면(즉, 전자들이 소거되고 드레인(16)에 포지티브로 결합되면), 플로팅 게이트(20) 아래의 채널 영역의 부분이 또한 턴 온되고, 전류가 채널 영역(18)을 가로질러 흐를 것이며, 이는 소거 또는 "1" 상태로 감지된다. 플로팅 게이트(20)가 네거티브로 대전되면(즉, 전자들로 프로그램되면), 플로팅 게이트(20) 아래의 채널 영역의 부분은 대부분 또는 완전히 턴 오프되고, 전류가 채널 영역(18)을 가로질러 흐르지 않을 것이며(또는 흐름이 거의 없을 것이며), 이는 프로그램된 또는 "0" 상태로 감지된다.
표 1은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(210)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 보여준다:
[표 1]
Figure pct00001
다른 분리형 게이트 메모리 셀 구성들이 알려져 있다. 예를 들어, 도 3은 소스 영역(14), 드레인 영역(16), 채널 영역(18)의 제1 부분 위의 플로팅 게이트(20), 채널 영역(18)의 제2 부분 위의 선택 게이트(28)(전형적으로 워드 라인에 결합됨), 플로팅 게이트(20) 위의 제어 게이트(22), 및 소스 영역(14) 위의 소거 게이트(30)를 포함하는 4-게이트 메모리 셀(310)을 도시한다. 이러한 구성은, 모든 목적을 위해 본 명세서에 참고로 포함되는, 미국 특허 제6,747,310호에 기재되어 있다. 여기서, 모든 게이트들은 플로팅 게이트(20)를 제외한 비-플로팅 게이트들이며, 이는 그것들이 전압원에 전기적으로 접속되어 있거나 접속가능하다는 것을 의미한다. 프로그래밍은 채널 영역(18)으로부터의 가열된 전자들이 플로팅 게이트(20) 상으로 자신들을 주입하는 것에 의해 나타난다. 소거는 전자들이 플로팅 게이트(20)로부터 소거 게이트(30)로 터널링하는 것에 의해 나타난다.
표 2는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(310)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 보여준다:
[표 2]
Figure pct00002
도 4는 분리형 게이트 3-게이트 메모리 셀(410)을 도시한다. 메모리 셀(410)은, 메모리 셀(410)이 별개의 제어 게이트를 갖지 않는다는 점을 제외하고는, 도 3의 메모리 셀(310)과 동일하다. 소거 동작(소거 게이트를 통하여 소거함) 및 판독 동작은, 제어 게이트 바이어스가 없다는 점을 제외하고는, 도 3의 것과 유사하다. 프로그래밍 동작은 또한 제어 게이트 바이어스 없이 행해지고, 따라서 소스 라인 상의 프로그램 전압은 제어 게이트 바이어스의 결여를 보상하기 위해 더 높다.
표 3은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(410)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 보여준다:
[표 3]
Figure pct00003
도 5는 적층 게이트 메모리 셀(510)을 도시한다. 메모리 셀(510)은, 절연 층에 의해 분리되어, 플로팅 게이트(20)가 전체 채널 영역(18) 위로 연장되고, 제어 게이트(22)가 플로팅 게이트(20) 위로 연장된다는 점을 제외하고는, 도 2의 메모리 셀(210)과 유사하다. 소거, 프로그래밍, 및 판독 동작은 메모리 셀(210)에 대해 이전에 설명된 것과 유사한 방식으로 동작한다.
표 4는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(510)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 보여준다:
[표 4]
Figure pct00004
인공 신경망에서 위에서 설명된 비휘발성 메모리 셀들의 유형들 중 하나를 포함하는 메모리 어레이들을 이용하기 위해, 두 가지 수정이 이루어진다. 첫째, 라인들은, 하기에서 추가로 설명되는 바와 같이, 각각의 메모리 셀이 어레이 내의 다른 메모리 셀들의 메모리 상태에 악영향을 미치지 않으면서 개별적으로 프로그램, 소거, 및 판독될 수 있도록 구성된다. 둘째, 메모리 셀들의 연속적인 (유사한) 프로그래밍이 제공된다.
구체적으로, 어레이 내의 각각의 메모리 셀들의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 소거된 상태로부터 완전 프로그램된 상태로 연속적으로 변경될 수 있다. 다른 실시예에서, 어레이 내의 각각의 메모리 셀의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 프로그램된 상태로부터 완전 소거된 상태로 연속적으로 변경될 수 있고, 그 역으로도 가능하다. 이것은 셀 저장소가 유사하거나 또는 적어도, 많은 개별 값들(예컨대 16개 또는 64개의 상이한 값) 중 하나를 저장할 수 있음을 의미하는데, 이는 메모리 어레이 내의 모든 셀들의 매우 정밀하고 개별적인 튜닝을 허용하고, 메모리 어레이를 신경망의 시냅스 가중치들에 대한 미세 튜닝 조정을 저장하고 행하는 데 이상적인 것으로 되게 한다.
비휘발성 메모리 셀 어레이들을 채용한 신경망들
도 6은 비휘발성 메모리 어레이를 활용하는 신경망의 비제한적인 예를 개념적으로 예시한다. 이 예는 얼굴 인식 애플리케이션에 대해 비휘발성 메모리 어레이 신경망을 이용하지만, 비휘발성 메모리 어레이 기반 신경망을 이용하여 임의의 다른 적절한 애플리케이션이 구현될 수 있다.
S0은, 이 예에 대해, 5 비트 정밀도를 갖는 32x32 픽셀 RGB 이미지(즉, 각각의 색상 R, G 및 B에 대해 하나씩인 3개의 32x32 픽셀 어레이들, 각각의 픽셀은 5 비트 정밀도임)인 입력이다. S0으로부터 C1로 가는 시냅스들(CB1)은 가중치들 및 공유 가중치들의 상이한 세트들 양측 모두를 가지며, 입력 이미지를 3x3 픽셀 중첩 필터들(커널(kernel))로 스캔하여, 필터를 1 픽셀(또는 모델별로 지시되는 바와 같이 1 초과 픽셀)만큼 시프트시킨다. 구체적으로, 이미지의 3x3 부분 내의 9개 픽셀들(즉, 필터 또는 커널로 지칭됨)에 대한 값들이 시냅스들(CB1)에 제공되고, 이에 의해, 이들 9개의 입력 값들이 적절한 가중치들과 승산되고, 그 승산의 출력들을 합산한 후, 단일 출력 값이 결정되고, 피처 맵(feature map)(C1)의 층들 중 하나의 층의 픽셀을 생성하기 위해 CB1의 제1 뉴런에 의해 제공된다. 이어서, 3x3 필터가 하나의 픽셀씩 우측으로 시프트되고(즉, 우측에 3개 픽셀들의 컬럼(column)을 추가하고, 좌측에서 3개 픽셀들의 컬럼을 뺌), 이에 의해 이러한 새롭게 위치된 필터에서의 9개 픽셀 값들이 시냅스들(CB1)에 제공되고, 이에 의해 이들은 동일한 가중치들과 승산되고, 제2 단일 출력 값이 연관된 뉴런에 의해 결정된다. 이러한 프로세스는, 3개의 모든 색상들에 대해 그리고 모든 비트들(정밀도 값들)에 대해, 3x3 필터가 전체 32x32 픽셀 이미지를 가로질러서 스캔할 때까지 계속된다. 이어서, 프로세스는, 층(C1)의 모든 피처 맵들이 계산될 때까지, 가중치들의 상이한 세트들을 사용하여 반복되어 C1의 상이한 피처 맵을 생성한다.
C1에서, 본 예에서, 각각 30x30 픽셀들을 갖는 16개 피처 맵들이 있다. 각각의 픽셀은 입력들과 커널을 승산하는 것으로부터 추출된 새로운 피처 픽셀이고, 따라서 각각의 피처 맵은 2 차원 어레이이고, 따라서, 이러한 예에서, 시냅스들(CB1)은 2차원 어레이들의 16개 층들을 구성한다(본 명세서에서 언급된 뉴런 층들 및 어레이들은 반드시 물리적 관계인 것이 아니라 논리적 관계임 - 즉, 어레이들은 반드시 물리적으로 2차원 어레이들로 배향되지는 않음 - 에 유념한다). 16개 피처 맵들 각각은 필터 스캔에 적용되는 시냅스 가중치들의 상이한 16개 세트들 중 하나의 세트에 의해 생성된다. C1 피처 맵들은 모두, 경계 식별과 같은 동일한 이미지 피처의 상이한 태양들에 관한 것일 수 있다. 예를 들어, (제1 맵을 생성하는 데 사용되는 모든 스캔을 위해 공유되는 제1 가중치 세트를 사용하여 생성된) 제1 맵은 원형 에지들을 식별할 수 있고, (제1 가중치 세트와는 상이한 제2 가중치 세트를 사용하여 생성된) 제2 맵은 직사각형 에지들, 또는 특정 피처들의 종횡비 등을 식별할 수 있다.
활성화 함수(P1)(풀링(pooling))는 C1로부터 S1로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. 풀링 스테이지의 목적은, 예를 들어 에지 위치의 의존성을 감소시키고 다음 스테이지로 가기 전에 데이터 크기를 감소시키기 위해 인근 위치를 평균하는 것이다(또는 최대 함수가 또한 사용될 수 있음). S1에는, 16개 15x15 피처 맵들(즉, 각각 15x15 픽셀들의 상이한 16개 어레이들)이 있다. S1로부터 C2로 가는 CB2 내의 시냅스들 및 연관된 뉴런들은 1 픽셀의 필터 시프트를 갖는 4x4 필터들로 S1 내의 맵들을 스캔한다. C2에는, 22개 12x12 피처 맵들이 있다. 활성화 함수(P2)(풀링)가 C2로부터 S2로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. S2에는, 22개 6x6 피처 맵들이 있다. 활성화 함수가 S2로부터 C3으로 가는 시냅스들(CB3)에서 적용되며, 여기서 C3 내의 모든 뉴런은 S2 내의 모든 맵에 접속된다. C3에는, 64개 뉴런들이 있다. C3으로부터 출력(S3)으로 가는 시냅스들(CB4)은 S3을 C3에 완전히 접속한다. S3에서의 출력은 10개 뉴런들을 포함하고, 여기서 최고 출력 뉴런이 클래스를 결정한다. 이러한 출력은, 예를 들어, 원래의 이미지의 콘텐츠의 식별 또는 분류를 나타낼 수 있다.
시냅스들의 각각의 레벨은 비휘발성 메모리 셀들의 어레이 또는 그들의 어레이의 일부를 사용하여 구현된다. 도 7은 비휘발성 메모리 셀들을 포함하고 입력 층과 다음 층 사이의 시냅스들로서 활용되는 벡터x매트릭스 승산(vector-by-matrix multiplication, VMM) 어레이의 블록도이다. 구체적으로, VMM(32)은 비휘발성 메모리 셀들(33)의 어레이, 소거 게이트 및 워드 라인 게이트 디코더(34), 제어 게이트 디코더(35), 비트 라인 디코더(36) 및 소스 라인 디코더(37)를 포함하며, 이들은 메모리 어레이(33)에 대한 입력들을 디코딩한다. 이 예에서의 소스 라인 디코더(37)는 또한 메모리 셀 어레이의 출력을 디코딩한다. 대안적으로, 비트 라인 디코더(36)는 메모리 어레이의 출력을 디코딩할 수 있다. 메모리 어레이는 두 가지 목적에 기여한다. 첫째, 그것은 VMM에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이는 사실상 입력들을 메모리 어레이에 저장된 가중치들과 승산하고 이들을 출력 라인(소스 라인 또는 비트 라인)마다 가산하여 출력을 생성하며, 이는 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 및 가산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 인시투(in-situ) 메모리 계산으로 인해 전력 효율적이다.
메모리 어레이의 출력은 차동 합산기(예컨대, 합산 연산 증폭기 또는 합산 전류 미러)(38)에 공급되고, 이는 메모리 셀 어레이의 출력들을 합산하여 그 컨볼루션(convolution)에 대한 단일 값을 생성한다. 차동 합산기는 예를 들어 양의 가중치 및 음의 가중치와 양의 입력의 합산을 실현하기 위한 것이다. 이어서 합산된 출력 값들은 출력을 정류하는 활성화 함수 회로(39)에 공급된다. 활성화 함수는 시그모이드(sigmoid), tanh 또는 ReLU 함수들을 포함할 수 있다. 정류된 출력 값들은 다음 층(예를 들어, 위의 설명의 C1)으로서 피처 맵의 요소가 되고, 이어서 다음 시냅스에 적용되어 다음 피처 맵 층 또는 최종 층을 생성한다. 따라서, 이 예에서, 메모리 어레이는 복수의 시냅스들(이들은 이전 뉴런 층으로부터 또는 이미지 데이터베이스와 같은 입력 층으로부터 그들의 입력들을 수신함)을 구성하고, 합산 연산 증폭기(38) 및 활성화 함수 회로(39)는 복수의 뉴런들을 구성한다.
도 8은 다양한 레벨들의 VMM의 블록도이다. 도 8에 도시된 바와 같이, 입력은 디지털-아날로그 변환기(31)에 의해 디지털로부터 아날로그로 변환되고, 입력 VMM(32a)에 제공된다. 변환된 아날로그 입력들은 전압 또는 전류일 수 있다. 첫 번째 층에 대한 입력 D/A 변환은 입력들을 매트릭스 승산기에 대한 적절한 아날로그 레벨들에 매핑하는 함수 또는 LUT(룩업 테이블)를 사용함으로써 행해질 수 있다. 입력 변환은 또한 외부 아날로그 입력을 VMM에 대한 매핑된 아날로그 입력으로 변환하는 A/A 변환기에 의해 행해질 수 있다. 입력 VMM(32a)에 의해 생성된 출력은 다음 VMM(은닉 레벨 1)(32b)에 대한 입력으로서 제공되고, 이는 이어서 다음 VMM(은닉 레벨 2)(32b)에 대한 입력으로서 제공되는 출력을 생성하고, 등등이다. VMM(32)의 다양한 층들은 컨볼루션 신경망(convolutional neural network, CNN)의 시냅스들 및 뉴런들의 상이한 층들로서 기능한다. 각각의 VMM은 독립형 비휘발성 메모리 어레이일 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 상이한 부분들을 활용할 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 중첩 부분들을 활용할 수 있다. 도 8에 도시된 예는 다음과 같은 5개의 층(32a, 32b, 32c, 32d, 32e)을 포함한다: 하나의 입력 층(32a), 2개의 은닉 층(32b, 32c) 및 2개의 완전히 접속된 층(32d, 32e). 당업자는 이것은 단지 예시적인 것이고 시스템이 대신에 2개 초과의 은닉 층들 및 2개 초과의 완전히 접속된 층들을 포함할 수 있다는 것을 인식할 것이다.
벡터x매트릭스 승산(VMM) 어레이들
도 9는 뉴런 VMM(900)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(900)은 (어레이의 상부에서) 비휘발성 메모리 셀들의 메모리 어레이(901) 및 기준 어레이(902)를 포함한다. 대안적으로, 다른 기준 어레이가 하부에 배치될 수 있다. VMM(900)에서, 제어 게이트 라인(903)과 같은 제어 게이트 라인이 수직 방향으로 연장되고(따라서 입력 제어 게이트 라인들에 직교하는, 로우(row) 방향의 기준 어레이(902)), 소거 게이트 라인(904)과 같은 소거 게이트 라인들이 수평 방향으로 연장된다. 여기서, 입력들은 제어 게이트 라인들 상에 제공되고, 출력은 소스 라인들 상에서 나온다. 일 실시예에서 짝수 로우들만이 사용되고, 다른 실시예에서 홀수 로우들만이 사용된다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
신경망에 대해 본 명세서에 설명된 바와 같이, 플래시 셀들은 바람직하게는 서브-임계 영역에서 동작하도록 구성된다.
본 명세서에 기술된 메모리 셀들은 하기와 같은 약 반전(weak inversion)으로 바이어싱된다:
Figure pct00005
입력 전류를 입력 전압으로 변환하기 위해 메모리 셀을 사용하는 I-V 로그 변환기의 경우:
Figure pct00006
벡터 매트릭스 승산기(VMM)로서 사용되는 메모리 어레이의 경우, 출력 전류는 하기와 같다:
Figure pct00007
워드 라인 또는 제어 게이트가 입력 전압을 위해 메모리 셀에 대한 입력으로서 사용될 수 있다.
대안적으로, 플래시 메모리 셀들은 선형 영역에서 동작하도록 구성될 수 있다:
Figure pct00008
I-V 선형 변환기에 대해, 선형 영역에서 동작하는 메모리 셀은 입력/출력 전류를 입력/출력 전압으로 선형으로 변환하는 데 사용될 수 있다.
ESF 벡터 매트릭스 승산기에 대한 다른 실시예들이, 본 명세서에 참고로 포함되는, 미국 특허 출원 제15/826,345호에 기재되어 있다. 소스 라인 또는 비트 라인이 뉴런 출력(전류 합산 출력)으로서 사용될 수 있다.
도 10은 뉴런 VMM(1000)을 도시하며, 이는 도 2에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스로서 이용된다. VMM(1000)은 비휘발성 메모리 셀들의 메모리 어레이(1003), 기준 어레이(1001) 및 기준 어레이(1002)를 포함한다. 기준 어레이들(1001, 1002)은, 어레이의 컬럼 방향에서, 단자들(BLR0-3) 내로 흐르는 전류 입력들을 전압 입력들(WL0-3)로 변환하는 역할을 한다. 실제로, 기준 메모리 셀들은 전류 입력들이 그들 내로 흐르는 멀티플렉서들을 통해 다이오드 접속된다. 기준 셀들은 타깃 기준 레벨들로 튜닝(예컨대, 프로그램)된다. 타깃 기준 레벨들은 기준 미니-어레이 매트릭스에 의해 제공된다. 메모리 어레이(1003)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(1000)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1003)는 사실상 입력들(단자들(BLR0-3)에 제공되는 전류 입력들; 기준 어레이들(1001, 1002)이 이러한 전류 입력들을 워드 라인들(WL0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 승산하고 이어서 모든 결과들(메모리 셀 전류들)을 가산하여 출력을 생성하며, 이는 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 및 가산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 전압 입력들은 워드 라인들 상에 제공되고, 출력은 판독(추론) 동작 동안 비트 라인 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
도 11은 VMM(1000)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 12는 뉴런 VMM(1200)을 도시하며, 이는 도 2에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1200)은 비휘발성 메모리 셀들의 메모리 어레이(1203), 기준 어레이(1201) 및 기준 어레이(1202)를 포함한다. 기준 어레이(1201, 1202)는 어레이의 로우 방향으로 연장되고, VMM(1200)은 VMM(1200)에서 워드 라인들이 수직 방향으로 연장되는 것을 제외하고는 VMM(1000)과 유사하다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 소스 라인 상에서 나온다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
도 13은 VMM(1200)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 14는 뉴런 VMM(1400)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1400)은 비휘발성 메모리 셀들의 메모리 어레이(1403), 기준 어레이(1401) 및 기준 어레이(1402)를 포함한다. 기준 어레이(1401, 1402)는 단자들(BLR0-3) 내로 흐르는 전류 입력들을 전압 입력들(CG0-3)로 변환하는 역할을 한다. 실제로, 기준 메모리 셀들은 전류 입력들이 그들 내로 흐르는 캐스코딩 멀티플렉서들(1414)을 통해 다이오드 접속된다. mux(1414)는 판독시 기준 셀들의 비트 라인 상의 일정한 전압을 보장하기 위한 캐스코딩 트랜지스터(1404) 및 mux(1405)를 포함한다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다. 메모리 어레이(1403)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(1400)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1403)는 사실상 입력들(단자들(BLR0-3)에 제공되는 전류 입력들; 기준 어레이들(1401, 1402)이 이러한 전류 입력들을 제어 게이트들(CG0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 승산하고 이어서 모든 결과들(셀 전류들)을 가산하여 출력을 생성하며, 이는 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 및 가산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 비트 라인 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
VMM(1400)은 메모리 어레이(1403) 내의 메모리 셀들에 대한 단방향 튜닝을 구현한다. 즉, 각각의 셀은 소거된 다음 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그램된다. (잘못된 값이 셀에 저장되도록) 너무 많은 전하가 플로팅 게이트 상에 배치되는 경우, 셀은 소거되어야 하고, 부분 프로그래밍 동작들의 시퀀스가 다시 시작되어야 한다. 도시된 바와 같이, 동일한 소거 게이트를 공유하는 2개의 로우가 함께 소거될 필요가 있고(페이지 소거로서 알려짐), 그 후에 각각의 셀은 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그램된다.
도 15는 VMM(1400)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 16은 뉴런 VMM(1600)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1600)은 비휘발성 메모리 셀들의 메모리 어레이(1603), 기준 어레이(1601) 및 기준 어레이(1602)를 포함한다. EG 라인들은 수직으로 연장되는 반면 CG 및 SL 라인들은 수평으로 연장된다. VMM(1600)은 VMM(1600)이 양방향 튜닝을 구현한다는 점을 제외하고는 VMM(1400)과 유사하며, 여기서 각각의 개별 셀은 플로팅 게이트 상의 원하는 전하량에 도달하기 위해 필요에 따라 완전히 소거되고, 부분적으로 프로그램되고, 부분적으로 소거될 수 있다. 도시된 바와 같이, 기준 어레이들(1601, 1602)은 (멀티플렉서들을 통한 다이오드 접속된 기준 셀들의 액션을 통해) 단자(BLR0-3) 내의 입력 전류를 로우 방향으로 메모리 셀들에 인가될 제어 게이트 전압들(CG0-3)로 변환한다. 전류 출력(뉴런)은 비트 라인에 있으며, 이는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들을 합산한다.
도 17은 VMM(1600)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
종래 기술은 장단기 메모리(long short-term memory, LSTM)로 알려진 개념을 포함한다. LSTM 유닛들은 종종 신경망들에서 사용된다. LSTM은 신경망이 임의적인 시간 간격들에 걸쳐 정보를 기억하도록 그리고 후속 동작들에서 그 정보를 사용하도록 허용한다. 종래의 LSTM 유닛은 셀, 입력 게이트, 출력 게이트 및 망각 게이트를 포함한다. 3개의 게이트는 셀 안팎으로의 정보의 흐름을 조절한다. VMM들은 LSTM 유닛들에서 특히 유용하다.
도 32는 예시적인 LSTM(3200)을 도시한다. 이 예에서의 LSTM은 셀들(3201, 3202, 3203, 3204)을 포함한다. 셀(3201)은 입력 벡터 x0을 수신하고 출력 벡터 h0 및 셀 상태 벡터 c0을 생성한다. 셀(3202)은 셀(3201)로부터 입력 벡터 x1, 출력 벡터(은닉 상태) h0, 및 셀 상태 c0을 수신하고 출력 벡터 h1 및 셀 상태 벡터 c1을 생성한다. 셀(3203)은 셀(3202)로부터 입력 벡터 x2, 출력 벡터(은닉 상태) h1, 및 셀 상태 c1을 수신하고 출력 벡터 h2 및 셀 상태 벡터 c2를 생성한다. 셀(3204)은 셀(3203)로부터 입력 벡터 x3, 출력 벡터(은닉 상태) h2, 및 셀 상태 c2를 수신하고 출력 벡터 h3을 생성한다. 추가적인 셀들이 사용될 수 있으며, 4개의 셀을 갖는 LSTM은 단지 예일 뿐이다.
도 33은 도 32의 셀들(3201, 3202, 3203, 3204)에 대해 사용될 수 있는 LSTM 셀(3300)의 예시적인 구현을 도시한다. LSTM 셀(3300)은 선행 셀로부터 입력 벡터 x(t) 및 셀 상태 벡터 c(t-1)를 수신하고 셀 상태 (t) 및 출력 벡터 h(t)를 생성한다.
LSTM 셀(3300)은 시그모이드 함수 디바이스들(3301, 3302, 3303)을 포함하며, 이들 각각은 얼마나 많은 입력 벡터 내의 각각의 요소가 출력 벡터로 통하도록 허용되는지를 제어하기 위해 0과 1 사이의 수를 적용한다. LSTM 셀(3300)은 또한 입력 벡터에 쌍곡선 탄젠트 함수를 적용하기 위한 tanh 디바이스들(3304, 3305), 2개의 벡터를 함께 승산하기 위한 승산기 디바이스들(3306, 3307, 3308), 및 2개의 벡터를 함께 가산하기 위한 가산 디바이스(3309)를 포함한다.
도 34는 LSTM 셀(3300)의 구현의 예인 LSTM 셀(3400)을 도시한다. 독자의 편의를 위해, 도 33 및 LSTM 셀(3300)로부터의 동일한 넘버링이 도 34 및 LSTM 셀(3400)에서 사용된다. 도 34에서 볼 수 있는 바와 같이, 시그모이드 함수 디바이스들(3301, 3302, 3303) 및 tanh 디바이스들(3304, 3305)은 각각 다수의 VMM 어레이(3401)를 포함한다. 따라서, VMM 어레이들은 소정 신경망 시스템들에서 사용되는 LSTM 셀들에서 특히 중요하다는 것을 알 수 있다.
LSTM 시스템들은 전형적으로 다수의 VMM 어레이를 포함할 것이며, 이들 각각은 합산기 및 활성화 회로 블록 및 고전압 생성 블록들과 같은, VMM 어레이들 밖의 소정 회로 블록들에 의해 제공되는 기능을 요구한다는 것을 추가로 알 수 있다. 각각의 VMM 어레이에 대한 별개의 회로 블록들을 제공하는 것은 반도체 디바이스 내의 상당한 양의 공간을 필요로 할 것이고 다소 비효율적일 것이다. 따라서 후술하는 실시예들은 VMM 어레이들 자체 밖에서 요구되는 회로망을 최소화하려고 시도한다.
유사하게, 아날로그 VMM 구현이 GRU(게이트형 회귀 유닛) 시스템에 대해 사용될 수 있다. GRU들은 회귀 신경망들에서의 게이팅 메커니즘이다. GRU들은 LSTM들과 유사하며, 한 가지 주목할 만한 차이점은 GRU들은 출력 게이트가 없다는 것이다.
도 35는 예시적인 GRU(3500)를 도시한다. 이 예에서의 GRU는 셀들(3501, 3502, 3503, 및 3504)을 포함한다. 셀(3501)은 입력 벡터 x0을 수신하고 출력 벡터 h0 및 셀 상태 벡터 c0을 생성한다. 셀(3502)은 셀(3501)로부터 입력 벡터 x1, 출력 벡터(은닉 상태) h0, 및 셀 상태 c0을 수신하고 출력 벡터 h1 및 셀 상태 벡터 c1을 생성한다. 셀(3503)은 셀(3502)로부터 입력 벡터 x2, 출력 벡터(은닉 상태) h1, 및 셀 상태 c1을 수신하고 출력 벡터 h2 및 셀 상태 벡터 c2를 생성한다. 셀(3504)은 셀(3503)로부터 입력 벡터 x3, 출력 벡터(은닉 상태) h2, 및 셀 상태 c2를 수신하고 출력 벡터 h3을 생성한다. 추가적인 셀들이 사용될 수 있으며, 4개의 셀을 갖는 GRU는 단지 예일 뿐이다.
도 36은 도 35의 셀들(3501, 3502, 3503, 3504)에 대해 사용될 수 있는 GRU 셀(3600)의 예시적인 구현을 도시한다. GRU 셀(3600)은 선행 셀로부터 입력 벡터 x(t) 및 셀 상태 벡터 h(t-1)를 수신하고 셀 상태 h(t)를 생성한다. GRU 셀(3600)은 시그모이드 함수 디바이스들(3601, 3602)을 포함하며, 이들 각각은 셀 상태 h(t-1) 및 입력 벡터 x(t)로부터의 요소들에 0과 1 사이의 수를 적용한다. GRU 셀(3600)은 또한 입력 벡터에 쌍곡선 탄젠트 함수를 적용하기 위한 tanh 디바이스(3603), 2개의 벡터를 함께 승산하기 위한 승산기 디바이스들(3604, 3605, 3606), 2개의 벡터를 함께 가산하기 위한 가산 디바이스(3607), 및 1로부터 입력을 감산하여 출력을 생성하기 위한 상보 디바이스(3608)를 포함한다.
도 37은 GRU 셀(3600)의 구현의 예인 GRU 셀(3700)을 도시한다. 독자의 편의를 위해, 도 36 및 GRU 셀(3600)로부터의 동일한 넘버링이 도 37 및 GRU 셀(3700)에서 사용된다. 도 37에서 알 수 있는 바와 같이, 시그모이드 함수 디바이스들(3601, 3602) 및 tanh 디바이스(3603)는 각각 다수의 VMM 어레이(3701)를 포함한다. 따라서, VMM 어레이들은 소정 신경망 시스템들에서 사용되는 GRU 셀들에서 특히 유용하다는 것을 알 수 있다.
GRU 시스템들은 전형적으로 다수의 VMM 어레이를 포함할 것이며, 이들 각각은 합산기 및 활성화 회로 블록 및 고전압 생성 블록들과 같은, VMM 어레이들 밖의 소정 회로 블록들에 의해 제공되는 기능을 요구한다는 것을 추가로 알 수 있다. 각각의 VMM 어레이에 대한 별개의 회로 블록들을 제공하는 것은 반도체 디바이스 내의 상당한 양의 공간을 필요로 할 것이고 다소 비효율적일 것이다. 따라서 후술하는 실시예들은 VMM 어레이들 자체 밖에서 요구되는 회로망을 최소화하려고 시도한다.
도 18a는 도 9의 기준 어레이(902), 도 10의 기준 어레이(1001/1002), 도 12의 기준 어레이(1201/1202), 도 14의 기준 어레이(1401/1402), 도 16의 기준 어레이(1601/1602) 내의 기준 트랜지스터에 대해 사용되는 것과 같은 예시적인 기준 트랜지스터(1801)를 도시한다. 기준 트랜지스터(1801)가 서브-임계 영역에서 동작하고 있을 때, 전압 Vgs가 증가함에 따라, 인출 전류 Ids의 양은 로그 선형(지수) 방식으로 증가한다. 예시적인 전류-전압 특성 곡선(1802)이 도 18b에 도시되어 있다. 로그 곡선(1802)은 소정 기울기를 갖는다는 것을 알 수 있다.
기준 트랜지스터(1801)가 선형 영역에서 동작하고 있을 때, 전압 Vgs가 증가함에 따라, 인출 전류 Ids의 양은 선형 방식으로 증가한다. 예시적인 전류-전압 특성 곡선(1802)이 도 18c에 도시되어 있다. 곡선(1803)은 소정 기울기를 갖는다는 것을 알 수 있다.
도 18d는 예시적인 메모리 셀(1804)을 도시한다. 메모리 셀(1804)이 서브-임계 영역에서 동작하고 있을 때, 전압 Vwl/Vcg가 증가함에 따라, 인출 전류 Ids의 양은 지수 방식으로 증가한다. 예시적인 전류-전압 특성 곡선(1805)이 도 18e에 도시되어 있다. 곡선(1805)은 소정 기울기를 갖는다는 것을 알 수 있다.
도 18d는 예시적인 메모리 셀(1804)을 도시한다. 메모리 셀(1804)이 선형 영역에서 동작하고 있을 때, 전압 Vwl/Vcg가 증가함에 따라, 인출 전류 Ids의 양은 선형 방식으로 증가한다. 예시적인 전류-전압 특성 곡선(1806)이 도 18f에 도시되어 있다. 곡선(1804)은 소정 기울기를 갖는다는 것을 알 수 있다. 도시된 바와 같이, 기준 트랜지스터와 메모리 셀 사이의 I-V 곡선에서의 기울기는 상이할 수 있으며, 그에 따라 둘 사이의 매칭을 위해 정규화(이들이 유사한 기울기를 갖게 함)가 필요하다.
도 19는 도 18a에 도시된 구성과 동일한 구성을 갖는 예시적인 기준 트랜지스터(1900)를 도시한다. 도 20은 다른 구성(비트 라인에 결합된 워드 라인)을 갖는 다른 예시적인 기준 메모리 셀을 도시하고, 도 21은 다른 구성(비트 라인에 결합된 플로팅 게이트 FG)을 갖는 다른 예시적인 기준 메모리 셀을 도시한다. 이러한 디바이스들 각각은 상이한 전류-전압 특성 곡선을 가질 수 있음을 알 수 있다.
본 명세서에 설명된 실시예들은 기준 트랜지스터들, 기준 메모리 셀들, 및/또는 선택된 메모리 셀들의 전류-전압 특성 곡선들의 기울기에 있어서의 차이를 보상한다.
상이한 서브-임계 전류-전압 특성 곡선들을 갖는 2개의 디바이스를 갖는 시스템에서, 제1 디바이스를 통한 드레인-소스 전류는 다음과 같을 것이다:
Ids1 = Ids0 * exp (Vgs1 - Vt)/k1*Ut
제2 디바이스를 통한 드레인-소스 전류는 다음과 같을 것이다:
Ids2 = Ids0 * exp (Vgs2 - Vt)/k2*Ut
각각의 경우에, 기울기는 대략 1/k에 비례할 것임을 알 수 있다.
뒤따르는 실시예들 중 일부에서, 기울기 정규화는 다음과 같은 제1 디바이스 상의 게이트-소스 전압을 사용함으로써 구현된다:
Vgs1 = k * Vgs2
이것은 Ids1 및 Ids가 기울기 정규화 후에 동일한 기울기를 가질 것임을 의미할 것이다.
이것은 도 22에 그래프로 도시되며, Vgs1 = k * Vgs2의 전압이 디바이스 1에 인가되며, 이는 제1 디바이스의 전류-전압 특성 곡선의 기울기가 제2 디바이스의 전류-전압 특성 곡선의 기울기에 근접하게 한다.
이제 기울기 정규화를 수행하기 위한 다양한 실시예들이 설명될 것이다.
도 23은 (도 9의 기준 어레이(902), 도 10의 기준 어레이(1001/1002), 도 12의 기준 어레이(1201/1202), 도 14의 기준 어레이(1401/1402), 도 16의 기준 어레이(1601/1602) 내의 기준 트랜지스터에 대해 사용되는 것과 같은) 기준 트랜지스터(2282), (도 9의 어레이(901), 도 10의 어레이(1003), 도 12의 어레이(1203), 도 14의 어레이(1403), 도 16의 어레이(1603)의 일부와 같은) 선택된 메모리 셀(2284), 게이트 구동기(2281), 및 절대 정규화기 회로(2403)를 포함하는 기울기 정규화 시스템(2280)을 도시한다. 게이트 구동기(2281)는 입력 전압 Vgs를 수신하고, 그 입력 전압을 k와 승산하여 출력 전압 Vgsint를 생성하며, 이는 기준 트랜지스터(2282)의 데이트에 인가된다. 절대 정규화기 회로(2403)는 트리밍 가능 전류 미러(기준 트랜지스터로부터의 전류와 메모리 셀로부터의 전류 출력 사이의 비율을 조정하는 전류 미러 회로)일 수 있으며, 여기서 트리밍 프로세스는 기준 또는 어레이 트랜지스터에 의해 또는 I-V 기울기 미스매칭으로부터 야기된 불일치를 조정할 수 있다. 선택된 메모리 셀(2282)은 메모리 셀들의 어레이 내의 메모리 셀들 중 하나이다.
도 24는 기준 트랜지스터(2401) 및 입력 조정 가능 커패시터들(2402, 2403)을 포함하는 기울기 정규화 시스템(2400)을 도시한다. 조정 가능 커패시터(2402)는 입력 전압 Vgs를 수신한다. 조정 가능 커패시터들(2402, 2403)의 비율은 기준 트랜지스터의 게이트에 인가되는 전압 Vgsint에 영향을 미칠 것이다. 따라서, 기울기는 커패시터들(2402, 2403)을 조정함으로써 변경된다.
도 25는 연산 증폭기들(2501, 2502), 저항기들(2503, 2504, 2505), 및 가변 저항기(2506)를 포함하는 기울기 정규화 시스템(2500)을 도시한다. 기울기 정규화 시스템(2500)은 입력 전압 Vgs1을 수신하고 출력 전압 Vgs1'을 출력하며, 이는 가변 저항기(2506)에 의해 조정된다.
도 26은 기준 트랜지스터(2601), 선택된 메모리 셀(2603) 및 구동기(2602)를 포함하는 기울기 정규화 시스템(2600)을 도시한다. 구동기(2602)는 전압 Vgs를 수신하고 그것을 k와 승산하여, Vgs'의 출력 전압을 생성한다. 따라서, 기준 트랜지스터(2601) 및 선택된 메모리 셀(2603)은 상이한 전압들을 수신할 것이며, 여기서 그 차이는 기울기에 있어서의 차이를 설명한다.
도 27은 예시적인 메모리 셀들(2701, 2702, 2703, 2704)과 같은 메모리 셀들의 어레이(2700)를 도시한다. 메모리 셀들은 메모리 셀들에 대한 선형 전류-전압 기준 곡선들의 기울기에 대해 보상이 이루어질 수 있게 하는 구성으로 접속된다.
여기서, (메모리 셀(2701, 2702, 2703, 또는 2704)과 같은) 특정의 선택된 메모리 셀을 통한 전류는 다음과 같을 것이다:
Ids = β * (Vgs-Vt) * Vds
따라서, 보상하기 위해 Vgs 또는 Vds를 k와 승산할 수 있다.
도 28은 k의 차이 값에 기초한 예시적인 전류-전압 특성 곡선(2800)(Ids 대 Vds)을 도시한다.
도 29는 k의 차이 값에 기초한 예시적인 전류-전압 특성 곡선(2800)(Ids 대 Vgs)을 도시한다.
도 30은 기준 트랜지스터(3001)의 예시적인 전류-전압 특성 곡선(3002)을 도시한다. k의 이상적인 값은 도 28 또는 도 29에서의 곡선들의 기울기가 도 30에서의 곡선의 기울기에 근접하도록 결정될 수 있음을 알 수 있다.
도 31은 디바이스의 동작 온도가 변화함에 따른 트랜지스터, 기준 메모리 셀, 또는 선택된 메모리 셀의 예시적인 전류-전압 특성 곡선(3100)을 도시한다. 이 실시예에서, 곡선(3100)의 날짜는 룩업 테이블(3101)에 저장되고, 동작 동안, k는 수학 공식을 통해서보다는 룩업 테이블(3101)로부터 결정된다. 룩업 테이블(3101)은 다양한 동작 온도에서 각각의 입력 전압에 대한 상이한 원하는 출력 전류들을 포함할 수 있다. 이러한 데이터는 제조 또는 테스팅 프로세스 동안 룩업 테이블(3101)에 채워질 수 있다. 기준 메모리 셀 및 선택된 메모리 셀은 선택적으로 비휘발성 플래시 메모리 셀들이다.
본 명세서에 사용된 바와 같이, 용어들 "~ 위에" 및 "~ 상에" 둘 모두는 "직접적으로 ~ 상에"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)와 "간접적으로~ 상에"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)를 포괄적으로 포함한다는 것에 유의하여야 한다. 마찬가지로, 용어 "인접한"은 "직접적으로 인접한"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 인접한"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "~에 실장되는"은 "직접적으로 ~에 실장되는"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 ~에 실장되는"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "전기적으로 결합되는"은 "직접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 어떠한 중간 재료들 또는 요소들도 사이에 없음)과 "간접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 중간 재료들 또는 요소들이 사이에 있음)을 포함한다. 예를 들어, "기판 위에" 요소를 형성하는 것은 어떠한 중간 재료들/요소들도 사이에 갖지 않고서 직접적으로 기판 상에 요소를 형성하는 것뿐만 아니라, 하나 이상의 중간 재료들/요소들을 사이에 갖고서 간접적으로 기판 상에 요소를 형성하는 것을 포함할 수 있다.

Claims (69)

  1. 플래시 메모리 시스템에서 기준 트랜지스터를 조정하는 방법으로서,
    입력 전압을 수신하는 단계;
    상기 입력 전압을 계수와 승산하여 출력 전압을 생성하는 단계;
    상기 출력 전압을 상기 기준 트랜지스터의 게이트에 인가하는 단계; 및
    감지 동작에서 상기 기준 트랜지스터를 사용하여 선택된 메모리 셀에 저장된 값을 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 입력 전압을 메모리 어레이 내의 메모리 셀들의 게이트들에 결합하는 단계를 추가로 포함하는, 방법.
  3. 제1항에 있어서, 상기 기준 트랜지스터는 서브-임계 영역(sub-threshold region)에서 동작하는, 방법.
  4. 제1항에 있어서, 상기 기준 트랜지스터는 선형 영역에서 동작하는, 방법.
  5. 제2항에 있어서, 상기 기준 트랜지스터는 서브-임계 영역에서 동작하는, 방법.
  6. 제2항에 있어서, 상기 기준 트랜지스터는 선형 영역에서 동작하는, 방법.
  7. 제1항에 있어서, 상기 입력 전압은 상기 기준 트랜지스터의 드레인에 접속되는, 방법.
  8. 제7항에 있어서, 입력 전류가 상기 기준 트랜지스터의 드레인에 접속되어 상기 입력 전압을 생성하는, 방법.
  9. 제1항에 있어서, 상기 기준 트랜지스터의 전류-전압 특성 곡선의 기울기와 상기 선택된 메모리 셀의 전류-전압 특성 곡선의 기울기는 상기 감지 동작 동안 대략 동일한, 방법.
  10. 제1항에 있어서, 상기 입력 전압은 정규화 회로에 결합되는, 방법.
  11. 제10항에 있어서, 상기 정규화 회로의 출력은 상기 선택된 메모리 셀에 접속되는, 방법.
  12. 제10항에 있어서, 상기 정규화 회로는 전류 미러 회로인, 방법.
  13. 제10항에 있어서, 상기 메모리 셀들로부터의 상기 값은 비트 라인 전류 또는 소스 라인 전류인, 방법.
  14. 제1항에 있어서, 상기 메모리 셀들은 비휘발성인, 방법.
  15. 제1항에 있어서, 상기 승산하는 단계는 상기 기준 트랜지스터의 상기 게이트에 결합된 구동기 회로에 의해 수행되는, 방법.
  16. 제1항에 있어서, 상기 승산하는 단계는 상기 기준 트랜지스터의 상기 게이트에 결합된 한 쌍의 입력 커패시터들에 의해 수행되는, 방법.
  17. 제1항에 있어서, 상기 승산하는 단계는 상기 기준 트랜지스터의 상기 게이트에 결합된 한 쌍의 연산 증폭기들에 의해 수행되는, 방법.
  18. 플래시 메모리 시스템에서 기준 트랜지스터를 조정하는 방법으로서,
    입력 전압을 수신하는 단계;
    상기 입력 전압을 계수와 승산하여 출력 전압을 생성하는 단계;
    상기 출력 전압을 메모리 셀들의 게이트들에 인가하는 단계; 및
    감지 동작에서 상기 기준 트랜지스터를 사용하여 상기 메모리 셀들 중 하나의 메모리 셀에 저장된 값을 결정하는 단계를 포함하는, 방법.
  19. 제18항에 있어서, 상기 입력 전압을 상기 기준 트랜지스터의 게이트에 인가하는 단계를 추가로 포함하는, 방법.
  20. 제18항에 있어서, 상기 기준 트랜지스터는 서브-임계 영역에서 동작하는, 방법.
  21. 제18항에 있어서, 상기 기준 트랜지스터는 선형 영역에서 동작하는, 방법.
  22. 제18항에 있어서, 상기 메모리 셀들은 서브-임계 영역들에서 동작하는, 방법.
  23. 제18항에 있어서, 상기 메모리 셀들은 선형 영역들에서 동작하는, 방법.
  24. 제18항에 있어서, 상기 입력 전압은 상기 기준 트랜지스터의 드레인에 접속되는, 방법.
  25. 제24항에 있어서, 입력 전류가 상기 기준 트랜지스터의 드레인에 접속되어 상기 입력 전압을 생성하는, 방법.
  26. 제18항에 있어서, 상기 메모리 셀들 중 상기 하나의 메모리 셀로부터의 상기 값은 비트 라인 전류 또는 소스 라인 전류인, 방법.
  27. 제18항에 있어서, 상기 메모리 셀들은 비휘발성인, 방법.
  28. 플래시 메모리 시스템에서 기준 메모리 셀의 특성 곡선을 조정하는 방법으로서,
    입력 전압을 수신하는 단계;
    상기 입력 전압을 계수와 승산하여 출력 전압을 생성하는 단계;
    상기 출력 전압을 상기 기준 메모리 셀의 게이트에 인가하는 단계; 및
    감지 동작에서 상기 기준 메모리 셀을 사용하여 선택된 메모리 셀에 저장된 값을 결정하는 단계를 포함하는, 방법.
  29. 제28항에 있어서, 상기 기준 메모리 셀의 전류-전압 특성 곡선의 기울기와 상기 선택된 메모리 셀의 전류-전압 특성 곡선의 기울기는 상기 감지 동작 동안 대략 동일한, 방법.
  30. 제28항에 있어서, 기준 트랜지스터는 서브-임계 영역에서 동작하는, 방법.
  31. 제28항에 있어서, 기준 트랜지스터는 선형 영역에서 동작하는, 방법.
  32. 제28항에 있어서, 상기 기준 셀들은 서브-임계 영역들에서 동작하는, 방법.
  33. 제28항에 있어서, 상기 기준 셀들은 선형 영역들에서 동작하는, 방법.
  34. 제28항에 있어서, 상기 입력 전압은 기준 트랜지스터의 드레인에 접속되는, 방법.
  35. 제28항에 있어서, 상기 메모리 셀들은 비휘발성인, 방법.
  36. 제28항에 있어서, 상기 승산하는 단계는 상기 기준 메모리 셀의 상기 게이트에 결합된 구동기 회로에 의해 수행되는, 방법.
  37. 제28항에 있어서, 상기 승산하는 단계는 상기 기준 메모리 셀의 상기 게이트에 결합된 한 쌍의 입력 커패시터들에 의해 수행되는, 방법.
  38. 제28항에 있어서, 상기 승산하는 단계는 상기 기준 메모리 셀의 상기 게이트에 결합된 한 쌍의 연산 증폭기들에 의해 수행되는, 방법.
  39. 플래시 메모리 시스템에서 선택된 메모리 셀의 전류-전압 특성 곡선의 기울기를 조정하는 방법으로서,
    입력 전압을 수신하는 단계;
    상기 입력 전압을 계수와 승산하여 출력 전압을 생성하는 단계;
    상기 출력 전압을 상기 선택된 메모리 셀의 게이트에 인가하는 단계; 및
    상기 선택된 메모리 셀 및 기준 디바이스를 사용하여 감지 동작을 수행하여 선택된 메모리 셀에 저장된 값을 결정하는 단계를 포함하며,
    상기 기준 디바이스의 전류-전압 특성 곡선의 기울기와 상기 선택된 메모리 셀의 상기 전류-전압 특성 곡선의 기울기는 상기 감지 동작 동안 대략 동일한, 방법.
  40. 제39항에 있어서, 상기 기준 디바이스는 트랜지스터인, 방법.
  41. 제39항에 있어서, 상기 기준 디바이스는 메모리 셀인, 방법.
  42. 제39항에 있어서, 상기 승산하는 단계는 상기 선택된 메모리 셀의 상기 게이트에 결합된 구동기 회로에 의해 수행되는, 방법.
  43. 제40항에 있어서, 상기 승산하는 단계는 상기 선택된 메모리 셀의 상기 게이트에 결합된 구동기 회로에 의해 수행되는, 방법.
  44. 제41항에 있어서, 상기 승산하는 단계는 상기 선택된 메모리 셀의 상기 게이트에 결합된 구동기 회로에 의해 수행되는, 방법.
  45. 기준 트랜지스터 및 선택된 메모리 셀의 전류-전압 특성 곡선들의 기울기에 있어서의 차이들에 대한 내장 보상(built-in compensation)을 갖는 플래시 메모리 시스템으로서,
    기준 트랜지스터;
    선택된 메모리 셀; 및
    상기 선택된 메모리 셀에 저장된 값을 결정하기 위해 상기 기준 트랜지스터의 상기 전류-전압 특성 곡선의 기울기와 상기 선택된 메모리 셀의 상기 전류-전압 특성 곡선의 기울기가 감지 동작 동안 대략 동일하게 하는, 상기 기준 트랜지스터에 결합된, 보상 회로를 포함하는, 시스템.
  46. 제45항에 있어서, 상기 보상 회로는 상기 기준 트랜지스터의 게이트에 결합된 구동기 회로를 포함하는, 시스템.
  47. 제45항에 있어서, 상기 보상 회로는 상기 기준 트랜지스터의 게이트에 결합된 한 쌍의 입력 커패시터들을 포함하는, 시스템.
  48. 제45항에 있어서, 상기 보상 회로는 상기 기준 트랜지스터의 게이트에 결합된 한 쌍의 연산 증폭기들을 포함하는, 시스템.
  49. 제45항에 있어서, 상기 플래시 메모리 시스템은 장단기 메모리 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  50. 제45항에 있어서, 상기 플래시 메모리 시스템은 게이트형 회귀 유닛 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  51. 기준 셀 및 선택된 메모리 셀의 전류-전압 특성 곡선들의 기울기에 있어서의 차이들에 대한 내장 보상을 갖는 플래시 메모리 시스템으로서,
    기준 셀;
    선택된 메모리 셀; 및
    상기 선택된 메모리 셀에 저장된 값을 결정하기 위해 상기 기준 셀의 전류-전압 특성 곡선의 기울기와 상기 선택된 메모리 셀의 전류-전압 특성 곡선의 기울기가 감지 동작 동안 대략 동일하게 하는, 상기 기준 셀에 결합된, 보상 회로를 포함하는, 시스템.
  52. 제51항에 있어서, 상기 보상 회로는 상기 기준 셀의 게이트에 결합된 구동기 회로를 포함하는, 시스템.
  53. 제51항에 있어서, 상기 보상 회로는 상기 기준 셀의 게이트에 결합된 한 쌍의 입력 커패시터들을 포함하는, 시스템.
  54. 제51항에 있어서, 상기 보상 회로는 상기 기준 셀의 게이트에 결합된 한 쌍의 연산 증폭기들을 포함하는, 시스템.
  55. 제51항에 있어서, 상기 플래시 메모리 시스템은 장단기 메모리 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  56. 제51항에 있어서, 상기 플래시 메모리 시스템은 게이트형 회귀 유닛 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  57. 기준 디바이스 및 선택된 메모리 셀의 전류-전압 특성 곡선들의 기울기에 있어서의 차이들에 대한 보상을 갖는 플래시 메모리 시스템으로서,
    기준 디바이스;
    선택된 메모리 셀; 및
    상기 선택된 메모리 셀에 저장된 값을 결정하기 위해 상기 기준 디바이스의 전류-전압 특성 곡선의 기울기와 상기 선택된 메모리 셀의 전류-전압 특성 곡선의 기울기가 감지 동작 동안 대략 동일하게 하는, 상기 선택된 메모리 셀에 결합된, 보상 회로를 포함하는, 시스템.
  58. 제57항에 있어서, 상기 기준 디바이스는 트랜지스터인, 시스템.
  59. 제57항에 있어서, 상기 기준 디바이스는 메모리 셀인, 시스템.
  60. 제57항에 있어서, 상기 보상 회로는 상기 선택된 메모리 셀의 게이트에 결합된 구동기 회로를 포함하는, 시스템.
  61. 제58항에 있어서, 상기 보상 회로는 상기 선택된 메모리 셀의 게이트에 결합된 구동기 회로를 포함하는, 시스템.
  62. 제59항에 있어서, 상기 보상 회로는 상기 선택된 메모리 셀의 게이트에 결합된 구동기 회로를 포함하는, 시스템.
  63. 제57항에 있어서, 상기 플래시 메모리 시스템은 장단기 메모리 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  64. 제57항에 있어서, 상기 플래시 메모리 시스템은 게이트형 회귀 유닛 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  65. 기준 디바이스 및 선택된 메모리 셀의 전류-전압 특성 곡선들의 기울기에 있어서의 차이들에 대한 보상을 갖는 플래시 메모리 시스템으로서,
    입력 데이터;
    기준 룩업 테이블; 및
    선택된 메모리 셀을 포함하며,
    상기 선택된 메모리 셀의 게이트에 인가될 입력 전압이 상기 입력 데이터 및 상기 기준 룩업 테이블에 기초하여 생성되는, 시스템.
  66. 제65항에 있어서, 상기 룩업 테이블은 기준 트랜지스터의 상이한 동작 온도들에 기초하여 전류-전압 특성 곡선들로부터 얻어진 데이터를 포함하는, 시스템.
  67. 제65항에 있어서, 상기 메모리 셀은 비휘발성인, 시스템.
  68. 제65항에 있어서, 상기 플래시 메모리 시스템은 장단기 메모리 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
  69. 제65항에 있어서, 상기 플래시 메모리 시스템은 게이트형 회귀 유닛 시스템 내의 벡터x매트릭스 승산 어레이에서 사용되는, 시스템.
KR1020217001465A 2018-07-11 2019-06-07 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상 KR102616977B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862696718P 2018-07-11 2018-07-11
US62/696,718 2018-07-11
US16/150,606 US11443175B2 (en) 2018-07-11 2018-10-03 Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
US16/150,606 2018-10-03
PCT/US2019/036040 WO2020013933A1 (en) 2018-07-11 2019-06-07 Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
KR20210021385A true KR20210021385A (ko) 2021-02-25
KR102616977B1 KR102616977B1 (ko) 2023-12-21

Family

ID=69138423

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217001465A KR102616977B1 (ko) 2018-07-11 2019-06-07 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상

Country Status (7)

Country Link
US (3) US11443175B2 (ko)
EP (2) EP4148626A1 (ko)
JP (1) JP7266665B2 (ko)
KR (1) KR102616977B1 (ko)
CN (1) CN112400177A (ko)
TW (1) TWI724449B (ko)
WO (1) WO2020013933A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443175B2 (en) * 2018-07-11 2022-09-13 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
US10755783B2 (en) * 2018-08-27 2020-08-25 Silicon Storage Technology Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
US20200074290A1 (en) * 2018-08-30 2020-03-05 Element Ai Inc. Complex valued gating mechanisms
US11074318B2 (en) * 2018-12-14 2021-07-27 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
TWI732572B (zh) * 2020-05-29 2021-07-01 旺宏電子股份有限公司 記憶體裝置及其操作方法
JP2024522244A (ja) * 2021-05-07 2024-06-11 ブルーマインド インコーポレイテッド トランジスタベースのニューラルネットワークのためのシステム、方法、およびコンピュータ装置
TWI836273B (zh) 2021-09-27 2024-03-21 臺灣發展軟體科技股份有限公司 誤差校正裝置及方法
WO2023195999A1 (en) * 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Artificial neural network comprising reference array for i-v slope configuration

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004077439A2 (en) * 2003-02-25 2004-09-10 Atmel Corporation An apparatus an method for a configurable mirror fast sense amplifier
KR100594411B1 (ko) * 2000-11-22 2006-07-03 후지쯔 가부시끼가이샤 비휘발성 반도체 기억 장치 및 전압·전류 특성 조정 방법
US20100014376A1 (en) * 2008-07-21 2010-01-21 Nan Wang Decoding circuit withstanding high voltage via low-voltage mos transistor and the implementing method thereof
KR20140032861A (ko) * 2012-09-07 2014-03-17 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 적응 워드-라인 부스트 드라이버

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US6282145B1 (en) * 1999-01-14 2001-08-28 Silicon Storage Technology, Inc. Array architecture and operating methods for digital multilevel nonvolatile memory integrated circuit system
IT1307686B1 (it) 1999-04-13 2001-11-14 St Microelectronics Srl Circuito di lettura per celle di memoria non volatile senzalimitazioni della tensione di alimentazione.
US6584007B2 (en) * 2000-12-29 2003-06-24 Stmicroelectronics, Inc. Circuit and method for testing a ferroelectric memory device
US6844582B2 (en) * 2002-05-10 2005-01-18 Matsushita Electric Industrial Co., Ltd. Semiconductor device and learning method thereof
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US6946897B2 (en) * 2003-10-22 2005-09-20 Intersil Americas Inc. Technique for measuring temperature and current via a MOSFET of a synchronous buck voltage converter
JP2007059024A (ja) 2005-08-26 2007-03-08 Micron Technol Inc 温度補償された読み出し・検証動作をフラッシュ・メモリにおいて生成するための方法及び装置
KR101020812B1 (ko) * 2006-06-19 2011-03-09 샌디스크 코포레이션 비휘발성 메모리에서 개선된 판독 동작을 위해 선택 상태에서 보상을 사용하여 감지 및 다른 크기의 마진 프로그래밍
KR101068573B1 (ko) * 2009-04-30 2011-09-30 주식회사 하이닉스반도체 반도체 메모리 장치
KR102387789B1 (ko) * 2015-08-31 2022-04-15 엘지디스플레이 주식회사 유기 발광 표시 장치 및 그 구동방법
CN108701480B (zh) * 2016-03-10 2022-10-14 株式会社半导体能源研究所 半导体装置
US9691478B1 (en) * 2016-04-22 2017-06-27 Macronix International Co., Ltd. ReRAM array configuration for bipolar operation
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
KR102474305B1 (ko) * 2016-06-27 2022-12-06 에스케이하이닉스 주식회사 저항 변화 메모리 장치 및 그 센싱 방법
US10552510B2 (en) * 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
WO2019210275A2 (en) * 2018-04-26 2019-10-31 David Schie Event driven mathematical engine and method
US11443175B2 (en) 2018-07-11 2022-09-13 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100594411B1 (ko) * 2000-11-22 2006-07-03 후지쯔 가부시끼가이샤 비휘발성 반도체 기억 장치 및 전압·전류 특성 조정 방법
WO2004077439A2 (en) * 2003-02-25 2004-09-10 Atmel Corporation An apparatus an method for a configurable mirror fast sense amplifier
US20100014376A1 (en) * 2008-07-21 2010-01-21 Nan Wang Decoding circuit withstanding high voltage via low-voltage mos transistor and the implementing method thereof
KR20140032861A (ko) * 2012-09-07 2014-03-17 타이완 세미콘덕터 매뉴팩쳐링 컴퍼니 리미티드 적응 워드-라인 부스트 드라이버

Also Published As

Publication number Publication date
US20200019848A1 (en) 2020-01-16
EP3821375A1 (en) 2021-05-19
US20220383087A1 (en) 2022-12-01
CN112400177A (zh) 2021-02-23
TW202006734A (zh) 2020-02-01
US11797834B2 (en) 2023-10-24
JP2021531609A (ja) 2021-11-18
EP4148626A1 (en) 2023-03-15
EP3821375B1 (en) 2022-11-09
US20220391682A1 (en) 2022-12-08
JP7266665B2 (ja) 2023-04-28
US11443175B2 (en) 2022-09-13
TWI724449B (zh) 2021-04-11
WO2020013933A1 (en) 2020-01-16
KR102616977B1 (ko) 2023-12-21
US11847557B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
KR102457394B1 (ko) 딥 러닝 신경 네트워크에서 사용되는 아날로그 신경 메모리 시스템 내의 메모리 셀들에 대한 온도 및 누설 보상
CN111542840B (zh) 用于深度学习人工神经网络中的模拟非易失性存储器的可编程神经元
KR102616977B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상
US11989440B2 (en) Hybrid memory system configurable to store neural memory weight data in analog form or digital form
US20240265951A1 (en) Current-to-voltage converter comprising common mode circuit
WO2024162979A1 (en) Current-to-voltage converter comprising common mode circuit

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant