KR20210145809A - 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 출력 어레이 뉴런 변환 및 교정 - Google Patents

딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 출력 어레이 뉴런 변환 및 교정 Download PDF

Info

Publication number
KR20210145809A
KR20210145809A KR1020217035930A KR20217035930A KR20210145809A KR 20210145809 A KR20210145809 A KR 20210145809A KR 1020217035930 A KR1020217035930 A KR 1020217035930A KR 20217035930 A KR20217035930 A KR 20217035930A KR 20210145809 A KR20210145809 A KR 20210145809A
Authority
KR
South Korea
Prior art keywords
output
analog
array
offset
digital
Prior art date
Application number
KR1020217035930A
Other languages
English (en)
Other versions
KR102657705B1 (ko
Inventor
휴 반 트란
투안 뷰
스탠리 홍
스테펜 트린
비핀 티와리
마크 리텐
난 도
Original Assignee
실리콘 스토리지 테크놀로지 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 실리콘 스토리지 테크놀로지 인크 filed Critical 실리콘 스토리지 테크놀로지 인크
Publication of KR20210145809A publication Critical patent/KR20210145809A/ko
Application granted granted Critical
Publication of KR102657705B1 publication Critical patent/KR102657705B1/ko

Links

Images

Classifications

    • G06N3/0635—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/02—Detection or location of defective auxiliary circuits, e.g. defective refresh counters
    • G11C29/028—Detection or location of defective auxiliary circuits, e.g. defective refresh counters with adaption or trimming of parameters
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/44—Indication or identification of errors, e.g. for repair
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/50—Marginal testing, e.g. race, voltage or current testing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C2029/4402—Internal storage of test result, quality data, chip identification, repair information
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/50—Marginal testing, e.g. race, voltage or current testing
    • G11C2029/5006—Current
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)
  • Image Processing (AREA)
  • Memory System (AREA)
  • Analogue/Digital Conversion (AREA)

Abstract

비휘발성 메모리 셀들을 이용하는 아날로그 신경 메모리 시스템들을 위한 구성가능한 입력 블록들과 출력 블록들 및 물리적 레이아웃들이 개시된다. 입력 블록은 수평 방향으로 배열된 상이한 개수의 어레이들을 지지하도록 구성될 수 있고, 출력 블록은 수직 방향으로 배열된 상이한 개수의 어레이들을 지지하도록 구성될 수 있다. 구성가능한 입력 블록들 및 출력 블록들에 사용하기 위한 조정가능한 컴포넌트들이 개시된다. 시스템들 및 방법들은 아날로그 신경 메모리 시스템들 내의 입력 블록들 및 출력 블록들에서의 누설 및 오프셋을 보상하기 위해 이용된다.

Description

딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 출력 어레이 뉴런 변환 및 교정
우선권 주장
본 출원은 2019년 5월 2일자로 출원되고 발명의 명칭이 "CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK"인 미국 가특허 출원 제62/842,279호, 및 2019년 6월 21일자로 출원되고 발명의 명칭이 "OUTPUT ARRAY NEURON CONVERSION AND CALIBRATION FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK"인 미국 특허 출원 제16/449,205호에 대한 우선권을 주장한다.
기술분야
비휘발성 메모리 셀들을 이용하는 아날로그 신경 메모리 시스템들을 위한 구성가능한 입력 블록들과 출력 블록들 및 연관된 물리적 레이아웃들이 개시된다.
인공 신경 네트워크들은 생물학적 신경 네트워크들(동물들의 중추신경계, 특히 뇌)을 모방하며, 다수의 입력들에 의존할 수 있고 대체적으로 알려져 있지 않은 기능들을 추정하거나 근사화하는 데 사용된다. 인공 신경 네트워크들은, 대체적으로, 서로 메시지들을 교환하는 상호연결된 "뉴런(neuron)들"의 층들을 포함한다.
도 1은 인공 신경 네트워크를 예시하며, 여기서 원들은 뉴런들의 층들 또는 입력들을 나타낸다. 연접부들(시냅스(synapse)들로 지칭됨)은 화살표들로 표현되며, 경험에 기초하여 튜닝될 수 있는 수치 가중치들을 갖는다. 이는 신경 네트워크들이 입력들에 적응하게 하고 학습할 수 있게 한다. 전형적으로, 신경 네트워크들은 다수의 입력들의 층을 포함한다. 전형적으로 뉴런들의 하나 이상의 중간 층들, 및 신경 네트워크의 출력을 제공하는 뉴런들의 출력 층이 있다. 각각의 레벨의 뉴런들은 개별적으로 또는 집합적으로 시냅스들로부터의 수신된 데이터에 기초하여 결정을 행한다.
고성능 정보 프로세싱을 위한 인공 신경 네트워크들의 개발에서의 주요 과제들 중 하나는 적절한 하드웨어 기술의 결여이다. 사실상, 실제 신경 네트워크들은 매우 많은 수의 시냅스들에 의존하여, 뉴런들 사이의 높은 연결성, 즉 매우 높은 계산 병렬성(computational parallelism)을 가능하게 한다. 원칙적으로, 그러한 복잡성은 디지털 슈퍼컴퓨터들 또는 특수 그래픽 프로세싱 유닛 클러스터들로 달성될 수 있다. 그러나, 고비용에 더하여, 이들 접근법들은 또한, 그들이 주로 저정밀 아날로그 계산을 수행하기 때문에 훨씬 적은 에너지를 소비하는 생물학적 네트워크(biological network)들과 비교하여 평범한 에너지 효율을 겪는다. CMOS 아날로그 회로들이 인공 신경 네트워크들에 사용되어 왔지만, 대부분의 CMOS 구현된 시냅스들은 필요한 많은 수의 뉴런들 및 시냅스들을 고려할 때 너무 부피가 커졌다.
출원인은, 참고로 포함되는, 미국 특허 공개 제2017/0337466호로 공개된 미국 특허 출원 제15/594,439호에서 하나 이상의 비휘발성 메모리 어레이들을 시냅스들로서 이용하는 인공(아날로그) 신경 네트워크를 이전에 개시하였다. 비휘발성 메모리 어레이들은 아날로그 신경 메모리로서 동작한다. 신경 네트워크 디바이스는 제1 복수의 입력들을 수신하고 그로부터 제1 복수의 출력들을 생성하도록 구성된 제1 복수의 시냅스들, 및 제1 복수의 출력들을 수신하도록 구성된 제1 복수의 뉴런들을 포함한다. 제1 복수의 시냅스들은 복수의 메모리 셀들을 포함하는데, 여기서 메모리 셀들 각각은, 반도체 기판 내에 형성되고 채널 영역이 사이에 연장되는 이격된 소스 영역과 드레인 영역, 채널 영역의 제1 부분 위에 배치되고 그로부터 절연되는 플로팅 게이트, 및 채널 영역의 제2 부분 위에 배치되고 그로부터 절연되는 비-플로팅 게이트를 포함한다. 복수의 메모리 셀들 각각은 플로팅 게이트 상의 전자들의 개수에 대응하는 가중치 값을 저장하도록 구성된다. 복수의 메모리 셀들은 제1 복수의 입력들을 저장된 가중치 값들과 승산하여 제1 복수의 출력들을 생성하도록 구성된다.
아날로그 신경 메모리 시스템에서 사용되는 각각의 비휘발성 메모리 셀들은 플로팅 게이트에서 매우 특정적이고 정확한 양의 전하, 즉 일정 수의 전자들을 보유하도록 소거되고 프로그래밍되어야 한다. 예를 들어, 각각의 플로팅 게이트는 N개의 상이한 값들 중 하나를 보유해야 하며, 여기서 N은 각각의 셀에 의해 표시될 수 있는 상이한 가중치들의 개수이다. N의 예들은 16, 32, 64, 128, 및 256을 포함한다.
벡터 매트릭스 승산(vector by matrix multiplication, VMM) 시스템들에서 하나의 관건은 VMM으로부터의 출력을 다른 VMM으로 입력으로서 신속하고 정확하게 전달하고, 그와 같이 하는 한편 반도체 다이 내의 물리적 공간을 효율적으로 이용하는 능력이다.
비휘발성 메모리 셀들을 이용하는 아날로그 신경 메모리 시스템들을 위한 구성가능한 입력 블록들과 출력 블록들 및 물리적 레이아웃들이 필요하다. 또한, 그러한 시스템들을 위한 입력 블록들 및 출력 블록들에서 누설 및 오프셋을 보상하기 위한 시스템들 및 방법들이 추가로 필요하다.
아날로그 신경 메모리 시스템들 내의 입력 블록들 및 출력 블록들에서의 누설 및 오프셋을 보상하기 위한 시스템들 및 방법들이 개시된다.
아날로그 신경 메모리 셀들을 위한 출력 회로 블록을 동작시키는 방법의 일 실시예는 누설 및/또는 오프셋을 측정하는 단계; 측정된 양을 제1 값으로서 저장하는 단계; 및 식: <LSB = 다음 레벨로 반올림된 제1 값>을 사용하여 메모리 셀에 대한 최하위 비트(LSB)를 결정하는 단계를 포함한다.
아날로그 신경 메모리 셀들을 위한 출력 회로 블록을 동작시키는 다른 실시예는 오프셋 또는 누설을 측정하고 측정된 양을 제1 값으로서 저장하는 단계; 제1 값을 호출하는 단계; 온도 조정을 수행하는 단계; 및 식: <LSB = 다음 레벨로 반올림된 제1 값>을 사용하여 메모리 셀 범위에 대한 최하위 비트(LSB)를 결정하는 단계를 포함한다.
아날로그 신경 메모리 셀들의 어레이에 결합된 출력 회로 블록으로부터 출력을 생성하는 동안 누설 또는 오프셋을 보상하는 방법의 일 실시예는 디지털 누설 또는 오프셋 값을 생성하기 위해 아날로그-디지털 변환기를 사용하여 출력 회로 블록 값에서의 누설 또는 오프셋을 측정하는 단계; 디지털 누설 또는 오프셋 값을 카운터 내에 제1 값으로서 저장하는 단계; 및 누설 또는 오프셋을 보상하는 단계를 포함한다.
도 1은 종래 기술의 인공 신경 네트워크를 예시하는 도면이다.
도 2는 종래 기술의 분리형 게이트 플래시 메모리 셀을 도시한다.
도 3은 다른 종래 기술의 분리형 게이트 플래시 메모리 셀을 도시한다.
도 4는 다른 종래 기술의 분리형 게이트 플래시 메모리 셀을 도시한다.
도 5는 다른 종래 기술의 분리형 게이트 플래시 메모리 셀을 도시한다.
도 6은 다른 종래 기술의 분리형 게이트 플래시 메모리 셀을 도시한다.
도 7은 종래 기술의 적층형 게이트 플래시 메모리 셀을 도시한다.
도 8은 하나 이상의 비휘발성 메모리 어레이들을 이용하는 예시적인 인공 신경 네트워크의 상이한 레벨들을 예시하는 도면이다.
도 9는 벡터 매트릭스 승산 시스템을 예시하는 블록도이다.
도 10은 하나 이상의 벡터 매트릭스 승산 시스템들을 이용하는 예시적인 인공 신경 네트워크를 예시하는 블록도이다.
도 11은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 12는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 13은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 14는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 15는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 16은 종래 기술의 장단기 메모리(long short term memory, LSTM) 시스템을 도시한다.
도 17은 장단기 메모리 시스템에서 사용하기 위한 예시적인 셀을 도시한다.
도 18은 도 17의 예시적인 셀의 실시예를 도시한다.
도 19는 도 17의 예시적인 셀의 다른 실시예를 도시한다.
도 20은 종래 기술의 게이티드 순환 유닛(gated recurrent unit, GRU) 시스템을 도시한다.
도 21은 게이티드 순환 유닛 시스템에서 사용하기 위한 예시적인 셀을 도시한다.
도 22는 도 21의 예시적인 셀의 실시예를 도시한다.
도 23은 도 21의 예시적인 셀의 다른 실시예를 도시한다.
도 24는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 25는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 26은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 27은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 28은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 29는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 30은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 31은 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 32는 벡터 매트릭스 승산 시스템의 다른 실시예를 도시한다.
도 33은 벡터 매트릭스 승산 시스템의 예시적인 블록도를 도시한다.
도 34는 수직 인접 어레이들이 출력 블록을 공유하는 벡터 매트릭스 승산 시스템의 예시적인 블록도를 도시한다.
도 35a는 수평 인접 어레이들이 입력 블록을 공유하는 벡터 매트릭스 승산 시스템의 예시적인 블록도를 도시한다.
도 35b는 수평 인접 어레이들이 입력 블록을 공유하는 벡터 매트릭스 승산 시스템의 예시적인 블록도를 도시한다.
도 36은 벡터 매트릭스 승산 시스템의 예시적인 블록도를 도시한다.
도 37a는 적분 아날로그-디지털 변환기의 실시예를 도시한다.
도 37b는 도 37a의 시스템에 대한 예시적인 출력 파형들을 도시한다.
도 38은 도 37a의 적분 아날로그-디지털 변환기에 제공될 수 있는 예시적인 입력들을 도시한다.
도 39는 전류-전압 변환기의 일 실시예를 도시한다.
도 40은 디지털 데이터-전압 변환기를 도시한다.
도 41은 구성가능한 아날로그-디지털 변환기를 도시한다.
도 42는 구성가능한 전류-전압 입력 회로를 도시한다.
도 43a는 디지털-펄스 로우(row) 변환기를 도시한다.
도 43b는 도 43a의 디지털-펄스 로우 변환기에 대한 예시적인 파형들을 도시한다.
도 44a는 디지털-펄스 로우 변환기를 도시한다.
도 44b는 도 44a의 디지털-펄스 로우 변환기에 대한 예시적인 파형들을 도시한다.
도 44c는 도 44a의 디지털-펄스 로우 변환기와 함께 사용하기 위한 로우 디지털 펄스 발생기를 도시한다.
도 45a는 램프 아날로그-디지털 변환기 출력 변환기를 도시한다.
도 45b 및 도 45c는 도 45a의 램프 아날로그-디지털 변환기 출력 변환기에 의한 사용을 위한 예시적인 기준 전압들을 도시한다.
도 46은 알고리즘 아날로그-디지털 변환기 출력 변환기(4600)를 도시한다.
도 47a는 SAR ADC를 도시한다.
도 47b는 도 47a의 SAR ADC에 대한 디지털 출력 비트들을 생성하기 위한 알고리즘을 도시한다.
도 48은 시그마 델타 아날로그-디지털 변환기를 도시한다.
도 49는 교정 방법을 도시한다.
도 50a는 실시간 교정 방법을 도시한다.
도 50b는 배경 교정 방법을 도시한다.
도 51a는 교정 및 변환 방법을 도시한다.
도 51b는 다른 교정 및 변환 방법을 도시한다.
도 52는 도 37a 및 도 37b 및 도 45a 내지 도 45c의 실시예들과의 선택적 사용을 위한 비교기를 도시한다.
본 발명의 인공 신경 네트워크들은 CMOS 기술과 비휘발성 메모리 어레이들의 조합을 이용한다.
비휘발성 메모리 셀들
디지털 비휘발성 메모리들이 잘 알려져 있다. 예를 들어, 본 명세서에 참고로 포함되는 미국 특허 제5,029,130호("'130 특허")가 플래시 메모리 셀들의 유형인 분리형 게이트 비휘발성 메모리 셀들의 어레이를 개시하고 있다. 그러한 메모리 셀(210)이 도 2에 도시되어 있다. 각각의 메모리 셀(210)은, 반도체 기판(12) 내에 형성되고 채널 영역(18)이 그 사이에 있는 소스 영역(14) 및 드레인 영역(16)을 포함한다. 플로팅 게이트(20)가 채널 영역(18)의 제1 부분 위에, 그리고 소스 영역(14)의 일부분 위에 형성되고 그로부터 절연된다(그리고 그의 전도율을 제어한다). 워드 라인 단자(22)(이는 전형적으로, 워드 라인에 결합됨)가 채널 영역(18)의 제2 부분 위에 배치되고 그로부터 절연되는(그리고 그의 전도율을 제어하는) 제1 부분, 및 위쪽으로 그리고 플로팅 게이트(20) 위로 연장되는 제2 부분을 갖는다. 플로팅 게이트(20) 및 워드 라인 단자(22)는 게이트 산화물에 의해 기판(12)으로부터 절연된다. 비트 라인(24)이 드레인 영역(16)에 결합된다.
메모리 셀(210)은 워드 라인 단자(22) 상에 높은 포지티브 전압을 배치함으로써 소거되는데(여기서 전자들이 플로팅 게이트로부터 제거됨), 이는 플로팅 게이트(20) 상의 전자들이 파울러-노드하임 터널링(Fowler-Nordheim tunneling)을 통해 중간 절연체를 통과하여 플로팅 게이트(20)로부터 워드 라인 단자(22)로 터널링하게 한다.
메모리 셀(210)은 워드 라인 단자(22) 상에 포지티브 전압을, 그리고 소스 영역(14) 상에 포지티브 전압을 배치함으로써 프로그래밍된다(여기서 전자들이 플로팅 게이트 상에 배치됨). 전자 전류가 소스 영역(14)으로부터 드레인 영역(16)을 향해 흐를 것이다. 전자들은 그들이 워드 라인 단자(22)와 플로팅 게이트(20) 사이의 갭에 도달할 때 가속되고 가열될 것이다. 가열된 전자들 중 일부는 플로팅 게이트(20)로부터의 정전 인력으로 인해 게이트 산화물을 통과하여 플로팅 게이트(20) 상으로 주입될 것이다.
메모리 셀(210)은 드레인 영역(16) 및 워드 라인 단자(22) 상에 포지티브 판독 전압들을 배치함(이는 워드 라인 단자 아래의 채널 영역(18)의 부분을 턴 온시킴)으로써 판독된다. 플로팅 게이트(20)가 포지티브로 대전되면(즉, 전자들이 소거되면), 플로팅 게이트(20) 아래의 채널 영역(18)의 부분이 또한 턴 온되고, 전류가 채널 영역(18)을 가로질러 흐를 것이며, 이는 소거 상태 또는 "1" 상태로 감지된다. 플로팅 게이트(20)가 네거티브로 대전되면(즉, 전자들로 프로그래밍되면), 플로팅 게이트(20) 아래의 채널 영역의 부분은 대부분 또는 완전히 턴 오프되고, 전류가 채널 영역(18)을 가로질러 흐르지 않을 것이며(또는 흐름이 거의 없을 것이며), 이는 프로그래밍된 상태 또는 "0" 상태로 감지된다.
표 1은 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(110)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 1]
Figure pct00001
"판독 1"은 셀 전류가 비트 라인 상에 출력되는 판독 모드이다. "판독 2"는 셀 전류가 소스 라인 상에 출력되는 판독 모드이다.
도 3은 도 2의 메모리 셀(210)과 유사하고, 제어 게이트(CG)(28)가 추가된 메모리 셀(310)을 도시한다. 제어 게이트(28)는 프로그래밍에서는 고전압, 예컨대, 10 V, 소거에서는 낮거나 네거티브, 예컨대, 0 v/-8 V, 판독에서는 낮거나 중간 범위, 예컨대 0 v/2.5 V로 바이어스된다. 다른 단자들이 도 2의 것과 유사하게 바이어스된다.
도 4는 소스 영역(14), 드레인 영역(16), 채널 영역(18)의 제1 부분 위의 플로팅 게이트(20), 채널 영역(18)의 제2 부분 위의 선택 게이트(22)(전형적으로 워드 라인(WL)에 결합됨), 플로팅 게이트(20) 위의 제어 게이트(28), 및 소스 영역(14) 위의 소거 게이트(30)를 포함하는 4-게이트 메모리 셀(410)을 도시한다. 이러한 구성은 미국 특허 제6,747,310호에 기재되어 있으며, 이 특허는 모든 목적을 위해 본 명세서에 참고로 포함된다. 여기서, 모든 게이트들은 플로팅 게이트(20)를 제외하고 비-플로팅 게이트들이며, 이는 그들이 전압 소스에 전기적으로 접속되어 있거나 접속가능하다는 것을 의미한다. 프로그래밍은 채널 영역(18)으로부터의 가열된 전자들이 플로팅 게이트(20) 상으로 자신들을 주입하는 것에 의해 수행된다. 소거는, 전자들이 플로팅 게이트(20)로부터 소거 게이트(30)로 터널링하는 것에 의해 수행된다.
표 2는 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(310)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 2]
Figure pct00002
"판독 1"은 셀 전류가 비트 라인 상에 출력되는 판독 모드이다. "판독 2"는 셀 전류가 소스 라인 상에 출력되는 판독 모드이다.
도 5는 메모리 셀(510)이 소거 게이트(EG)를 포함하지 않는 것을 제외하고는, 도 4의 메모리 셀(410)과 유사한 메모리 셀(510)을 도시한다. 소거는 기판(18)을 고전압으로 바이어싱하고 제어 게이트(CG)(28)를 저전압 또는 네거티브 전압으로 바이어싱함으로써 수행된다. 대안적으로, 소거는 워드 라인(22)을 포지티브 전압으로 바이어싱하고 제어 게이트(28)를 네거티브 전압으로 바이어싱함으로써 수행된다. 프로그래밍 및 판독은 도 4의 것과 유사하다.
도 6은 다른 유형의 플래시 메모리 셀인 3-게이트 메모리 셀(610)을 도시한다. 메모리 셀(610)은, 메모리 셀(610)이 별개의 제어 게이트를 갖지 않는다는 점을 제외하고는, 도 4의 메모리 셀(410)과 동일하다. 소거 동작(이에 의해, 소거 게이트의 사용을 통해 소거가 발생함) 및 판독 동작은, 제어 게이트 바이어스가 인가되지 않는다는 점을 제외하고는, 도 4의 것과 유사하다. 프로그래밍 동작은 또한, 제어 게이트 바이어스 없이 행해지고, 결과적으로, 제어 게이트 바이어스의 결여를 보상하기 위해 프로그래밍 동작 동안 소스 라인 상에 더 높은 전압이 인가되어야 한다.
표 3은 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 메모리 셀(610)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 3]
Figure pct00003
"판독 1"은 셀 전류가 비트 라인 상에 출력되는 판독 모드이다. "판독 2"는 셀 전류가 소스 라인 상에 출력되는 판독 모드이다.
도 7은 다른 유형의 플래시 메모리 셀인 적층형 게이트 메모리 셀(710)을 도시한다. 메모리 셀(710)은, 절연 층(도시되지 않음)에 의해 분리되어, 플로팅 게이트(20)가 전체 채널 영역(18) 위로 연장되고, 제어 게이트(22)(이는 여기서 워드 라인에 결합될 것임)가 플로팅 게이트(20) 위로 연장된다는 점을 제외하고는, 도 2의 메모리 셀(210)과 유사하다. 소거, 프로그래밍, 및 판독 동작들은 메모리 셀(210)에 대해 이전에 설명된 것과 유사한 방식으로 동작한다.
표 4는 판독, 소거, 및 프로그래밍 동작들을 수행하기 위해 기판(12) 및 메모리 셀(710)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 4]
Figure pct00004
"판독 1"은 셀 전류가 비트 라인 상에 출력되는 판독 모드이다. "판독 2"는 셀 전류가 소스 라인 상에 출력되는 판독 모드이다. 선택적으로, 메모리 셀들(210, 310, 410, 510, 610, 또는 710)의 로우들 및 컬럼들을 포함하는 어레이들에서, 소스 라인들은 메모리 셀들의 하나의 로우에 또는 메모리 셀들의 2개의 인접한 로우들에 결합될 수 있다. 즉, 소스 라인들은 메모리 셀들의 인접한 로우들에 의해 공유될 수 있다.
인공 신경 네트워크에서 전술된 비휘발성 메모리 셀들의 유형들 중 하나를 포함하는 메모리 어레이들을 이용하기 위해, 두 가지 수정들이 이루어진다. 첫째, 라인들은, 하기에서 추가로 설명되는 바와 같이, 각각의 메모리 셀이 어레이 내의 다른 메모리 셀들의 메모리 상태에 악영향을 미치지 않으면서 개별적으로 프로그래밍되고, 소거되고, 판독될 수 있도록 구성된다. 둘째, 메모리 셀들의 연속적인(아날로그) 프로그래밍이 제공된다.
구체적으로, 어레이 내의 각각의 메모리 셀의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 소거 상태로부터 완전 프로그래밍 상태로 연속적으로 변경될 수 있다. 다른 실시예에서, 어레이 내의 각각의 메모리 셀의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 프로그래밍 상태로부터 완전 소거 상태로 연속적으로 변경될 수 있고, 그 반대도 마찬가지이다. 이는 셀 저장소가 아날로그식이거나 또는 적어도, 많은 개별 값들(예컨대, 16개 또는 64개의 상이한 값들) 중 하나를 저장할 수 있음을 의미하며, 이것은 메모리 어레이 내의 모든 셀들의 매우 정밀하고 개별적인 튜닝을 허용하고, 메모리 어레이를 신경 네트워크의 시냅스 가중치들에 대한 미세 튜닝 조정들을 저장하고 행하는 데 이상적인 것으로 되게 한다.
본 명세서에 기술된 방법들 및 수단은 제한 없이 SONOS(규소-산화물-질화물-산화물-규소, 질화물 내의 전하 트랩), MONOS(금속-산화물-질화물-산화물-규소, 질화물 내의 금속 전하 트랩), ReRAM(저항성 ram), PCM(상변화 메모리), MRAM(자기 ram), FeRAM(강유전체 ram), OTP(2-레벨 또는 다중-레벨 1회 프로그래밍가능), 및 CeRAM(상관 전자 ram)과 같은 비휘발성 메모리 기술에 적용될 수 있다. 본 명세서에 기술된 방법들 및 수단은 제한 없이 SRAM, DRAM, 및 휘발성 시냅스 셀과 같은 신경 네트워크에 사용되는 휘발성 메모리 기술에 적용될 수 있다.
비휘발성 메모리 셀 어레이들을 채용한 신경 네트워크들
도 8은 본 실시예들의 비휘발성 메모리 어레이를 이용하는 신경 네트워크의 비제한적인 예를 개념적으로 예시한다. 이러한 예는 얼굴 인식 애플리케이션에 대해 비휘발성 메모리 어레이 신경 네트워크를 사용하지만, 비휘발성 메모리 어레이 기반 신경 네트워크를 사용하여 임의의 다른 적절한 애플리케이션이 구현될 수 있다.
S0은, 이 예에 대해, 5 비트 정밀도를 갖는 32x32 픽셀 RGB 이미지(즉, 각각의 색상 R, G 및 B에 대해 하나씩인 3개의 32x32 픽셀 어레이들, 각각의 픽셀은 5 비트 정밀도임)인 입력 층이다. 입력 층(S0)으로부터 층(C1)으로 가는 시냅스들(CB1)은 일부 경우들에서 상이한 세트들의 가중치들을, 다른 경우들에서 공유 가중치들을 적용하고, 입력 이미지를 3x3 픽셀 중첩 필터들(커널(kernel))로 스캔하여, 필터를 1 픽셀(또는 모델에 의해 지시되는 바와 같이 1 초과의 픽셀)만큼 시프트시킨다. 구체적으로, 이미지의 3x3 부분 내의 9개의 픽셀들(즉, 필터 또는 커널로 지칭됨)에 대한 값들이 시냅스들(CB1)에 제공되고, 여기서 이들 9개의 입력 값들이 적절한 가중치들에 의해 승산되고, 그 승산의 출력들을 합산한 후, 피처 맵(feature map)(C1)의 층들 중 하나의 층의 픽셀을 생성하기 위해 CB1의 제1 시냅스에 의해 단일 출력 값이 결정되고 제공된다. 이어서, 3x3 필터가 하나의 픽셀씩 입력 층(S0) 내에서 우측으로 시프트되고(즉, 우측에 3개 픽셀들의 컬럼을 추가하고, 좌측에서 3개 픽셀들의 컬럼을 뺌), 이에 의해 이러한 새롭게 위치된 필터에서의 9개 픽셀 값들이 시냅스들(CB1)에 제공되고, 여기서 이들은 동일한 가중치들에 의해 승산되고, 연관된 시냅스에 의해 제2 단일 출력 값이 결정된다. 이러한 프로세스는, 3개의 모든 색상들에 대해 그리고 모든 비트들(정밀도 값들)에 대해, 3x3 필터가 입력 층(S0)의 전체 32x32 픽셀 이미지를 가로질러 스캔할 때까지 계속된다. 이어서, 프로세스는, 층(C1)의 모든 피처 맵들이 계산될 때까지, 가중치들의 상이한 세트들을 사용하여 반복되어 C1의 상이한 피처 맵을 생성한다.
층(C1)에서, 본 예에서, 각각 30x30 픽셀들을 갖는 16개의 피처 맵들이 있다. 각각의 픽셀은 입력들과 커널을 승산한 것으로부터 추출된 새로운 피처 픽셀이고, 따라서 각각의 피처 맵은 2차원 어레이이고, 따라서, 이러한 예에서, 층(C1)은 2차원 어레이들의 16개의 층들을 구성한다(본 명세서에서 언급된 층들 및 어레이들은 반드시 물리적 관계인 것이 아니라 논리적 관계임 - 즉, 어레이들은 반드시 물리적으로 2차원 어레이들로 배향되지는 않음 - 에 유념한다). 층(C1) 내의 16개 피처 맵들 각각은 필터 스캔들에 적용되는 시냅스 가중치들의 16개의 상이한 세트들 중 하나의 세트에 의해 생성된다. C1 피처 맵들은 모두, 경계 식별과 같은 동일한 이미지 피처의 상이한 태양들에 관한 것일 수 있다. 예를 들어, (제1 맵을 생성하는 데 사용되는 모든 스캔들을 위해 공유되는 제1 가중치 세트를 사용하여 생성된) 제1 맵은 원형 에지들을 식별할 수 있고, (제1 가중치 세트와는 상이한 제2 가중치 세트를 사용하여 생성된) 제2 맵은 직사각형 에지들, 또는 특정 피처들의 종횡비 등을 식별할 수 있다.
활성화 함수(P1)(풀링(pooling))는 층(C1)으로부터 층(S1)으로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. 풀링 함수의 목적은, 예를 들어 에지 위치의 의존성을 감소시키고 다음 스테이지로 가기 전에 데이터 크기를 감소시키기 위해 인근 위치를 평균하기 위한 것이다(또는 최대 함수가 또한 사용될 수 있음). 층(S1)에는, 16개의 15x15 피처 맵들(즉, 각각 15x15 픽셀들의 16개의 상이한 어레이들)이 있다. 층(S1)으로부터 층(C2)으로 가는 시냅스들(CB2)은 1 픽셀의 필터 시프트를 갖는 4x4 필터들로 S1 내의 맵들을 스캔한다. 층(C2)에는, 22개의 12x12 피처 맵들이 있다. 활성화 함수(P2)(풀링)는 층(C2)으로부터 층(S2)으로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. 층(S2)에는, 22개의 6x6 피처 맵들이 있다. 활성화 함수(풀링)가 층(S2)으로부터 층(C3)으로 가는 시냅스들(CB3)에서 적용되며, 여기서 층(C3) 내의 모든 뉴런은 CB3의 각자의 시냅스를 통해 층(S2) 내의 모든 맵에 접속된다. 층(C3)에는, 64개의 뉴런들이 있다. 층(C3)으로부터 출력 층(S3)으로 가는 시냅스들(CB4)은 C3을 S3에 완전히 접속시키며, 즉, 층(C3) 내의 모든 뉴런은 층(S3) 내의 모든 뉴런에 접속된다. S3에서의 출력은 10개의 뉴런들을 포함하고, 여기서 최고 출력 뉴런이 클래스를 결정한다. 이러한 출력은, 예를 들어, 원래의 이미지의 콘텐츠의 식별 또는 분류를 나타낼 수 있다.
시냅스들의 각각의 층은 비휘발성 메모리 셀들의 어레이 또는 그들의 어레이의 일부분을 사용하여 구현된다.
도 9는 그 목적을 위해 사용될 수 있는 어레이의 블록도이다. 벡터 매트릭스 승산(VMM) 시스템(32)은 비휘발성 메모리 셀들을 포함하고, 하나의 층과 다음 층 사이에서 시냅스들(예컨대, 도 6의 CB1, CB2, CB3, CB4)로서 이용된다. 구체적으로, VMM 시스템(32)은 로우들 및 컬럼들로 배열된 비휘발성 메모리 셀들을 포함하는 VMM 어레이(33), 소거 게이트 및 워드 라인 게이트 디코더(34), 제어 게이트 디코더(35), 비트 라인 디코더(36) 및 소스 라인 디코더(37)를 포함하며, 이들은 비휘발성 메모리 셀 어레이(33)에 대한 각자의 입력들을 디코딩한다. VMM 어레이(33)로의 입력은 소거 게이트 및 워드 라인 게이트 디코더(34)로부터 또는 제어 게이트 디코더(35)로부터의 것일 수 있다. 이 예에서의 소스 라인 디코더(37)는 또한 VMM 어레이(33)의 출력을 디코딩한다. 대안으로, 비트 라인 디코더(36)는 VMM 어레이(33)의 출력을 디코딩할 수 있다.
VMM 어레이(33)는 두 가지 목적들을 담당한다. 첫째, 그것은 VMM 시스템(32)에 의해 사용될 가중치들을 저장한다. 둘째, VMM 어레이(33)는 입력들을 VMM 어레이(33)에 저장된 가중치들과 유효하게 승산하고 이들을 출력 라인(소스 라인 또는 비트 라인)마다 가산하여 출력을 생성하며, 이는 다음 층으로의 입력 또는 최종 층으로의 입력일 것이다. 승산 및 가산 기능을 수행함으로써, VMM 어레이(33)는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 그의 인-시츄(in-situ) 메모리 계산으로 인해 전력 효율적이다.
VMM 어레이(33)의 출력은 차동 합산기(예컨대, 합산 연산 증폭기 또는 합산 전류 미러)(38)에 공급되고, 이는 VMM 어레이(33)의 출력들을 합산하여 그 콘볼루션(convolution)에 대한 단일 값을 생성한다. 차동 합산기(38)는 포지티브 가중치 및 네거티브 가중치의 합산을 수행하도록 배열된다.
이어서, 차동 합산기(38)의 합산된 출력 값들은 활성화 함수 회로(39)에 공급되고, 이는 출력을 정류한다. 활성화 함수 회로(39)는 시그모이드, tanh, ReLU 함수들, 또는 임의의 다른 비-선형 함수를 제공할 수 있다. 활성화 함수 회로(39)의 정류된 출력 값들은 다음 층(예를 들어, 도 8의 C1)의 피처 맵의 요소가 되고, 이어서 다음 시냅스에 적용되어 다음 피처 맵 층 또는 최종 층을 생성한다. 따라서, 이 예에서, VMM 어레이(33)는 복수의 시냅스들(이들은 뉴런들의 이전 층으로부터 또는 이미지 데이터베이스와 같은 입력 층으로부터 그들의 입력들을 수신함)을 구성하고, 합산기(38) 및 활성화 함수 회로(39)는 복수의 뉴런들을 구성한다.
도 9의 VMM 시스템(32)에 대한 입력(WLx, EGx, CGx, 및 선택적으로 BLx 및 SLx)은 아날로그 레벨, 이진 레벨, 디지털 펄스들(이 경우 펄스들을 적절한 입력 아날로그 레벨로 변환하기 위해 펄스-아날로그 변환기(PAC)가 필요할 수 있음) 또는 디지털 비트들일 수 있고(이 경우, 디지털 비트들을 적절한 입력 아날로그 레벨로 변환하기 위해 DAC가 제공됨), 출력은 아날로그 레벨, 이진 레벨, 디지털 펄스들 또는 디지털 비트들일 수 있다(이 경우, 출력 아날로그 레벨을 디지털 비트들로 변환하기 위해 출력 ADC가 제공됨).
도 10은 여기에서 VMM 시스템들(32a, 32b, 32c, 32d, 32e)로 표지된 VMM 시스템들(32)의 다수의 층들의 사용을 도시하는 블록도이다. 도 10에 도시된 바와 같이, Inputx로 표기된 입력은 디지털-아날로그 변환기(31)에 의해 디지털로부터 아날로그로 변환되고, 입력 VMM 시스템(32a)에 제공된다. 변환된 아날로그 입력들은 전압 또는 전류일 수 있다. 제1 층에 대한 입력 D/A 변환은, 입력들(Inputx)을 입력 VMM 시스템(32a)의 매트릭스 승산기에 대한 적절한 아날로그 레벨들에 맵핑시키는 함수 또는 LUT(look up table)를 사용함으로써 행해질 수 있다. 입력 변환은 또한, 외부 아날로그 입력을 입력 VMM 시스템(32a)으로의 맵핑된 아날로그 입력으로 변환하기 위한 아날로그-아날로그(A/A) 변환기에 의해 행해질 수 있다. 입력 변환은 또한, 외부 디지털 입력을 입력 VMM 시스템(32a)으로의 맵핑된 디지털 펄스 또는 펄스들로 변환하기 위한 D/P(digital-to-digital pules) 변환기에 의해 행해질 수 있다.
입력 VMM 시스템(32a)에 의해 생성된 출력은 다음 VMM 시스템(은닉 레벨 1)(32b)으로의 입력으로서 제공되고, 다음 VMM 시스템으로의 입력은 이어서 다음 VMM 시스템(은닉 레벨 2)(32c)으로의 입력으로서 제공되는 출력을 생성하는, 등등이다. VMM 시스템(32)의 다양한 층들은 콘볼루션 신경 네트워크(convolutional neural network, CNN)의 시냅스들 및 뉴런들의 상이한 층들로서 기능한다. 각각의 VMM 시스템(32a, 32b, 32c, 32d, 32e)은 독립형의, 물리적 비휘발성 메모리 어레이일 수 있거나, 또는 다수의 VMM 시스템들이 동일한 물리적 비휘발성 메모리 어레이의 상이한 부분들을 이용할 수 있거나, 또는 다수의 VMM 시스템들이 동일한 물리적 비휘발성 메모리 시스템의 중첩 부분들을 이용할 수 있다. 각각의 VMM 시스템(32a, 32b, 32c, 32d, 32e)은 또한 그의 어레이 또는 뉴런들의 다양한 부분에 대해 시간 다중화될 수 있다. 도 10에 도시된 예는 다음과 같은 5개의 층(32a, 32b, 32c, 32d, 32e)을 포함한다: 하나의 입력 층(32a), 2개의 은닉 층들(32b, 32c), 및 2개의 완전 접속 층들(32d, 32e). 당업자는, 이것이 단지 예시적인 것이고, 시스템은 대신에, 2개 초과의 은닉 층들 및 2개 초과의 완전 접속 층들을 포함할 수 있다는 것을 이해할 것이다. 또한, 상이한 층들은 2-레벨 메모리 셀들(단지 2개의 레벨들, '0' 및 '1'만을 의미함)을 포함하는 n-비트 메모리 셀들(다수의 상이한 레벨들을 지원하는 상이한 셀들)의 상이한 조합들을 사용할 수 있다.
VMM 어레이들
도 11은 뉴런 VMM 어레이(1100)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. VMM 어레이(1100)는 비휘발성 메모리 셀들의 메모리 어레이(1101), 및 비휘발성 기준 메모리 셀들의 (어레이의 상부에 있는) 기준 어레이(1102)를 포함한다. 대안적으로, 다른 기준 어레이가 하부에 배치될 수 있다.
VMM 어레이(1100)에서, 제어 게이트 라인(1103)과 같은 제어 게이트 라인들이 수직 방향으로 이어지고(따라서, 로우 방향에서의 기준 어레이(1102)는 제어 게이트 라인(1103)에 직교함), 소거 게이트 라인(1104)과 같은 소거 게이트 라인들이 수평 방향으로 이어진다. 여기서, VMM 어레이(1100)로의 입력들은 제어 게이트 라인들(CG0, CG1, CG2, CG3) 상에 제공되고, VMM 어레이(1100)의 출력은 소스 라인들(SL0, SL1) 상에 나타난다. 일 실시예에서, 짝수 로우들만이 사용되고, 다른 실시예에서, 홀수 로우들만이 사용된다. 각각의 소스 라인(SL0, SL1, 각각) 상에 배치된 전류는 그 특정 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
신경 네트워크들에 대해 본 명세서에 설명된 바와 같이, VMM 어레이(1100)의 비휘발성 메모리 셀들, 즉 VMM 어레이(1100)의 플래시 메모리는 바람직하게는 하위 임계 영역에서 동작하도록 구성된다.
본 명세서에 기술된 비휘발성 기준 메모리 셀들 및 비휘발성 메모리 셀들은 약 반전(weak inversion)으로 바이어싱된다:
Ids = Io * e (Vg- Vth)/nVt = w * Io * e (Vg)/nVt,
여기서, w = e (- Vth)/nVt
여기서 Vg는 메모리 셀 상의 게이트 전압이고; Vth는 메모리 셀의 임계 전압이고; Vt는 열 전압(thermal voltage) = k*T/q이며, k는 볼츠만 상수이고, T는 켈빈 단위 온도이고, q는 전자 전하이고; n은 기울기 인자(slope factor) = 1 + (Cdep/Cox)이고, 여기서 Cdep = 고갈 층의 커패시턴스이고, Cox는 게이트 산화물 층의 커패시턴스이고, Io는 임계 전압과 동일한 게이트 전압에서의 메모리 셀 전류이다. Io 는 (Wt/L)*u*Cox* (n-1) * Vt2에 비례하며, 여기서 u는 캐리어 이동도이고, Wt 및 L은 각각 메모리 셀의 폭 및 길이이다.
메모리 셀(예컨대, 기준 메모리 셀 또는 주변 메모리 셀)을 사용하는 I-V 로그 변환기 또는 입력 전류를 입력 전압으로 변환하기 위한 트랜지스터에 대해:
Vg= n*Vt*log [Ids/wp*Io]
여기서, wp는 기준 또는 주변 메모리 셀의 w이다.
벡터 매트릭스 승산기(VMM) 어레이로서 사용되는 메모리 어레이의 경우, 출력 전류는 다음과 같다:
Iout = wa * Io * e (Vg)/nVt, 즉
Iout = (wa/wp) * Iin = W * Iin
W = e (Vthp - Vtha)/nVt
여기서, wa = 메모리 어레이 내의 각각의 메모리 셀의 w.
워드 라인 또는 제어 게이트가 입력 전압을 위해 메모리 셀에 대한 입력으로서 사용될 수 있다.
대안적으로, 본 명세서에 기술된 VMM 어레이들의 플래시 메모리 셀들은 선형 영역에서 동작하도록 구성될 수 있다:
Ids = beta* (Vgs-Vth)*Vds; beta = u*Cox*Wt/L,
여기서, Wt 및 L은 각각 트랜지스터의 폭 및 길이이고,
W = α (Vgs-Vth)는,
가중치 W가 (Vgs-Vth)에 비례한다는 것을 의미한다.
워드 라인 또는 제어 게이트 또는 비트 라인 또는 소스 라인이 선형 영역에서 동작된 메모리 셀에 대한 입력으로서 사용될 수 있다. 비트 라인 또는 소스 라인은 메모리 셀에 대한 출력으로서 사용될 수 있다.
I-V 선형 변환기에 대해, 저항기 또는 선형 영역에서 동작하는 메모리 셀(예컨대, 기준 메모리 셀 또는 주변 메모리 셀) 또는 트랜지스터는 입력/출력 전류를 입력/출력 전압으로 선형적으로 변환하는 데 사용될 수 있다.
대안적으로, 본 명세서에 기술된 VMM 어레이들의 플래시 메모리 셀들은 포화 영역에서 동작하도록 구성될 수 있다:
Ids = ½ * beta* (Vgs-Vth)2; beta = u*Cox*Wt/L
W = α (Vgs-Vth)2는, 가중치 W가 (Vgs-Vth)2에 비례한다는 것을 의미한다.
워드 라인, 제어 게이트 또는 소거 게이트가 포화 영역에서 동작된 메모리 셀에 대한 입력으로서 사용될 수 있다. 비트 라인 또는 소스 라인은 출력 뉴런에 대한 출력으로서 사용될 수 있다.
대안적으로, 본 명세서에 기술된 VMM 어레이들의 플래시 메모리 셀들은 모든 영역들 또는 이들의 조합(하위 임계, 선형, 또는 포화)에서 사용될 수 있다.
도 9의 VMM 어레이(32)에 대한 다른 실시예들은, 본 명세서에 참고로 포함되는 미국 특허 출원 제15/826,345호에 기술되어 있다. 그 출원에 기술되어 있는 바와 같이, 소스 라인 또는 비트 라인이 뉴런 출력(전류 합산 출력)으로서 사용될 수 있다.
도 12는 뉴런 VMM 어레이(1200)를 도시하며, 이는 도 2에 도시된 바와 같은 메모리 셀들(210)에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들로서 이용된다. VMM 어레이(1200)는 비휘발성 메모리 셀들의 메모리 어레이(1203), 제1 비휘발성 기준 메모리 셀들의 기준 어레이(1201), 및 제2 비휘발성 기준 메모리 셀들의 기준 어레이(1202)를 포함한다. 어레이의 컬럼 방향으로 배열된 기준 어레이들(1201, 1202)은, 단자들(BLR0, BLR1, BLR2, BLR3) 내로 흐르는 전류 입력들을 전압 입력들(WL0, WL1, WL2, WL3)로 변환하는 역할을 한다. 실제로, 제1 및 제2 비휘발성 기준 메모리 셀들은 그들 내로 흐르는 전류 입력들과 다중화기들(1214)(단지 부분적으로 도시됨)을 통해 다이오드 접속된다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다(예컨대, 프로그래밍됨). 타깃 기준 레벨들은 기준 미니 어레이 매트릭스(도시되지 않음)에 의해 제공된다.
메모리 어레이(1203)는 두 가지 목적들을 담당한다. 첫째, 그것은 VMM 어레이(1200)에 의해 사용될 가중치들을 그것의 각자의 메모리 셀들 상에 저장한다. 둘째, 메모리 어레이(1203)는 입력들(즉, 단자들(BLR0, BLR1, BLR2, BLR3)에 제공되는 전류 입력들로서, 기준 어레이들(1201, 1202)이 이들을 워드 라인들(WL0, WL1, WL2, WL3)에 공급할 입력 전압들로 변환함)을 메모리 어레이(1203)에 저장된 가중치들과 유효하게 승산하고, 이어서 모든 결과들(메모리 셀 전류들)을 가산하여 각자의 비트 라인들(BL0 내지 BLN) 상의 출력을 생성하는데, 이는 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 및 가산 함수를 수행함으로써, 메모리 어레이(1203)는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 전압 입력들은 워드 라인들(WL0, WL1, WL2, WL3) 상에 제공되고, 출력은 판독(추론) 동작 동안 각자의 비트 라인들(BL0 내지 BLN) 상에 나타난다. 비트 라인들(BL0 내지 BLN) 각각에 배치된 전류는 그 특정 비트 라인에 접속된 모든 비휘발성 메모리 셀들로부터의 전류들의 합산 함수를 수행한다.
표 5는 VMM 어레이(1200)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 선택되지 않은 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 선택되지 않은 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 선택되지 않은 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타내며, FLT는 플로팅(floating), 즉 전압이 부과되지 않음을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
[표 5]
Figure pct00005
도 13은 뉴런 VMM 어레이(1300)를 도시하며, 이는 도 2에 도시된 바와 같은 메모리 셀들(210)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. VMM 어레이(1300)는 비휘발성 메모리 셀들의 메모리 어레이(1303), 제1 비휘발성 기준 메모리 셀들의 기준 어레이(1301), 및 제2 비휘발성 기준 메모리 셀들의 기준 어레이(1302)를 포함한다. 기준 어레이들(1301, 1302)은 VMM 어레이(1300)의 로우 방향으로 이어진다. VMM 어레이는, VMM 어레이(1300)에서 워드 라인들이 수직 방향으로 이어진다는 점을 제외하고는, VMM(1100)과 유사하다. 여기서, 입력들은 워드 라인들(WLA0, WLB0, WLA1, WLB2, WLA2, WLB2, WLA3, WLB3) 상에 제공되고, 출력은 판독 동작 동안 소스 라인(SL0, SL1) 상에 나타난다. 각각의 소스 라인 상에 배치된 전류는 그 특정 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
표 6은 VMM 어레이(1300)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 선택되지 않은 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 선택되지 않은 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 선택되지 않은 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
[표 6]
Figure pct00006
도 14는 뉴런 VMM 어레이(1400)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. VMM 어레이(1400)는 비휘발성 메모리 셀들의 메모리 어레이(1403), 제1 비휘발성 기준 메모리 셀들의 기준 어레이(1401), 및 제2 비휘발성 기준 메모리 셀들의 기준 어레이(1402)를 포함한다. 기준 어레이들(1401, 1402)은 단자들(BLR0, BLR1, BLR2, BLR3) 내로 흐르는 전류 입력들을 전압 입력들(CG0, CG1, CG2, CG3)로 변환하는 역할을 한다. 실제로, 제1 및 제2 비휘발성 기준 메모리 셀들은 BLR0, BLR1, BLR2, 및 BLR3을 통해 그들 내로 흐르는 전류 입력들과 다중화기들(1412)(단지 부분적으로 도시됨)을 통해 다이오드 접속된다. 다중화기들(1412) 각각은 판독 동작 동안 제1 및 제2 비휘발성 기준 메모리 셀들 각각의 비트 라인(예컨대, BLR0) 상의 일정한 전압을 보장하기 위해 각자의 다중화기(1405) 및 캐스코딩(cascoding) 트랜지스터(1404)를 포함한다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다.
메모리 어레이(1403)는 두 가지 목적들을 담당한다. 첫째, 그것은 VMM 어레이(1400)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1403)는 입력들(단자들(BLR0, BLR1, BLR2, BLR3)에 제공되는 전류 입력들로서, 이에 대해 기준 어레이들(1401, 1402)이 이러한 전류 입력들을 제어 게이트들(CG0, CG1, CG2, CG3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 승산하고, 이어서 모든 결과들(셀 전류들)을 가산하여 출력을 생성하는데, 이는 BL0 내지 BLN 상에 나타나며 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 및 가산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 및 가산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 입력들은 제어 게이트 라인들(CG0, CG1, CG2, CG3) 상에 제공되고, 출력은 판독 동작 동안 비트 라인들(BL0 내지 BLN) 상에 나타난다. 각각의 비트 라인 상에 배치된 전류는 그 특정 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
VMM 어레이(1400)는 메모리 어레이(1403) 내의 비휘발성 메모리 셀들에 대한 단방향 튜닝을 구현한다. 즉, 각각의 비휘발성 메모리 셀은 소거되고, 이어서 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그래밍된다. 이는, 예를 들어, 후술되는 정밀 프로그래밍 기법들을 사용하여 수행될 수 있다. (잘못된 값이 셀에 저장되도록) 너무 많은 전하가 플로팅 게이트 상에 배치되는 경우, 셀은 소거되어야 하고, 부분 프로그래밍 동작들의 시퀀스가 다시 시작되어야 한다. 도시된 바와 같이, 동일한 소거 게이트(예컨대, EG0 또는 EG1)를 공유하는 2개의 로우들이 함께 소거될 필요가 있고(페이지 소거로서 알려짐), 그 후에 각각의 셀은 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그래밍된다.
표 7은 VMM 어레이(1400)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 선택되지 않은 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 선택되지 않은 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 선택되지 않은 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 선택되지 않은 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 선택되지 않은 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 선택되지 않은 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
[표 7]
Figure pct00007
도 15는 뉴런 VMM 어레이(1500)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. VMM 어레이(1500)는 비휘발성 메모리 셀들의 메모리 어레이(1503), 제1 비휘발성 기준 메모리 셀들의 기준 어레이(1501), 및 제2 비휘발성 기준 메모리 셀들의 기준 어레이(1502)를 포함한다. EG 라인들(EGR0, EG0, EG1, EGR1)은 수직으로 이어지는 반면, CG 라인들(CG0, CG1, CG2, CG3) 및 SL 라인들(WL0, WL1, WL2, WL3)은 수평으로 이어진다. VMM 어레이(1500)는, VMM 어레이(1500)가 양방향 튜닝을 구현한다는 점을 제외하고는 VMM 어레이(1400)와 유사하며, 여기서 각각의 개별 셀은 별개의 EG 라인들의 사용으로 인해 플로팅 게이트 상의 원하는 전하량에 도달하기 위해 필요에 따라 완전히 소거되고, 부분적으로 프로그래밍되고, 부분적으로 소거될 수 있다. 도시된 바와 같이, 기준 어레이들(1501, 1502)은 (다중화기들(1514)을 통한 다이오드 접속된 기준 셀들의 액션을 통해) 단자(BLR0, BLR1, BLR2, BLR3) 내의 입력 전류를 로우 방향으로 메모리 셀들에 인가될 제어 게이트 전압들(CG0, CG1, CG2, CG3)로 변환한다. 전류 출력(뉴런)은 비트 라인들(BL0 내지 BLN)에 있으며, 여기서 각각의 비트 라인은 그 특정 비트 라인에 접속된 비휘발성 메모리 셀들로부터의 모든 전류들을 합산한다.
표 8은 VMM 어레이(1500)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 선택되지 않은 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 선택되지 않은 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 선택되지 않은 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 선택되지 않은 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 선택되지 않은 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 선택되지 않은 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그래밍의 동작들을 나타낸다.
[표 8]
Figure pct00008
도 24는 뉴런 VMM 어레이(2400)를 도시하며, 이는 도 2에 도시된 바와 같은 메모리 셀들(210)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. VMM 어레이(2400)에서, 입력들(INPUT0, ..., INPUTN)이 각각 비트 라인들(BL0,...BLN) 상에 수신되고, 출력들(OUTPUT1, OUTPUT2, OUTPUT3, OUTPUT4)은 소스 라인들(SL0, SL1, SL2, SL3) 상에 각각 생성된다.
도 25는 뉴런 VMM 어레이(2500)를 도시하며, 이는 도 2에 도시된 바와 같은 메모리 셀들(210)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, INPUT1, INPUT2, INPUT3)은 소스 라인들(SL0, SL1, SL2, SL3) 상에 각각 수신되고, 출력들(OUTPUT0, OUTPUTN)은 비트 라인들(BL0, ..., BLN) 상에 생성된다.
도 26은 뉴런 VMM 어레이(2600)를 도시하며, 이는 도 2에 도시된 바와 같은 메모리 셀들(210)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTM)은 워드 라인들(WL0, ..., WLM) 상에 각각 수신되고, 출력들(OUTPUT0,... OUTPUTN)은 비트 라인들(BL0, ..., BLN) 상에 생성된다.
도 27은 뉴런 VMM 어레이(2700)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTM)은 워드 라인들(WL0, ..., WLM) 상에 각각 수신되고, 출력들(OUTPUT0,... OUTPUTN)은 비트 라인들(BL0, ..., BLN) 상에 생성된다.
도 28은 뉴런 VMM 어레이(2800)를 도시하며, 이는 도 4에 도시된 바와 같은 메모리 셀들(410)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTn)은 수직 제어 게이트 라인들(CG0, ..., CGN) 상에 각각 수신되고, 출력들(OUTPUT1, OUTPUT2)은 소스 라인들(SL0, SL1) 상에 생성된다.
도 29는 뉴런 VMM 어레이(2900)를 도시하며, 이는 도 4에 도시된 바와 같은 메모리 셀들(410)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTN)은 비트 라인들(BL0, ..., BLN)에 각각 결합된 비트 라인 제어 게이트들(2901-1, 2901-2, ..., 2901-(N-1), 2901-N)의 게이트들 상에 각각 수신된다. 예시적인 출력들(OUTPUT1, OUTPUT2)은 소스 라인들(SL0, SL1) 상에 생성된다.
도 30은 뉴런 VMM 어레이(3000)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310), 도 5에 도시된 바와 같은 메모리 셀들(510), 및 도 7에 도시된 바와 같은 메모리 셀들(710)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTM)은 워드 라인들(WL0, ..., WLM) 상에 수신되고, 출력들(OUTPUT0, ..., OUTPUTN)은 비트 라인들(BL0, ..., BLN) 상에 각각 생성된다.
도 31은 뉴런 VMM 어레이(3100)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310), 도 5에 도시된 바와 같은 메모리 셀들(510), 및 도 7에 도시된 바와 같은 메모리 셀들(710)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTM)은 제어 게이트 라인들(CG0, ..., CGM) 상에 수신된다. 출력들(OUTPUT0, ..., OUTPUTN)은 수직 소스 라인들(SL0, ..., SLN) 상에 각각 생성되며, 여기서 각각의 소스 라인(SLi)은 컬럼(i) 내의 모든 메모리 셀들의 소스 라인 단자들에 결합된다.
도 32는 뉴런 VMM 어레이(3200)를 도시하며, 이는 도 3에 도시된 바와 같은 메모리 셀들(310), 도 5에 도시된 바와 같은 메모리 셀들(510), 및 도 7에 도시된 바와 같은 메모리 셀들(710)에 특히 적합하고, 입력 층과 다음 층 사이의 뉴런들의 부분들 및 시냅스들로서 이용된다. 이 예에서, 입력들(INPUT0, ..., INPUTM)은 제어 게이트 라인들(CG0, ..., CGM) 상에 수신된다. 출력들(OUTPUT0, ..., OUTPUTN)은 수직 비트 라인들(BL0, ..., BLN) 상에 각각 생성되며, 여기서 각각의 비트 라인(BLi)은 컬럼(i) 내의 모든 메모리 셀들의 비트 라인 단자들에 결합된다.
장단기 메모리
종래 기술은 장단기 메모리(LSTM)로 알려진 개념을 포함한다. LSTM 유닛들은 종종 신경 네트워크들에 사용된다. LSTM은 신경 네트워크가 미리결정된 임의의 시간 간격들 동안 정보를 상기시키게 하고 후속 동작들에서 그 정보를 사용할 수 있게 한다. 종래의 LSTM 유닛은 셀, 입력 게이트, 출력 게이트, 및 포겟 게이트(forget gate)를 포함한다. 3개의 게이트들은 셀 내로의 그리고 셀 외부로의 정보의 흐름을 그리고 정보가 LSTM에서 상기되는 시간 간격을 조절한다. VMM들은 LSTM 유닛들에서 특히 유용하다.
도 16은 예시적인 LSTM(1600)을 도시한다. 이 예에서, LSTM(1600)은 셀들(1601, 1602, 1603, 1604)을 포함한다. 셀(1601)은 입력 벡터(x0)를 수신하고 출력 벡터(h0) 및 셀 상태 벡터(c0)를 생성한다. 셀(1602)은 입력 벡터(x1), 셀(1601)로부터의 출력 벡터(은닉 상태)(h0), 및 셀(1601)로부터의 셀 상태(c0)를 수신하고, 출력 벡터(h1) 및 셀 상태 벡터(c1)를 생성한다. 셀(1603)은 입력 벡터(x2), 셀(1602)로부터의 출력 벡터(은닉 상태)(h1), 및 셀(1602)로부터의 셀 상태(c1)를 수신하고, 출력 벡터(h2) 및 셀 상태 벡터(c2)를 생성한다. 셀(1604)은 입력 벡터(x3), 셀(1603)로부터의 출력 벡터(은닉 상태)(h2), 및 셀(1603)로부터의 셀 상태(c2)를 수신하고, 출력 벡터(h3)를 생성한다. 추가의 셀들이 사용될 수 있으며, 4개의 셀들을 갖는 LSTM은 일례일 뿐이다.
도 17은 도 16의 셀들(1601, 1602, 1603, 1604)에 사용될 수 있는 LSTM 셀(1700)의 예시적인 구현예를 도시한다. LSTM 셀(1700)은 입력 벡터(x(t)), 선행 셀로부터의 셀 상태 벡터(c(t-1)), 및 선행 셀로부터의 출력 벡터(h(t-1))를 수신하고, 셀 상태 벡터(c(t)) 및 출력 벡터(h(t))를 생성한다.
LSTM 셀(1700)은 시그모이드 함수 디바이스들(1701, 1702, 1703)을 포함하며, 이들 각각은 입력 벡터 내의 각각의 성분 중 어느 정도가 출력 벡터로 통과될 수 있는지를 제어하기 위해 0과 1 사이의 수를 적용한다. LSTM 셀(1700)은, 또한, 입력 벡터에 하이퍼볼릭 탄젠트 함수를 적용하기 위한 tanh 디바이스들(1704, 1705), 2개의 벡터들을 함께 승산하기 위한 승산기 디바이스들(1706, 1707, 1708), 및 2개의 벡터들을 함께 가산하기 위한 가산 디바이스(1709)를 포함한다. 출력 벡터(h(t))는 시스템 내의 다음 LSTM 셀에 제공될 수 있거나, 그것은 다른 목적들을 위해 액세스될 수 있다.
도 18은 LSTM 셀(1700)의 구현예의 일례인 LSTM 셀(1800)을 도시한다. 독자의 편의를 위해, LSTM 셀(1700)로부터의 동일한 넘버링이 LSTM 셀(1800)에 사용된다. 시그모이드 함수 디바이스들(1701, 1702, 1703) 및 tanh 디바이스(1704) 각각은 다수의 VMM 어레이들(1801) 및 활성화 회로 블록들(1802)을 포함한다. 따라서, VMM 어레이들이 소정의 신경 네트워크 시스템들에서 사용되는 LSTM 셀들에 특히 유용함을 알 수 있다. 승산기 디바이스들(1706, 1707, 1708) 및 가산 디바이스(1709)는 디지털 방식으로 또는 아날로그 방식으로 구현된다. 활성화 함수 블록들(1802)은 디지털 방식으로 또는 아날로그 방식으로 구현될 수 있다.
LSTM 셀(1800)에 대한 대안(및 LSTM 셀(1700)의 구현예의 다른 예)이 도 19에 도시되어 있다. 도 19에서, 시그모이드 함수 디바이스들(1701, 1702, 1703) 및 tanh 디바이스(1704)는 시간 다중화 방식으로 동일한 물리적 하드웨어(VMM 어레이들(1901) 및 활성화 함수 블록(1902))를 공유한다. LSTM 셀(1900)은, 또한, 2개의 벡터들을 함께 승산하기 위한 승산기 디바이스(1903), 2개의 벡터들을 함께 가산하기 위한 가산 디바이스(1908), tanh 디바이스(1705)(활성화 회로 블록(1902)을 포함함), i(t)가 시그모이드 함수 블록(1902)으로부터 출력될 때 값 i(t)를 저장하기 위한 레지스터(1907), 값 f(t) * c(t-1)를 그 값이 다중화기(1910)를 통해 승산기 디바이스(1903)로부터 출력될 때 저장하기 위한 레지스터(1904), 값 i(t) * u(t)를 그 값이 다중화기(1910)를 통해 승산기 디바이스(1903)로부터 출력될 때 저장하기 위한 레지스터(1905), 및 값 o(t) * c~(t)를 그 값이 다중화기(1910)를 통해 승산기 디바이스(1903)로부터 출력될 때 저장하기 위한 레지스터(1906), 및 다중화기(1909)를 포함한다.
LSTM 셀(1800)은 VMM 어레이들(1801) 및 각자의 활성화 함수 블록들(1802)의 다수의 세트들을 포함하는 반면, LSTM 셀(1900)은 LSTM 셀(1900)의 실시예에서 다수의 층들을 나타내는 데 사용되는 VMM 어레이들(1901) 및 활성화 함수 블록(1902)의 하나의 세트만을 포함한다. LSTM 셀(1900)은 LSTM 셀(1800)보다 더 적은 공간을 필요로 할 것인데, 그 이유는 LSTM 셀(1900)이 LSTM 셀(1800)과 비교하여 VMM들 및 활성화 함수 블록들에 대해 1/4만큼의 공간을 요구할 것이기 때문이다.
또한, LSTM 유닛들은 전형적으로 다수의 VMM 어레이들을 포함할 것이며, 이들 각각은 합산기 및 활성화 회로 블록 및 고전압 생성 블록들과 같은, VMM 어레이들 외부의 소정 회로 블록들에 의해 제공되는 기능을 필요로 한다는 것이 이해될 수 있다. 각각의 VMM 어레이에 대해 별개의 회로 블록들을 제공하는 것은 반도체 디바이스 내에서 상당한 양의 공간을 필요로 할 것이고, 다소 비효율적일 것이다.
게이티드 순환 유닛들
아날로그 VMM 구현예가 게이티드 순환 유닛(GRU) 시스템에 이용될 수 있다. GRU들은 순환 신경 네트워크들 내의 게이팅 메커니즘이다. GRU들은, GRU 셀들이 대체적으로 LSTM 셀보다 더 적은 컴포넌트들을 포함하는 것을 제외하고는, LSTM들과 유사하다.
도 20은 예시적인 GRU(2000)를 도시한다. 이 예에서, GRU(2000)는 셀들(2001, 2002, 2003, 2004)을 포함한다. 셀(2001)은 입력 벡터(x0)를 수신하고 출력 벡터(h0)를 생성한다. 셀(2002)은 입력 벡터(x1) 및 셀(2001)로부터의 출력 벡터(h0)를 수신하고, 출력 벡터(h1)를 생성한다. 셀(2003)은 입력 벡터(x2) 및 셀(2002)로부터의 출력 벡터(은닉 상태)(h1)를 수신하고, 출력 벡터(h2)를 생성한다. 셀(2004)은 입력 벡터(x3) 및 셀(2003)로부터의 출력 벡터(은닉 상태)(h2)를 수신하고, 출력 벡터(h3)를 생성한다. 추가의 셀들이 사용될 수 있으며, 4개의 셀들을 갖는 GRU는 일례일 뿐이다.
도 21은 도 20의 셀들(2001, 2002, 2003, 2004)에 사용될 수 있는 GRU 셀(2100)의 예시적인 구현예를 도시한다. GRU 셀(2100)은 선행 GRU 셀로부터 입력 벡터(x(t)) 및 출력 벡터(h(t-1))를 수신하고, 출력 벡터(h(t))를 생성한다. GRU 셀(2100)은 시그모이드 함수 디바이스들(2101, 2102)을 포함하고, 이들 각각은 0과 1 사이의 수를 출력 벡터(h(t-1)) 및 입력 벡터(x(t))로부터의 성분들에 적용한다. GRU 셀(2100)은, 또한, 입력 벡터에 하이퍼볼릭 탄젠트 함수를 적용하기 위한 tanh 디바이스(2103), 2개의 벡터들을 함께 승산하기 위한 복수의 승산기 디바이스들(2104, 2105, 2106), 2개의 벡터들을 함께 가산하기 위한 가산 디바이스(2107), 및 1로부터 입력을 감산하여 출력을 생성하기 위한 상보적 디바이스(2108)를 포함한다.
도 22는 GRU 셀(2100)의 구현예의 일례인 GRU 셀(2200)을 도시한다. 독자의 편의를 위해, GRU 셀(2100)로부터의 동일한 넘버링이 GRU 셀(2200)에 사용된다. 도 22에서 알 수 있는 바와 같이, 시그모이드 함수 디바이스들(2101, 2102) 및 tanh 디바이스(2103) 각각은 다수의 VMM 어레이들(2201) 및 활성화 함수 블록들(2202)을 포함한다. 따라서, VMM 어레이들이 소정의 신경 네트워크 시스템들에서 사용되는 GRU 셀들에 특히 유용함을 알 수 있다. 승산기 디바이스들(2104, 2105, 2106), 가산 디바이스(2107), 및 상보적 디바이스(2108)는 디지털 방식으로 또는 아날로그 방식으로 구현된다. 활성화 기능 블록들(2202)은 디지털 방식으로 또는 아날로그 방식으로 구현될 수 있다.
GRU 셀(2200)에 대한 대안(및 GRU 셀(2300)의 구현예의 다른 예)이 도 23에 도시되어 있다. 도 23에서, GRU 셀(2300)은 VMM 어레이들(2301) 및 활성화 함수 블록(2302)을 이용하며, 활성화 함수 블록은, 시그모이드 함수로서 구성될 때, 입력 벡터 내의 각각의 성분 중 어느 정도가 출력 벡터로 통과될 수 있는지를 제어하기 위해 0과 1 사이의 수를 적용한다. 도 23에서, 시그모이드 함수 디바이스들(2101, 2102) 및 tanh 디바이스(2103)는 시간 다중화 방식으로 동일한 물리적 하드웨어(VMM 어레이들(2301) 및 활성화 함수 블록(2302))를 공유한다. GRU 셀(2300)은, 또한, 2개의 벡터들을 함께 승산하기 위한 승산기 디바이스(2303), 2개의 벡터들을 함께 가산하기 위한 가산 디바이스(2305), 1로부터 입력을 감산하여 출력을 생성하기 위한 상보적 디바이스(2309), 다중화기(2304), 값 h(t-1) * r(t)를 그 값이 다중화기(2304)를 통해 승산기 디바이스(2303)로부터 출력될 때 보유하기 위한 레지스터(2306), 값 h(t-1) *z(t)를 그 값이 다중화기(2304)를 통해 승산기 디바이스(2303)로부터 출력될 때 보유하기 위한 레지스터(2307), 및 값 h^(t) * (1-z(t))를 그 값이 다중화기(2304)를 통해 승산기 디바이스(2303)로부터 출력될 때 보유하기 위한 레지스터(2308)를 포함한다.
GRU 셀(2200)은 VMM 어레이들(2201) 및 활성화 함수 블록들(2202)의 다수의 세트들을 포함하는 반면, GRU 셀(2300)은 GRU 셀(2300)의 실시예에서 다수의 층들을 나타내는 데 사용되는 VMM 어레이들(2301) 및 활성화 함수 블록(2302)의 하나의 세트만을 포함한다. GRU 셀(2300)은 GRU 셀(2200)보다 더 적은 공간을 필요로 할 것인데, 그 이유는 GRU 셀(2300)이 GRU 셀(2200)과 비교하여 VMM들 및 활성화 함수 블록들에 대해 1/3만큼의 공간을 요구할 것이기 때문이다.
또한, GRU 시스템들은 전형적으로 다수의 VMM 어레이들을 포함할 것이며, 이들 각각은 합산기 및 활성화 회로 블록 및 고전압 생성 블록들과 같은, VMM 어레이들 외부의 소정 회로 블록들에 의해 제공되는 기능을 필요로 한다는 것이 이해될 수 있다. 각각의 VMM 어레이에 대해 별개의 회로 블록들을 제공하는 것은 반도체 디바이스 내에서 상당한 양의 공간을 필요로 할 것이고, 다소 비효율적일 것이다.
VMM 어레이들에 대한 입력은 아날로그 레벨, 이진 레벨, 또는 디지털 비트들일 수 있고(이 경우에, DAC는 디지털 비트들을 적절한 입력 아날로그 레벨로 변환하는 데 필요함), 출력은 아날로그 레벨, 이진 레벨, 또는 디지털 비트들일 수 있다(이 경우에, 출력 ADC는 출력 아날로그 레벨을 디지털 비트들로 변환하는 데 필요함).
VMM 어레이 내의 각각의 메모리 셀에 대해, 각각의 가중치(W)는 단일 메모리 셀에 의해 또는 차동 셀에 의해 또는 2개의 블렌드(blend) 메모리 셀들(2개의 셀들의 평균)에 의해 구현될 수 있다. 차동 셀의 경우에, 2개의 메모리 셀들은 차동 가중치(W = W+ W-)로서 가중치(W)를 구현하는 데 필요하다. 2개의 블렌드 메모리 셀들에서, 2개의 메모리 셀들은 2개의 셀들의 평균으로서 가중치(W)를 구현하는 데 필요하다.
VMM 어레이들을 위한 구성가능한 입력 출력 시스템들
도 33은 VMM 시스템(3300)을 도시한다. VMM 시스템(3300)은 VMM 어레이(3301)(이는 VMM 어레이(1100, 1200, 1300, 1400, 1500, 2400, 2500, 2600, 2700, 2800, 2900, 3000 3100, 3200, 또는 다른 VMM 어레이 설계들과 같은, 앞서 논의된 VMM 어레이 설계들 중 임의의 것에 기초할 수 있음), 저전압 로우 디코더(3302), 고전압 로우 디코더(3303), 컬럼 디코더(3304), 컬럼 구동기(3305), 제어 로직(3306), 바이어스 회로(3307), 뉴런 출력 회로 블록(3308), 입력 VMM 회로 블록(3309), 알고리즘 제어기(3310), 고전압 발생기 블록(3311), 아날로그 회로 블록(3315), 및 제어 로직(3316)을 포함한다.
입력 회로 블록(3309)은 외부 입력으로부터 메모리 어레이(3301)의 입력 단자들로의 인터페이스로서 기능한다. 입력 회로 블록(3309)은 제한 없이 DAC(디지털-아날로그 변환기), DPC(디지털-펄스 변환기), APC(아날로그-펄스 변환기), IVC(전류-전압 변환기), AAC(아날로그-아날로그 변환기, 예컨대 전압-전압 스케일러), 또는 FAC(주파수-아날로그 변환기)를 포함할 수 있다. 뉴런 출력 블록(3308)은 메모리 어레이 출력으로부터 외부 인터페이스(도시되지 않음)로의 인터페이스로서 기능한다. 뉴런 출력 블록(3308)은 제한 없이 ADC(아날로그-디지털 변환기), APC(아날로그-펄스 변환기), DPC(디지털-펄스 변환기), IVC(전류-전압 변환기), 또는 IFC(전류-주파수 변환기)를 포함할 수 있다. 뉴런 출력 블록(3308)은 제한 없이 활성화 함수들, 정규화 회로, 및/또는 재조정 회로를 포함할 수 있다.
도 34는 VMM 시스템(3400)을 도시하며, 이는 VMM 어레이들(3401, 3402, 3403, 3404); 고전압 로우 디코더들(3405, 3406); 저전압 로우 디코더들(3407, 3408); 입력 블록들(3409, 3410)(각각은 도 33의 입력 블록(3309)과 유사함); 및 출력 블록들(3411, 3412)을 포함한다. 이러한 구성에서, VMM 어레이들(3401, 3403)은 비트 라인들의 세트뿐만 아니라 출력 블록(3411)을 공유하고, VMM 어레이들(3402, 3404)은 비트 라인들의 세트뿐만 아니라 출력 블록(3412)을 공유한다. VMM 어레이들(3401, 3403)은 동시에 판독될 수 있으며, 이는 그들을 단일의 더 큰 어레이로 조합할 것이고, 또는 그들은 상이한 시간들에 판독될 수 있다. 출력 블록들(3411 및 3412)(도 33의 출력 블록(3308)과 유사함)은 (어레이(3401 또는 3403)만으로부터 판독하는 것과 같이) 한 번에 하나의 어레이로부터의 판독 동작들을 처리할 수 있거나, (어레이들(3401, 3403) 둘 모두로부터 판독하는 것과 같이) 한 번에 다수의 어레이들로부터 판독 동작들을 처리할 수 있도록 구성가능하다.
도 35a는 VMM 시스템(3500)을 도시하며, 이는 VMM 어레이들(3503, 3504, 3505); 공유된 글로벌 고전압 로우 디코더(3506); 로컬 고전압 로우 디코더들(3507, 3508); 공유된 저전압 로우 디코더(3509); 및 입력 블록(3510)을 포함한다. 이러한 구성에서, VMM 어레이들(3503, 3504, 3505)은 입력 블록(3510)을 공유한다. VMM 어레이들(3503, 3504, 3505)은 입력 블록(3510)을 통해 입력들(예컨대, 워드 라인들, 제어 게이트 라인들, 소거 게이트 라인들, 또는 소스 라인들 상의 전압들 또는 펄스들)을 수신할 수 있고, 이는 그들을 단일의 더 큰 VMM 어레이로 효과적으로 조합하며, 또는 그들은 입력 블록(3510)을 통해 상이한 시간들에 입력들을 수신할 수 있고, 이는 그들을 동일한 입력 블록을 갖는 3개의 별개의 VMM 어레이들로서 효과적으로 동작시킨다. 입력 블록(3510)은 한 번에 하나의 어레이에, 또는 한 번에 다수의 어레이들에 입력들을 제공할 수 있도록 구성가능하다.
도 35b는 VMM 시스템(3550)을 도시하며, 이는, VMM 어레이들(3511, 3512, 3513, 3514); 글로벌 고전압 디코더(3515); 로컬 고전압 로우 디코더들(3516, 3517, 3518); 공유된 저전압 로우 디코더(3519); 및 입력 블록(3520)을 포함한다. 이러한 구성에서, VMM 어레이들(3511, 3512, 3513, 3514)은 입력 블록(3520)을 공유한다. VMM 어레이들(3511, 3512, 3513, 3514)은 입력 블록(3520)을 통해 입력들(예컨대, 워드 라인들, 제어 게이트 라인들, 소거 게이트 라인들, 또는 소스 라인들 상의 전압들 또는 펄스들)을 수신할 수 있고, 이는 그들을 단일의 더 큰 어레이로 효과적으로 조합하며, 또는 그들은 입력 블록(3520)을 통해 상이한 시간들에 입력들을 수신할 수 있고, 이는 그들을 동일한 입력 블록(3520)을 갖는 3개의 별개의 VMM 어레이들로서 효과적으로 동작시킨다. 입력 블록(3520)은 한 번에 하나의 어레이에 또는 한 번에 다수의 어레이들에 입력들을 제공할 수 있도록 구성가능하다. 예를 들어, 도 35a의 입력 블록(3510)은 3개의 어레이들에 입력들을 제공하도록 구성되고, 입력 블록(3520)은 4개의 어레이들에 대한 입력들을 제공하도록 구성된다.
도 36은 수평 세트(3601) 및 수평 세트(3611)를 포함하는 VMM 시스템(3600)을 도시한다. 수평 세트(3601)는 VMM 어레이들(3602, 3603); 공유된 글로벌 고전압 로우 디코더(3604); 로컬 고전압 로우 디코더(3605); 공유된 저전압 로우 디코더(3606); 및 입력 블록(3607)을 포함한다. VMM 어레이들(3602, 3603)은 입력 블록(3607)을 공유한다. 입력 블록(3607)은 한 번에 하나의 어레이에 또는 한 번에 다수의 어레이들에 입력들을 제공할 수 있도록 구성가능하다.
수평 세트(3611)는 VMM 어레이들(3612, 3613); 공유된 글로벌 고전압 디코더(3614); 로컬 고전압 로우 디코더들(3615); 공유된 저전압 로우 디코더(3616); 및 입력 블록(3617)을 포함한다. VMM 어레이들(3612, 3613)은 입력 블록(3617)을 공유한다. 입력 블록(3617)은 한 번에 하나의 어레이에 또는 한 번에 다수의 어레이들에 입력들을 제공할 수 있도록 구성가능하다.
제1 구성에서, 수평 세트(3601)는 출력 블록들(3608, 3609)을 이용하고, 수평 세트(3611)는 출력 블록들(3618, 3619)을 이용한다. 출력 블록들(3608, 3609, 3618, 3619)은 출력으로서 전류들, 디지털 펄스들, 또는 디지털 비트들을 출력할 수 있다. 디지털 비트들이 출력되는 일 실시예에서, 출력 블록들(3608, 3609, 3618, 3619) 각각은 8개의 디지털 출력 비트들을 출력한다.
제2 구성에서, 출력 블록들(3608, 3609)은 디스에이블되고, VMM 어레이들(3602, 3612)은 출력 블록(3618)을 공유하고, VMM 어레이들(3603, 3613)은 출력 블록(3619)을 공유한다. VMM 어레이들(3602, 3612)은 동시에 판독될 수 있고, 이는 그들을 단일의 더 큰 수직 어레이(비트 라인당 더 많은 로우들을 의미함)로 효과적으로 조합하며, 또는 그들은 상이한 시간들에 판독될 수 있다. VMM 어레이들(3602, 3612)이 동시에 판독되면, 각각의 출력 블록이 단지 하나의 어레이에 결합될 때 8 비트 범위의 값들을 출력하는 일 실시예에서, 출력 블록들(3608, 3609) 각각은 9 비트 범위의 값들을 출력할 것이다. 이는 2개의 어레이들을 단일의 큰 어레이로서 사용함에 의해 출력 뉴런의 동적 범위가 2배가 된 것으로 인한 것이다. 이 경우에, 다음 어레이가 8 비트의 동적 범위만을 필요로 한다면, 출력은 재스케일링되거나 정규화(예컨대, 9 비트에서 8 비트로 하향 스케일링)될 필요가 있을 수 있다. 다른 실시예에서, 출력 비트들의 수는 수직 어레이들의 개수를 증가시킬 때 동일하게 유지될 수 있다.
유사하게, VMM 어레이들(3603, 3613)은 동시에 판독될 수 있고, 이는 그들을 단일의 더 큰 어레이로 효과적으로 조합하며, 또는 그들은 상이한 시간들에 판독될 수 있다. 출력 블록들(3618, 3619)은 한 번에 하나의 어레이로부터 또는 한 번에 다수의 어레이들로부터 판독 동작들을 처리할 수 있도록 구성가능하다.
VMM 시스템들(3400, 3500, 3550, 3600)에서, 시스템이 각각의 입력 블록 및/또는 출력 블록과 상이한 수의 어레이들을 이용하도록 구성가능한 경우, 입력 블록 또는 출력 블록 자체가 또한 구성가능해야 한다. 예를 들어, VMM 시스템(3600)에서, 출력 블록들(3608, 3609, 3612, 3619)이 각각 단일 어레이에 결합될 때 8-비트 출력을 출력할 경우, 출력 블록들(3618, 3619) 각각은 그것이 2개의 어레이들(예컨대, 각각 어레이들(3602, 3612) 및 어레이들(3603, 3609))에 결합될 때 9-비트 출력을 출력하도록 구성될 필요가 있을 것이다. 이어서, 그러한 출력들이 다른 VMM 시스템의 입력 블록에 제공될 경우, 입력 블록이 9-비트 입력 대신에 8-비트 입력을 기대하는 경우 출력이 먼저 정규화될 필요가 있을 것이다. N-비트 값을 M-비트 값으로 변환하기 위한 많은 아날로그 및 디지털 기법들이 알려져 있다. 전술한 예에서, N은 9일 것이고 M은 8일 것이지만, 당업자는 N 및 M이 임의의 양(positive)의 정수들일 수 있음을 이해할 것이다.
추가적인 어레이들이 VMM 시스템들(3400, 3500, 3550, 3600) 내의 입력 블록들 및 출력 블록들에 결합될 수 있다. 예를 들어, VMM 시스템(3400)에서, 2개 초과의 어레이들이 입력 블록(3409)에 결합될 수 있고 2개 초과의 어레이들이 입력 블록(3410)에 결합될 수 있고; VMM 시스템(3500)에서, 3개 초과의 어레이들이 입력 블록(3510)에 결합될 수 있고; VMM 시스템(3550)에서 4개 초과의 어레이들이 입력 블록(3520)에 결합될 수 있고; VMM 시스템(3600)에서, 2개 초과의 어레이들이 입력 블록(3607)에 결합될 수 있고, 2개 초과의 어레이들이 입력 블록(3617)에 결합될 수 있고, 2개 초과의 어레이들이 출력 블록(3618)에 결합될 수 있고, 2개 초과의 어레이들이 출력 블록(3619)에 결합될 수 있다. 이러한 상황들에서, 관련 입력 블록 및 출력 블록은 추가적인 어레이들을 수용하도록 추가로 구성될 필요가 있다.
VMM 시스템(3400) 내의 출력 블록들(3411, 3412), 및 출력 블록들(3618, 3619)은 프로그래밍 동작 이후의 검증 동작을 위해 구성가능하게 될 필요가 있고, 검증 동작은 출력 블록에 연결된 어레이들의 개수에 의해 영향을 받을 것이다. 또한, 프로그램/소거 검증(튜닝에 사용되는 것으로서, 원하는 셀 전류를 생성하기 위해 메모리의 플로팅 게이트에 특정 전하를 생성하는 것을 의미함)을 위해, 출력 블록 회로의 정확도(예컨대, 10비트)는 추론 판독에 필요한 정확도(예컨대, 8비트)보다 더 커야 한다. 예를 들어, 검증 정확도는 추론 정확도보다 1 비트 이상, 예컨대 1 내지 5 비트만큼 더 크다. 이는, 제한 없이, 검증 결과 분포, 데이터 유지 드리프트, 온도 또는 변동에 대한 것과 같이, 하나의 레벨에서 다음 레벨 사이에 충분한 마진을 보장하기 위해 요구된다.
또한, 도 34, 도 35a, 도 35b, 및 도 36의 입력 블록들(3409, 3410, 3510, 3520, 3607, 3617) 및 출력 블록들(3411, 3412, 3608, 3609, 3618, 3619)은 교정 프로세스들에 대해 구성가능하게 될 필요가 있는데, 이는 교정이 출력 블록에 연결된 어레이들의 개수에 의해 영향을 받을 것이기 때문이다. 교정 프로세스의 예들은 오프셋, 누설, 제조 프로세스, 및 온도 변화들로 인한 변화들을 보상하는 프로세스들을 포함한다.
다음 섹션에서, 입력 블록들 및 출력 블록들이 입력 블록 또는 출력 블록에 결합된 어레이들의 개수에 기초하여 구성될 수 있게 하기 위해 입력 블록들 및 출력 블록들에 사용하기 위한 다양한 조정가능한 컴포넌트들이 개시된다.
입력 블록들 및 출력 블록들의 컴포넌트들
도 37a는 도 34 및 도 36의 출력 블록들(3411, 3412, 3608, 3609, 3618, 3619)과 같은 출력 블록에 사용될 수 있는 적분 이중-혼합 기울기 아날로그-디지털 변환기(ADC)(3700)를 도시하며, 여기서 출력 뉴런, INEU(3706)는 출력 블록에 의해 수신된 VMM 어레이로부터의 출력 전류이다. 적분 이중-혼합 기울기 아날로그-디지털 변환기(ADC)(3700)는 INEU(3706)를 일련의 디지털/아날로그 펄스들 또는 디지털 출력 비트들로 변환한다. 도 37b는 도 37a의 적분 ADC(3700)에 대한 동작 파형을 도시한다. 출력 파형들(3710, 3711, 3714)은 하나의 전류 레벨에 대한 것이다. 출력 파형들(3712, 3713, 3715)은 다른 더 높은 전류 레벨에 대한 것이다. 파형들(3710, 3712)은 출력 전류의 값에 비례하는 펄스 폭들을 갖는다. 파형들(3711, 3713)은 출력 전류의 값에 비례하는 그들의 펄스들의 개수를 갖는다. 파형들(3714, 3715)은 출력 전류의 값에 비례하는 디지털 출력 비트들을 갖는다.
일 실시예에서, ADC(3700)는 (VMM 어레이로부터의 출력 블록에 의해 수신된 아날로그 출력 전류인) INEU(3706)를, 도 38에 도시된 예들에 도시된 바와 같이, 뉴런 출력 블록 내의 아날로그 출력 전류의 크기에 비례하여 변하는 폭을 갖는 디지털 펄스로 변환한다. ADC(3700)는 적분 연산 증폭기(3701), 및 조정 가능한 기준 전류 IREF(3707)에 대해 INEU(3706)를 적분하는 조정가능한 적분 커패시터(3702)로 구성된 적분기를 포함한다. 선택적으로, IREF(3707)는 0의 온도 계수를 갖는, 또는 뉴런 전류 INEU(3706)를 추적하는 온도 계수를 갖는 밴드갭 필터를 포함할 수 있다. 후자는 선택적으로 테스트 단계 동안 결정된 값들을 포함하는 기준 어레이로부터 획득될 수 있다. 초기화 단계 동안, 스위치(3708)가 닫힌다. 이어서, Vout(3703) 및 연산 증폭기(3701)의 음의 단자로의 입력은 VREF 값과 같아질 것이다. 그 후에, 스위치(3708)가 열리고, 고정된 시간 주기 tref 동안, 스위치(S1)가 닫히고, 뉴런 전류 INEU(3706)는 상향-적분된다. 고정된 시간 주기 tref 동안, Vout이 상승하고, 그의 기울기는 뉴런 전류가 변함에 따라 변한다. 그 후에, 주기 tmeas 동안, 스위치 S1을 열고 스위치 S2를 닫음으로써 일정한 기준 전류 IREF가 시간 주기 tmeas 동안(이 주기 동안 Vout은 하강함) 하향 적분되며, 여기서 tmeas는 Vout을 VREF로 하향 적분하는 데 필요한 시간이다.
출력 EC(3705)는 VOUT > VREFV일 때 하이(high)일 것이고, 그렇지 않으면 로우(low)일 것이다. 따라서, EC(3705)는 그의 폭이 주기 tmeas를 반영하는 펄스를 생성하며, 그것은 결국 전류 INEU(3706)(도 37b의 펄스들(3710, 3712))에 비례한다.
선택적으로, 출력 펄스 EC(3705)는 다른 VMM 어레이의 입력 블록과 같은, 회로의 다음 스테이지로의 송신을 위해 균일한 주기의 일련의 펄스로 변환될 수 있다. 주기 tmeas의 시작에서, 출력 EC(3705)는 기준 클록(3741)과 함께 AND 게이트(3740)에 입력된다. 출력은 VOUT > VREF인 주기 동안 펄스 시리즈(3742)일 것이다(여기서 펄스 시리즈(3742) 내의 펄스들의 주파수는 클록(3741)의 주파수와 동일함). 펄스들의 개수는 주기 tmeas에 비례하며, 이는 전류 INEU(3706)(도 37b의 파형들(3711, 3713))에 비례한다.
선택적으로, 펄스 시리즈(3743)는, 펄스 시리즈(3742) 내의 펄스의 개수를 카운트할, 그리고 뉴런 전류 INEU(3706)에 정비례하는, 펄스 시리즈(3742) 내의 펄스의 개수의 디지털 카운트인, 카운트 값(3721)을 생성할 카운터(3720)에 입력될 수 있다. 카운트 값(3721)은 디지털 비트들(도 37b의 파형들(3714, 3715))의 세트를 포함한다.
다른 실시예에서, 적분 이중 기울기 ADC(3700)는 뉴런 전류 INEU(3706)를 펄스로 변환할 수 있으며, 여기서 펄스의 폭은 뉴런 전류 INEU(3706)의 크기에 반비례한다. 이러한 반전은 디지털 또는 아날로그 방식으로 행해질 수 있고, 회로 상에서 후속할 출력을 위해 일련의 펄스들 또는 디지털 비트들로 변환될 수 있다.
조정가능한 적분 커패시터(3702) 및 조정가능한 기준 전류 IREF(3707)는 이중-혼합 기울기 아날로그-디지털 변환기(ADC)(3700)에 연결된 어레이들의 개수(N)에 응답하여 조정된다. 예를 들어, N개의 어레이들이 적분 이중-혼합 기울기 아날로그-디지털 변환기(ADC)(3700)에 연결될 때, 조정가능한 적분 커패시터(3702)는 1/N에 의해 조정되거나, 조정가능한 기준 전류 IREF(3707)는 N에 의해 조정된다.
선택적으로, 교정 단계는 VMM 어레이 또는 제어 회로 내에 존재하는 임의의 누설 전류를 오프셋시키기 위해 VMM 어레이 및 ADC(3700)가 동작 온도에 또는 그 위에 있는 동안 수행될 수 있고, 그 오프셋 값은 그 후에 도 37a에서 Ineu로부터 감산될 수 있다. 교정 단계는 또한 온도 변동에 더하여 프로세스 또는 전압 공급 변동을 보상하도록 수행될 수 있다.
출력 회로 블록들의 동작 방법은 먼저 오프셋 및 전압 공급 변동 보상을 위한 교정을 수행하는 단계를 포함한다. 다음으로, 출력 변환이 수행되고(예컨대, 뉴런 전류를 펄스 또는 디지털 비트들로 변환함), 이어서 출력 범위를 다음의 VMM 어레이의 입력 범위에 정렬시키기 위해 데이터 정규화가 수행된다. 데이터 정규화는 (예컨대, 비트들의 수를 예컨대 10 비트에서 8 비트로 감소시키기 위한) 데이터 압축 또는 출력 데이터 양자화를 포함할 수 있다. 활성화는 출력 변환 후에 또는 데이터 정규화, 압축 또는 양자화 후에 수행될 수 있다. 교정 알고리즘들의 예들이 아래에서 논의되는 도 49, 도 50a, 도 50b, 및 도 51을 참조하여 아래에서 논의된다.
도 39는 전류-전압 변환기(3900)를 도시하며, 이는 선택적으로 뉴런 출력 전류를, 예를 들어, VMM 메모리 어레이의 (예를 들어, WL 또는 CG 라인 상의) 입력으로서 인가될 수 있는 전압으로 변환하는 데 사용될 수 있다. 따라서, 전류-전압 변환기(3900)는 도 34, 도 35a, 도 35b, 및 도 36의 입력 블록들(3409, 3410, 3510, 3520, 3607, 3617)이 (펄스들 또는 디지털 데이터에 비해) 아날로그 전류들을 입력들로서 수신할 때 이들 입력 블록들에서 사용될 수 있다.
전류-전압 변환기(3900)는 연산 증폭기(3901), 조정가능 커패시터(3902), 스위치(3903), 스위치(3904), 및 여기서 입력 블록에 의해 수신된 뉴런 전류 INEU를 나타내는 전류 소스(3905)를 포함한다. 전류-전압 동작 동안, 스위치(3903)는 열릴 것이고, 스위치(3904)는 닫힐 것이다. 출력 Vout은 뉴런 전류 INEU(3905)의 크기에 비례하여 진폭이 증가할 것이다.
도 40은 디지털 데이터-전압 변환기(4000)를 나타내며, 이는 선택적으로 신호 DIN으로서 수신되는 디지털 데이터를, 예를 들어, VMM 메모리 어레이의 (예를 들어, WL 또는CG 라인 상의) 입력으로서 인가될 수 있는 전압으로 변환하는 데 사용될 수 있다. 스위치(4002)가 닫힐 때, 신호 DIN의 데이터 입력은 IREF_u 기준 전류(4001)를 커패시터(4003) 내로 인에이블하여, 커패시터의 단자 상에 전압을 생성할 것이다. 따라서, 디지털 데이터-전압 변환기(4000)는 도 34, 도 35a, 도 35b, 및 도 36의 입력 블록들(3409, 3410, 3510, 3520, 3607, 3617)이 (펄스들 또는 아날로그 전류들에 비해) 디지털 데이터를 입력으로 수신할 때 이들 입력 블록들에서 사용될 수 있다. 또한, 디지털 데이터-전압 변환기(4000)는 신호 DIN으로서 입력에서 수신된 디지털 데이터가 스위치들(4002, 4004)을 열고 스위치(4005)를 닫음으로써 출력 OUT으로 직접 공급되도록 구성될 수 있다. 따라서, 스위치들(4002, 4004, 4005)은 출력 OUT이 커패시터(4003) 상의 전압을 수신하거나 신호 DIN으로서 직접 수신된 디지털 데이터를 수신할 수 있게 하도록 구성된다. 도시된 실시예에서, 신호 DIN은 데이터 펄스들로서 수신된다.
디지털 데이터-전압 펄스 변환기(4000)는 조정가능한 기준 전류(4001), 스위치(4002), 가변 커패시터(4003), 스위치(4004), 및 스위치(4005)를 포함한다. 조정가능한 기준 전류(4001) 및 가변 커패시터(4003)는 디지털 데이터-전압 펄스 변환기(400)가 부착되는 어레이의 크기의 차이에 대해 조정되도록 상이한 값들을 갖도록 구성될 수 있다. 동작 동안, 디지털 데이터는 스위치(4002)를 제어하여, 디지털 데이터가 높을 때마다 스위치(4002)가 닫힌다. 스위치가 닫힐 때, 조정가능한 기준 전류(4001)는 가변 커패시터(4003)를 충전할 것이다. 스위치(4004)는, 어레이가 판독될 준비가 된 때와 같이, 노드 OUT에서 출력을 제공하는 것이 요구될 때마다 닫힌다. 대안적으로, 스위치(4004)는 열릴 수 있고, 스위치(4005)는 닫힐 수 있고 데이터 입력은 출력으로서 통과될 수 있다.
도 41은 아날로그 뉴런 전류를 디지털 데이터로 변환하는 데 선택적으로 사용될 수 있는 구성가능한 아날로그-디지털 변환기(4100)를 도시한다. 구성가능한 아날로그-디지털 변환기(4100)는 도 34 및 도 36의 출력 블록들(3411, 3412, 3608, 3609, 3618, 3619)과 같은 출력 블록에 사용될 수 있으며, 출력 뉴런 INEU(4101)는 출력 블록에 의해 수신된 출력 전류이다.
구성가능한 아날로그-디지털 변환기(4100)는 전류원(4101), 가변 저항기(4102), 및 아날로그-디지털 변환기(4103)를 포함한다. 전류 INEU(4101)는 가변 저항기(4102) Rneu를 가로질러 강하하여 전압 Vneu = Ineu * Rneu를 생성한다. (예컨대, 제한 없이 적분 ADC, SAR ADC, 플래시 ADC, 또는 시그마델타 ADC와 같은) ADC(4103)는 이러한 전압을 디지털 비트들로 변환한다.
도 42는 구성가능한 전류-전압 변환기(4200)를 도시하며, 이는 선택적으로 아날로그 뉴런 전류를, VMM 메모리 어레이의 (예를 들어, WL 또는 CG 라인 상의) 입력으로서 인가될 수 있는 전압으로 변환하는 데 사용될 수 있다. 따라서, 구성가능한 전류-전압 변환기(4200)는 도 34, 도 35a, 도 35b, 및 도 36의 입력 블록들(3409, 3410, 3510, 3520, 3607, 3617)이 (펄스들 또는 디지털 데이터에 비해) 아날로그 전류를 입력으로 수신할 때 이들 입력 블록들에서 사용될 수 있다. 구성가능한 전류-전압 변환기(4200)는 조정가능한 저항기 Rin(4202)을 포함하고 입력 전류 Iin(4201)(수신된 입력 전류임)을 수신하고 Vin(4203), = Iin* Rin을 생성한다.
도 43a 및 도 43b는 입력 블록, 로우 디코더, 또는 출력 블록 내에서 사용될 디지털 비트-펄스 폭 변환기(4300)를 도시한다. 디지털 비트-펄스 폭 변환기(4300)로부터 출력되는 펄스 폭은 디지털 비트들의 값에 비례한다.
디지털 비트-펄스 폭 변환기는 이진 카운터(4301)를 포함한다. 이진 카운터(4301)의 상태 Q [N:0]은 로딩 시퀀스에서 직렬 또는 병렬 데이터에 의해 로딩될 수 있다. 로우 제어 로직(4310)은 도 37에서의 적분 ADC와 같은 블록들로부터 제공되는 디지털 데이터 입력들의 값에 비례하는 펄스 폭을 갖는 전압 펄스 WLEN을 출력한다.
도 43b는 폭이 디지털 비트 값들에 비례하는 출력 펄스 폭에 대한 파형을 도시한다. 먼저, 수신된 디지털 비트들 내의 데이터가 반전되고, 반전된 디지털 비트들은 카운터(4301) 내로 직렬 또는 병렬로 로딩된다. 이어서 로우 펄스 폭이 그것이 최대 카운터 값에 도달할 때까지 이진 방식으로 카운트함으로써 파형(4320)에 도시된 바와 같이 로우 제어 로직(4310)에 의해 생성된다.
DIN에 대해 4비트 값들을 사용하는 예가 표 9에 나타나 있다:
[표 9]
Figure pct00009
선택적으로, 펄스 시리즈-펄스 변환기가, 펄스 시리즈를 포함하는 출력을, 그의 폭이 VMM 어레이 내의 워드 라인 또는 제어 게이트들에 인가될 VMM 어레이에 대한 입력으로서 사용될 펄스 시리즈 내의 펄스들의 개수에 비례하여 변하는 단일 펄스로 변환하는 데 사용될 수 있다. 펄스 시리즈-펄스 변환기의 예는 제어 로직을 갖는 이진 카운터이다.
다른 실시예는 상향 이진 카운터 및 디지털 비교 로직을 이용한다. 즉, 출력 펄스 폭은 이진 카운터의 디지털 출력들이 디지털 입력 비트들과 동일할 때까지 상향 이진 카운터를 사용하여 카운트함으로써 생성된다.
다른 실시예는 하향 이진 카운터를 이용한다. 먼저, 하향 이진 카운터는 직렬로 또는 디지털 데이터 입력 패턴과 병렬로 로딩된다. 다음으로, 출력 펄스 폭은 이진 카운터의 디지털 출력들이 최소값, 즉 '0' 논리 상태에 도달할 때까지 하향 이진 카운터를 카운트 다운함으로써 생성된다.
도 44a는 이진 인덱싱된 펄스 스테이지들(4401-i)을 포함하는 디지털 데이터-펄스 로우 변환기(4400)를 도시하며, 여기서 i는 0으로부터 N까지(즉, 최하위 비트(LSB)로부터 최상위 비트(MSB)까지)의 범위이다. 로우 변환기(4400)는 어레이들에 로우 입력을 제공하는 데 사용된다. 각각의 스테이지(4401-i)는 래치(4402-i), 스위치(4403-i), 및 로우 디지털 이진 인덱싱된 펄스 입력(4404-i)(RDIN_Ti)을 포함한다. 예를 들어, 이진 인덱싱된 펄스 입력(4404-0)(RDIN_T0)은 1 시간 단위, 즉 1*tpls1unit과 동일한 펄스 폭을 갖는다. 이진 인덱싱된 펄스 입력(4404-1)(RDIN_T1)은 2개의 시간 단위들, 즉 2*tpls1unit과 동일한 펄스 폭을 갖는다. 이진 인덱싱된 펄스 입력(4404-2)(RDIN_T2)은 4개의 시간 단위들, 즉 4*tpls1unit과 동일한 펄스 폭을 갖는다, 이진 인덱싱된 펄스 입력(4403-3)(RDIN_T3)은 8개의 시간 단위들, 즉 8*tpls1unit과 동일한 펄스 폭을 갖는다, 각각의 로우에 대한 (뉴런 출력으로부터의) 패턴 DINi의 디지털 데이터가 래치들(4402-i)에 저장된다. 래치(4402-i)의 출력 Qi가 '1' 인 경우, 그것은 스위치(4403-i)를 통해, 이진 인덱싱된 펄스 입력(4404-i)(RDIN_Ti)을 시간 합산 변환기 노드(4408)로 전달할 것이다. 각각의 시간 합산 변환기 노드(4408)는 NAND 게이트(4404)의 각자의 입력에 연결되고, NAND 게이트(4404)의 출력은 레벨 시프팅 인버터(4405)를 통해 로우 변환기(WLIN/CGIN)(4409)의 출력을 생성한다. 시간 합산 변환기 노드(4408)는 공통 클럭 신호 CLK에 응답하여 이진 인덱싱된 펄스 입력들(4404-i)을 순차적으로 합산하는데, 그 이유는 이진 인덱스 펄스 입력(4404-i)(RDIN_Ti)은 순차적인 방식으로 한 번에 하나의 디지털 비트로, 예를 들어 LSB로부터 MSB로, 또는 MSB로부터 LSB로, 또는 임의의 랜덤 비트 패턴으로 활성화되기 때문이다.
도 44b는 예시적인 파형들(4420)을 도시한다. 여기 도시된 것은 로우 디지털 이진 인덱싱된 펄스 입력(4404-i), 구체적으로는 4404-0, 4404-1, 4404-2, 및 4404-3, 및 WL0 및 WL3으로 라벨링된 레벨 시프팅 인버터(4405)로부터의 예시적인 출력들에 대한 예시적인 신호들로서, 여기서 WL0 및 WL3은 로우 변환기(4400) 회로로부터 생성된다. 이 예에서, WL0은 그의 로우 디코더의 로우 디지털 입력(4403-0, 4403-3)이 어써팅(assert)되는 것에 의해 생성되고(WL0: Q0 ='1', Q3 ='1'), WL3은 그의 로우 디코더의 로우 디지털 입력(4403-1, 4403-2)이 어써팅되는 것에 의해 생성된다(WL3: Q1 ='1', Q2 ='1'). 로우 디지털 입력(4403-x) 중 어느 것도 어써팅되지 않은 경우, WL0 또는 WL3에 대한 펄스가 없다(이를 위한 제어 로직은 도 44a에 도시되지 않음). 디지털-펄스 로우 변환기(4400)의 다른 로우들로부터의 입력들, 즉 NAND 게이트(4404)로의 다른 입력들은 이 주기 동안 높은 것으로 가정된다.
도 44c는 로우 디지털 이진 인덱싱된 펄스 입력들(4403-i) (RDIN_Ti)을 생성하는 로우 디지털 펄스 발생기(4410)를 도시하며, 여기서 펄스의 폭은 도 44a에 관하여 위에서 기술된 바와 같이 디지털 비트의 이진 값에 비례한다.
도 45a는 램프 아날로그-디지털 변환기(4400)를 도시하며, 이는 전류 소스(4401)(수신된 뉴런 전류 Ineu를 나타냄), 스위치(4402), 가변 구성가능 커패시터(4403), 및 비교기(4404)를 포함하고, 이는 비반전 입력으로서, Vneu로 표시되는, 가변 구성가능 커패시터(4403)에 걸쳐 생성된 전압, 및 반전 입력으로서 구성가능 기준 전압 Vreframp를 수신하고 출력 Cout을 생성한다. Vreframp는 각각의 비교 클록 사이클과 개별적인 레벨들로 램프 업된다. 비교기(4404)는 Vneu를 Vreframp에 대해 비교하고, 그 결과, 출력 Cout은 Vneu>Vreframp인 경우 "1"일 것이고, 그렇지 않은 경우 "0"일 것이다. 따라서, 출력 Cout은 폭이 Ineu에 응답하여 변하는 펄스일 것이다. 더 큰 Ineu는 Cout이 더 긴 기간 동안 "1"이 되게 하여, 출력 Cout에 대해 더 넓은 펄스를 생성할 것이다. 디지털 카운터(4420)는 출력 Cout의 각각의 펄스를 각각 OT1A 및 OT2A로 표시되는 2개의 상이한 Ineu 전류들에 대해 도 45b에 도시된 바와 같이 디지털 출력 비트들로 변환한다. 대안적으로, 램프 전압 Vreframp는 도 45b의 그래프(4450)에 도시된 바와 같은 연속 램프 전압(4455)이다. 비정밀-미세 램프 변환 알고리즘을 이용함으로써 변환 시간을 감소시키기 위한 다중 램프 실시예가 도 45c에 도시되어 있다. 먼저 비정밀 기준 램프 기준 전압(4471)은 각각의 Ineu에 대한 하위 범위를 알아내기 위해 빠른 방식으로 램프된다. 다음으로, 각자의 하위 범위 내의 Ineu. 전류들을 변환하기 위해 각각의 하위 범위에 대해 각각 미세 기준 램프 기준 전압(4472), 즉 Vreframp1 및 Vreframp2가 각각 사용된다. 도시된 바와 같이, 미세 기준 램프 전압들에 대한 2개의 하위-범위들이 있다. 2개의 비정밀/미세 단계들 또는 2개의 하위-범위들 보다 많은 것이 가능하다.
도 52는 도 37a 및 도 45a의 비교기들(3704, 4404) 대신에 선택적 사용을 위한 비교기(5200)를 도시한다. 비교기(5200)는 정적 비교기(반드시 클록 신호를 이용할 필요는 없음) 또는 동적 비교기(비교 클록 신호를 이용함)일 수 있다. 비교기(5200)가 동적 비교기인 경우, 이는 클록된 교차 결합 인버터 비교기, StrongARM 비교기, 또는 다른 알려진 동적 비교기를 포함할 수 있다. 비교기(5200)는 비정밀 인에이블(5203)이 어써팅될 때 비정밀 비교기로서 동작하고, 비교기(5200)는 미세 인에이블(5204)이 어써팅될 때 미세 비교기로서 동작한다. 선택 신호(5206)는, 선택적으로, 비정밀 비교기 모드 또는 미세 인에이블 모드를 나타내는 데 사용될 수 있거나, 또는, 선택적으로, 비교기(5200)를 정적 비교기 또는 동적 비교기로서 동작하도록 구성하는 데 사용될 수 있다. 비교기(5200)가 동적 비교기로서 역할하는 경우에, 비교기(5200)는 클록 신호(5205)를 수신한다. 동적 비교기로서 동작할 때, 비교기가 비정밀 비교기인 경우 비교 클록 신호(5205)는 제1 주파수의 제1 클록 신호일 것이고, 비교기가 미세 비교기인 경우, 클록 신호(5205)는 제1 주파수보다 큰 제2 주파수의 제2 클록 신호일 것이다. 비교기(5200)는, 비정밀 비교기로서 동작할 때, 더 낮은 정확도 및 더 느린 속도를 가질 것이지만, 비교기(5200)가 미세 비교기로서 동작하는 상황과 비교하여 더 적은 전력을 사용할 것이다. 따라서, 비정밀 비교를 위해 사용되는 동적 비교기는 느린 비교 클록을 이용할 수 있는 반면, 정밀 비교를 위한 동적 비교기 사용은 변환 램핑 주기 동안 빠른 비교 클록을 이용할 수 있다.
비교기(5200)는 도 37a 및 도 45a의 비교기들(3704, 4404)과의 경우에서와 같이 기준 전압(5202)에 대해 어레이 출력(5201)을 비교하고 출력(5205)을 생성한다. 비교기(5200)가 비정밀 비교기로서 동작하는 경우, 기준 전압(5202)은 오프셋 전압일 수 있다.
도 37b 및 도 45b/도 45c에 도시된 것과 같은 디지털 출력 비트들을 생성하는 변환 주기 동안, 비교기(5200)는 비정밀 비교 주기 및 미세 비교 주기 동안 각각 비정밀 비교기로서 그리고 미세 비교기로서 작용할 수 있다. 이러한 디지털 출력 비트 변환의 시작 시에, 미세 또는 하이브리드 비정밀-미세 (비정밀과 미세 병행) 비교 주기가 고정된 주기 동안 실행된다. 다음으로, 비정밀 비교 주기가 실행되고, 이어서 최종적으로 미세 비교가 실행되어 변환을 완료한다.
도 46은 알고리즘 아날로그-디지털 출력 변환기(4600)를 도시하며, 이는 스위치(4601), 스위치(4602), 샘플-앤드-홀드(sample-and-hold, S/H) 회로(4603), 1 비트 아날로그-디지털 변환기(ADC)(4604), 1 비트 디지털-아날로그 변환기(DAC)(4605), 합산기(4606), 및 2개의 잔사 연산 증폭기(2x 연산)(4607)의 이득을 포함한다. 알고리즘 아날로그-디지털 출력 변환기(4600)는 아날로그 입력 Vin 및 스위치들(4602, 4602)에 인가되는 제어 신호들에 응답하여 변환 디지털 출력(4608)을 생성한다. 아날로그 입력 Vin(예컨대, 도 45a의 Vneu)에서 수신된 입력은 스위치(4602)에 의해 S/H 회로(4603)에 의해 먼저 샘플링되고, 이어서 N 비트들을 위한 N 클럭 사이클들에서 변환이 수행된다. 각각의 변환 클럭 사이클에 대해, 1-비트 ADC(4604)는 S/H 전압(4609)을 기준 전압(예컨대, VREF/2, 여기서 VREF는 N 비트에 대한 전체 스케일 전압임)에 대해 비교하고, 디지털 비트(예컨대, 입력 <= VREF/2인 경우 "0" 및 입력 > VREF/2인 경우 "1")를 출력한다. 이어서, 디지털 출력 신호(4608)인 이러한 디지털 비트는 1-비트 DAC(4605)에 의해 아날로그 전압(예컨대, VREF/2 또는 0 V)으로 변환되고, 합산기(4606)에 공급되어 S/H 전압(4609)으로부터 감산된다. 이어서, 2x 잔사 연산 증폭기(4607)는 합산기 차이 전압 출력을 변환 잔사 전압(4610)으로 증폭시키며, 이는 다음 클럭 사이클에 대해 스위치(4601)를 통해 S/H 회로들(4603)에 공급된다. 이러한 1-비트(즉, 2개의 레벨들) 알고리즘 ADC 대신에, 1.5-비트(즉, 3개의 레벨들) 알고리즘 ADC가 ADC(4604) 및 잔사 연산 증폭기(4607)에서와 같은 오프셋의 효과를 감소시키기 위해 사용될 수 있다. 1.5-비트 또는 2-비트(즉, 4개의 레벨들) DAC가 1.5 비트 알고리즘 ADC에 필요하다.
도 47a는 출력 뉴런을 나타내는 셀 전류를 디지털 출력 비트들로 변환하기 위해 출력 뉴런에 적용되는 연속 근사화 레지스터(SAR) 아날로그-디지털 변환기(4700)를 도시한다. SAR ADC(4700)는 SAR(4701), 디지털-아날로그 변환기(4702), 및 비교기(4703)를 포함한다. 셀 전류는 저항기를 가로질러 강하되어 비교기(4703)의 반전 입력에 인가되는 전압 VCELL을 생성할 수 있다. 대안적으로, 셀 전류는 샘플-앤드-홀드 커패시터를 충전하여 (예컨대, 도 45a에 도시된 바와 같은 Vneu와 같은) 전압 VCELL을 생성할 수 있다. 이어서, MSB 비트(최상위 비트)로부터 시작하여 LSB 비트(최하위 비트)로 각각의 비트를 계산하기 위해 이진 검색이 SAR(4701)에 의해 사용된다. SAR(4701)로부터의 디지털 비트들(DN 내지 D0)에 기초하여, DAC(4702)는 비교기(4703)에 적절한 아날로그 기준 전압을 설정하는 데 사용된다. 비교기(4703)에 대한 아날로그 기준 전압의 다음 아날로그 레벨을 선택하기 위해 비교기(4703)의 출력은 차례로 SAR(4701)로 피드백된다. 도 47b에 도시된 바와 같이, 4-비트 디지털 출력 비트들의 예에 대해, 4개의 평가 주기들이 있다: 제1 펄스 평가 DOUT3로서, 범위의 중간점에서 아날로그 기준 전압에 대한 아날로그 레벨을 비교기(4703)에 설정하는 것에 의한 것이고, 이어서, 제2 펄스 평가 DOUT2로서 범위의 중간 지점으로부터 범위의 최대 지점까지의 절반 또는 범위의 중간 지점으로부터 범위의 최소 지점까지의 절반에서 아날로그 기준 전압에 대한 아날로그 레벨을 비교기(4703)에 설정하는 것에 의한 것이다. 그 다음에는 추가 단계들이 따르며, 각각의 단계는 비교기(4703)에 대한 아날로그 기준 전압 레벨을 추가로 세분화한다. SAR(4701)의 연속 출력들은 출력 디지털 비트들이다. 대안적인 SAR ADC 회로는 단지 하나의 기준 레벨 및 연속 비교들을 위한 비율화된 기준 레벨을 연속적으로 생성하는 로컬 SC 비율들을 갖는 스위치드 커패시터(switched cap, SC) 회로이다.
도 48은 셀 전류(4806)(ICELL 또는 Ineu)를 디지털 출력 비트들(4807)로 변환하기 위해 출력 뉴런에 적용되는 시그마 델타 아날로그-디지털 변환기(4800)를 도시한다. 연산 증폭기(4801) 및 구성가능한 커패시터(4805)(Cint)를 포함하는 적분기는 셀 전류(4806)로부터의 전류와 1-비트 전류 DAC(4804)로부터 생성된 구성가능한 기준 전류의 합을 적분하여, 디지털 출력들(4807)을 전류로 변환한다. 비교기(4802)는 비교기(4801)로부터의 적분된 출력 전압 Vint을 기준 전압 VREF2에 대해 비교하고, 비교기(4802)의 출력은 클록된 DFF(4803)의 D 입력에 공급된다. 클록된 DFF(4803)는 비교기(4802)의 출력에 응답하여 디지털 출력 스트림들(4807)을 제공한다. 디지털 출력 스트림(4807)은 디지털 출력 비트들(4807)로서 출력되기 전에 디지털 필터로 공급될 수 있다. 클록된 DFF(4803)에 대한 클록 주기는 상이한 Ineu 범위들에 대해 구성가능하다.
이제 교정 방법들(4900, 5010 5020, 5100)이 도 49, 도 50a, 도 50b, 및 도 51을 참조하여 각각 논의될 것이다. 방법들(4900, 5010, 5020, 5100)은 누설 및/또는 오프셋을 보상한다. 누설은 어레이 누설 및 회로 누설 중 하나 이상을 포함할 수 있다. 어레이 누설은 메모리 셀 누설 및 디코딩 회로들 및 컬럼 기록 회로들 중 하나 이상으로부터의 누설 중 하나 이상을 포함할 수 있다. 오프셋은 어레이 오프셋 및 회로 오프셋 중 하나 이상을 포함할 수 있다. 어레이 오프셋은 메모리 셀 커패시턴스 및 셀 접합 커패시턴스 중 하나 이상으로 인한 어레이 변동으로부터의 오프셋을 포함할 수 있다. 회로 오프셋은 디코딩 회로들 및 컬럼 기록 회로들 중 하나 이상으로부터의 오프셋을 포함할 수 있다.
도 49는 누설 및/또는 오프셋을 보상하기 위한 교정 방법(4900)을 도시한다. 누설 및/또는 오프셋 교정 단계가 수행된다(단계 4901). 누설 및/또는 오프셋이 측정되고, 측정된 양들은 leakage_value 및/또는 offset_value로서 저장된다(단계 4902). LSB는 식: LSB = leakage_value 및/또는 offset_value + deltaLmin을 사용하여 결정된다. 선택적으로, deltaLMin은 프로세스, 온도, 노이즈, 또는 사용 열화로 인한 레벨들 사이의 변동을 보상하고 레벨들 사이의 분리가 적절함을 보장하는 전류 값이다. 선택적으로, deltaLmin은 샘플 데이터 특성화로부터 결정될 수 있다. (단계 4903). MSB는 식: MSB = LSB + (N-1) * deltaL을 사용하여 결정되며, 여기서 N은 레벨들의 개수이고 deltaL은 2개의 연속적인 레벨들 사이의 평균 또는 이상적인 차이와 동일한 델타 레벨 양이다. (단계 4904). 일 실시예에서, DeltaL은 LSB와 동일하다. 다른 실시예에서, DeltaL은 샘플 데이터 특성화로부터 결정된다. DeltaL은 연속적인 레벨들의 상이한 쌍들에 대해 균일하거나 불균일한 값들을 가질 수 있다.
예를 들어, 6-비트 메모리 셀에 대해, 64개의 레벨들의 전류들이 있으며, 이때 각각의 레벨은 N = 64인 신경 네트워크 응용에서의 가중치와 관련된다. 이 단계에서 교정 동안 그리고 측정 단계들 동안 기준 값을 생성하기 위해 최소 오프셋 전류가 주입될 수 있다.
표 10은 4-비트 셀에 대한 예시적인 값들을 포함한다:
[표 10]
Figure pct00010
도 50a 및 도 50b는 실시간 교정 방법(5010) 및 배경 교정 방법(5020) 중 하나 이상을 포함하는 교정 방법(5000)을 도시한다.
실시간 교정 방법(5010)에서, 누설 및/또는 오프셋을 측정하고 측정된 값들을 leakage_value 및/또는 offset_value로서 저장하는 단계를 포함하는 누설 및/또는 오프셋 교정이 수행된다(단계 5011). LSB는 다음 식: LSB 레벨 = leakage_value 및/또는 offset_value + deltaLmin을 사용하여 결정된다. (단계 5012). MSB는 다음 식: MSB = LSB + (N-1)*deltaL을 사용하여 결정되며, 여기서, N은 레벨들의 개수이다(단계 5013) 도 49에 대한 deltaLmin 및 deltaL의 설명이 도 50a에 또한 적용된다. 수치의 예는 다음과 같다: 누설 및 오프셋 = 200pA, deltaLmin = 300pA, LSB = 500pA, deltaL = 400pA, N=16, 그러면 MSB = 500pA + (16-1)*400pA = 6500pA.
배경 교정 방법(5020)에서, offset_value 및/또는 leakage_value + 온도 데이터가 퓨즈(예컨대, 오프셋 및/또는 누설 대 온도에 대한 룩업 테이블)에 저장된다(단계 5021). 이는 백그라운드 교정 단계에서 1회 또는 주기적으로 행해진다. offset_value 및/또는 leakage_value + 온도 데이터가 재호출된다(단계 5022). offset_value 및/또는 leakage_value에 대한 온도 조정은 룩업 테이블 별로 또는 디바이스 트랜지스터 방정식에 의해 수행된다(단계 5023). 이어서, LSB는 다음 식을 사용하여 결정한다: LSB 레벨 = offset_value 및/또는 leakage_value+ deltaLmin(단계 5024). MSB는 다음 식을 사용하여 결정된다: MSB = LSB + (N-1)*deltaL(단계 5025). 도 49에 대한 deltaLmin 및 deltaL의 설명이 도 50b에 또한 적용된다. 온도 조정은 룩업 테이블에 의해 행해지거나 디바이스 방정식(예컨대, 하위 임계치, 선형, 또는 포화 방정식)으로부터 추정(extrapolate)될 수 있다.
도 51a는 자동 누설 및/또는 오프셋 제거를 갖는 교정 및 변환 방법(5100)을 도시한다. 누설 및/또는 오프셋 교정이 수행된다(단계 5101). 누설 및/또는 오프셋은 예컨대 ADC 변환에 의해 측정되고, 측정된 디지털 출력들은 카운터에 저장된다(단계 5102). 뉴런 출력의 변환이 인에이블되고, 카운터가 0에 도달할 때까지 카운터에서 카운트 다운이 수행되고(이는 카운터에 원래 저장되어 있는 누설 및/또는 오프셋을 보상함), 이어서 디지털 출력 비트들에 대해 카운트 업이 수행된다(단계 5103).
도 51b는 방법(5100)의 변형인, 자동 누설 및/또는 오프셋 제거를 갖는 교정 및 변환 방법(5110)을 도시한다. 누설 및/또는 오프셋 교정이 수행된다(단계 5111). 누설 및/또는 오프셋은 예컨대 ADC 변환에 의해 측정되고, 측정된 디지털 출력들은 레지스터에 저장된다(단계 5112). 뉴런 출력의 변환이 인에이블되고, 디지털 출력 비트들에 대해 카운트 업이 수행되고, 이어서 저장된 디지털 출력들이 감산된다(단계 5113).
본 명세서에 사용된 바와 같이, 용어들 "~ 위에" 및 "~ 상에" 둘 모두는 "직접적으로 ~ 상에"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)와 "간접적으로~ 상에"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)를 포괄적으로 포함한다는 것에 유의하여야 한다. 마찬가지로, 용어 "인접한"은 "직접적으로 인접한"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 인접한"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "~에 실장되는"은 "직접적으로 ~에 실장되는"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 ~에 실장되는"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "전기적으로 결합되는"은 "직접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 어떠한 중간 재료들 또는 요소들도 사이에 없음)과 "간접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 중간 재료들 또는 요소들이 사이에 있음)을 포함한다. 예를 들어, "기판 위에" 요소를 형성하는 것은 어떠한 중간 재료들/요소들도 사이에 갖지 않고서 직접적으로 기판 상에 요소를 형성하는 것뿐만 아니라, 하나 이상의 중간 재료들/요소들을 사이에 갖고서 간접적으로 기판 상에 요소를 형성하는 것을 포함할 수 있다.

Claims (44)

  1. 아날로그 신경 메모리 셀들을 위한 출력 회로 블록을 동작시키는 방법으로서,
    누설 및/또는 오프셋을 측정하는 단계;
    상기 측정된 양을 제1 값으로서 저장하는 단계; 및
    식: <LSB = 다음 레벨로 반올림된 상기 제1 값>을 사용하여 메모리 셀에 대한 최하위 비트(LSB)를 결정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    식: <MSB = LSB+(N-1) * 델타 레벨 양>을 사용하여 메모리 셀 범위에 대한 최상위 비트(MSB)를 결정하는 단계를 더 포함하며, N은 레벨들의 총 개수이고, 상기 델타 레벨 양은 2개의 연속적인 레벨들 사이의 차이인, 방법.
  3. 제2항에 있어서, 상기 델타 레벨 양은 LSB와 동일한, 방법.
  4. 제2항에 있어서, 상기 델타 레벨은 미리결정되는, 방법.
  5. 제2항에 있어서, 상기 LSB는 델타 LSB 양을 포함하는, 방법.
  6. 제2항에 있어서, 상기 누설은 어레이 누설 및 회로 누설 중 하나 이상을 포함하는, 방법.
  7. 제6항에 있어서, 상기 어레이 누설은 메모리 셀 누설 및 디코딩 회로 및 컬럼(column) 기록 회로 중 하나 이상으로부터의 누설 중 하나 이상을 포함하는, 방법.
  8. 제2항에 있어서, 상기 오프셋은 어레이 오프셋 및 회로 오프셋 중 하나 이상을 포함하는, 방법.
  9. 제8항에 있어서, 상기 어레이 오프셋은 판독 전용 메모리 셀 커패시턴스 및 셀 접합부 중 하나 이상으로 인한 어레이 변동으로부터의 오프셋을 포함하는, 방법.
  10. 제8항에 있어서, 상기 회로 오프셋은 디코딩 회로 및 컬럼 기록 회로 중 하나 이상으로부터의 오프셋을 포함하는, 방법.
  11. 제2항에 있어서, 상기 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  12. 제2항에 있어서, 상기 측정하는 단계는 아날로그-디지털 변환기를 포함하는 출력 블록에 의해 수행되는, 방법.
  13. 제2항에 있어서, 상기 LSB 단계를 결정하는 단계 및 상기 MSB 단계를 결정하는 단계는 출력 블록에 의해 수행되는, 방법.
  14. 제12항에 있어서, 상기 아날로그-디지털 변환기는 적분 아날로그-디지털 변환기인, 방법.
  15. 제2항에 있어서, 상기 측정하는 단계는 아날로그-디지털 변환을 수행하는 단계를 포함하고, 상기 저장하는 단계는 디지털 출력들을 카운터에 저장하는 단계를 포함하는, 방법.
  16. 제15항에 있어서,
    상기 카운터가 0에 도달할 때까지 상기 저장된 디지털 출력들을 카운트 다운하는 단계; 및
    상기 출력 회로 블록에서 수신된 디지털 비트들을 카운트 업하는 단계를 더 포함하는, 방법.
  17. 아날로그 신경 메모리 셀들을 위한 출력 회로 블록을 동작시키는 방법으로서,
    오프셋 또는 누설을 측정하고 상기 측정된 양을 제1 값으로서 저장하는 단계;
    상기 제1 값을 호출하는 단계;
    온도 조정을 수행하는 단계; 및
    식: <LSB = 다음 레벨로 반올림된 상기 제1 값>을 사용하여 메모리 셀 범위에 대한 최하위 비트(LSB)를 결정하는 단계를 포함하는, 방법.
  18. 제17항에 있어서,
    식: <MSB = LSB+(N-1) * 델타 레벨 양>을 사용하여 메모리 셀 범위에 대한 최상위 비트(MSB)를 결정하는 단계를 더 포함하며, N은 총 레벨들의 개수이고, 상기 델타 레벨 양은 2개의 연속적인 레벨들 사이의 차이인, 방법.
  19. 제18항에 있어서, 상기 델타 레벨 양은 상기 LSB와 동일한, 방법.
  20. 제18항에 있어서, 상기 델타 레벨 양은 미리결정되는, 방법.
  21. 제18항에 있어서, 상기 LSB는 델타 LSB 양을 포함하는, 방법.
  22. 제17항에 있어서, 상기 누설은 어레이 누설 및 회로 누설 중 하나 이상을 포함하는, 방법.
  23. 제22항에 있어서, 상기 어레이 누설은 메모리 셀 누설 및 디코딩 회로 및 컬럼 기록 회로 중 하나 이상으로부터의 누설을 포함하는, 방법.
  24. 제17항에 있어서, 상기 오프셋은 어레이 오프셋 및 회로 오프셋 중 하나 이상을 포함하는, 방법.
  25. 제24항에 있어서, 상기 어레이 오프셋은 판독 전용 메모리 셀 커패시턴스 및 셀 접합부 중 하나 이상으로 인한 어레이 변동으로부터의 오프셋을 포함하는, 방법.
  26. 제24항에 있어서, 상기 회로 오프셋은 디코딩 회로 및 컬럼 기록 회로 중 하나 이상으로부터의 오프셋을 포함하는, 방법.
  27. 제17항에 있어서, 상기 메모리 셀은 분리형 게이트 메모리 셀인, 방법.
  28. 제17항에 있어서, 상기 측정하는 단계는 아날로그-디지털 변환기를 포함하는 출력 블록에 의해 수행되는, 방법.
  29. 제17항에 있어서, 상기 LSB 단계를 결정하는 단계 및 상기 MSB 단계를 결정하는 단계는 상기 출력 블록에 의해 수행되는, 방법.
  30. 제28항에 있어서, 상기 아날로그-디지털 변환기는 적분 아날로그-디지털 변환기인, 방법.
  31. 아날로그 신경 메모리 셀들의 어레이에 결합된 출력 회로 블록으로부터 출력을 생성하는 동안 누설 또는 오프셋을 보상하는 방법으로서,
    디지털 누설 또는 오프셋 값을 생성하기 위해 아날로그-디지털 변환기를 사용하여 상기 출력 회로 블록 값에서의 누설 또는 오프셋을 측정하는 단계;
    상기 디지털 누설 또는 오프셋 값을 카운터 내에 제1 값으로서 저장하는 단계; 및
    상기 누설 또는 오프셋을 보상하는 단계를 포함하는, 방법.
  32. 제31항에 있어서, 상기 보상은 상기 카운터가 0에 도달할 때까지 상기 저장된 제1 값으로부터 카운트 다운하고 이어서 상기 출력을 생성하도록 카운트 업함으로써 상기 카운터를 사용하여 상기 출력 회로 블록의 출력을 측정하는 것에 의한, 방법.
  33. 제31항에 있어서, 상기 보상은 상기 카운터를 사용하여 상기 출력 회로 블록의 출력을 측정하고, 이어서 상기 출력을 생성하기 위해 상기 저장된 제1 값으로부터 상기 출력을 차감하는 것에 의한, 방법.
  34. 제31항에 있어서, 상기 아날로그-디지털 변환기는 적분 아날로그-디지털 변환기를 포함하는, 방법.
  35. 제34항에 있어서, 상기 아날로그-디지털 변환기는 램프 아날로그-디지털 변환기를 포함하는, 방법.
  36. 제31항에 있어서, 상기 아날로그-디지털 변환기는 알고리즘 아날로그-디지털 변환기를 포함하는, 방법.
  37. 제31항에 있어서, 상기 아날로그-디지털 변환기는 시그마 델타 아날로그-디지털 변환기를 포함하는, 방법.
  38. 제31항에 있어서, 상기 아날로그-디지털 변환기는 연속 근사화 레지스터 아날로그-디지털 변환기를 포함하는, 방법.
  39. 제31항에 있어서,
    상기 출력을 전압으로 변환하기 위해 디지털 데이터-전압 변환기가 이용되는, 방법.
  40. 제31항에 있어서,
    상기 출력을 하나 이상의 펄스들로 변환하기 위해 디지털 데이터-펄스 폭 변환기가 이용되며, 상기 하나 이상의 펄스들의 폭은 상기 디지털 데이터의 상기 값에 비례하는, 방법.
  41. 제31항에 있어서, 상기 아날로그 신경 메모리 셀들은 분리형 게이트 플래시 메모리 셀들인, 방법.
  42. 제31항에 있어서, 상기 아날로그 신경 메모리 셀들은 적층형 게이트 플래시 메모리 셀들인, 방법.
  43. 제31항에 있어서, 상기 출력 회로 블록에 의해, 온도를 보상하기 위한 교정을 수행하는 단계를 더 포함하는, 방법.
  44. 제31항에 있어서, 상기 출력 회로 블록에 의해, 프로세스 또는 전압 공급 변동을 보상하기 위한 교정을 수행하는 단계를 더 포함하는, 방법.
KR1020217035930A 2019-05-02 2019-11-18 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 출력 어레이 뉴런 변환 및 교정 KR102657705B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962842279P 2019-05-02 2019-05-02
US62/842,279 2019-05-02
US16/449,205 US20200349422A1 (en) 2019-05-02 2019-06-21 Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network
US16/449,205 2019-06-21
PCT/US2019/062073 WO2020222869A1 (en) 2019-05-02 2019-11-18 Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
KR20210145809A true KR20210145809A (ko) 2021-12-02
KR102657705B1 KR102657705B1 (ko) 2024-04-15

Family

ID=73015948

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217035908A KR20210147032A (ko) 2019-05-02 2019-11-18 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 구성가능한 입력 블록들과 출력 블록들 및 물리적 레이아웃
KR1020217035930A KR102657705B1 (ko) 2019-05-02 2019-11-18 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 출력 어레이 뉴런 변환 및 교정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217035908A KR20210147032A (ko) 2019-05-02 2019-11-18 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 구성가능한 입력 블록들과 출력 블록들 및 물리적 레이아웃

Country Status (7)

Country Link
US (2) US11507642B2 (ko)
EP (2) EP3963513B1 (ko)
JP (3) JP7308290B2 (ko)
KR (2) KR20210147032A (ko)
CN (2) CN113785360A (ko)
TW (2) TWI805909B (ko)
WO (2) WO2020222868A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970630B1 (en) * 2017-06-15 2021-04-06 National Technology & Engineering Solutions Of Sandia, Llc Neuromorphic computing architecture with dynamically accessible contexts
US20210125049A1 (en) * 2019-10-29 2021-04-29 Taiwan Semiconductor Manufacturing Co., Ltd. System for executing neural network
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US20220215239A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
WO2022146468A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
US20220230064A1 (en) * 2021-01-20 2022-07-21 Mediatek Singapore Pte. Ltd. Calibration of analog circuits for neural network computing
US11693560B2 (en) * 2021-01-22 2023-07-04 Taiwan Semiconductor Manufacturing Company, Ltd. SRAM-based cell for in-memory computing and hybrid computations/storage memory architecture
US11720784B2 (en) * 2021-04-01 2023-08-08 Mythic, Inc. Systems and methods for enhancing inferential accuracy of an artificial neural network during training on a mixed-signal integrated circuit
CA3218300A1 (en) 2021-05-07 2022-11-10 Blumind Inc. System, method, and computer device for transistor-based neural networks
TWI769875B (zh) * 2021-06-24 2022-07-01 國立中央大學 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
JP2023088730A (ja) * 2021-12-15 2023-06-27 キオクシア株式会社 演算システム
US11756565B2 (en) 2022-01-25 2023-09-12 Blumind Inc. Analog systems and methods for audio feature extraction and natural language processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020049942A (ko) * 2000-12-20 2002-06-26 박종섭 비트라인의 누설전류 보상이 가능한 풀업회로
US20080310245A1 (en) * 2007-06-15 2008-12-18 Micron Technology, Inc. Digital filters for semiconductor devices
KR20110061650A (ko) * 2008-09-30 2011-06-09 엘에스아이 코포레이션 소프트 데이터 값 생성 방법 및 소프트 데이터 값 생성 시스템
KR20170134444A (ko) * 2015-04-10 2017-12-06 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 온도 보상 회로
KR20180110080A (ko) * 2016-02-08 2018-10-08 스페로 디바이시즈 인코포레이티드 아날로그 코-프로세서
KR20190008912A (ko) * 2016-05-17 2019-01-25 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6346581A (ja) * 1986-08-13 1988-02-27 Toshiba Corp 半導体記憶装置
AU633812B2 (en) * 1988-08-31 1993-02-11 Fujitsu Limited Neurocomputer
US5216746A (en) 1989-02-28 1993-06-01 Fujitsu Limited Error absorbing system in a neuron computer
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
JP3561096B2 (ja) * 1996-09-10 2004-09-02 株式会社東芝 関数学習装置
JP3910707B2 (ja) * 1997-12-01 2007-04-25 松下電器産業株式会社 ディジタル信号処理回路
JP2003263624A (ja) * 2002-03-07 2003-09-19 Matsushita Electric Ind Co Ltd ニューラル・ネットワーク装置の学習演算回路
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
JP2005322198A (ja) * 2004-04-07 2005-11-17 Sony Corp データ処理装置
US7366021B2 (en) * 2005-05-04 2008-04-29 Micron Technology, Inc. Method and apparatus for sensing flash memory using delta sigma modulation
ITTO20070109A1 (it) * 2007-02-14 2008-08-15 St Microelectronics Srl Circuito e metodo di lettura per un dispositivo di memoria non volatile basati sulla generazione adattativa di una grandezza elettrica di riferimento
US7755948B2 (en) * 2008-08-19 2010-07-13 Agere Systems Inc. Process and temperature tolerant non-volatile memory
US7868800B2 (en) * 2008-10-22 2011-01-11 Industrial Technology Research Institute Mixed-signal control apparatus of modulation system
US8473439B2 (en) * 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
TWI530183B (zh) * 2011-12-08 2016-04-11 Sony Corp An imaging element, a control method, and an imaging device
US10217045B2 (en) * 2012-07-16 2019-02-26 Cornell University Computation devices and artificial neurons based on nanoelectromechanical systems
US9164526B2 (en) * 2012-09-27 2015-10-20 Sandisk Technologies Inc. Sigma delta over-sampling charge pump analog-to-digital converter
US8643168B1 (en) * 2012-10-16 2014-02-04 Lattice Semiconductor Corporation Integrated circuit package with input capacitance compensation
US9325321B2 (en) * 2013-03-13 2016-04-26 Microsemi SoC Corporation Background auto-refresh apparatus and method for non-volatile memory array
KR102140787B1 (ko) 2014-07-07 2020-08-03 삼성전자주식회사 저항성 메모리 장치, 저항성 메모리 시스템 및 저항성 메모리 장치의 동작방법
US9654132B2 (en) * 2015-07-08 2017-05-16 Marvell World Trade Ltd. Hybrid charge-sharing charge-redistribution DAC for successive approximation analog-to-digital converters
US10748058B2 (en) * 2015-12-28 2020-08-18 International Business Machines Corporation LUT based neuron membrane potential update scheme in STDP neuromorphic systems
CN108701474B (zh) * 2016-03-18 2022-12-30 株式会社半导体能源研究所 半导体装置及使用该半导体装置的系统
US10123143B2 (en) 2016-09-26 2018-11-06 Cirrus Logic, Inc. Correction for speaker monitoring
US11238887B2 (en) * 2017-01-23 2022-02-01 Dsp Group Ltd. Interface to leaky spiking neurons
JP2018133016A (ja) * 2017-02-17 2018-08-23 株式会社半導体エネルギー研究所 ニューラルネットワークシステム
US10896367B2 (en) 2017-03-07 2021-01-19 Google Llc Depth concatenation using a matrix computation unit
JPWO2018163005A1 (ja) * 2017-03-10 2020-01-23 株式会社半導体エネルギー研究所 タッチパネルシステム、電子機器および半導体装置
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
EP3432226B1 (en) * 2017-07-19 2023-11-01 IMEC vzw Control plane organisation for flexible digital data plane
JP2019028569A (ja) * 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
KR20190020408A (ko) * 2017-08-21 2019-03-04 에스케이하이닉스 주식회사 고 선형성의 투-스텝 싱글-슬롭 비교 장치 및 그에 따른 씨모스 이미지 센서
US10580492B2 (en) * 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10594334B1 (en) * 2018-04-17 2020-03-17 Ali Tasdighi Far Mixed-mode multipliers for artificial intelligence
CN108932548A (zh) * 2018-05-22 2018-12-04 中国科学技术大学苏州研究院 一种基于fpga的稀疏度神经网络加速系统
US10205463B1 (en) 2018-07-18 2019-02-12 Teledyne Scientific & Imaging, Llc Dual-gain single-slope ADC with digital CDS
US10861553B2 (en) * 2018-09-27 2020-12-08 Taiwan Semiconductor Manufacturing Co., Ltd. Device-region layout for embedded flash
US11061646B2 (en) * 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
CN109658471B (zh) * 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
EP3909155B1 (en) * 2019-01-11 2023-11-29 Apple Inc. Method for measurement of ue-to-ue reference signal in new radio networks with cross-link interference
US10756748B1 (en) * 2019-04-26 2020-08-25 Xilinx, Inc. Capacitor-enhanced comparator for switched-capacitor (SC) circuits with reduced kickback
US11562249B2 (en) * 2019-05-01 2023-01-24 International Business Machines Corporation DNN training with asymmetric RPU devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020049942A (ko) * 2000-12-20 2002-06-26 박종섭 비트라인의 누설전류 보상이 가능한 풀업회로
US20080310245A1 (en) * 2007-06-15 2008-12-18 Micron Technology, Inc. Digital filters for semiconductor devices
KR20110061650A (ko) * 2008-09-30 2011-06-09 엘에스아이 코포레이션 소프트 데이터 값 생성 방법 및 소프트 데이터 값 생성 시스템
KR20170134444A (ko) * 2015-04-10 2017-12-06 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 온도 보상 회로
KR20180110080A (ko) * 2016-02-08 2018-10-08 스페로 디바이시즈 인코포레이티드 아날로그 코-프로세서
KR20190008912A (ko) * 2016-05-17 2019-01-25 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기

Also Published As

Publication number Publication date
CN113785311A (zh) 2021-12-10
US20200349422A1 (en) 2020-11-05
JP7308290B2 (ja) 2023-07-13
JP2022539486A (ja) 2022-09-12
WO2020222868A1 (en) 2020-11-05
JP2022531766A (ja) 2022-07-11
EP3963513A1 (en) 2022-03-09
TW202044123A (zh) 2020-12-01
KR20210147032A (ko) 2021-12-06
WO2020222869A1 (en) 2020-11-05
TW202042233A (zh) 2020-11-16
EP3963513B1 (en) 2024-04-17
KR102657705B1 (ko) 2024-04-15
CN113785360A (zh) 2021-12-10
TWI805909B (zh) 2023-06-21
JP2023139013A (ja) 2023-10-03
EP3963587A1 (en) 2022-03-09
TWI805908B (zh) 2023-06-21
US11507642B2 (en) 2022-11-22
US20200349421A1 (en) 2020-11-05

Similar Documents

Publication Publication Date Title
KR102657705B1 (ko) 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리를 위한 출력 어레이 뉴런 변환 및 교정
KR102657246B1 (ko) 딥 러닝 인공 신경망 내의 아날로그 신경 메모리에서 뉴런 전류를 뉴런 전류-기반 시간 펄스들로 변환하기 위한 시스템
KR102361803B1 (ko) 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리의 프로그래밍을 위한 정밀도 튜닝
JP7340101B2 (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置
US20220383086A1 (en) Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US11893478B2 (en) Programmable output blocks for analog neural memory in a deep learning artificial neural network
KR20230110360A (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를위한 디지털 출력 메케니즘
WO2024063792A1 (en) Verification method and system in artificial neural network array
EP4367665A1 (en) Programmable output blocks for analog neural memory in a deep learning artificial neural network
EP4341933A1 (en) Output circuit for analog neural memory in a deep learning artificial neural network

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant