KR102616978B1 - 딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런 - Google Patents

딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런 Download PDF

Info

Publication number
KR102616978B1
KR102616978B1 KR1020207019410A KR20207019410A KR102616978B1 KR 102616978 B1 KR102616978 B1 KR 102616978B1 KR 1020207019410 A KR1020207019410 A KR 1020207019410A KR 20207019410 A KR20207019410 A KR 20207019410A KR 102616978 B1 KR102616978 B1 KR 102616978B1
Authority
KR
South Korea
Prior art keywords
artificial neural
neural network
delete delete
current
circuit
Prior art date
Application number
KR1020207019410A
Other languages
English (en)
Other versions
KR20200096808A (ko
Inventor
히우 반 트랜
스탠리 홍
안 리
투안 부
히엔 팸
카 구옌
한 트랜
Original Assignee
실리콘 스토리지 테크놀로지 인크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 실리콘 스토리지 테크놀로지 인크 filed Critical 실리콘 스토리지 테크놀로지 인크
Publication of KR20200096808A publication Critical patent/KR20200096808A/ko
Application granted granted Critical
Publication of KR102616978B1 publication Critical patent/KR102616978B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers
    • H03F3/45071—Differential amplifiers with semiconductor devices only
    • H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
    • H03F3/45179—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using MOSFET transistors as the active amplifying circuit
    • H03F3/45269—Complementary non-cross coupled types
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F3/00—Amplifiers with only discharge tubes or only semiconductor devices as amplifying elements
    • H03F3/45—Differential amplifiers
    • H03F3/45071—Differential amplifiers with semiconductor devices only
    • H03F3/45076—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier
    • H03F3/45475—Differential amplifiers with semiconductor devices only characterised by the way of implementation of the active amplifying circuit in the differential amplifier using IC blocks as the active amplifying circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/14—Arrangements for performing computing operations, e.g. operational amplifiers for addition or subtraction 
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/18—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals
    • G06G7/184—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals using capacitive elements
    • G06G7/186—Arrangements for performing computing operations, e.g. operational amplifiers for integration or differentiation; for forming integrals using capacitive elements using an operational amplifier comprising a capacitor or a resistor in the feedback loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06G—ANALOGUE COMPUTERS
    • G06G7/00—Devices in which the computing operation is performed by varying electric or magnetic quantities
    • G06G7/12—Arrangements for performing computing operations, e.g. operational amplifiers
    • G06G7/24—Arrangements for performing computing operations, e.g. operational amplifiers for evaluating logarithmic or exponential functions, e.g. hyperbolic functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03F—AMPLIFIERS
    • H03F2203/00—Indexing scheme relating to amplifiers with only discharge tubes or only semiconductor devices as amplifying elements covered by H03F3/00
    • H03F2203/45—Indexing scheme relating to differential amplifiers
    • H03F2203/45524—Indexing scheme relating to differential amplifiers the FBC comprising one or more active resistors and being coupled between the LC and the IC

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Power Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Semiconductor Memories (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)
  • Feedback Control In General (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Complex Calculations (AREA)

Abstract

인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이의 전류 출력을 처리하기 위한 다수의 실시예가 개시된다. 실시예들은 합산기 회로 및 활성화 함수 회로를 포함한다. 합산기 회로 및/또는 활성화 함수 회로는 전력 소비를 최적화하기 위해 VMM으로부터 수신된 총 가능한 전류에 응답하여 조정될 수 있는 회로 요소들을 포함한다.

Description

딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런
우선권 주장
본 출원은 2018년 1월 3일자로 출원된 미국 가특허 출원 제62/613,373호 및 2018년 3월 27일자로 출원된 미국 특허 출원 제15/936,983호에 대한 이익을 주장한다.
기술분야
인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이의 전류 출력을 처리하기 위한 다수의 실시예가 개시된다. 실시예들은 합산기 회로 및 활성화 함수 회로를 포함한다. 합산기 회로 및/또는 활성화 함수 회로는 전력 소비를 최적화하기 위해 VMM으로부터 수신된 총 가능한 전류에 응답하여 조정될 수 있는 회로 요소들을 포함한다.
인공 신경망은 생물학적 신경망(동물의 중추신경계, 특히 뇌)을 모방하는데, 이들은 다수의 입력에 의존할 수 있고 일반적으로 알려져 있지 않은 기능들을 추정하거나 근사화하는 데 이용된다. 인공 신경망은, 일반적으로, 서로 메시지들을 교환하는 상호연결된 "뉴런(neuron)"의 층들을 포함한다.
도 1은 인공 신경망을 예시하며, 여기서 원은 뉴런의 층 또는 입력을 나타낸다. 연접부(시냅스(synapse)들로 지칭됨)는 화살표로 표현되며, 경험에 기초하여 튜닝될 수 있는 수치 가중치를 갖는다. 이는 신경망을 입력에 적응시키고 학습할 수 있게 한다. 전형적으로, 신경망은 다수의 입력들의 층을 포함한다. 전형적으로 뉴런의 하나 이상의 중간 층, 및 신경망의 출력을 제공하는 뉴런의 출력 층이 있다. 각각의 레벨의 뉴런은 개별적으로 또는 집합적으로 시냅스들로부터의 수신된 데이터에 기초하여 결정을 행한다.
고성능 정보 처리를 위한 인공 신경망의 개발에서의 주요 과제들 중 하나는 적절한 하드웨어 기술의 결여이다. 사실상, 실제 신경망은 매우 많은 수의 시냅스들에 의존하여, 뉴런들 사이의 높은 연결성, 즉 매우 높은 계산 병렬성(computational parallelism)을 가능하게 한다. 원칙적으로, 그러한 복잡성은 디지털 슈퍼컴퓨터들 또는 특수 그래픽 처리 유닛 클러스터들로 달성될 수 있다. 그러나, 고비용에 더하여, 이들 접근법은 또한 주로 저-정밀 아날로그 계산을 수행하기 때문에 훨씬 적은 에너지를 소비하는 생물학적 망(biological network)과 비교하여 평범한 에너지 효율을 겪는다. CMOS 아날로그 회로가 인공 신경망에 사용되어 왔지만, 대부분의 CMOS-구현된 시냅스들은 많은 수의 뉴런들 및 시냅스들이 주어지면 너무 부피가 커졌다.
출원인은, 참고로 포함되는, 미국 특허 출원 제15/594,439호에서 하나 이상의 비휘발성 메모리 어레이를 시냅스로서 이용하는 인공 (아날로그) 신경망을 이전에 개시하였다. 비휘발성 메모리 어레이들은 아날로그 뉴로모픽 메모리로서 동작한다. 신경망 디바이스는 제1 복수의 입력들을 수신하고 그로부터 제1 복수의 출력들을 생성하도록 구성된 제1 복수의 시냅스들, 및 제1 복수의 출력들을 수신하도록 구성된 제1 복수의 뉴런들을 포함한다. 제1 복수의 시냅스들은 복수의 메모리 셀들을 포함하는데, 여기서 메모리 셀들 각각은 반도체 기판 내에 형성되고 채널 영역이 사이에 연장되는 이격된 소스 영역과 드레인 영역, 채널 영역의 제1 부분 위에 배치되고 그로부터 절연되는 플로팅 게이트, 및 채널 영역의 제2 부분 위에 배치되고 그로부터 절연되는 비-플로팅 게이트를 포함한다. 복수의 메모리 셀들 각각은 플로팅 게이트 상의 전자들의 수에 대응하는 가중치 값을 저장하도록 구성된다. 복수의 메모리 셀들은 제1 복수의 입력들을 저장된 가중치 값들과 곱하여 제1 복수의 출력들을 생성하도록 구성된다.
아날로그 뉴로모픽에서 사용되는 각각의 비휘발성 메모리 셀은 플로팅 게이트에서 매우 특정적이고 정확한 양의 전하를 유지하도록 소거되고 프로그램되어야 한다. 예를 들어, 각각의 플로팅 게이트는 N개의 상이한 값 중 하나를 유지해야 하며, 여기서 N은 각각의 셀에 의해 표시될 수 있는 상이한 가중치들의 수이다. N의 예는 16, 32 및 64를 포함한다.
출원인은 또한, 참고로 포함되는, 미국 특허 출원 제15/826,345호에서 인공 신경망에 사용되는 아날로그 뉴로모픽 메모리를 튜닝하기 위한 개선된 메커니즘 및 알고리즘을 개시하였다.
아날로그 네오모픽 메모리를 이용하는 인공 신경망들은 전형적으로 각각의 VMM 스테이지 뒤에 합산기 및 활성화 함수 회로를 포함한다. 합산기는 VMM으로부터의 전류 신호를 전압 신호로 변환하고, 이어서 활성화 함수 회로는 전압 신호를 정규화하고 정규화된 전류 신호를 생성하며, 이는 이어서 다음 VMM 스테이지에 제공될 수 있다. 종래 기술의 합산기 및 활성화 회로들은 전형적으로 유연하지 않으며, 각각의 특정 VMM 어레이에 대해 구성될 수 없다. 이것은 문제가 되는데, 그 이유는 VMM들이 그들이 출력할 수 있는 전류의 최대 레벨에서 다를 수 있기 때문이다.
필요한 것은 합산기 및 활성화 회로들이 특정 VMM의 특성들을 고려하도록 조정되거나 트리밍될 수 있는, 인공 신경망에서 사용하기 위한 개선된 합산기 및 활성화 회로들이다.
인공 신경망에서 VMM(vector-by-matrix multiplication) 어레이의 전류 출력을 처리하기 위한 다수의 실시예가 개시된다. 실시예들은 합산기 회로 및 활성화 함수 회로를 포함한다. 합산기 회로 및/또는 활성화 함수 회로는 전력 소비를 최적화하기 위해 VMM으로부터 수신된 총 가능한 전류에 응답하여 조정될 수 있는 회로 요소들을 포함한다.
도 1은 인공 신경망을 예시하는 다이어그램이다.
도 2는 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 3은 종래의 4-게이트 비휘발성 메모리 셀의 측단면도이다.
도 4는 종래의 3-게이트 비휘발성 메모리 셀의 측단면도이다.
도 5는 다른 종래의 2-게이트 비휘발성 메모리 셀의 측단면도이다.
도 6은 비휘발성 메모리 어레이를 활용하는 상이한 레벨들의 예시적인 인공 신경망을 예시하는 다이어그램이다.
도 7은 벡터 승수 행렬을 예시하는 블록도이다.
도 8은 다양한 레벨의 벡터 승수 행렬을 예시하는 블록도이다.
도 9는 인공 신경망에서 사용하기 위한 비휘발성 메모리 셀들의 어레이를 도시한다.
도 10은 도 9의 비휘발성 메모리 셀들에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 11은 인공 신경망에서 사용하기 위한 비휘발성 메모리 셀들의 어레이를 도시한다.
도 12는 도 11의 비휘발성 메모리 셀들에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 13은 인공 신경망에서 사용하기 위한 비휘발성 메모리 셀들의 어레이를 도시한다.
도 14는 도 13의 비휘발성 메모리 셀들에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 15는 인공 신경망에서 사용하기 위한 비휘발성 메모리 셀들의 어레이를 도시한다.
도 16은 도 15의 비휘발성 메모리 셀들에 대한 동작들을 수행하기 위한 동작 전압들을 도시한다.
도 17은 합산기 및 활성화 함수 회로들에 결합된 VMM 어레이들을 도시한다.
도 18은 도 17로부터의 활성화 함수 회로들의 입력-출력 특성들의 플롯을 도시한다.
도 19는 종래 기술의 합산기 회로를 도시한다.
도 20은 조정 가능 합산기 회로의 실시예를 도시한다.
도 21은 가변 저항기의 실시예를 도시한다.
도 22는 제어 회로의 실시예를 도시한다.
도 23은 조정 가능 합산기 회로의 실시예를 도시한다.
도 24는 차동 조정 가능 합산기 회로의 실시예를 도시한다.
도 25는 VMM 어레이, 합산기 회로, 활성화 함수 회로, 및 제어 회로를 포함하는 인공 신경망 스테이지의 실시예를 도시한다.
도 26은 기준 제어 회로를 도시한다.
도 27은 조정 가능 합산기 회로의 실시예를 도시한다.
도 28은 조정 가능 합산기 회로의 실시예를 도시한다.
도 29는 차동 조정 가능 합산기 회로의 실시예를 도시한다.
도 30은 활성화 함수 회로의 실시예를 도시한다.
도 31은 연산 증폭기의 실시예를 도시한다.
도 32는 고전압 연산 증폭기의 실시예를 도시한다.
본 발명의 인공 신경망은 CMOS 기술과 비휘발성 메모리 어레이들의 조합을 이용한다.
비휘발성 메모리 셀들
디지털 비휘발성 메모리들이 잘 알려져 있다. 예를 들어, 미국 특허 제5,029,130호("'130 특허")가 분리형 게이트 비휘발성 메모리 셀들의 어레이를 개시하고 있으며, 모든 목적을 위해 본 명세서에 참고로 포함된다. 그러한 메모리 셀이 도 2에 도시되어 있다. 각각의 메모리 셀(210)은 반도체 기판(12) 내에 형성된 소스 영역(14) 및 드레인 영역들(16)을 포함하며, 채널 영역(18)이 그들 사이에 있다. 플로팅 게이트(20)가 소스 영역(16)의 일부분 위에, 그리고 채널 영역(18)의 제1 부분 위에 형성되고 그로부터 절연된다(그리고 그의 전도율을 제어한다). 워드 라인 단자(22)(전형적으로 워드 라인에 결합됨)가 채널 영역(18)의 제2 부분 위에 배치되고 그로부터 절연되는(그리고 그의 전도율을 제어하는) 제1 부분, 및 위쪽으로 그리고 플로팅 게이트(20) 위로 연장되는 제2 부분을 갖는다. 플로팅 게이트(20) 및 워드 라인 단자(22)는 게이트 산화물에 의해 기판(12)으로부터 절연된다. 비트 라인(24)이 드레인 영역(16)에 결합된다.
메모리 셀(210)은 워드 라인 단자(22) 상에 높은 포지티브 전압을 배치함으로써 소거되는데(여기서 전자들이 플로팅 게이트로부터 제거됨), 이는 플로팅 게이트(20) 상의 전자들이 파울러-노드하임 터널링(Fowler-Nordheim tunneling)을 통해 중간 절연체를 통과하여 플로팅 게이트(20)로부터 워드 라인 단자(22)로 터널링하게 한다.
메모리 셀(210)은 워드 라인 단자(22) 상에 포지티브 전압을, 그리고 소스(16) 상에 포지티브 전압을 배치함으로써 프로그램된다(여기서 전자들이 플로팅 게이트 상에 배치됨). 전자 전류가 소스(16)로부터 드레인(14)을 향해 흐를 것이다. 전자들은 그들이 워드 라인 단자(22)와 플로팅 게이트(20) 사이의 갭에 도달할 때 가속되고 가열될 것이다. 가열된 전자들 중 일부는 플로팅 게이트(20)로부터의 정전 인력으로 인해 게이트 산화물(26)을 통과하여 플로팅 게이트(20) 상으로 주입될 것이다.
메모리 셀(210)은 드레인(14) 및 워드 라인 단자(22) 상에 포지티브 판독 전압들을 배치함(이는 워드 라인 단자 아래의 채널 영역을 턴 온시킴)으로써 판독된다. 플로팅 게이트(20)가 포지티브로 대전되면(즉, 전자들이 소거되고 드레인(16)에 포지티브로 결합되면), 플로팅 게이트(20) 아래의 채널 영역의 부분이 또한 턴 온되고, 전류가 채널 영역(18)을 가로질러 흐를 것이며, 이는 소거 또는 "1" 상태로 감지된다. 플로팅 게이트(20)가 네거티브로 대전되면(즉, 전자들로 프로그램되면), 플로팅 게이트(20) 아래의 채널 영역의 부분은 대부분 또는 완전히 턴 오프되고, 전류가 채널 영역(18)을 가로질러 흐르지 않을 것이며(또는 흐름이 거의 없을 것이며), 이는 프로그램된 또는 "0" 상태로 감지된다.
표 1은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(210)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 1]
다른 분리형 게이트 메모리 셀 구성들이 알려져 있다. 예를 들어, 도 3은 소스 영역(14), 드레인 영역(16), 채널 영역(18)의 제1 부분 위의 플로팅 게이트(20), 채널 영역(18)의 제2 부분 위의 선택 게이트(28)(전형적으로 워드 라인에 결합됨), 플로팅 게이트(20) 위의 제어 게이트(22), 및 소스 영역(14) 위의 소거 게이트(30)를 포함하는 4-게이트 메모리 셀(310)을 도시한다. 이러한 구성은, 모든 목적을 위해 본 명세서에 참고로 포함되는, 미국 특허 제6,747,310호에 기재되어 있다. 여기서, 모든 게이트들은 플로팅 게이트(20)를 제외한 비-플로팅 게이트들이며, 이는 그것들이 전압원에 전기적으로 접속되어 있거나 접속가능하다는 것을 의미한다. 프로그래밍은 채널 영역(18)으로부터의 가열된 전자들이 플로팅 게이트(20) 상으로 자신들을 주입하는 것에 의해 나타난다. 소거는 전자들이 플로팅 게이트(20)로부터 소거 게이트(30)로 터널링하는 것에 의해 나타난다.
표 2는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(310)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 2]
도 4는 분리형 게이트 3-게이트 메모리 셀(410)을 도시한다. 메모리 셀(410)은, 메모리 셀(410)이 별개의 제어 게이트를 갖지 않는다는 점을 제외하고는, 도 3의 메모리 셀(310)과 동일하다. 소거 동작(소거 게이트를 통하여 소거함) 및 판독 동작은, 제어 게이트 바이어스가 없다는 점을 제외하고는, 도 3의 것과 유사하다. 프로그래밍 동작은 또한 제어 게이트 바이어스 없이 행해지고, 따라서 소스 라인 상의 프로그램 전압은 제어 게이트 바이어스의 결여를 보상하기 위해 더 높다.
표 3은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(410)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 3]
도 5는 적층 게이트 메모리 셀(510)을 도시한다. 메모리 셀(510)은, 절연 층에 의해 분리되어, 플로팅 게이트(20)가 전체 채널 영역(18) 위로 연장되고, 제어 게이트(22)가 플로팅 게이트(20) 위로 연장된다는 점을 제외하고는, 도 2의 메모리 셀(210)과 유사하다. 소거, 프로그래밍, 및 판독 동작은 메모리 셀(210)에 대해 이전에 설명된 것과 유사한 방식으로 동작한다.
표 4는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 메모리 셀(510)의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다:
[표 4]
인공 신경망에서 위에서 설명된 비휘발성 메모리 셀들의 유형들 중 하나를 포함하는 메모리 어레이들을 이용하기 위해, 두 가지 수정이 이루어진다. 첫째, 라인들은, 하기에서 추가로 설명되는 바와 같이, 각각의 메모리 셀이 어레이 내의 다른 메모리 셀들의 메모리 상태에 악영향을 미치지 않으면서 개별적으로 프로그램, 소거, 및 판독될 수 있도록 재구성된다. 둘째, 메모리 셀들의 연속적인 (유사한) 프로그래밍이 제공된다.
구체적으로, 어레이 내의 각각의 메모리 셀들의 메모리 상태(즉, 플로팅 게이트 상의 전하)는, 독립적으로 그리고 다른 메모리 셀들의 교란을 최소화시킨 상태로, 완전 소거 상태로부터 완전 프로그램된 상태로 연속적으로 변경될 수 있고, 그 역으로도 가능하다. 이것은 셀 저장소가 유사하거나 또는 적어도, 많은 개별 값들(예컨대 16개 또는 32개의 상이한 값) 중 하나를 저장할 수 있음을 의미하는데, 이는 메모리 어레이 내의 모든 셀들의 매우 정밀하고 개별적인 튜닝을 허용하고, 메모리 어레이를 신경망의 시냅스 가중치들에 대한 미세 튜닝 조정을 저장하고 행하는 데 이상적인 것으로 되게 한다.
비휘발성 메모리 셀 어레이들을 채용한 신경망들
도 6은 비휘발성 메모리 어레이를 활용하는 신경망의 비제한적인 예를 개념적으로 예시한다. 이 예는 얼굴 인식 애플리케이션에 대해 비휘발성 메모리 어레이 신경망을 이용하지만, 비휘발성 메모리 어레이 기반 신경망을 이용하여 임의의 다른 적절한 애플리케이션이 구현될 수 있다.
S0은, 이 예에 대해, 5 비트 정밀도를 갖는 32x32 픽셀 RGB 이미지(즉, 각각의 색상 R, G 및 B에 대해 하나씩인 3개의 32x32 픽셀 어레이들, 각각의 픽셀은 5 비트 정밀도임)인 입력이다. S0으로부터 C1로 가는 시냅스들(CB1)은 가중치들 및 공유 가중치들의 상이한 세트들 양측 모두를 가지며, 입력 이미지를 3x3 픽셀 중첩 필터들(커널(kernel))로 스캔하여, 필터를 1 픽셀(또는 모델별로 지시되는 바와 같이 1 초과 픽셀)만큼 시프트시킨다. 구체적으로, 이미지의 3x3 부분 내의 9개 픽셀들(즉, 필터 또는 커널로 지칭됨)에 대한 값들이 시냅스들(CB1)에 제공되고, 이에 의해, 이들 9개의 입력 값들이 적절한 가중치들과 곱해지고, 그 승산의 출력들을 합산한 후, 단일 출력 값이 결정되고, 피처 맵(feature map)(C1)의 층들 중 하나의 층의 픽셀을 생성하기 위해 CB1의 제1 뉴런에 의해 제공된다. 이어서, 3x3 필터가 하나의 픽셀씩 우측으로 시프트되고(즉, 우측에 3개 픽셀들의 컬럼(column)을 추가하고, 좌측에서 3개 픽셀들의 컬럼을 뺌), 이에 의해 이러한 새롭게 위치된 필터에서의 9개 픽셀 값들이 시냅스들(CB1)에 제공되고, 이에 의해 이들은 동일한 가중치들과 곱해지고, 제2 단일 출력 값이 연관된 뉴런에 의해 결정된다. 이러한 프로세스는, 3개의 모든 색상들에 대해 그리고 모든 비트들(정밀도 값들)에 대해, 3x3 필터가 전체 32x32 픽셀 이미지를 가로질러서 스캔할 때까지 계속된다. 이어서, 프로세스는, 층(C1)의 모든 피처 맵들이 계산될 때까지, 가중치들의 상이한 세트들을 사용하여 반복되어 C1의 상이한 피처 맵을 생성한다.
C1에서, 본 예에서, 각각 30x30 픽셀들을 갖는 16개 피처 맵들이 있다. 각각의 픽셀은 입력들과 커널을 곱하는 것으로부터 추출된 새로운 피처 픽셀이고, 따라서 각각의 피처 맵은 2 차원 어레이이고, 따라서, 이러한 예에서, 시냅스들(CB1)은 2차원 어레이들의 16개 층들을 구성한다(본 명세서에서 언급된 뉴런 층들 및 어레이들은 반드시 물리적 관계인 것이 아니라 논리적 관계임 - 즉, 어레이들은 반드시 물리적으로 2차원 어레이들로 배향되지는 않음 - 에 유념한다). 16개 피처 맵들 각각은 필터 스캔에 적용되는 시냅스 가중치들의 상이한 16개 세트들 중 하나의 세트에 의해 생성된다. C1 피처 맵들은 모두, 경계 식별과 같은 동일한 이미지 피처의 상이한 태양들에 관한 것일 수 있다. 예를 들어, (제1 맵을 생성하는 데 사용되는 모든 스캔을 위해 공유되는 제1 가중치 세트를 사용하여 생성된) 제1 맵은 원형 에지들을 식별할 수 있고, (제1 가중치 세트와는 상이한 제2 가중치 세트를 사용하여 생성된) 제2 맵은 직사각형 에지들, 또는 특정 피처들의 종횡비 등을 식별할 수 있다.
활성화 함수(P1)(풀링(pooling))는 C1로부터 S1로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. 풀링 스테이지의 목적은, 예를 들어 에지 위치의 의존성을 감소시키고 다음 스테이지로 가기 전에 데이터 크기를 감소시키기 위해 인근 위치를 평균하는 것이다(또는 최대 함수가 또한 사용될 수 있음). S1에는, 16개 15x15 피처 맵들(즉, 각각 15x15 픽셀들의 상이한 16개 어레이들)이 있다. S1로부터 C2로 가는 CB2 내의 시냅스들 및 연관된 뉴런들은 1 픽셀의 필터 시프트를 갖는 4x4 필터들로 S1 내의 맵들을 스캔한다. C2에는, 22개 12x12 피처 맵들이 있다. 활성화 함수(P2)(풀링)가 C2로부터 S2로 가기 전에 적용되는데, 이는 각각의 피처 맵 내의 연속적인 비중첩 2x2 영역들로부터의 값들을 풀링한다. S2에는, 22개 6x6 피처 맵들이 있다. 활성화 함수가 S2로부터 C3으로 가는 시냅스들(CB3)에서 적용되며, 여기서 C3 내의 모든 뉴런은 S2 내의 모든 맵에 연결된다. C3에는, 64개 뉴런들이 있다. C3으로부터 출력(S3)으로 가는 시냅스들(CB4)은 S3을 C3에 완전히 연결한다. S3에서의 출력은 10개 뉴런들을 포함하고, 여기서 최고 출력 뉴런이 분류를 결정한다. 이러한 출력은, 예를 들어, 원래의 이미지의 콘텐츠의 식별 또는 분류를 나타낼 수 있다.
시냅스들의 각각의 레벨은 비휘발성 메모리 셀들의 어레이 또는 그들의 어레이의 일부분을 사용하여 구현된다. 도 7은 비휘발성 메모리 셀들을 포함하고 입력 층과 다음 층 사이의 시냅스들로서 활용되는 VMM(vector-by-matrix multiplication) 어레이의 블록도이다. 구체적으로, VMM(32)은 비휘발성 메모리 셀들(33)의 어레이, 소거 게이트 및 워드 라인 게이트 디코더(34), 제어 게이트 디코더(35), 비트 라인 디코더(36) 및 소스 라인 디코더(37)를 포함하며, 이들은 메모리 어레이(33)에 대한 입력들을 디코딩한다. 이 예에서의 소스 라인 디코더(37)는 또한 메모리 셀 어레이의 출력을 디코딩한다. 메모리 어레이는 두 가지 목적을 제공한다. 첫째, 그것은 VMM에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이는 입력들을 메모리 어레이에 저장된 가중치들과 유효하게 곱하여 출력을 생성하며, 이는 다음 층으로의 입력 또는 최종 층으로의 입력일 것이다. 승산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 원위치 메모리 계산으로 인해 전력 효율적이다.
메모리 어레이의 출력은 차동 합산기(예컨대, 합산 연산 증폭기)(38)에 공급되고, 이는 메모리 셀 어레이의 출력들을 합산하여 그 컨볼루션(convolution)에 대한 단일 값을 생성한다. 차동 합산기는 예를 들어 양의 가중치 및 음의 가중치와 양의 입력의 합산을 실현하기 위한 것이다. 이어서 합산된 출력 값들은 출력을 정류하는 활성화 함수 회로(39)에 공급된다. 활성화 함수는 시그모이드(sigmoid), tanh 또는 ReLU 함수들을 포함할 수 있다. 정류된 출력 값들은 다음 층(예를 들어, 위의 설명의 C1)으로서 피처 맵의 요소가 되고, 이어서 다음 시냅스에 적용되어 다음 피처 맵 층 또는 최종 층을 생성한다. 회로(39)는 풀링 함수를 추가로 포함할 수 있다. 따라서, 이 예에서, 메모리 어레이는 복수의 시냅스들(이들은 이전 뉴런 층으로부터 또는 이미지 데이터베이스와 같은 입력 층으로부터 그들의 입력들을 수신함)을 구성하고, 합산 연산 증폭기(38) 및 활성화 함수 회로(39)는 복수의 뉴런들을 구성한다.
도 8은 다양한 레벨들의 VMM의 블록도이다. 도 7에 도시된 바와 같이, 입력은 디지털-아날로그 변환기(31)에 의해 디지털로부터 아날로그로 변환되고, 입력 VMM(32a)에 제공된다. 입력 VMM(32a)에 의해 생성된 출력은 다음 VMM(은닉 레벨 1)(32b)으로의 입력으로서 제공되고 다음 VMM으로의 입력은 이어서 다음 VMM(은닉 레벨 2)(32b)으로의 입력으로서 제공되는 출력을 생성하고, 등등이다. VMM(32)의 다양한 층들은 컨볼루션 신경망(convolutional neural network, CNN)의 시냅스들 및 뉴런들의 상이한 층들로서 기능한다. 각각의 VMM은 독립형 비휘발성 메모리 어레이일 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 상이한 부분들을 활용할 수 있거나, 또는 다수의 VMM들이 동일한 비휘발성 메모리 어레이의 중첩 부분들을 활용할 수 있다. 도 8에 도시된 바와 같이, 5개의 층이 존재하며, 5개의 층보다 많은 은닉 층들과 완전히 접속된 층들의 다른 조합들이 가능하다.
VMM(Vector-by-Matrix Multiplication) 어레이들
도 9는 뉴런 VMM(900)을 도시하며, 이는 도 2에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(900)은 비휘발성 메모리 셀들의 메모리 어레이(903), 기준 어레이(901) 및 기준 어레이(902)를 포함한다. 기준 어레이들(901, 902)은 단자들(BLR0-3) 내로 흐르는 전류 입력들을 전압 입력들(WL0-3)로 변환하는 역할을 한다. 도시된 바와 같은 기준 어레이들(901, 902)은 컬럼 방향이다. 일반적으로, 기준 어레이 방향은 입력 라인들에 직교한다. 사실상, 기준 메모리 셀들은 전류 입력들이 그들 안으로 흐르는 멀티플렉서들(멀티플렉서 및 기준 비트 라인을 바이어싱하기 위한 캐스코딩 트랜지스터(VBLR)를 포함하는, 멀티플렉서(914))을 통해 다이오드 접속된다. 기준 셀들은 타깃 기준 레벨들로 튜닝된다.
메모리 어레이(903)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(900)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(903)는 입력들(단자들(BLR0-3)에서 제공되는 전류 입력들; 기준 어레이들(901, 902)이 이러한 전류 입력들을 워드 라인들(WL0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 곱하여 출력을 생성하며, 이 출력은 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 전압 입력들은 워드 라인들 상에 제공되고, 출력은 판독(추론) 동작 동안 비트 라인 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
도 10은 판독, 소거, 및 프로그램 동작들을 수행하기 위해 VMM(900) 내의 메모리 셀들의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우(row)들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 11은 뉴런 VMM(1100)을 도시하며, 이는 도 2에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1100)은 비휘발성 메모리 셀들의 메모리 어레이(1103), 기준 어레이(1101) 및 기준 어레이(1102)를 포함한다. VMM(1100)은, VMM(1100)에서 워드 라인들이 수직 방향으로 연장된다는 점을 제외하고는, VMM(1100)과 유사하다. 2개의 기준 어레이(1101(상부에 있음, 입력 전류를 짝수 로우들에 대한 전압으로 변환하는 기준을 제공함), 1102(하부에 있음, 입력 전류를 홀수 로우들에 대한 전압으로 변환하는 기준을 제공함))가 존재한다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 소스 라인 상에서 나온다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
메모리 어레이(1103)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(1100)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1103)는 입력들(단자들(BLR0-3)에 제공되는 전류 입력들; 기준 어레이들(1101, 1102)이 이러한 전류 입력들을 제어 게이트들(CG0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 곱하여 출력을 생성하며, 이 출력은 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 입력들은 워드 라인들 상에 제공되고, 출력은 판독 동작 동안 소스 라인 상에서 나온다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
도 12는 판독, 소거, 및 프로그램 동작들을 수행하기 위해 VMM(1100) 내의 메모리 셀들의 단자들에 인가될 수 있는 전형적인 전압 범위들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들에 대한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 13은 뉴런 VMM(1300)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1300)은, VMM(1300)에서 소거 게이트 라인(1301)과 같은 소거 게이트 라인들이 수직 방향으로 연장된다는 점을 제외하고는, VMM(900)과 유사하다. 여기서, 입력들은 제어 게이트 라인들 상에 제공되고, 출력은 비트 라인들 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
메모리 어레이(1301)는 두 가지 목적에 기여한다. 첫째, 그것은 VMM(1300)에 의해 사용될 가중치들을 저장한다. 둘째, 메모리 어레이(1301)는 입력들(단자들(BLR0-3)에 제공되는 전류 입력들; 기준 어레이들(1301, 1302)이 이러한 전류 입력들을 제어 게이트들(CG0-3)에 공급할 입력 전압들로 변환함)을 메모리 어레이에 저장된 가중치들과 유효하게 곱하여 출력을 생성하며, 이 출력은 다음 층에 대한 입력 또는 최종 층에 대한 입력일 것이다. 승산 함수를 수행함으로써, 메모리 어레이는 별개의 승산 로직 회로들에 대한 필요성을 무효화하고, 또한 전력 효율적이다. 여기서, 입력들은 제어 게이트 라인들 상에 제공되고, 출력은 판독 동작 동안 비트 라인 상에서 나온다. 비트 라인 상에 배치된 전류는 비트 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다. 대안적으로 입력들은 워드 라인들에 제공될 수 있다.
VMM(1300)은 메모리 어레이(1303) 내의 메모리 셀들에 대한 단방향 튜닝을 구현한다. 즉, 각각의 셀은 소거된 다음에 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그램된다. (잘못된 값이 셀에 저장되도록) 너무 많은 전하가 플로팅 게이트 상에 배치되는 경우, 셀은 소거되어야 하고, 부분 프로그래밍 동작들의 시퀀스가 다시 시작되어야 한다. 도시된 바와 같이, 동일한 소거 게이트를 공유하는 2개의 로우가 함께 소거될 필요가 있고(페이지 소거로서 알려짐), 그 후에 각각의 셀은 플로팅 게이트 상의 원하는 전하에 도달할 때까지 부분적으로 프로그램된다.
도 14는 VMM(1300)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들을 위한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
도 15는 뉴런 VMM(1500)을 도시하며, 이는 도 3에 도시된 유형의 메모리 셀들에 특히 적합하고, 입력 층과 다음 층 사이의 시냅스들 및 뉴런들의 부분들로서 이용된다. VMM(1500)은 (어레이의 상부에서) 비휘발성 메모리 셀들의 메모리 어레이(1501) 및 기준 어레이(1502)를 포함한다. 대안적으로, 다른 기준 어레이가, 도 10의 것과 유사하게, 하부에 배치될 수 있다. 다른 면에서, VMM(1500)은, VMM(1500)에서 제어 게이트 라인(1503)과 같은 제어 게이트 라인이 수직 방향으로 연장되고(따라서 입력 제어 게이트 라인들에 직교하는, 로우 방향의 기준 어레이(1502)), 소거 게이트 라인(1504)과 같은 소거 게이트 라인들이 수평 방향으로 연장된다는 점을 제외하고는, VMM(1500)과 유사하다. 여기서, 입력들은 제어 게이트 라인들 상에 제공되고, 출력은 소스 라인들 상에서 나온다. 일 실시예에서 짝수 로우들만이 사용되고, 다른 실시예에서 홀수 로우들만이 사용된다. 소스 라인 상에 배치된 전류는 소스 라인에 접속된 메모리 셀들로부터의 모든 전류들의 합산 함수를 수행한다.
ESF 벡터 행렬 승산기에 대한 다른 실시예들이, 본 명세서에 참고로 포함되는, 미국 특허 출원 제15/826,345호에 기재되어 있다. 소스 라인 또는 비트 라인이 뉴런 출력(전류 합산 출력)으로서 사용될 수 있다.
도 16은 VMM(1500)에 대한 동작 전압들을 도시한다. 표 내의 컬럼들은 선택된 셀들에 대한 워드 라인들, 비선택된 셀들에 대한 워드 라인들, 선택된 셀들을 위한 비트 라인들, 비선택된 셀들에 대한 비트 라인들, 선택된 셀들에 대한 제어 게이트들, 선택된 셀들과 동일한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들과는 상이한 섹터 내의 비선택된 셀들에 대한 제어 게이트들, 선택된 셀들에 대한 소거 게이트들, 비선택된 셀들에 대한 소거 게이트들, 선택된 셀들에 대한 소스 라인들, 및 비선택된 셀들에 대한 소스 라인들 상에 배치된 전압들을 나타낸다. 로우들은 판독, 소거 및 프로그램의 동작들을 나타낸다.
신경망에 대해 본 명세서에 설명된 바와 같이, 플래시 셀들은 바람직하게는 하위 임계 영역에서 동작하도록 구성된다.
본 명세서에 기술된 메모리 셀들은 하기와 같은 약 반전(weak inversion)으로 바이어싱된다:
메모리 셀을 사용하는 I-V 로그 변환기가 입력 전류를 입력 전압으로 변환하도록 하기 위해 하기와 같다:
Vg= k*Vt*log [Ids/wp*Io]
벡터 행렬 승산기(VMM)로서 사용되는 메모리 어레이의 경우, 출력 전류는 하기와 같다:
Iout = wa * Io * e (Vg)/㎸t, 즉
Iout = (wa/wp) * Iin = W * Iin
W = e (Vthp - Vtha)/㎸t
대안적으로, 플래시 메모리 셀들은 선형 영역에서 동작하도록 구성될 수 있다:
Ids = beta* (Vgs-Vth)*Vds ; beta = u*Cox*W/L
W α (Vgs-Vth)
I-V 선형 변환기에 대해, 선형 영역에서 동작하는 메모리 셀은 입력/출력 전류를 입력/출력 전압으로 선형으로 변환하는 데 사용될 수 있다.
ESF 벡터 행렬 승산기에 대한 다른 실시예들이, 본 명세서에 참고로 포함되는, 미국 특허 출원 제15/826,345호에 기재되어 있다. 소스 라인 또는 비트 라인이 뉴런 출력으로서 사용될 수 있다.
합산기 및 활성화 함수 회로들
도 17은 합산기 및 활성화 함수 회로들이 뒤따르는 뉴런 VMM들의 2개의 스테이지를 도시한다. 시스템(1700)은 VMM 어레이들(1701, 1702, 1704, 1705)을 포함한다. VMM 어레이들(1701, 1702)은 뉴런 출력 회로(1703)(합산기 회로 및 활성화 함수 회로를 포함함)를 공유하고, VMM 어레이들(1704, 1705)은 뉴런 출력 회로(1706)(합산기 회로 및 활성화 함수 회로를 포함함)를 공유한다. VMM 어레이(1701)의 출력 및 VMM(1702)의 출력은 (예를 들어, 시간 다중화 활성화 스킴에서) 상이한 시간에 뉴런 출력 회로(1703)에 제공된다. 뉴런 출력 회로(1703)는 먼저 VMM(1701 또는 1702)의 출력 전류를 합산하여 그 컨볼루션에 대한 단일 값을 생성하여서, 양의 가중치 및 음의 가중치와 양의 입력의 합산을 실현한다. 이어서 합산된 출력 값들은 출력을 정류하는 활성화 함수 회로에 공급된다. 활성화 함수는 시그모이드, tanh 또는 ReLU 함수들을 포함할 수 있다. 정류된 출력 값들은 다음 층으로서 피처 맵의 요소가 되고, 이어서 다음 시냅스- 여기서 VMM 어레이(1704) 또는 VMM 어레이(1705) - 에 적용되어 다음 피처 맵 층 또는 최종 층을 생성한다. 각각의 VMM은 도 9, 도 11, 도 13 및 도 15를 참조하여 이전에 설명된 VMM 설계들 중 하나를 따를 수 있다.
VMM 어레이(1704)의 출력 및 VMM(1705)의 출력은 (예를 들어, 시간 다중화 방식에서) 상이한 시간에 뉴런 출력 회로(1706)에 제공된다. 뉴런 출력 회로(1706)는 먼저 VMM(1704 또는 1705)의 출력 전류를 합산하여 그 컨볼루션에 대한 단일 값을 생성하여서, 양의 가중치 및 음의 가중치와 양의 입력의 합산을 실현한다. 이어서 합산된 출력 값들은 출력을 정류하는 활성화 함수 회로에 공급된다. 활성화 함수는 시그모이드, tanh 또는 ReLU 함수들을 포함할 수 있다. 정류된 출력 값들은 다음 층으로서 피처 맵의 요소가 되거나 최종 결과를 표현하고, 이어서, 존재하는 경우, 다음 시냅스에 적용되어, 다음 피처 맵 층 또는 최종 층을 생성한다.
위에 설명된 도면들에 도시된 다양한 VMM 어레이들의 크기는 층 깊이(입력, 은닉, 출력), 필터 크기, 풀링 크기, 피처 맵 크기 및 깊이 등과 같은 아키텍처 및 컨볼루션 동작 인자들에 의존한다. 크기는 또한 입력 시간 다중화가 사용되는지 또는 출력 시간 다중화가 사용되는지에 의존한다.
도 18은 뉴런 출력 회로들(1703 또는 1706)에 의해 수행되는 활성화 함수의 플롯(1800)을 도시한다. 이 예에서, 활성화 함수는 tanh 함수(쌍곡선 탄젠트 함수)이다.
도 19는 전류 합산기이고 전류 신호를 전압 신호로 변환하는 종래 기술의 뉴런 회로(1900)를 도시한다. 여기서, 뉴런 회로(1900)는 연산 증폭기(1901)의 반전 입력에 결합되는, 여기서 전류원(1902)으로서 표현되는, VMM(1701, 1702, 1704, 또는 1705)과 같은 VMM으로부터 전류(I_NEU로 표시됨)를 수신한다. 연산 증폭기(1901)의 비반전 입력은 전압원(VREF로 표시됨)에 결합된다. 연산 증폭기(1901)의 출력(VO로 표시됨)은 저항기(1903)(R_NEU로 표시됨)에 결합되며, 이는 이어서 전류원(1902) 및 연산 증폭기(1901)의 반전 입력에 결합된다. 출력 전압 VO는 전류 I_NEU * R_NEU와 동일하다. I_NEU의 최대값은 VMM에 포함된 시냅스들의 수 및 가중치 값에 의존한다. 특히, R_NEU는 고정 저항이고, I_NEU가 증가함에 따라, VO 및 전체 전력 소비가 또한 증가할 것이다.
도 20은 전류를 합산하고 합산된 전류 신호를 전압 신호로 변환하기 위한 뉴런 회로(2000)를 도시한다. 뉴런 회로(2000)는 연산 증폭기(2001)의 반전 입력에 제공되는, 여기서 전류원(2002)으로서 표현되는, VMM(1701, 1702, 1704, 또는 1705)과 같은 VMM으로부터 전류(I_NEU로 표시됨)를 수신한다. 연산 증폭기(2001)의 비반전 입력은 전압원(VREF로 표시됨)에 결합된다. 연산 증폭기(2001)의 출력(VO로 표시됨)은 가변 저항기(2003)(R_NEU로 표시됨)에 결합되며, 이는 이어서 전류원(2002) 및 연산 증폭기(2001)의 반전 입력에 결합된다. 출력 전압 Vo는 전류 I_NEU * R_NEU - VREF와 동일하다. I_NEU의 최대값은 VMM에 포함된 시냅스들의 수 및 가중치 값에 의존한다. 도 19의 설계에서와는 달리, R_NEU는 가변 저항이며 전류 I_NEU를 제공하는 VMM에 적응될 수 있다. 예를 들어, 저항 R_NEU는 I_NEU에서의 평균 또는 피크 전류에 기초하여 전력을 최소화하도록 구성되거나 트리밍될 수 있다.
도 21은 가변 저항기(2103)의 실시예를 도시한다. 가변 저항기(2103)는 제1 단자(2102) 및 제2 단자(2103)를 포함한다. 가변 저항기(2103)는 제1 단자(2102)와 제2 단자(2103) 사이에 별개의 저항기들(2101a, 2101b,...2101p) 중 하나 이상을 결합하도록 구성될 수 있으며, 그에 의해 가변 저항기(2103)의 전체 저항(R_NEU)을 구성할 수 있다. 선택적으로, 이것은 구성 또는 트리밍 스테이지 동안 수행될 수 있다.
도 22는 도 21의 가변 저항기(2103)를 대체하도록 서빙되는 연속 가변 저항 MOS 트랜지스터를 제어하기 위한 제어 신호 VCONTROL을 생성하기 위한 뉴런 제어 회로(2200)를 도시한다. 뉴런 제어 회로(2200)는 연산 증폭기(2201)를 포함한다. 연산 증폭기(2201)의 반전 입력은 전류 바이어스 소스(2202)(IBIAS를 생성함)에, 그리고 선형 영역에서 동작하는 NMOS R-복제(저항을 복제함) 트랜지스터(2203)의 소스에 결합된다. NMOS R-복제 트랜지스터(2203)의 드레인은 전압원 VDREF(2211)에 결합된다. 연산 증폭기(2201)의 비반전 입력은 전압원(VREF로 표시됨, 2210)에 결합된다. 연산 증폭기(2201)의 출력(2220)(VCONTROL로 표시됨)은 NMOS 트랜지스터(2203)의 게이트에 그리고 NMOS 트랜지스터(2204)의 게이트에 결합된다. NMOS 트랜지스터(2204)의 드레인은 동작 전압 VD에 결합되고 NMOS 트랜지스터(2204)의 소스는 대략 VREF의 전압원에 결합된다. 이어서 VCONTROL은 본 명세서에서의 도면들에 도시된 회로에서 제어 신호로서 사용될 수 있다.
회로는 다음과 같이 동작한다. 연산 증폭기(2201)의 동작에 의해, 전압 VREF는 NMOS R-복제 트랜지스터(2203)의 소스의 소스 상에 중첩된다. 따라서, NMOS R-복제 트랜지스터(2203)의 등가 저항은, PVT(프로세스/전압/온도) 변동과는 관계 없이, Req_NEU = (VDREF - VREF)/Ibias이다. NMOS R-복제 트랜지스터(2203)가 선형 영역에서 동작하기 때문에, 그의 저항은 그의 Vds(소스-드레인 전압) 변화에 걸쳐 대단히 일정하게 유지된다. 따라서, NMOS R-복제 트랜지스터(2203)와 크기가 동일하거나 유사하고 VCONTROL(2220) 신호에 의해 제어되는 그의 게이트를 갖는 MOS를 사용함으로써, 그것은 도 17의 저항기(1703)에 대한 등가 저항기로서의 역할을 한다. 또한, Ibias(및/또는 VDREF 및 VREF와 함께)를 조정함으로써, 저항은 필요에 따라 상이한 값들에 대해, 예를 들어 행렬 벡터 승산기 구성의 상이한 어레이 크기에 대해 구성될 수 있다.
도 23은 전류를 변환 합산하고 전류 신호를 전압 신호로 변환하기 위한 뉴런 회로(2300)를 도시한다. 뉴런 출력 회로(2300)는 연산 증폭기(2301)의 반전 입력에 제공되는, 여기서 전류원(2302)으로서 표현되는, VMM(1701, 1702, 1704, 또는 1705)과 같은 VMM으로부터 전류(I_NEU로 표시됨)를 수신한다. 연산 증폭기(2301)의 비반전 입력은 전압원(VREF로 표시됨)에 결합된다. 연산 증폭기(2301)의 출력(VO로 표시됨)은 NMOS R_NEU 트랜지스터(2303)에 결합되며, 이는 NMOS 트랜지스터(2303)의 게이트에 인가되는 신호 VCONTROL에 응답하여 유효 저항 R_NEU의 가변 저항기로서 작용한다. NMOS 트랜지스터(2303) 크기는 도 22의 NMOS R_복제 트랜지스터(2203)와 크기가 동일하거나 유사하다. 출력 전압 Vo는 전류 I_NEU * R_NEU - VREF와 동일하다. I_NEU의 최대값은 VMM에 포함된 시냅스들의 수 및 가중치 값에 의존한다. 도 19의 설계에서와는 달리, R_NEU는 가변 저항이며, 예를 들어 그것이 결합되는 VMM 크기에 적응될 수 있다. R_NEU는 도 23에서 IBIAS 및/또는 VDREF 및/또는 VREF를 변화시킴으로써 변경될 수 있다. 또한, 합산 연산 증폭기(2301)의 전력은 전력 소비를 최소화하기 위해 R_NEU 트랜지스터(2303)의 값에 관하여 조정된다. R_NEU 트랜지스터(2303)의 값이 증가함에 따라, 연산 증폭기(2301)의 바이어스(즉, 전력)는 전류 바이어스 IBIAS_OPA(2304)를 통해 감소되고 그 반대도 마찬가지이다.
도 24는 차동 전류를 합산하고 차동 전류 합을 전압 신호로 변환하기 위한 차동 뉴런 회로(2400)를 도시한다. 차동 뉴런 출력 회로(2400)는 VMM(1701, 1702, 1704 또는 1705)과 같은 제1 VMM으로부터 제1 전류(I_NEU0으로 표시됨)를, 그리고 VMM(1701, 1702, 1704 또는 1705)과 같은 제2 VMM으로부터 제2 전류(I_NEU1로 표시됨)를 수신하며, 이들 VMM은 여기서 각각 전류원(2402, 2407)으로서 표현된다.
전류원(2402)은 연산 증폭기(2401)의 반전 입력에 결합된다. 연산 증폭기(2401)의 비반전 입력은 전압원(VREF로 표시됨)에 결합된다. 연산 증폭기(2401)의 출력(VO_0으로 표시됨)은 NMOS 트랜지스터(2403)에 결합되며, 이는 NMOS 트랜지스터(2403)의 게이트에 인가되는 신호 VCONTROL에 응답하여 유효 저항 R_NEU의 가변 저항기로서 작용한다. 출력 전압 VO_0은 전류 I_NEU0 * R_NEU - VREF와 동일하다. I_NEU의 최대값은 VMM에 포함된 시냅스들의 수 및 가중치 값에 의존한다. R_NEU는 도 19 및 도 24에서 IBIAS 및/또는 VREF 및/또는 VDREF를 변화시킴으로써 변경될 수 있다.
전류원(2407)은 연산 증폭기(2406)의 반전 입력에 그리고 NMOS 트랜지스터들(2404, 2405)에 결합된다. 연산 증폭기(2406)의 비반전 입력은 전압원(VREF로 표시됨)에 결합된다. 연산 증폭기(2406)의 출력(VO로 표시됨)은 NMOS 트랜지스터(2405)에 결합되며, 이는 NMOS 트랜지스터(2405)의 게이트에 인가되는 신호 VCONTROL에 응답하여 유효 저항 R_NEU의 가변 저항기로서 작용한다. NMOS 트랜지스터(2405)는 NMOS 트랜지스터(2404)를 통해 VO_0에 결합된다. NMOS 트랜지스터(2404)는 NMOS 트랜지스터(2404)의 게이트에 인가되는 신호 VCONTROL에 응답하여 유효 저항 R_NEU의 가변 저항기로서 작용한다. 출력 전압 VO는 (I+ - I-) * R_NEU -VREF와 동일하다. I+ = I_NEU0이고 I- = I_NEU1이다.
도 25는 시스템(2500)을 도시한다. 시스템(2500)은 VMM 어레이(2501), 뉴런 회로들(2504)(예컨대, 뉴런 회로들(2000, 2300, 2400, 2500, 2700, 2800, 2900)), 활성화 함수 회로들(2503)(예컨대, 활성화 함수 회로(3000)), 및 R_NEU(가변 저항), IBIAS 및 VCONTROL을 제어하기 위한 제어 회로(2500)(예컨대, 제어 시스템들(2200 또는 2300))를 포함한다. 제어 회로(2500)는 (구성된 가변 저항 및 연산 증폭기 회로 바이어스와 같은) 합산기 회로(2504) 및 (바이어스와 같은) 활성화 회로(2503)에 대한 제어, 바이어스 및 구성 가능성을 제공한다.
도 26은 제어 시스템(2600)을 도시한다. 제어 시스템(2600)은 (합산기 회로들에 대한 가변 저항을 제어하기 위한) VCONTROL을 제공하는 회로(2602), 또는 구성 프로세스 동안 그리고/또는 트림 프로세스 동안 연산 증폭기 회로들에 대한 바이어스를 생성하는 회로(2603)를 구성하기 위해 트림 비트들 또는 구성 비트들, 기준 전류 및 기준 전압을 제공하는 기준 회로(2601)를 포함한다.
도 27은 적응 가능 뉴런(2700)을 도시한다. 적응 가능 뉴런(2700)은 전류 미러 구성으로 배열된 PMOS 트랜지스터들(2701, 2702)을 포함한다. PMOS 트랜지스터(2701)는 VMM(1701, 1702, 1704 또는 1705)과 같은 VMM으로부터의 전류를 나타내는 전류원인 I_NEURON(2703)에 결합된다. 그 전류는 PMOS 트랜지스터(2702)의 드레인에서 미러링되며, 이는 가변 저항기(2704)에 제공된다. 이에 따라, 적응 가능 뉴런(2700)은 전류 신호(I_NEURON)를 전압 신호(VO)로 변환한다.
도 28은 적응 가능 뉴런(2800)을 도시한다. 도 27의 적응 가능 뉴런(2700)의 한 가지 단점은 PMOS 트랜지스터들(2701, 2702) 사이의 불일치가 성능에 영향을 줄 수 있다는 것이다. 도 28은 하나의 PMOS 트랜지스터(2801)만을 사용하고 스위치들(2802, 2803, 2804)을 사용하여 본질적으로 그것을 그 자신을 미러링하도록(즉, 샘플 및 홀드 미러) 구성함으로써 이러한 문제를 제거한다. 처음에, 스위치(2802) 및 스위치(2803)가 폐쇄되고 스위치(2804)가 개방되며, 이때 PMOS 트랜지스터(2801)는 VMM(1701, 1702, 1704 또는 1705)과 같은 VMM으로부터의 전류를 나타내는 전류원인 I_NEURON에 결합된다. 이어서, 스위치(2802, 2803)가 개방되고 스위치(2804)가 폐쇄되며, 이는 PMOS 트랜지스터(2801)가 그의 드레인으로부터 가변 저항기(2806)로 전류 I_NEURON을 전송하게 한다. 이에 따라, 적응 가능 뉴런(2800)은 전류 신호(I_NEURON)를 전압 신호(VO)로 변환한다. 기본적으로 트랜지스터(2801)는 전류 I_NEURON을 샘플링하고 샘플링된 게이트-소스 전압을 그의 게이트에 저장함으로써 그것을 유지한다.
도 29는 차동 적응 가능 뉴런(2900)을 도시한다. 차동 적응 가능 뉴런(2900)은 VMM(1701, 1702, 1704 또는 1705)과 같은 제1 VMM으로부터의 전류를 나타내는 전류원인 I_NEURON+, 및 VMM(1701, 1702, 1704 또는 1705)과 같은 제2 VMM으로부터의 전류를 나타내는 전류원인 I_NEURON-를 포함한다. 처음에, 스위치(2902, 2903)는 폐쇄되고 스위치(2904)는 개방된다. 이어서, 스위치(2902, 2903)가 개방되고 스위치(2904)가 폐쇄되며, 이는 PMOS 트랜지스터(2901)가 그의 드레인으로부터 전류 I_NEURON+을 전송하게 한다. 이어서 노드(2909)는 I_NEURON+ 마이너스 I_NEURON-와 동일한 전류 IO를 수신한다. 노드(2909)는 연산 증폭기(2907)의 반전 입력에 그리고 NMOS 트랜지스터(2908)의 단자에 결합된다. 연산 증폭기(2907)의 비반전 입력은 전압원 VREF에 결합된다. NMOS 트랜지스터(2908)의 다른 단자는 VO인 연산 증폭기(2907)의 출력에 결합된다. NMOS 트랜지스터(2908)는 그의 게이트에 대한 신호 VCONTROL에 응답하여 가변 저항기로서 작용한다. 이에 따라, 차동 적응 가능 뉴런(2900)은 차동 전류 신호(I_NEURON+ - I_NEURON-)를 전압 신호(VO = (I_NEURON+ - I_NEURON-)*R_NEU - VREF)로 변환한다.
따라서 도 20, 도 23, 도 24, 도 25, 도 27, 도 28 및 도 29에 도시된 프로그램 가능 뉴런들은 최적화된 전력으로 원하는 동작을 실현하기 위해 각각의 VMM의 요건에 적응하도록 구성될 수 있다.
가변 저항기에 대한 대안적인 실시예는 스위칭 커패시턴스 회로를 포함할 수 있으며, 여기서 등가 저항은 커패시턴스 값 및 스위칭 주파수에 반비례한다.
도 30은 입력 전압 쌍(Vin+, Vin-)을 tanh 함수를 사용하여 전류(Iout_neu)로 변환하는 활성화 함수 회로(3000)를 도시한다. 활성화 함수 회로(3000)는, 도시된 바와 같이 구성된, PMOS 트랜지스터들(3001, 3002, 3003, 3004, 3005, 3006) 및 NMOS 트랜지스터들(3007, 3008, 3009, 3010)을 포함한다. 트랜지스터들(3003, 3004, 3006)은 캐스코딩 트랜지스터들로서의 역할을 한다. 입력 NMOS 쌍(3007, 3008)은 tanh 함수를 실현하기 위해 하위 임계 영역에서 동작한다. 전류 I_neu_max는 부착된 VMM(도시되지 않음)으로부터 수신될 수 있는 최대 뉴런 전류이다.
도 31은 전류를 전압으로 변환하기 위해 합산기 회로에서 사용되는 연산 증폭기(3100)를 도시한다. 연산 증폭기(3100)는 PMOS 트랜지스터들(3101, 3102, 3105), NMOS 트랜지스터(3103, 3104, 3106, 3107), 및 도시된 구성에서, 가변 바이어스로서 작용하는 NMOS 트랜지스터(3108)를 포함한다. 연산 증폭기(3100)에 대한 입력 단자들은 Vin+(NMOS 트랜지스터(3104)의 게이트에 인가됨) 및 Vin-(NMOS 트랜지스터(3103)의 게이트에 인가됨)로 표시되고, 출력은 VO이다.
도 32는 전압 제어 신호 VCONTROL을 제공하기 위해 제어 회로에서 사용되는 고전압 연산 증폭기(3200)를 도시한다. 고전압 연산 증폭기(3200)는 고전압 브레이크다운을 회피하기 위해 캐스코딩 구조를 이용한다. 고전압 연산 증폭기(3200)는 캐스코드 구성으로 배열된 PMOS 트랜지스터들(3215, 3216), 캐스코드 구성으로 배열된 PMOS 트랜지스터들(3205, 3206), 캐스코드 구성으로 배열된 PMOS 트랜지스터들(3201, 3203), 캐스코드 구성으로 배열된 PMOS 트랜지스터들(3202, 3204)을 포함한다. 고전압 연산 증폭기(3200)는 캐스코드 구성으로 배열된 NMOS 트랜지스터들(3207, 3209), 캐스코드 구성으로 배열된 NMOS 트랜지스터들(3208, 3210), 캐스코드 구성으로 배열된 NMOS 트랜지스터들(3217, 3218), 캐스코드 구성으로 배열된 NMOS 트랜지스터들(3211, 3212), 및 캐스코드 구성으로 배열된 NMOS 트랜지스터들(3212, 32014)을 추가로 포함한다. 입력 전압들 Vin+ 및 Vin-는 각각 NMOS 트랜지스터들(3210, 3209)의 게이트들에 인가되고, 출력은 Vo이다. 고전압 연산 증폭기(3200) 내의 모든 트랜지스터들은 고전압 트랜지스터들이다.
본 명세서에 사용된 바와 같이, 용어들 "~ 위에" 및 "~ 상에" 둘 모두는 "직접적으로 ~ 상에"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)와 "간접적으로~ 상에"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)를 포괄적으로 포함한다는 것에 유의하여야 한다. 마찬가지로, 용어 "인접한"은 "직접적으로 인접한"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 인접한"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "~에 실장되는"은 "직접적으로 ~에 실장되는"(어떠한 중간 재료들, 요소들 또는 공간도 사이에 배치되지 않음)과 "간접적으로 ~에 실장되는"(중간 재료들, 요소들 또는 공간이 사이에 배치됨)을 포함하고, "전기적으로 결합되는"은 "직접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 어떠한 중간 재료들 또는 요소들도 사이에 없음)과 "간접적으로 ~에 전기적으로 결합되는"(요소들을 함께 전기적으로 접속시키는 중간 재료들 또는 요소들이 사이에 있음)을 포함한다. 예를 들어, "기판 위에" 요소를 형성하는 것은 어떠한 중간 재료들/요소들도 사이에 갖지 않고서 직접적으로 기판 상에 요소를 형성하는 것뿐만 아니라, 하나 이상의 중간 재료들/요소들을 사이에 갖고서 간접적으로 기판 상에 요소를 형성하는 것을 포함할 수 있다.

Claims (66)

  1. 인공 신경망으로서,
    플래시 메모리 셀들의 로우(row)들 및 컬럼(column)들을 포함하는 벡터 행렬 승산 어레이(vector-by-matrix multiplication array);
    상기 벡터 행렬 승산 어레이로부터 전류를 수신하고 수신된 전류에 응답하여 출력 전압을 생성하기 위한 합산기 회로 - 상기 합산기 회로는 가변 저항기를 포함함 - ; 및
    비트의 세트에 응답하여 상기 가변 저항기를 조정하기 위한 제어 시스템 - 상기 비트의 세트는 구성 비트들 및 트림 비트들 중 하나 이상을 포함함 - 을 포함하는, 인공 신경망.
  2. 제1항에 있어서,
    입력으로서 상기 합산기 회로로부터 상기 출력 전압을 수신하고 상기 출력 전압에 응답하여 출력 전류를 생성하기 위한 활성화 함수 회로를 추가로 포함하는, 인공 신경망.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 가변 저항기는 별개의 저항기 요소들을 포함하는, 인공 신경망.
  6. 제1항에 있어서, 상기 가변 저항기는 MOS 트랜지스터를 포함하는, 인공 신경망.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제2항에 있어서, 상기 활성화 함수 회로는 상기 출력 전류를 생성하기 위해 상기 입력에 대해 쌍곡선 탄젠트 함수를 실행하는, 인공 신경망.
  14. 제2항에 있어서, 상기 활성화 함수 회로는 상기 출력 전류를 생성하기 위해 상기 입력에 대해 ReLU 함수를 실행하는, 인공 신경망.
  15. 제2항에 있어서, 상기 활성화 함수 회로는 상기 출력 전류를 생성하기 위해 상기 입력에 대해 시그모이드 함수(Sigmoid function)를 실행하는, 인공 신경망.
  16. 제1항에 있어서, 상기 합산기 회로는 연산 증폭기를 포함하는, 인공 신경망.
  17. 제16항에 있어서, 상기 연산 증폭기에 대한 바이어스는 벡터 행렬 승산기 어레이 크기별로 조정되는, 인공 신경망.
  18. 제17항에 있어서, 상기 연산 증폭기에 대한 상기 바이어스는 상기 가변 저항기의 값에 기초하는, 인공 신경망.
  19. 삭제
  20. 제1항에 있어서, 상기 벡터 행렬 승산 어레이로부터의 상기 전류는 상기 벡터 행렬 승산 어레이의 비트 라인 상에 제공되는, 인공 신경망.
  21. 제1항에 있어서, 상기 벡터 행렬 승산 어레이로부터의 상기 전류는 상기 벡터 행렬 승산 어레이의 소스 라인 상에 제공되는, 인공 신경망.
  22. 제1항에 있어서, 상기 플래시 메모리 셀은 분리형 게이트 메모리 셀인, 인공 신경망.
  23. 인공 신경망으로서,
    플래시 메모리 셀들의 로우들 및 컬럼들을 포함하는 벡터 행렬 승산 어레이; 및
    상기 벡터 행렬 승산 어레이로부터 차동 입력 전류 신호를 수신하고 상기 차동 입력 전류 신호에 응답하여 출력 전압을 생성하기 위한 합산기 회로 - 상기 합산기 회로는 가변 저항기를 포함함 - , 및
    비트의 세트에 응답하여 상기 가변 저항기를 조정하기 위한 제어 시스템 - 상기 비트의 세트는 구성 비트들 및 트림 비트들 중 하나 이상을 포함함 - 을 포함하는, 인공 신경망.
  24. 제23항에 있어서,
    상기 합산기 회로로부터 상기 출력 전압을 수신하고 상기 출력 전압에 응답하여 출력 전류를 생성하기 위한 활성화 함수 회로를 추가로 포함하는, 인공 신경망.
  25. 삭제
  26. 삭제
  27. 제23항에 있어서, 상기 가변 저항기는 별개의 저항기 요소들을 포함하는, 인공 신경망.
  28. 제23항에 있어서, 상기 가변 저항기는 MOS 트랜지스터를 포함하는, 인공 신경망.
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 제24항에 있어서, 상기 활성화 함수 회로는 상기 출력 전류를 생성하기 위해 상기 입력에 대해 쌍곡선 탄젠트 함수를 실행하는, 인공 신경망.
  36. 제24항에 있어서, 상기 활성화 함수 회로는 상기 출력 전류를 생성하기 위해 상기 입력에 대해 ReLU 함수를 실행하는, 인공 신경망.
  37. 제24항에 있어서, 상기 활성화 함수 회로는 상기 출력 전류를 생성하기 위해 상기 입력에 대해 시그모이드 함수를 실행하는, 인공 신경망.
  38. 제23항에 있어서, 상기 합산기 회로는 연산 증폭기를 포함하는, 인공 신경망.
  39. 제38항에 있어서, 상기 연산 증폭기에 대한 바이어스는 벡터 행렬 승산기 어레이 크기별로 조정되는, 인공 신경망.
  40. 제39항에 있어서, 상기 연산 증폭기에 대한 상기 바이어스는 상기 조정된 회로 요소의 값에 대한 관계인, 인공 신경망.
  41. 삭제
  42. 제23항에 있어서, 상기 벡터 행렬 승산 어레이로부터의 상기 전류는 상기 벡터 행렬 승산 어레이의 비트 라인 상에 제공되는, 인공 신경망.
  43. 제23항에 있어서, 상기 벡터 행렬 승산 어레이로부터의 상기 전류는 상기 벡터 행렬 승산 어레이의 소스 라인 상에 제공되는, 인공 신경망.
  44. 제23항에 있어서, 상기 플래시 메모리 셀들은 분리형 게이트 메모리 셀인, 인공 신경망.
  45. 인공 신경망을 위한 프로그램 가능 뉴런으로서,
    플래시 메모리 셀들의 로우들 및 컬럼들을 포함하는 벡터 행렬 승산 어레이; 및
    상기 벡터 행렬 승산 어레이로부터 전류를 수신하고 수신된 전류에 응답하여 출력을 생성하기 위한 뉴런 출력 회로 - 상기 뉴런 출력 회로는 가변 저항기를 포함하는 조정 가능 회로 요소를 포함함 - , 및
    비트의 세트에 응답하여 상기 조정 가능 회로 요소를 조정하기 위한 제어 시스템 - 상기 가변 저항기는 비트의 세트에 의해 구성되며 상기 비트의 세트는 구성 비트들 및 트림 비트들 중 하나 이상을 포함함 - 을 포함하는, 프로그램 가능 뉴런.
  46. 삭제
  47. 삭제
  48. 삭제
  49. 제45항에 있어서, 상기 가변 저항기는 별개의 저항기 요소들을 포함하는, 프로그램 가능 뉴런.
  50. 제45항에 있어서, 상기 가변 저항기는 MOS 트랜지스터를 포함하는, 프로그램 가능 뉴런.
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 제45항에 있어서, 상기 벡터 행렬 승산 어레이로부터의 상기 전류는 상기 벡터 행렬 승산 어레이의 비트 라인 상에 제공되는, 프로그램 가능 뉴런.
  65. 제45항에 있어서, 상기 벡터 행렬 승산 어레이로부터의 상기 전류는 상기 벡터 행렬 승산 어레이의 소스 라인 상에 제공되는, 프로그램 가능 뉴런.
  66. 제45항에 있어서, 상기 플래시 메모리 셀은 분리형 게이트 메모리 셀인, 프로그램 가능 뉴런.
KR1020207019410A 2018-01-03 2018-11-29 딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런 KR102616978B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862613373P 2018-01-03 2018-01-03
US62/613,373 2018-01-03
US15/936,983 2018-03-27
US15/936,983 US11354562B2 (en) 2018-01-03 2018-03-27 Programmable neuron for analog non-volatile memory in deep learning artificial neural network
PCT/US2018/063147 WO2019135839A1 (en) 2018-01-03 2018-11-29 Programmable neuron for analog non-volatile memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
KR20200096808A KR20200096808A (ko) 2020-08-13
KR102616978B1 true KR102616978B1 (ko) 2023-12-21

Family

ID=67058374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019410A KR102616978B1 (ko) 2018-01-03 2018-11-29 딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런

Country Status (7)

Country Link
US (1) US11354562B2 (ko)
EP (1) EP3735656B1 (ko)
JP (1) JP7244525B2 (ko)
KR (1) KR102616978B1 (ko)
CN (1) CN111542840B (ko)
TW (1) TWI785174B (ko)
WO (1) WO2019135839A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US11687766B2 (en) * 2018-06-19 2023-06-27 Qualcomm Incorporated Artificial neural networks with precision weight for artificial intelligence
US10528643B1 (en) * 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10956814B2 (en) * 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
US10489483B1 (en) * 2018-09-21 2019-11-26 National Technology & Engineering Solutions Of Sandia, Llc Circuit arrangement and technique for setting matrix values in three-terminal memory cells
US10877752B2 (en) * 2018-09-28 2020-12-29 Intel Corporation Techniques for current-sensing circuit design for compute-in-memory
US11500442B2 (en) 2019-01-18 2022-11-15 Silicon Storage Technology, Inc. System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
US11270771B2 (en) 2019-01-29 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of stacked gate non-volatile memory cells
US11423979B2 (en) * 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
US11449741B2 (en) * 2019-07-19 2022-09-20 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11393546B2 (en) * 2019-07-19 2022-07-19 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
CN110533160A (zh) * 2019-07-22 2019-12-03 北京大学 基于nor flash模拟量计算阵列的深度神经网络
US11562212B2 (en) 2019-09-09 2023-01-24 Qualcomm Incorporated Performing XNOR equivalent operations by adjusting column thresholds of a compute-in-memory array
KR102225558B1 (ko) * 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
CN110991623B (zh) * 2019-12-20 2024-05-28 中国科学院自动化研究所 基于数模混合神经元的神经网络运算系统
US11568021B2 (en) 2020-02-21 2023-01-31 Alibaba Group Holding Limited Vector-vector multiplication techniques for processing systems
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11038520B1 (en) * 2020-04-15 2021-06-15 International Business Machines Corporation Analog-to-digital conversion with reconfigurable function mapping for neural networks activation function acceleration
KR20210143614A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 뉴럴 네트워크를 구현하는 뉴로모픽 장치 및 그 동작 방법
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11289171B1 (en) * 2020-10-02 2022-03-29 Sandisk Technologies Llc Multi-level ultra-low power inference engine accelerator
WO2022181999A1 (ko) * 2021-02-23 2022-09-01 한국과학기술원 우수한 선형성 특성을 갖는 뉴로모픽 시냅스 소자 및 그 동작 방법
US11605426B2 (en) * 2021-04-23 2023-03-14 Applied Materials, Inc. Retention drift correction in non-volatile memory arrays
US20230049032A1 (en) * 2021-08-02 2023-02-16 Silicon Storage Technology, Inc. Output circuitry for analog neural memory in a deep learning artificial neural network
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
US11489534B1 (en) * 2021-10-11 2022-11-01 Cirrus Logic, Inc. Digital-to-analog conversion architecture and method
US11687252B2 (en) 2021-10-18 2023-06-27 Western Digital Technologies, Inc. Non-volatile memory with pre-trained model and inference circuit
CN114139692B (zh) * 2021-11-30 2024-03-08 河南科技大学 一种基于模拟态架构的cmos人工神经元功能电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150269483A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Neural network circuit and learning method for neural network circuit
US20160350647A1 (en) * 2015-05-26 2016-12-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US20170091616A1 (en) 2015-09-29 2017-03-30 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2677656B2 (ja) * 1989-02-28 1997-11-17 富士通株式会社 ニューロコンピュータの集中制御方式
JP2679738B2 (ja) 1989-03-01 1997-11-19 富士通株式会社 ニューロコンピュータにおける学習処理方式
US5305250A (en) 1989-05-05 1994-04-19 Board Of Trustees Operating Michigan State University Analog continuous-time MOS vector multiplier circuit and a programmable MOS realization for feedback neural networks
JP2517410B2 (ja) * 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
US5148514A (en) * 1989-05-15 1992-09-15 Mitsubishi Denki Kabushiki Kaisha Neural network integrated circuit device having self-organizing function
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JPH0451382A (ja) * 1990-06-20 1992-02-19 Hitachi Ltd 情報処理装置
US5353382A (en) * 1990-10-15 1994-10-04 California Institute Of Technology Programmable synapse for neural network applications
US5237210A (en) * 1992-03-12 1993-08-17 Intel Corporation Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms
US5264734A (en) 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US6041322A (en) * 1997-04-18 2000-03-21 Industrial Technology Research Institute Method and apparatus for processing data in a neural network
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US6781186B1 (en) * 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US8464123B2 (en) * 2009-05-07 2013-06-11 Ramot At Tel Aviv University Ltd. Matrix structure for block encoding
US8532602B2 (en) 2009-06-30 2013-09-10 Skyworks Solutions, Inc. Switching system with linearizing circuit
JP5300773B2 (ja) * 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
CN102456157B (zh) 2010-10-20 2015-08-26 北京大学 神经元器件和神经网络
US9418333B2 (en) * 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
US9715655B2 (en) * 2013-12-18 2017-07-25 The United States Of America As Represented By The Secretary Of The Air Force Method and apparatus for performing close-loop programming of resistive memory devices in crossbar array based hardware circuits and systems
US9922715B2 (en) * 2014-10-03 2018-03-20 Silicon Storage Technology, Inc. Non-volatile split gate memory device and a method of operating same
EP3035249B1 (en) 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
US9716852B2 (en) * 2015-04-03 2017-07-25 Semiconductor Energy Laboratory Co., Ltd. Broadcast system
US10014318B2 (en) * 2015-10-24 2018-07-03 Monocithic 3D Inc Semiconductor memory device, structure and methods
EP3208750A1 (en) 2016-02-22 2017-08-23 Universität Zürich An analogue electronic deep neural network
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US10664745B2 (en) * 2016-06-29 2020-05-26 International Business Machines Corporation Resistive processing units and neural network training methods
US10776684B1 (en) * 2016-11-02 2020-09-15 National Technology & Engineering Solutions Of Sandia, Llc Mixed core processor unit
JP6183980B1 (ja) 2016-12-02 2017-08-23 国立大学法人東京工業大学 ニューラルネットワーク回路装置、ニューラルネットワーク、ニューラルネットワーク処理方法およびニューラルネットワークの実行プログラム
CN106815636B (zh) * 2016-12-30 2019-03-05 华中科技大学 一种基于忆阻器的神经元电路
US10909449B2 (en) * 2017-04-14 2021-02-02 Samsung Electronics Co., Ltd. Monolithic multi-bit weight cell for neuromorphic computing
US20210019609A1 (en) * 2017-04-27 2021-01-21 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
US11875852B2 (en) * 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11545214B2 (en) * 2020-07-08 2023-01-03 Samsung Electronics Co., Ltd. Resistive memory device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150269483A1 (en) * 2014-03-18 2015-09-24 Panasonic Intellectual Property Management Co., Ltd. Neural network circuit and learning method for neural network circuit
US20160350647A1 (en) * 2015-05-26 2016-12-01 International Business Machines Corporation Neuron peripheral circuits for neuromorphic synaptic memory array based on neuron models
US20170091616A1 (en) 2015-09-29 2017-03-30 International Business Machines Corporation Scalable architecture for analog matrix operations with resistive devices

Also Published As

Publication number Publication date
CN111542840A (zh) 2020-08-14
TW201931214A (zh) 2019-08-01
JP2021509514A (ja) 2021-03-25
EP3735656A4 (en) 2021-10-13
US20190205729A1 (en) 2019-07-04
US11354562B2 (en) 2022-06-07
WO2019135839A8 (en) 2020-07-09
EP3735656A1 (en) 2020-11-11
EP3735656B1 (en) 2023-12-27
KR20200096808A (ko) 2020-08-13
CN111542840B (zh) 2023-08-18
JP7244525B2 (ja) 2023-03-22
WO2019135839A1 (en) 2019-07-11
TWI785174B (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
KR102616978B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 비휘발성 메모리를 위한 프로그램 가능 뉴런
US20210287065A1 (en) Output circuitry for non-volatile memory array in neural network
KR102653629B1 (ko) 다수의 벡터 매트릭스 승산 어레이들 및 공유 컴포넌트들을 포함한 딥 러닝 신경 네트워크를 위한 아날로그 신경 메모리 시스템
KR102607529B1 (ko) 3-게이트 비휘발성 메모리 셀들의 어레이를 사용한 신경 네트워크 분류기
KR102616977B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상
CN112585623B (zh) 用于深度学习神经网络的可配置模拟神经存储器系统
KR102607530B1 (ko) 적층형 게이트 비휘발성 메모리 셀들의 어레이를 이용하는 신경망 분류기
WO2020046495A1 (en) Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
KR102350213B1 (ko) 4-게이트 비휘발성 메모리 셀들의 어레이를 사용하는 신경 네트워크 분류기

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant