JP7152562B2 - マルチレベル超低電力推論エンジンアクセラレータ - Google Patents
マルチレベル超低電力推論エンジンアクセラレータ Download PDFInfo
- Publication number
- JP7152562B2 JP7152562B2 JP2021103405A JP2021103405A JP7152562B2 JP 7152562 B2 JP7152562 B2 JP 7152562B2 JP 2021103405 A JP2021103405 A JP 2021103405A JP 2021103405 A JP2021103405 A JP 2021103405A JP 7152562 B2 JP7152562 B2 JP 7152562B2
- Authority
- JP
- Japan
- Prior art keywords
- memory cells
- memory
- array
- layers
- voltage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015654 memory Effects 0.000 claims description 459
- 238000013528 artificial neural network Methods 0.000 claims description 59
- 238000000034 method Methods 0.000 claims description 54
- 239000013598 vector Substances 0.000 claims description 31
- 230000015556 catabolic process Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims 1
- 210000004027 cell Anatomy 0.000 description 210
- 239000010410 layer Substances 0.000 description 196
- 238000010586 diagram Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 29
- 239000011159 matrix material Substances 0.000 description 22
- 238000003491 array Methods 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 16
- 229910052751 metal Inorganic materials 0.000 description 15
- 239000002184 metal Substances 0.000 description 15
- 238000013461 design Methods 0.000 description 12
- 210000002569 neuron Anatomy 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 10
- 239000003989 dielectric material Substances 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 241000282472 Canis lupus familiaris Species 0.000 description 6
- 229920005994 diacetyl cellulose Polymers 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000000644 propagated effect Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 5
- 238000013403 standard screening design Methods 0.000 description 5
- 102100038815 Nocturnin Human genes 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000001994 activation Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000021715 photosynthesis, light harvesting Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000005294 ferromagnetic effect Effects 0.000 description 2
- 230000005669 field effect Effects 0.000 description 2
- 150000002500 ions Chemical class 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 230000005415 magnetization Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000007784 solid electrolyte Substances 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 239000010936 titanium Substances 0.000 description 2
- 229910052719 titanium Inorganic materials 0.000 description 2
- 229910052720 vanadium Inorganic materials 0.000 description 2
- 102100031752 Fibrinogen alpha chain Human genes 0.000 description 1
- 229910017629 Sb2Te3 Inorganic materials 0.000 description 1
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- NRTOMJZYCJJWKI-UHFFFAOYSA-N Titanium nitride Chemical compound [Ti]#N NRTOMJZYCJJWKI-UHFFFAOYSA-N 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 229910045601 alloy Inorganic materials 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000005387 chalcogenide glass Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052681 coesite Inorganic materials 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 229910052906 cristobalite Inorganic materials 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical group [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 1
- CJNBYAVZURUTKZ-UHFFFAOYSA-N hafnium(IV) oxide Inorganic materials O=[Hf]=O CJNBYAVZURUTKZ-UHFFFAOYSA-N 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000001459 lithography Methods 0.000 description 1
- CPLXHLVBOLITMK-UHFFFAOYSA-N magnesium oxide Inorganic materials [Mg]=O CPLXHLVBOLITMK-UHFFFAOYSA-N 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000001465 metallisation Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000013102 re-test Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000377 silicon dioxide Substances 0.000 description 1
- 235000012239 silicon dioxide Nutrition 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 229910052682 stishovite Inorganic materials 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 229910052905 tridymite Inorganic materials 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 238000007740 vapor deposition Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/08—Address circuits; Decoders; Word-line control circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C17/00—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards
- G11C17/14—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards in which contents are determined by selectively establishing, breaking or modifying connecting links by permanently altering the state of coupling elements, e.g. PROM
- G11C17/16—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards in which contents are determined by selectively establishing, breaking or modifying connecting links by permanently altering the state of coupling elements, e.g. PROM using electrically-fusible links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
- G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
- G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
- G11C11/5692—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency read-only digital stores using storage elements with more than two stable states
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/24—Bit-line control circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C17/00—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards
- G11C17/14—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards in which contents are determined by selectively establishing, breaking or modifying connecting links by permanently altering the state of coupling elements, e.g. PROM
- G11C17/18—Auxiliary circuits, e.g. for writing into memory
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
- G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/18—Bit line organisation; Bit line lay-out
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C8/00—Arrangements for selecting an address in a digital store
- G11C8/14—Word line organisation; Word line lay-out
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Semiconductor Memories (AREA)
- Memory System (AREA)
- Read Only Memory (AREA)
- Logic Circuits (AREA)
Description
Claims (15)
- 装置であって、
1つ以上のビット線に沿って接続された複数のマルチレベルメモリセルであり、かつ、導電層によって分離された複数の誘電体層で形成された前記複数のマルチレベルメモリセルのそれぞれに接続するように構成された制御回路であって、前記制御回路は、
対応する複数の書き込み電圧のうちの1つを印加して、書き込み選択メモリセルの前記誘電体層のうちの1つ以上を破壊することによって、前記書き込み選択メモリセルを複数のデータ状態のうちの1つに個別にプログラムし、
第1の複数のメモリセルに印加された対応する1組の第1の複数の入力電圧に応答して、第1のビット線に沿って接続された前記第1の複数のメモリセルを同時に感知するように構成されている、制御回路を備える、装置。 - 前記制御回路は、
前記第1の複数のメモリセルに印加された前記1組の対応する第1の複数の入力電圧に応答して、前記第1のビット線内の電流の値を受信し、前記電流からマルチビット出力値を決定するように構成されている、アナログ・デジタル変換器を含む、請求項1に記載の装置。 - 前記制御回路が制御ダイ上に形成され、前記装置は、
前記メモリセルを含むメモリダイであって、前記メモリダイは、前記制御ダイとは別個に形成され、前記制御ダイに接合されている、メモリダイを更に備える、請求項1に記載の装置。 - メモリダイがメモリセルのアレイを含み、前記メモリセルのアレイは、
前記メモリセルと、
前記第1のビット線を含む複数のビット線と、
複数のワード線と、を含み、前記アレイは、前記メモリセルのそれぞれが、前記ビット線のうちの対応するビット線と前記ワード線のうちの対応するワード線との間に接続されるクロスポイントアーキテクチャに従って形成されている、請求項3に記載の装置。 - 前記メモリセルのそれぞれは、
複数の誘電体層であって、前記誘電体層のそれぞれは、複数の異なる実効破壊電圧のうちの1つを有し、かつ複数の異なる抵抗値のうちの1つを有するように形成され、そのため、前記誘電体層の前記抵抗値が高いほど、前記誘電体層の前記実効破壊電圧が低くなる、複数の誘電体層と、
1つ以上の導電層であって、前記導電層は、前記誘電体層と交互になっている、1つ以上の導電層と、を含む、請求項4に記載の装置。 - 前記メモリセルのそれぞれは、
複数の階層であって、前記階層のそれぞれは1つ以上の誘電体層を有し、前記誘電体層のそれぞれは、共通の実効破壊電圧を有し、かつ複数の抵抗値のうちの1つを有するように形成され、同じ階層の前記誘電体層は、同じ抵抗値を有するように形成され、異なる階層の前記誘電体層は、異なる抵抗値を有するように形成され、そのため、前記階層内の層数が多いほど、前記階層の前記誘電体層の前記抵抗値は低くなる、複数の階層と、
複数の導電層であって、前記導電層は前記誘電体層と交互になっている、複数の導電層と、を含む、請求項4に記載の装置。 - 選択ビット線に沿った1つ以上の書き込み選択メモリセルを第1のデータ状態にプログラムするために、前記制御回路が、
前記選択ビット線を低電圧レベルにバイアスすることと、
前記書き込み選択メモリセルに対応する前記ワード線を前記第1のデータ状態に対応する前記書き込み電圧にバイアスすることと、
前記書き込み選択メモリセルに対応しないワード線、及び前記選択ビット以外のビット線を、前記低電圧レベルと前記第1のデータ状態に対応する前記書き込み電圧との中間の電圧レベルにバイアスすることと、を同時に行うように構成されている、請求項4に記載の装置。 - 前記制御回路は、
前記ビット線に接続され、前記ワード線に印加された前記1組の対応する入力電圧に応答して、前記ビット線のそれぞれの中の電流の値を受信し、前記電流のそれぞれからマルチビット出力値を決定するように構成されている、1つ以上のアナログ・デジタル変換器を含む、請求項4に記載の装置。 - 前記制御回路は、
前記1つ以上のアナログ・デジタル変換器に接続され、前記マルチビット出力値を蓄積するように構成されているデジタル計算回路を含む、請求項8に記載の装置。 - 前記メモリセルは、ニューラルネットワークの層の重みを記憶するように構成されており、前記制御回路は、
前記ニューラルネットワークの前記層に対するベクトル入力値を受信することであって、入力値の前記ベクトルは複数の成分を有する、ことと、
前記入力ベクトルの前記成分を1組の電圧レベルに変換することと、
前記1組の電圧レベルのそれぞれを対応する1組の前記ワード線に印加することと、を行うように更に構成されている、請求項9に記載の装置。 - 前記制御回路は、
前記1組の電圧レベルのそれぞれを前記対応する1組の前記ワード線に印加することに応答して、複数の前記ビット線からの前記マルチビット出力を同時に蓄積するように更に構成されている、請求項10に記載の装置。 - 制御回路は、
ニューラルネットワークの層に対する複数の重み値を受信し、
前記重み値を前記メモリセルにデータ状態としてプログラムし、
前記重み値を前記メモリセルにプログラムすることに続いて、前記ニューラルネットワークの前記層に対する入力ベクトルを受信し、
前記入力ベクトルを前記第1の複数の入力電圧に変換し、
前記第1の複数の入力電圧を前記メモリセルに印加することによって、前記入力ベクトルと前記重み値とのアレイ内乗算を実行するように更に構成されている、請求項1に記載の装置。 - 方法であって、
1つ以上の第1の選択メモリセルを複数のデータ状態のうちの第1のデータ状態に同時にプログラムするためにメモリセルのアレイをバイアスすることであって、前記アレイは、前記メモリセルが対応するビット線と対応するビット線との間に接続され、前記メモリセルのそれぞれが、導電層によって分離された複数の誘電体層から形成されるクロスポイントアーキテクチャに従って形成され、前記バイアスは、
前記1つ以上の第1の選択メモリセルに対応する前記アレイのビット線を低電圧値に設定することと、
前記1つ以上の第1の選択メモリセルに対応しない前記アレイのビット線を第1の中間電圧レベルに設定することと、
前記1つ以上の第1の選択メモリセルに対応しない前記アレイのワード線を前記第1の中間電圧レベルに設定することと、を含む、ことと、
1つ以上の第1の選択メモリセルを前記複数のデータ状態のうちの前記第1のデータ状態に同時にプログラムするために前記メモリセルのアレイをバイアスすると同時に、前記1つ以上の第1の選択メモリセルに対応する前記アレイのワード線に第1の書き込み電圧を印加することであって、前記第1の書き込み電圧は、前記第1の選択メモリセルを前記複数のデータ状態のうちの前記第1のデータ状態にプログラムするために、前記第1の選択メモリセルの前記誘電体層のうちの1つ以上を破壊するために選択され、前記第1の中間電圧レベルは、前記低電圧値と前記第1の書き込み電圧との中間である、ことと、を含む、方法。 - 前記第1の選択メモリセルを同時にプログラムするために前記メモリセルのアレイをバイアスすることに続いて、前記第1の選択メモリセルに対応する前記アレイの前記ビット線に接続された1つ以上の第2の選択メモリセルを、複数のデータ状態のうちの第2のデータ状態に同時にプログラムするために前記アレイをバイアスすることであって、1つ以上の第2の選択メモリセルを同時にプログラムするために前記アレイをバイアスすることは、
前記1つ以上の第1の選択メモリセルに対応する前記アレイのビット線を低電圧値に設定することと、
前記1つ以上の第2の選択メモリセルに対応しない前記アレイのビット線を第2の中間電圧レベルに設定することと、
前記1つ以上の第2の選択メモリセルに対応しない前記アレイのワード線を前記第2の中間電圧レベルに設定することと、を含む、ことと、
1つ以上の第2の選択メモリセルを前記複数のデータ状態のうちの前記第2のデータ状態に同時にプログラムするために前記メモリセルのアレイをバイアスすると同時に、前記第2の選択メモリセルに対応する前記アレイのワード線に第2の書き込み電圧を印加することであって、前記第2の書き込み電圧は、前記第2の選択メモリセルを前記複数のデータ状態のうちの前記第2のデータ状態にプログラムするために、前記第2の選択メモリセルの前記誘電体層のうちの1つ以上を破壊するために選択され、前記第2の中間電圧レベルは、前記低電圧値と前記第2の書き込み電圧との中間である、ことと、を更に含む、請求項13に記載の方法。 - 前記アレイの前記メモリセルは、ニューラルネットワークの層の重みを記憶するようにプログラムされており、前記方法は、
前記ニューラルネットワークの前記層に対する入力ベクトルを受信することと、
前記入力ベクトルと前記ニューラルネットワークの前記重みとのアレイ内乗算を実行することと、
入力ベクトルを1組の電圧レベルに変換することと、
前記1組の電圧レベルを前記アレイの前記ワード線に印加することと、を更に含む、請求項13に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/061,820 US11289171B1 (en) | 2020-10-02 | 2020-10-02 | Multi-level ultra-low power inference engine accelerator |
US17/061,820 | 2020-10-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022060145A JP2022060145A (ja) | 2022-04-14 |
JP7152562B2 true JP7152562B2 (ja) | 2022-10-12 |
Family
ID=80738198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021103405A Active JP7152562B2 (ja) | 2020-10-02 | 2021-06-22 | マルチレベル超低電力推論エンジンアクセラレータ |
Country Status (6)
Country | Link |
---|---|
US (1) | US11289171B1 (ja) |
JP (1) | JP7152562B2 (ja) |
KR (1) | KR102605890B1 (ja) |
CN (1) | CN114388039A (ja) |
DE (1) | DE102021115503A1 (ja) |
TW (1) | TWI783538B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102318819B1 (ko) * | 2020-06-10 | 2021-10-27 | 연세대학교 산학협력단 | 멀티 비트 가중치의 연산을 위한 인 메모리 장치 |
US20220366224A1 (en) * | 2021-05-13 | 2022-11-17 | Micron Technology, Inc. | Binary neural network in memory |
KR102540226B1 (ko) * | 2022-07-28 | 2023-06-07 | 인하대학교 산학협력단 | 3진 신경망 가속기 소자 및 그 동작 방법 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005123575A (ja) | 2003-08-15 | 2005-05-12 | Macronix Internatl Co Ltd | プログラマブル消去不要メモリに対するプログラミング方法 |
JP2013004143A (ja) | 2011-06-16 | 2013-01-07 | Toshiba Corp | 不揮発性半導体記憶装置 |
WO2019135839A1 (en) | 2018-01-03 | 2019-07-11 | Silicon Storage Technolgy, Inc. | Programmable neuron for analog non-volatile memory in deep learning artificial neural network |
JP2020155727A (ja) | 2019-03-22 | 2020-09-24 | ソニーセミコンダクタソリューションズ株式会社 | 半導体装置及びこれを備えた電子機器 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5677867A (en) * | 1991-06-12 | 1997-10-14 | Hazani; Emanuel | Memory with isolatable expandable bit lines |
US5268319A (en) * | 1988-06-08 | 1993-12-07 | Eliyahou Harari | Highly compact EPROM and flash EEPROM devices |
US6151248A (en) * | 1999-06-30 | 2000-11-21 | Sandisk Corporation | Dual floating gate EEPROM cell array with steering gates shared by adjacent cells |
KR100546179B1 (ko) | 2003-07-30 | 2006-01-24 | 주식회사 하이닉스반도체 | 멀티비트 제어 기능을 갖는 불휘발성 강유전체 메모리 장치 |
US8305807B2 (en) | 2010-07-09 | 2012-11-06 | Sandisk Technologies Inc. | Detection of broken word-lines in memory arrays |
US20130148404A1 (en) * | 2011-12-08 | 2013-06-13 | Abhijit Bandyopadhyay | Antifuse-based memory cells having multiple memory states and methods of forming the same |
US9953725B2 (en) * | 2012-02-29 | 2018-04-24 | Samsung Electronics Co., Ltd. | Semiconductor memory devices and methods of operating the same |
US9082502B2 (en) | 2013-10-10 | 2015-07-14 | Sandisk Technologies Inc. | Bit line and compare voltage modulation for sensing nonvolatile storage elements |
JP6273384B2 (ja) | 2014-08-19 | 2018-01-31 | サビック グローバル テクノロジーズ ビー.ブイ. | マルチレベル動作を有する不揮発性強誘電体メモリセル |
US9721662B1 (en) | 2016-01-13 | 2017-08-01 | Sandisk Technologies Llc | Non-volatile memory with efficient programming |
JP6608312B2 (ja) * | 2016-03-08 | 2019-11-20 | ルネサスエレクトロニクス株式会社 | 半導体装置およびその製造方法 |
KR102369715B1 (ko) | 2017-06-12 | 2022-03-03 | 삼성전자주식회사 | 이차원 물질을 포함하는 비휘발성 메모리 소자 및 이를 포함하는 장치 |
US10664746B2 (en) | 2018-07-17 | 2020-05-26 | Macronix International Co., Ltd. | Neural network system |
EP3683833A4 (en) * | 2018-08-30 | 2020-08-12 | Shenzhen Weitongbo Technology Co., Ltd. | STORAGE UNIT, STORAGE DEVICE, AND METHOD OF OPERATING A STORAGE UNIT |
US10699764B1 (en) * | 2018-12-14 | 2020-06-30 | Nxp Usa, Inc. | MRAM memory with OTP cells |
TWI686803B (zh) | 2019-06-04 | 2020-03-01 | 旺宏電子股份有限公司 | 可變電阻式記憶體之編程方法及記憶胞之電壓編程方法 |
US10892279B1 (en) * | 2019-07-17 | 2021-01-12 | Sandisk Technologies Llc | NAND string containing separate hole and electron tunneling dielectric layers and methods for forming the same |
-
2020
- 2020-10-02 US US17/061,820 patent/US11289171B1/en active Active
-
2021
- 2021-06-03 CN CN202110622315.XA patent/CN114388039A/zh active Pending
- 2021-06-15 DE DE102021115503.7A patent/DE102021115503A1/de active Pending
- 2021-06-21 TW TW110122640A patent/TWI783538B/zh active
- 2021-06-22 JP JP2021103405A patent/JP7152562B2/ja active Active
- 2021-06-24 KR KR1020210082725A patent/KR102605890B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005123575A (ja) | 2003-08-15 | 2005-05-12 | Macronix Internatl Co Ltd | プログラマブル消去不要メモリに対するプログラミング方法 |
JP2013004143A (ja) | 2011-06-16 | 2013-01-07 | Toshiba Corp | 不揮発性半導体記憶装置 |
WO2019135839A1 (en) | 2018-01-03 | 2019-07-11 | Silicon Storage Technolgy, Inc. | Programmable neuron for analog non-volatile memory in deep learning artificial neural network |
JP2021509514A (ja) | 2018-01-03 | 2021-03-25 | シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. | 深層学習人工ニューラルネットワークにおけるアナログ不揮発性メモリ用のプログラム可能なニューロン |
JP2020155727A (ja) | 2019-03-22 | 2020-09-24 | ソニーセミコンダクタソリューションズ株式会社 | 半導体装置及びこれを備えた電子機器 |
Also Published As
Publication number | Publication date |
---|---|
TWI783538B (zh) | 2022-11-11 |
JP2022060145A (ja) | 2022-04-14 |
CN114388039A (zh) | 2022-04-22 |
TW202215437A (zh) | 2022-04-16 |
US20220108759A1 (en) | 2022-04-07 |
KR20220044642A (ko) | 2022-04-11 |
DE102021115503A1 (de) | 2022-04-07 |
US11289171B1 (en) | 2022-03-29 |
KR102605890B1 (ko) | 2023-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643119B2 (en) | Differential non-volatile memory cell for artificial neural network | |
US11657259B2 (en) | Kernel transformation techniques to reduce power consumption of binary input, binary weight in-memory convolutional neural network inference engine | |
US10643705B2 (en) | Configurable precision neural network with differential binary non-volatile memory cell structure | |
US11328204B2 (en) | Realization of binary neural networks in NAND memory arrays | |
US11568200B2 (en) | Accelerating sparse matrix multiplication in storage class memory-based convolutional neural network inference | |
JP7152562B2 (ja) | マルチレベル超低電力推論エンジンアクセラレータ | |
US11568228B2 (en) | Recurrent neural network inference engine with gated recurrent unit cell and non-volatile memory arrays | |
Luo et al. | Accelerating deep neural network in-situ training with non-volatile and volatile memory based hybrid precision synapses | |
US11397885B2 (en) | Vertical mapping and computing for deep neural networks in non-volatile memory | |
US12093812B2 (en) | Ultralow power inference engine with external magnetic field programming assistance | |
US11544547B2 (en) | Accelerating binary neural networks within latch structure of non-volatile memory devices | |
US20220398439A1 (en) | Compute in memory three-dimensional non-volatile nand memory for neural networks with weight and input level expansions | |
CN110751276A (zh) | 在nand存储器阵列中实现具有三值输入和二值权重的神经网络 | |
US11663471B2 (en) | Compute-in-memory deep neural network inference engine using low-rank approximation technique | |
US20220366211A1 (en) | Dropout in neutral networks using threshold switching selectors in non-volatile memories | |
US12079733B2 (en) | Multi-precision digital compute-in-memory deep neural network engine for flexible and energy efficient inferencing | |
US20220358354A1 (en) | Architecture design for ensemble binary neural network (ebnn) inference engine on single-level memory cell arrays |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210622 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210706 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20211027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220929 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7152562 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |