JP7308290B2 - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト - Google Patents
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト Download PDFInfo
- Publication number
- JP7308290B2 JP7308290B2 JP2021564789A JP2021564789A JP7308290B2 JP 7308290 B2 JP7308290 B2 JP 7308290B2 JP 2021564789 A JP2021564789 A JP 2021564789A JP 2021564789 A JP2021564789 A JP 2021564789A JP 7308290 B2 JP7308290 B2 JP 7308290B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- analog
- arrays
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
- G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
- G11C11/5642—Sensing or reading circuits; Data output circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
- G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/08—Address circuits; Decoders; Word-line control circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
- G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/02—Detection or location of defective auxiliary circuits, e.g. defective refresh counters
- G11C29/028—Detection or location of defective auxiliary circuits, e.g. defective refresh counters with adaption or trimming of parameters
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
- G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
- G11C29/44—Indication or identification of errors, e.g. for repair
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/50—Marginal testing, e.g. race, voltage or current testing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
- G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
- G11C2029/4402—Internal storage of test result, quality data, chip identification, repair information
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/50—Marginal testing, e.g. race, voltage or current testing
- G11C2029/5006—Current
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
- G11C2216/02—Structural aspects of erasable programmable read-only memories
- G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate
Description
本出願は、2019年5月2日に出願された「CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK」と題する米国特許仮出願第62/842,279号、及び2019年6月21日に出願された「CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK」と題する米国特許出願第16/449,201号の優先権を主張する。
不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトを開示する。
不揮発性メモリセル
表1:図2のフラッシュメモリセル210の動作
表2:図4のフラッシュメモリセル410の動作
表3:図6のフラッシュメモリセル610の動作
不揮発性メモリセルアレイを使用するニューラルネットワーク
VMMアレイ
Ids=Io*e(Vg-Vth)/nVt=w*Io*e(Vg)/nVt
式中、w=e(-Vth)/nVt
式中、Vgはメモリセルへのゲート電圧であり、Vthはメモリセルのスレッショルド電圧であり、Vtは熱電圧=k*T/qであり(式中、kはボルツマン定数、Tはケルビン単位での温度、qは電子電荷である)、nは傾斜係数=1+(Cdep/Cox)であり(式中、Cdep=空乏層の静電容量、Coxはゲート酸化物層の静電容量である)、Ioはスレッショルド電圧に等しいゲート電圧でのメモリセル電流である。Ioは(Wt/L)*u*Cox*(n-1)*Vt2に比例し、式中、uはキャリア移動度であり、Wt及びLは、それぞれ、メモリセルの幅及び長さである。
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
Iout=wa*Io*e(Vg)/nVt、すなわち、
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/nVt
式中、メモリアレイの各メモリセルのwa=wである。
Ids=beta*(Vgs-Vth)*Vds、beta=u*Cox*Wt/L、
式中、Wt及びLは、トランジスタのそれぞれの幅及び長さである。
W=α(Vgs-Vth)、
すなわち、重みWは(Vgs-Vth)に比例する。
Ids=1/2*beta*(Vgs-Vth)2、beta=u*Cox*Wt/L
W=α(Vgs-Vth)2、すなわち、重みWは(Vgs-Vth)2に比例する。
表5 図12のVMMアレイ1200の動作
表6:図13のVMMアレイ1300の動作
表7:図14のVMMアレイ1400の動作
表8:図15のVMMアレイ1500の動作
長・短期メモリ
ゲート付き回帰型ユニット
VMMアレイ用の構成可能な入出力システム
入力ブロック及び出力ブロックの構成要素
Claims (47)
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
構成可能数Nの前記複数のベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、を備え、
前記入力を受け取る前記アレイは、前記入力に応じて出力を提供する、アナログニューラルメモリシステム。 - 前記入力は、前記入力ブロックによって受け取られたアナログ電流に応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた可変長のパルスに応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた一連の均一なパルスに応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られたビットのセットに応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項1に記載のシステム。
- 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項1に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、複数のベクトル行列乗算アレイのそれぞれは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
構成可能数Nの前記複数のベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、
前記出力は、受け取られた入力に応じて提供される、アナログニューラルメモリシステム。 - 前記出力ブロックは、
前記N個のベクトル行列乗算アレイから受け取ったアナログ電流を前記出力に変換するためのアナログ-デジタル変換器を含み、前記出力は、一連のデジタルパルスを含む、請求項8に記載のシステム。 - 前記アナログ-デジタル変換器はコンパレータを含む、請求項9に記載のシステム。
- 前記コンパレータは、第1のクロック信号又は第2のクロック信号に応じて動作するように構成することができ、前記第2のクロック信号の周波数は、前記第1のクロック信号の前記周波数より大きい、請求項10に記載のシステム。
- 前記アナログ-デジタル変換器は、積分型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、ランプ型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、アルゴリズム型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、シグマデルタ型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、逐次比較型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記システムは、
前記一連のデジタルパルスを電圧に変換するためのデジタルデータ-電圧変換器を更に備える、請求項9に記載のシステム。 - 前記システムは、
前記アナログ電流をデジタルビットのセットに変換するための積分型アナログ-デジタルデータ変換器を更に備える、請求項9に記載のシステム。 - 前記システムは、
前記デジタルビットのセットを1つ以上のパルスに変換するためのデジタルビット-パルス幅変換器を更に備え、前記1つ以上のパルスの幅は、前記デジタルビットのセットの値に比例する、請求項18に記載のシステム。 - 前記システムは、
前記出力されたアナログ電流を電圧に変換するための電流-電圧変換器を更に備える、請求項9に記載のシステム。 - 前記出力は可変長のパルスである、請求項8に記載のシステム。
- 前記出力は一連の均一なパルスである、請求項8に記載のシステム。
- 前記出力はビットのセットである、請求項8に記載のシステム。
- 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項8に記載のシステム。
- 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項8に記載のシステム。
- 前記出力ブロックは、温度を補償するために較正を実行する、請求項8に記載のシステム。
- 前記出力ブロックは、プロセス変動又は電圧供給変動を補償するために較正を実行する、請求項8に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
構成可能数Nの前記ベクトル行列乗算アレイに対するプログラミング動作後に検証動作を実行するための出力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備える、アナログニューラルメモリシステム。 - 前記検証動作の精度は推論精度を超える、請求項28に記載のシステム。
- 前記推論は、積分型ADCによって実行される、請求項29に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
第1の構成可能数Nの前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、
第2の構成可能数Mの前記ベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Mは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、
前記出力ブロックは、前記入力に応じて前記出力を生成する、アナログニューラルメモリシステム。 - 前記入力は、前記入力ブロックによって受け取られたアナログ電流に応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた可変長のパルスに応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた一連の均一なパルスに応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られたビットのセットに応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記出力はアナログ電流である、請求項31に記載のシステム。
- 前記出力は可変長のパルスである、請求項31に記載のシステム。
- 前記出力は一連の均一なパルスである、請求項31に記載のシステム。
- 前記出力はビットのセットである、請求項31に記載のシステム。
- 前記出力ブロックは、コンパレータを含むアナログ-デジタル変換器を含む、請求項31に記載のシステム。
- 前記コンパレータは、第1のクロック信号又は第2のクロック信号に応じて動作するように構成することができ、前記第2のクロック信号の周波数は、前記第1のクロック信号の前記周波数より大きい、請求項40に記載のシステム。
- 前記コンパレータは、変換中に粗比較期間又は微細比較期間で動作するように構成することができる、請求項40に記載のシステム。
- 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項31に記載のシステム。
- 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項31に記載のシステム。
- 前記出力ブロックは、温度を補償するために較正を実行する、請求項31に記載のシステム。
- 前記出力ブロックは、プロセス変動を補償するために較正を実行する、請求項31に記載のシステム。
- 前記出力ブロックは、電圧供給変動を補償するために較正を実行する、請求項31に記載のシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023109273A JP2023139013A (ja) | 2019-05-02 | 2023-07-03 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962842279P | 2019-05-02 | 2019-05-02 | |
US62/842,279 | 2019-05-02 | ||
US16/449,201 US11507642B2 (en) | 2019-05-02 | 2019-06-21 | Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network |
US16/449,201 | 2019-06-21 | ||
PCT/US2019/061902 WO2020222868A1 (en) | 2019-05-02 | 2019-11-18 | Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023109273A Division JP2023139013A (ja) | 2019-05-02 | 2023-07-03 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022539486A JP2022539486A (ja) | 2022-09-12 |
JP7308290B2 true JP7308290B2 (ja) | 2023-07-13 |
Family
ID=73015948
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564789A Active JP7308290B2 (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
JP2021564790A Pending JP2022531766A (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 |
JP2023109273A Pending JP2023139013A (ja) | 2019-05-02 | 2023-07-03 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564790A Pending JP2022531766A (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 |
JP2023109273A Pending JP2023139013A (ja) | 2019-05-02 | 2023-07-03 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
Country Status (7)
Country | Link |
---|---|
US (2) | US20200349422A1 (ja) |
EP (2) | EP3963513B1 (ja) |
JP (3) | JP7308290B2 (ja) |
KR (2) | KR102657705B1 (ja) |
CN (2) | CN113785360A (ja) |
TW (2) | TWI805908B (ja) |
WO (2) | WO2020222869A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970630B1 (en) * | 2017-06-15 | 2021-04-06 | National Technology & Engineering Solutions Of Sandia, Llc | Neuromorphic computing architecture with dynamically accessible contexts |
US20210125049A1 (en) * | 2019-10-29 | 2021-04-29 | Taiwan Semiconductor Manufacturing Co., Ltd. | System for executing neural network |
US11355184B2 (en) | 2020-03-05 | 2022-06-07 | Silicon Storage Technology, Inc. | Analog neural memory array in artificial neural network with substantially constant array source impedance with adaptive weight mapping and distributed power |
US11875852B2 (en) | 2020-07-06 | 2024-01-16 | Silicon Storage Technology, Inc. | Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network |
WO2022146468A1 (en) * | 2021-01-01 | 2022-07-07 | Silicon Storage Technology, Inc. | Digital output mechanisms for analog neural memory in a deep learning artificial neural network |
US20220215239A1 (en) * | 2021-01-01 | 2022-07-07 | Silicon Storage Technology, Inc. | Digital output mechanisms for analog neural memory in a deep learning artificial neural network |
US20220230064A1 (en) * | 2021-01-20 | 2022-07-21 | Mediatek Singapore Pte. Ltd. | Calibration of analog circuits for neural network computing |
US11693560B2 (en) | 2021-01-22 | 2023-07-04 | Taiwan Semiconductor Manufacturing Company, Ltd. | SRAM-based cell for in-memory computing and hybrid computations/storage memory architecture |
US11720784B2 (en) * | 2021-04-01 | 2023-08-08 | Mythic, Inc. | Systems and methods for enhancing inferential accuracy of an artificial neural network during training on a mixed-signal integrated circuit |
WO2022232947A1 (en) * | 2021-05-07 | 2022-11-10 | Blumind Inc. | System, method, and computer device for transistor-based neural networks |
TWI769875B (zh) * | 2021-06-24 | 2022-07-01 | 國立中央大學 | 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介 |
JP2023088730A (ja) * | 2021-12-15 | 2023-06-27 | キオクシア株式会社 | 演算システム |
WO2023141701A1 (en) | 2022-01-25 | 2023-08-03 | Blumind Inc. | Analog systems and methods for audio feature extraction and natural language processing |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322198A (ja) | 2004-04-07 | 2005-11-17 | Sony Corp | データ処理装置 |
US20190034111A1 (en) | 2017-07-19 | 2019-01-31 | Imec Vzw | Control plane organization for flexible digital data plane |
WO2019055182A1 (en) | 2017-09-15 | 2019-03-21 | Silicon Storage Technology, Inc. | SYSTEM AND METHOD FOR IMPLEMENTING CONVOLUTE NEURAL NETWORKS CONFIGURABLE WITH FLASH MEMOIRES |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6346581A (ja) * | 1986-08-13 | 1988-02-27 | Toshiba Corp | 半導体記憶装置 |
KR940001173B1 (ko) * | 1988-08-31 | 1994-02-16 | 후지쓰 가부시끼가이샤 | 뉴로 컴퓨터 |
DE69026740D1 (de) | 1989-02-28 | 1996-06-05 | Fujitsu Ltd | Fehler absorbierendes System in einem neuronalen Rechner |
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
US5298796A (en) | 1992-07-08 | 1994-03-29 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Nonvolatile programmable neural network synaptic array |
JP3561096B2 (ja) * | 1996-09-10 | 2004-09-02 | 株式会社東芝 | 関数学習装置 |
JP3910707B2 (ja) * | 1997-12-01 | 2007-04-25 | 松下電器産業株式会社 | ディジタル信号処理回路 |
KR100370164B1 (ko) * | 2000-12-20 | 2003-01-30 | 주식회사 하이닉스반도체 | 비트라인의 누설전류 보상이 가능한 풀업회로 |
JP2003263624A (ja) * | 2002-03-07 | 2003-09-19 | Matsushita Electric Ind Co Ltd | ニューラル・ネットワーク装置の学習演算回路 |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
US7366021B2 (en) * | 2005-05-04 | 2008-04-29 | Micron Technology, Inc. | Method and apparatus for sensing flash memory using delta sigma modulation |
ITTO20070109A1 (it) * | 2007-02-14 | 2008-08-15 | St Microelectronics Srl | Circuito e metodo di lettura per un dispositivo di memoria non volatile basati sulla generazione adattativa di una grandezza elettrica di riferimento |
US7768868B2 (en) | 2007-06-15 | 2010-08-03 | Micron Technology, Inc. | Digital filters for semiconductor devices |
US7755948B2 (en) * | 2008-08-19 | 2010-07-13 | Agere Systems Inc. | Process and temperature tolerant non-volatile memory |
CN102203877B (zh) * | 2008-09-30 | 2016-07-06 | Lsi公司 | 使用解码器性能反馈的用于存储器器件的软数据生成的方法和装置 |
US7868800B2 (en) * | 2008-10-22 | 2011-01-11 | Industrial Technology Research Institute | Mixed-signal control apparatus of modulation system |
US8473439B2 (en) * | 2010-12-08 | 2013-06-25 | International Business Machines Corporation | Integrate and fire electronic neurons |
TWI530183B (zh) * | 2011-12-08 | 2016-04-11 | Sony Corp | An imaging element, a control method, and an imaging device |
US10217045B2 (en) * | 2012-07-16 | 2019-02-26 | Cornell University | Computation devices and artificial neurons based on nanoelectromechanical systems |
US9164526B2 (en) * | 2012-09-27 | 2015-10-20 | Sandisk Technologies Inc. | Sigma delta over-sampling charge pump analog-to-digital converter |
US8643168B1 (en) * | 2012-10-16 | 2014-02-04 | Lattice Semiconductor Corporation | Integrated circuit package with input capacitance compensation |
US9325321B2 (en) * | 2013-03-13 | 2016-04-26 | Microsemi SoC Corporation | Background auto-refresh apparatus and method for non-volatile memory array |
KR102140787B1 (ko) | 2014-07-07 | 2020-08-03 | 삼성전자주식회사 | 저항성 메모리 장치, 저항성 메모리 시스템 및 저항성 메모리 장치의 동작방법 |
US10325655B2 (en) * | 2015-04-10 | 2019-06-18 | Hewlett Packard Enterprise Development Lp | Temperature compensation circuits |
US9654132B2 (en) * | 2015-07-08 | 2017-05-16 | Marvell World Trade Ltd. | Hybrid charge-sharing charge-redistribution DAC for successive approximation analog-to-digital converters |
US10748058B2 (en) * | 2015-12-28 | 2020-08-18 | International Business Machines Corporation | LUT based neuron membrane potential update scheme in STDP neuromorphic systems |
US10216703B2 (en) * | 2016-02-08 | 2019-02-26 | Spero Devices, Inc. | Analog co-processor |
KR102505695B1 (ko) * | 2016-03-18 | 2023-03-02 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 반도체 장치 및 이를 사용한 시스템 |
US11308383B2 (en) | 2016-05-17 | 2022-04-19 | Silicon Storage Technology, Inc. | Deep learning neural network classifier using non-volatile memory array |
US10123143B2 (en) | 2016-09-26 | 2018-11-06 | Cirrus Logic, Inc. | Correction for speaker monitoring |
US11238887B2 (en) * | 2017-01-23 | 2022-02-01 | Dsp Group Ltd. | Interface to leaky spiking neurons |
JP2018133016A (ja) * | 2017-02-17 | 2018-08-23 | 株式会社半導体エネルギー研究所 | ニューラルネットワークシステム |
US10896367B2 (en) | 2017-03-07 | 2021-01-19 | Google Llc | Depth concatenation using a matrix computation unit |
JPWO2018163005A1 (ja) * | 2017-03-10 | 2020-01-23 | 株式会社半導体エネルギー研究所 | タッチパネルシステム、電子機器および半導体装置 |
US10460817B2 (en) | 2017-07-13 | 2019-10-29 | Qualcomm Incorporated | Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors |
JP2019028569A (ja) * | 2017-07-26 | 2019-02-21 | 株式会社東芝 | メモリシステム、半導体記憶装置及び信号処理システム |
KR20190020408A (ko) * | 2017-08-21 | 2019-03-04 | 에스케이하이닉스 주식회사 | 고 선형성의 투-스텝 싱글-슬롭 비교 장치 및 그에 따른 씨모스 이미지 센서 |
US10748630B2 (en) | 2017-11-29 | 2020-08-18 | Silicon Storage Technology, Inc. | High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks |
US10594334B1 (en) * | 2018-04-17 | 2020-03-17 | Ali Tasdighi Far | Mixed-mode multipliers for artificial intelligence |
CN108932548A (zh) * | 2018-05-22 | 2018-12-04 | 中国科学技术大学苏州研究院 | 一种基于fpga的稀疏度神经网络加速系统 |
US10205463B1 (en) | 2018-07-18 | 2019-02-12 | Teledyne Scientific & Imaging, Llc | Dual-gain single-slope ADC with digital CDS |
US10861553B2 (en) * | 2018-09-27 | 2020-12-08 | Taiwan Semiconductor Manufacturing Co., Ltd. | Device-region layout for embedded flash |
US11061646B2 (en) * | 2018-09-28 | 2021-07-13 | Intel Corporation | Compute in memory circuits with multi-Vdd arrays and/or analog multipliers |
CN109658471B (zh) * | 2018-12-20 | 2023-07-25 | 上海联影医疗科技股份有限公司 | 一种医学图像重建方法和系统 |
US20220123847A1 (en) * | 2019-01-11 | 2022-04-21 | Apple Inc. | Method for measurement of ue-to-ue reference signal in new radio networks with cross-link interference |
US10756748B1 (en) * | 2019-04-26 | 2020-08-25 | Xilinx, Inc. | Capacitor-enhanced comparator for switched-capacitor (SC) circuits with reduced kickback |
US11562249B2 (en) * | 2019-05-01 | 2023-01-24 | International Business Machines Corporation | DNN training with asymmetric RPU devices |
-
2019
- 2019-06-21 US US16/449,205 patent/US20200349422A1/en active Pending
- 2019-06-21 US US16/449,201 patent/US11507642B2/en active Active
- 2019-11-18 JP JP2021564789A patent/JP7308290B2/ja active Active
- 2019-11-18 KR KR1020217035930A patent/KR102657705B1/ko active IP Right Grant
- 2019-11-18 WO PCT/US2019/062073 patent/WO2020222869A1/en unknown
- 2019-11-18 JP JP2021564790A patent/JP2022531766A/ja active Pending
- 2019-11-18 EP EP19817533.3A patent/EP3963513B1/en active Active
- 2019-11-18 CN CN201980095990.2A patent/CN113785360A/zh active Pending
- 2019-11-18 EP EP19821455.3A patent/EP3963587A1/en active Pending
- 2019-11-18 CN CN201980095991.7A patent/CN113785311A/zh active Pending
- 2019-11-18 WO PCT/US2019/061902 patent/WO2020222868A1/en unknown
- 2019-11-18 KR KR1020217035908A patent/KR20210147032A/ko not_active Application Discontinuation
-
2020
- 2020-03-24 TW TW109109709A patent/TWI805908B/zh active
- 2020-03-24 TW TW109109710A patent/TWI805909B/zh active
-
2023
- 2023-07-03 JP JP2023109273A patent/JP2023139013A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322198A (ja) | 2004-04-07 | 2005-11-17 | Sony Corp | データ処理装置 |
US20190034111A1 (en) | 2017-07-19 | 2019-01-31 | Imec Vzw | Control plane organization for flexible digital data plane |
WO2019055182A1 (en) | 2017-09-15 | 2019-03-21 | Silicon Storage Technology, Inc. | SYSTEM AND METHOD FOR IMPLEMENTING CONVOLUTE NEURAL NETWORKS CONFIGURABLE WITH FLASH MEMOIRES |
JP2020534686A (ja) | 2017-09-15 | 2020-11-26 | シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. | フラッシュメモリを備えた構成可能な畳み込みニューラルネットワークを実装するためのシステム及び方法 |
Non-Patent Citations (1)
Title |
---|
MICHAEL KLACHKO; ET AL,"IMPROVING NOISE TOLERANCE OF MIXED-SIGNAL NEURAL NETWORKS",ARXIV.ORG,米国,CORNELL UNIVERSITY LIBRARY,2019年04月03日,P.1-8,https://arxiv.org/ftp/arxiv/papers/1904/1904.01705.pdf |
Also Published As
Publication number | Publication date |
---|---|
TWI805908B (zh) | 2023-06-21 |
WO2020222869A1 (en) | 2020-11-05 |
WO2020222868A1 (en) | 2020-11-05 |
KR20210145809A (ko) | 2021-12-02 |
CN113785311A (zh) | 2021-12-10 |
EP3963587A1 (en) | 2022-03-09 |
JP2022539486A (ja) | 2022-09-12 |
US11507642B2 (en) | 2022-11-22 |
TWI805909B (zh) | 2023-06-21 |
EP3963513A1 (en) | 2022-03-09 |
TW202044123A (zh) | 2020-12-01 |
JP2023139013A (ja) | 2023-10-03 |
TW202042233A (zh) | 2020-11-16 |
CN113785360A (zh) | 2021-12-10 |
US20200349421A1 (en) | 2020-11-05 |
EP3963513B1 (en) | 2024-04-17 |
KR20210147032A (ko) | 2021-12-06 |
US20200349422A1 (en) | 2020-11-05 |
JP2022531766A (ja) | 2022-07-11 |
KR102657705B1 (ko) | 2024-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7308290B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト | |
JP7346579B2 (ja) | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム | |
JP7385657B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整 | |
JP7340101B2 (ja) | 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置 | |
JP7340694B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整 | |
US11893478B2 (en) | Programmable output blocks for analog neural memory in a deep learning artificial neural network | |
US20210118894A1 (en) | Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network | |
KR20230110360A (ko) | 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를위한 디지털 출력 메케니즘 | |
KR20230158570A (ko) | 딥 러닝 인공 신경망에서의 아날로그 뉴럴 메모리를 위한 출력 회로 | |
WO2022245384A1 (en) | Output circuit for analog neural memory in a deep learning artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220516 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7308290 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |