JPWO2020046474A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020046474A5
JPWO2020046474A5 JP2021510774A JP2021510774A JPWO2020046474A5 JP WO2020046474 A5 JPWO2020046474 A5 JP WO2020046474A5 JP 2021510774 A JP2021510774 A JP 2021510774A JP 2021510774 A JP2021510774 A JP 2021510774A JP WO2020046474 A5 JPWO2020046474 A5 JP WO2020046474A5
Authority
JP
Japan
Prior art keywords
subarray
block
array
vector
coupled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021510774A
Other languages
English (en)
Other versions
JP7209811B2 (ja
JP2021536614A (ja
Publication date
Priority claimed from US16/182,237 external-priority patent/US10956814B2/en
Application filed filed Critical
Publication of JP2021536614A publication Critical patent/JP2021536614A/ja
Publication of JPWO2020046474A5 publication Critical patent/JPWO2020046474A5/ja
Application granted granted Critical
Publication of JP7209811B2 publication Critical patent/JP7209811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (67)

  1. 構成可能なベクトル行列乗算システムであって、
    行及び列に配置されたメモリセルのアレイと、
    ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルから受け取った電流に応答して出力電圧のベクトルを生成するための、前記アレイに結合された出力ブロックと、
    入力電圧のベクトルに応答して入力電流のベクトルを生成し、ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルに前記入力電流の前記ベクトルを提供するための、前記アレイに結合された活性化ブロックであって
    第1のサイクル中に、第1のサブアレイが前記アレイで生成され、前記出力ブロックは前記第1のサブアレイに結合され、前記活性化ブロックは前記第1のサブアレイに結合され
    第2のサイクル中に、第2のサブアレイが前記アレイで生成され、前記出力ブロックは前記第2のサブアレイに結合され、前記活性化ブロックは前記第2のサブアレイに結合され、前記第1のサブアレイ及び前記第2のサブアレイは、前記アレイの異なるメモリセルからなる、活性化ブロックと、
    前記第2のサブアレイのベクトルマトリックス乗算器動作のために、前記第1のサブアレイから受け取った電流に応答して、前記出力ブロックからの出力電圧のベクトルを前記活性化ブロックにルーティングするためのルーティング回路と、
    を備える、システム。
  2. 前記ルーティング回路は1つ以上のマルチプレクサを備える、請求項に記載のシステム。
  3. 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項に記載のシステム。
  4. 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項に記載のシステム。
  5. 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項1に記載のシステム。
  6. 前記出力ブロックは電流加算器ブロックである、請求項1に記載のシステム。
  7. 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項1に記載のシステム。
  8. 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項1に記載のシステム。
  9. 前記出力ブロックはデジタルビットを出力する、請求項1に記載のシステム。
  10. 電流サンプルアンドホールド回路又は電圧サンプルアンドホールド回路のうちの1つ以上を更に備える、請求項1に記載のシステム。
  11. 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項1に記載のシステム。
  12. 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項1に記載のシステム。
  13. 構成可能なベクトルマトリックス乗算システムであって、
    行及び列に配置されたメモリセルのアレイと、
    ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルから受け取った電流に応答して出力のベクトルを生成するための、前記アレイに結合された出力ブロックであって、
    第1のサイクル中に、第1のサブアレイが前記アレイで生成され、前記出力ブロックは前記第1のサブアレイに結合され、活性化ブロックは前記第1のサブアレイに結合され、
    第2のサイクル中に、第2のサブアレイが前記アレイで生成され、前記出力ブロックは前記第2のサブアレイに結合され、前記活性化ブロックは前記第2のサブアレイに結合され、
    前記第1のサブアレイ及び前記第2のサブアレイは、前記アレイの異なるメモリセルからなる、出力ブロックと、
    前記第2のサブアレイのベクトルマトリックス乗算器動作のために、前記第1のサブアレイから受け取った電流に応答して、前記出力ブロックからの出力電圧のベクトルを前記活性化ブロックにルーティングするためのルーティング回路と、
    を備える、システム。
  14. 前記ルーティング回路は1つ以上のマルチプレクサを含む、請求項1に記載のシステム。
  15. 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項1に記載のシステム。
  16. 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項1に記載のシステム。
  17. 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項1に記載のシステム。
  18. 前記出力ブロックは電流加算器ブロックである、請求項1に記載のシステム。
  19. 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項1に記載のシステム。
  20. 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項1に記載のシステム。
  21. 前記出力ブロックはデジタルビットを出力する、請求項1に記載のシステム。
  22. 前記出力ブロックはアナログレベルを出力する、請求項1に記載のシステム。
  23. 電流サンプルアンドホールド回路及び電圧サンプルアンドホールド回路のうちの1つ以上を更に備える、請求項1に記載のシステム。
  24. 前記出力ブロックはアナログデジタル変換ブロックを含む、請求項1に記載のシステム。
  25. 入力ブロックを更に備える、請求項1に記載のシステム。
  26. 前記入力ブロックは活性化ブロックを含む、請求項25に記載のシステム。
  27. 前記入力ブロックはデジタルアナログ変換ブロックを含む、請求項25に記載のシステム。
  28. 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項13に記載のシステム。
  29. 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項13に記載のシステム。
  30. 重みが差分セルに格納される、請求項13に記載のシステム。
  31. 重みが2つのブレンドメモリセルに格納される、請求項13に記載のシステム。
  32. 構成可能なベクトルマトリックス乗算システムであって、
    行及び列に配置されたメモリセルのアレイと、
    ベクトルマトリックス乗算器動作中の前記アレイの複数のメモリセルへの入力データに応答して入力のベクトルを生成するための、前記アレイに結合された入力ブロックであって、
    第1のサイクル中に、第1のサブアレイが前記アレイで生成され、前記入力ブロックは前記第1のサブアレイに結合され、
    第2のサイクル中に、第2のサブアレイが前記アレイで生成され、前記入力ブロックは前記第2のサブアレイに結合され、
    前記第1のサブアレイ及び前記第2のサブアレイは、前記アレイの異なるメモリセルからなる、入力ブロックと、
    前記ベクトルマトリックス乗算器動作のために、前記第1のサブアレイに結合された入力データに応答して、前記入力ブロックから入力ベクトルのベクトルをルーティングするためのルーティング回路と、
    を備える、システム。
  33. 前記ルーティング回路は1つ以上のマルチプレクサを含む、請求項32に記載のシステム。
  34. 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項32に記載のシステム。
  35. 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項32に記載のシステム。
  36. 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項32に記載のシステム。
  37. 出力ベクトルを生成する出力ブロックを更に備える、請求項32に記載のシステム。
  38. 前記出力ブロックは電流加算器ブロックである、請求項37に記載のシステム。
  39. 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項32に記載のシステム。
  40. 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項32に記載のシステム。
  41. 前記出力ブロックはデジタルビットを出力する、請求項32に記載のシステム。
  42. 前記出力ブロックはアナログレベルを出力する、請求項32に記載のシステム。
  43. 電流サンプルアンドホールド回路及び電圧サンプルアンドホールド回路のうちの1つ以上を更に備える、請求項32に記載のシステム。
  44. 前記出力ブロックはアナログデジタル変換ブロックを含む、請求項32に記載のシステム。
  45. 前記出力ブロックはアナログデジタル変換ブロックを含む、請求項33に記載のシステム。
  46. 前記入力ブロックは活性化ブロックを含む、請求項32に記載のシステム。
  47. 前記入力ブロックはデジタルアナログ変換ブロックを含む、請求項32に記載のシステム。
  48. 前記入力ブロックは、前記メモリセルの前記アレイの各メモリセルのソースゲートに結合される、請求項32に記載のシステム。
  49. 前記入力ブロックは、前記メモリセルの前記アレイの各メモリセルのワード線ゲートに結合される、請求項32に記載のシステム。
  50. 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項32に記載のシステム。
  51. 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項32に記載のシステム。
  52. 重みが差分セルに格納される、請求項32に記載のシステム。
  53. 重みが2つのブレンドメモリセルに格納される、請求項32に記載のシステム。
  54. アナログニューロメモリシステムであって、
    複数のベクトルマトリックス乗算サブシステムであって、各ベクトルマトリックス乗算サブシステムが、
    行及び列に配置されたメモリセルのアレイと、
    ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルから受け取った電流に応答して出力電圧のベクトルを生成するための、前記アレイに結合された出力ブロックと、
    入力電圧のベクトルに応答して入力電流のベクトルを生成し、ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルに前記入力電流の前記ベクトルを提供するための、前記アレイに結合された活性化ブロックと、
    を含む、複数のベクトルマトリックス乗算サブシステムと、
    前記複数のベクトルマトリックス乗算サブシステムのうちの1つのベクトルマトリックス乗算サブシステムの第1のアレイに含まれる第1のサブアレイに結合された出力ブロックからの出力電圧のベクトルを前記複数のベクトルマトリックス乗算サブシステムのうちの別のベクトルマトリックス乗算サブシステムの第2のアレイに含まれる第2のサブアレイに結合された活性化ブロックにルーティングするためのルーティング回路と、
    を備える、システム。
  55. 前記ルーティング回路は1つ以上のマルチプレクサを含む、請求項54に記載のシステム。
  56. 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項54に記載のシステム。
  57. 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項54に記載のシステム。
  58. 前記ベクトルマトリックス乗算サブシステムの一部又は全体は、長・短期メモリセルを形成する、請求項54に記載のシステム。
  59. 前記ベクトルマトリックス乗算サブシステムの一部又は全体は、ゲート付き回帰型ユニットセルを形成する、請求項54に記載のシステム。
  60. 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項54に記載のシステム。
  61. 前記出力ブロックは電流加算器ブロックである、請求項54に記載のシステム。
  62. 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項54に記載のシステム。
  63. 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項54に記載のシステム。
  64. 前記出力ブロックはデジタルビットを出力する、請求項54に記載のシステム。
  65. 電流サンプルアンドホールド回路又は電圧サンプルアンドホールド回路を更に備える、請求項54に記載のシステム。
  66. 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項54に記載のシステム。
  67. 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項54に記載のシステム。
JP2021510774A 2018-08-27 2019-07-11 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム Active JP7209811B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862723360P 2018-08-27 2018-08-27
US62/723,360 2018-08-27
US16/182,237 US10956814B2 (en) 2018-08-27 2018-11-06 Configurable analog neural memory system for deep learning neural network
US16/182,237 2018-11-06
PCT/US2019/041493 WO2020046474A1 (en) 2018-08-27 2019-07-11 Configurable analog neural memory system for deep learning neural network

Publications (3)

Publication Number Publication Date
JP2021536614A JP2021536614A (ja) 2021-12-27
JPWO2020046474A5 true JPWO2020046474A5 (ja) 2022-07-04
JP7209811B2 JP7209811B2 (ja) 2023-01-20

Family

ID=69587243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021510774A Active JP7209811B2 (ja) 2018-08-27 2019-07-11 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム

Country Status (7)

Country Link
US (3) US10956814B2 (ja)
EP (2) EP3844678B1 (ja)
JP (1) JP7209811B2 (ja)
KR (1) KR102351423B1 (ja)
CN (1) CN112585623B (ja)
TW (1) TWI718626B (ja)
WO (1) WO2020046474A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11513797B2 (en) * 2018-09-12 2022-11-29 Mentium Technologies Inc. Systems and methods for analog vector by matrix multiplier
JP7259253B2 (ja) * 2018-10-03 2023-04-18 株式会社デンソー 人工ニューラルネットワーク回路
US11663056B2 (en) * 2019-12-20 2023-05-30 Intel Corporation Unified programming interface for regrained tile execution
US20210350217A1 (en) * 2020-05-10 2021-11-11 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
CN112181895B (zh) * 2020-09-02 2023-06-06 上海交通大学 可重构架构、加速器、电路部署和计算数据流方法
CN114335186A (zh) * 2020-09-30 2022-04-12 硅存储技术股份有限公司 具有设置在字线栅上方的擦除栅的分裂栅非易失性存储器单元及其制备方法
US20240212672A1 (en) * 2021-04-26 2024-06-27 The Trustees Of Dartmouth College Low power analog circuitry for artificial neural networks
WO2024026741A1 (en) * 2022-08-03 2024-02-08 Hefei Reliance Memory Limited Acceleration architecture for neural networks

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5182794A (en) * 1990-07-12 1993-01-26 Allen-Bradley Company, Inc. Recurrent neural networks teaching system
US5726934A (en) * 1996-04-09 1998-03-10 Information Storage Devices, Inc. Method and apparatus for analog reading values stored in floating gate structures
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US20050125477A1 (en) * 2003-12-04 2005-06-09 Genov Roman A. High-precision matrix-vector multiplication on a charge-mode array with embedded dynamic memory and stochastic method thereof
US9152827B2 (en) * 2012-12-19 2015-10-06 The United States Of America As Represented By The Secretary Of The Air Force Apparatus for performing matrix vector multiplication approximation using crossbar arrays of resistive memory devices
CN105122278B (zh) * 2013-03-15 2017-03-22 Hrl实验室有限责任公司 神经网络及编程方法
US9672930B2 (en) * 2015-05-29 2017-06-06 Silicon Storage Technology, Inc. Low power operation for flash memory system
CN106485321B (zh) * 2015-10-08 2019-02-12 上海兆芯集成电路有限公司 具有架构神经网络执行单元的处理器
US10552370B2 (en) * 2015-10-08 2020-02-04 Via Alliance Semiconductor Co., Ltd. Neural network unit with output buffer feedback for performing recurrent neural network computations
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
KR102399548B1 (ko) * 2016-07-13 2022-05-19 삼성전자주식회사 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치
KR20180009315A (ko) * 2016-07-18 2018-01-26 아이엠이씨 브이제트더블유 시간 메모리 시스템의 하드웨어 구현
US11501130B2 (en) * 2016-09-09 2022-11-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
WO2018060817A1 (en) * 2016-09-30 2018-04-05 Semiconductor Energy Laboratory Co., Ltd. Display system and electronic device
US9922696B1 (en) * 2016-10-28 2018-03-20 Samsung Electronics Co., Ltd. Circuits and micro-architecture for a DRAM-based processing unit
US10528321B2 (en) * 2016-12-07 2020-01-07 Microsoft Technology Licensing, Llc Block floating point for neural network implementations
US10565492B2 (en) 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10127494B1 (en) * 2017-08-02 2018-11-13 Google Llc Neural network crossbar stack
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10910061B2 (en) * 2018-03-14 2021-02-02 Silicon Storage Technology, Inc. Method and apparatus for programming analog neural memory in a deep learning artificial neural network
US11769036B2 (en) * 2018-04-18 2023-09-26 Qualcomm Incorporated Optimizing performance of recurrent neural networks
US10860918B2 (en) * 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components

Similar Documents

Publication Publication Date Title
US11934480B2 (en) NAND block architecture for in-memory multiply-and-accumulate operations
Zhu et al. A configurable multi-precision CNN computing framework based on single bit RRAM
US11132176B2 (en) Non-volatile computing method in flash memory
US11562788B2 (en) Memory processing unit
US20190213234A1 (en) Vector-by-matrix multiplier modules based on non-volatile 2d and 3d memory arrays
KR102449941B1 (ko) 효율적인 행렬 곱셈을 위한 시스템 및 방법
US11475300B2 (en) Neural network training method and apparatus
CN109146070B (zh) 一种支撑基于rram的神经网络训练的外围电路及系统
CN108763163B (zh) 模拟向量-矩阵乘法运算电路
Chang et al. AI hardware acceleration with analog memory: Microarchitectures for low energy at high speed
CN109800876B (zh) 一种基于NOR Flash模块的神经网络的数据运算方法
KR102672586B1 (ko) 인공신경망의 훈련 방법 및 장치
US11157810B2 (en) Resistive processing unit architecture with separate weight update and inference circuitry
CN109086249B (zh) 模拟向量-矩阵乘法运算电路
Zidan et al. Field-programmable crossbar array (FPCA) for reconfigurable computing
US10783963B1 (en) In-memory computation device with inter-page and intra-page data circuits
CN111478703B (zh) 基于忆阻交叉阵列的处理电路及输出电流的补偿方法
JP2018501536A (ja) ベクトル処理のためのダブルバイアスメムリスティブドット積エンジン
CN112181895B (zh) 可重构架构、加速器、电路部署和计算数据流方法
Chen et al. Partition SRAM and RRAM based synaptic arrays for neuro-inspired computing
JPWO2020046474A5 (ja)
CN115794728A (zh) 一种存内计算位线钳位与求和外围电路及其应用
US20220351032A1 (en) Memory for Artificial Neural Network Accelerator
CN111859261A (zh) 计算电路及其操作方法
Kosta et al. HyperX: A hybrid RRAM-SRAM partitioned system for error recovery in memristive Xbars