JPWO2020046474A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020046474A5 JPWO2020046474A5 JP2021510774A JP2021510774A JPWO2020046474A5 JP WO2020046474 A5 JPWO2020046474 A5 JP WO2020046474A5 JP 2021510774 A JP2021510774 A JP 2021510774A JP 2021510774 A JP2021510774 A JP 2021510774A JP WO2020046474 A5 JPWO2020046474 A5 JP WO2020046474A5
- Authority
- JP
- Japan
- Prior art keywords
- subarray
- block
- array
- vector
- coupled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004027 cells Anatomy 0.000 claims 39
- 239000011159 matrix material Substances 0.000 claims 29
- 230000015654 memory Effects 0.000 claims 28
- 230000004913 activation Effects 0.000 claims 10
- 230000004044 response Effects 0.000 claims 9
- 210000002569 neurons Anatomy 0.000 claims 8
- 238000006243 chemical reaction Methods 0.000 claims 5
- 230000007787 long-term memory Effects 0.000 claims 5
- 230000000306 recurrent Effects 0.000 claims 5
- 230000006403 short-term memory Effects 0.000 claims 5
- 241001442055 Vipera berus Species 0.000 claims 4
- 230000000694 effects Effects 0.000 claims 2
Claims (67)
- 構成可能なベクトル行列乗算システムであって、
行及び列に配置されたメモリセルのアレイと、
ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルから受け取った電流に応答して出力電圧のベクトルを生成するための、前記アレイに結合された出力ブロックと、
入力電圧のベクトルに応答して入力電流のベクトルを生成し、ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルに前記入力電流の前記ベクトルを提供するための、前記アレイに結合された活性化ブロックであって、
第1のサイクル中に、第1のサブアレイが前記アレイで生成され、前記出力ブロックは前記第1のサブアレイに結合され、前記活性化ブロックは前記第1のサブアレイに結合され、
第2のサイクル中に、第2のサブアレイが前記アレイで生成され、前記出力ブロックは前記第2のサブアレイに結合され、前記活性化ブロックは前記第2のサブアレイに結合され、前記第1のサブアレイ及び前記第2のサブアレイは、前記アレイの異なるメモリセルからなる、活性化ブロックと、
前記第2のサブアレイのベクトルマトリックス乗算器動作のために、前記第1のサブアレイから受け取った電流に応答して、前記出力ブロックからの出力電圧のベクトルを前記活性化ブロックにルーティングするためのルーティング回路と、
を備える、システム。 - 前記ルーティング回路は1つ以上のマルチプレクサを備える、請求項1に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項1に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項1に記載のシステム。
- 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項1に記載のシステム。
- 前記出力ブロックは電流加算器ブロックである、請求項1に記載のシステム。
- 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項1に記載のシステム。
- 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項1に記載のシステム。
- 前記出力ブロックはデジタルビットを出力する、請求項1に記載のシステム。
- 電流サンプルアンドホールド回路又は電圧サンプルアンドホールド回路のうちの1つ以上を更に備える、請求項1に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項1に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項1に記載のシステム。
- 構成可能なベクトルマトリックス乗算システムであって、
行及び列に配置されたメモリセルのアレイと、
ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルから受け取った電流に応答して出力のベクトルを生成するための、前記アレイに結合された出力ブロックであって、
第1のサイクル中に、第1のサブアレイが前記アレイで生成され、前記出力ブロックは前記第1のサブアレイに結合され、活性化ブロックは前記第1のサブアレイに結合され、
第2のサイクル中に、第2のサブアレイが前記アレイで生成され、前記出力ブロックは前記第2のサブアレイに結合され、前記活性化ブロックは前記第2のサブアレイに結合され、
前記第1のサブアレイ及び前記第2のサブアレイは、前記アレイの異なるメモリセルからなる、出力ブロックと、
前記第2のサブアレイのベクトルマトリックス乗算器動作のために、前記第1のサブアレイから受け取った電流に応答して、前記出力ブロックからの出力電圧のベクトルを前記活性化ブロックにルーティングするためのルーティング回路と、
を備える、システム。 - 前記ルーティング回路は1つ以上のマルチプレクサを含む、請求項13に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項13に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項13に記載のシステム。
- 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項13に記載のシステム。
- 前記出力ブロックは電流加算器ブロックである、請求項13に記載のシステム。
- 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項13に記載のシステム。
- 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項13に記載のシステム。
- 前記出力ブロックはデジタルビットを出力する、請求項13に記載のシステム。
- 前記出力ブロックはアナログレベルを出力する、請求項13に記載のシステム。
- 電流サンプルアンドホールド回路及び電圧サンプルアンドホールド回路のうちの1つ以上を更に備える、請求項13に記載のシステム。
- 前記出力ブロックはアナログデジタル変換ブロックを含む、請求項13に記載のシステム。
- 入力ブロックを更に備える、請求項13に記載のシステム。
- 前記入力ブロックは活性化ブロックを含む、請求項25に記載のシステム。
- 前記入力ブロックはデジタルアナログ変換ブロックを含む、請求項25に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項13に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項13に記載のシステム。
- 重みが差分セルに格納される、請求項13に記載のシステム。
- 重みが2つのブレンドメモリセルに格納される、請求項13に記載のシステム。
- 構成可能なベクトルマトリックス乗算システムであって、
行及び列に配置されたメモリセルのアレイと、
ベクトルマトリックス乗算器動作中の前記アレイの複数のメモリセルへの入力データに応答して入力のベクトルを生成するための、前記アレイに結合された入力ブロックであって、
第1のサイクル中に、第1のサブアレイが前記アレイで生成され、前記入力ブロックは前記第1のサブアレイに結合され、
第2のサイクル中に、第2のサブアレイが前記アレイで生成され、前記入力ブロックは前記第2のサブアレイに結合され、
前記第1のサブアレイ及び前記第2のサブアレイは、前記アレイの異なるメモリセルからなる、入力ブロックと、
前記ベクトルマトリックス乗算器動作のために、前記第1のサブアレイに結合された入力データに応答して、前記入力ブロックから入力ベクトルのベクトルをルーティングするためのルーティング回路と、
を備える、システム。 - 前記ルーティング回路は1つ以上のマルチプレクサを含む、請求項32に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項32に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項32に記載のシステム。
- 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項32に記載のシステム。
- 出力ベクトルを生成する出力ブロックを更に備える、請求項32に記載のシステム。
- 前記出力ブロックは電流加算器ブロックである、請求項37に記載のシステム。
- 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項32に記載のシステム。
- 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項32に記載のシステム。
- 前記出力ブロックはデジタルビットを出力する、請求項32に記載のシステム。
- 前記出力ブロックはアナログレベルを出力する、請求項32に記載のシステム。
- 電流サンプルアンドホールド回路及び電圧サンプルアンドホールド回路のうちの1つ以上を更に備える、請求項32に記載のシステム。
- 前記出力ブロックはアナログデジタル変換ブロックを含む、請求項32に記載のシステム。
- 前記出力ブロックはアナログデジタル変換ブロックを含む、請求項33に記載のシステム。
- 前記入力ブロックは活性化ブロックを含む、請求項32に記載のシステム。
- 前記入力ブロックはデジタルアナログ変換ブロックを含む、請求項32に記載のシステム。
- 前記入力ブロックは、前記メモリセルの前記アレイの各メモリセルのソースゲートに結合される、請求項32に記載のシステム。
- 前記入力ブロックは、前記メモリセルの前記アレイの各メモリセルのワード線ゲートに結合される、請求項32に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項32に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項32に記載のシステム。
- 重みが差分セルに格納される、請求項32に記載のシステム。
- 重みが2つのブレンドメモリセルに格納される、請求項32に記載のシステム。
- アナログニューロメモリシステムであって、
複数のベクトルマトリックス乗算サブシステムであって、各ベクトルマトリックス乗算サブシステムが、
行及び列に配置されたメモリセルのアレイと、
ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルから受け取った電流に応答して出力電圧のベクトルを生成するための、前記アレイに結合された出力ブロックと、
入力電圧のベクトルに応答して入力電流のベクトルを生成し、ベクトルマトリックス乗算器動作中に前記アレイの複数のメモリセルに前記入力電流の前記ベクトルを提供するための、前記アレイに結合された活性化ブロックと、
を含む、複数のベクトルマトリックス乗算サブシステムと、
前記複数のベクトルマトリックス乗算サブシステムのうちの1つのベクトルマトリックス乗算サブシステムの第1のアレイに含まれる第1のサブアレイに結合された出力ブロックからの出力電圧のベクトルを前記複数のベクトルマトリックス乗算サブシステムのうちの別のベクトルマトリックス乗算サブシステムの第2のアレイに含まれる第2のサブアレイに結合された活性化ブロックにルーティングするためのルーティング回路と、
を備える、システム。 - 前記ルーティング回路は1つ以上のマルチプレクサを含む、請求項54に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するためのコントローラを更に備える、請求項54に記載のシステム。
- 前記第1のサブアレイ及び前記第2のサブアレイを生成するための制御論理を更に備える、請求項54に記載のシステム。
- 前記ベクトルマトリックス乗算サブシステムの一部又は全体は、長・短期メモリセルを形成する、請求項54に記載のシステム。
- 前記ベクトルマトリックス乗算サブシステムの一部又は全体は、ゲート付き回帰型ユニットセルを形成する、請求項54に記載のシステム。
- 前記メモリセルはスプリットゲート型フラッシュメモリセルである、請求項54に記載のシステム。
- 前記出力ブロックは電流加算器ブロックである、請求項54に記載のシステム。
- 前記システムは、前記システムのニューロンの出力幅を構成する能力を提供する、請求項54に記載のシステム。
- 前記システムは、前記システムのニューロンの入力幅を構成する能力を提供する、請求項54に記載のシステム。
- 前記出力ブロックはデジタルビットを出力する、請求項54に記載のシステム。
- 電流サンプルアンドホールド回路又は電圧サンプルアンドホールド回路を更に備える、請求項54に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、長・短期メモリセルの一部である、請求項54に記載のシステム。
- 前記ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットセルの一部である、請求項54に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862723360P | 2018-08-27 | 2018-08-27 | |
US62/723,360 | 2018-08-27 | ||
US16/182,237 US10956814B2 (en) | 2018-08-27 | 2018-11-06 | Configurable analog neural memory system for deep learning neural network |
US16/182,237 | 2018-11-06 | ||
PCT/US2019/041493 WO2020046474A1 (en) | 2018-08-27 | 2019-07-11 | Configurable analog neural memory system for deep learning neural network |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021536614A JP2021536614A (ja) | 2021-12-27 |
JPWO2020046474A5 true JPWO2020046474A5 (ja) | 2022-07-04 |
JP7209811B2 JP7209811B2 (ja) | 2023-01-20 |
Family
ID=69587243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021510774A Active JP7209811B2 (ja) | 2018-08-27 | 2019-07-11 | 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム |
Country Status (7)
Country | Link |
---|---|
US (3) | US10956814B2 (ja) |
EP (2) | EP3844678B1 (ja) |
JP (1) | JP7209811B2 (ja) |
KR (1) | KR102351423B1 (ja) |
CN (1) | CN112585623B (ja) |
TW (1) | TWI718626B (ja) |
WO (1) | WO2020046474A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11513797B2 (en) * | 2018-09-12 | 2022-11-29 | Mentium Technologies Inc. | Systems and methods for analog vector by matrix multiplier |
JP7259253B2 (ja) * | 2018-10-03 | 2023-04-18 | 株式会社デンソー | 人工ニューラルネットワーク回路 |
US11663056B2 (en) * | 2019-12-20 | 2023-05-30 | Intel Corporation | Unified programming interface for regrained tile execution |
US20210350217A1 (en) * | 2020-05-10 | 2021-11-11 | Silicon Storage Technology, Inc. | Analog neural memory array in artificial neural network with source line pulldown mechanism |
CN112181895B (zh) * | 2020-09-02 | 2023-06-06 | 上海交通大学 | 可重构架构、加速器、电路部署和计算数据流方法 |
CN114335186A (zh) * | 2020-09-30 | 2022-04-12 | 硅存储技术股份有限公司 | 具有设置在字线栅上方的擦除栅的分裂栅非易失性存储器单元及其制备方法 |
US20240212672A1 (en) * | 2021-04-26 | 2024-06-27 | The Trustees Of Dartmouth College | Low power analog circuitry for artificial neural networks |
WO2024026741A1 (en) * | 2022-08-03 | 2024-02-08 | Hefei Reliance Memory Limited | Acceleration architecture for neural networks |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
US5182794A (en) * | 1990-07-12 | 1993-01-26 | Allen-Bradley Company, Inc. | Recurrent neural networks teaching system |
US5726934A (en) * | 1996-04-09 | 1998-03-10 | Information Storage Devices, Inc. | Method and apparatus for analog reading values stored in floating gate structures |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
US20050125477A1 (en) * | 2003-12-04 | 2005-06-09 | Genov Roman A. | High-precision matrix-vector multiplication on a charge-mode array with embedded dynamic memory and stochastic method thereof |
US9152827B2 (en) * | 2012-12-19 | 2015-10-06 | The United States Of America As Represented By The Secretary Of The Air Force | Apparatus for performing matrix vector multiplication approximation using crossbar arrays of resistive memory devices |
CN105122278B (zh) * | 2013-03-15 | 2017-03-22 | Hrl实验室有限责任公司 | 神经网络及编程方法 |
US9672930B2 (en) * | 2015-05-29 | 2017-06-06 | Silicon Storage Technology, Inc. | Low power operation for flash memory system |
CN106485321B (zh) * | 2015-10-08 | 2019-02-12 | 上海兆芯集成电路有限公司 | 具有架构神经网络执行单元的处理器 |
US10552370B2 (en) * | 2015-10-08 | 2020-02-04 | Via Alliance Semiconductor Co., Ltd. | Neural network unit with output buffer feedback for performing recurrent neural network computations |
WO2017200883A1 (en) | 2016-05-17 | 2017-11-23 | Silicon Storage Technology, Inc. | Deep learning neural network classifier using non-volatile memory array |
KR102399548B1 (ko) * | 2016-07-13 | 2022-05-19 | 삼성전자주식회사 | 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치 |
KR20180009315A (ko) * | 2016-07-18 | 2018-01-26 | 아이엠이씨 브이제트더블유 | 시간 메모리 시스템의 하드웨어 구현 |
US11501130B2 (en) * | 2016-09-09 | 2022-11-15 | SK Hynix Inc. | Neural network hardware accelerator architectures and operating method thereof |
WO2018060817A1 (en) * | 2016-09-30 | 2018-04-05 | Semiconductor Energy Laboratory Co., Ltd. | Display system and electronic device |
US9922696B1 (en) * | 2016-10-28 | 2018-03-20 | Samsung Electronics Co., Ltd. | Circuits and micro-architecture for a DRAM-based processing unit |
US10528321B2 (en) * | 2016-12-07 | 2020-01-07 | Microsoft Technology Licensing, Llc | Block floating point for neural network implementations |
US10565492B2 (en) | 2016-12-31 | 2020-02-18 | Via Alliance Semiconductor Co., Ltd. | Neural network unit with segmentable array width rotator |
US10127494B1 (en) * | 2017-08-02 | 2018-11-13 | Google Llc | Neural network crossbar stack |
US11354562B2 (en) * | 2018-01-03 | 2022-06-07 | Silicon Storage Technology, Inc. | Programmable neuron for analog non-volatile memory in deep learning artificial neural network |
US10910061B2 (en) * | 2018-03-14 | 2021-02-02 | Silicon Storage Technology, Inc. | Method and apparatus for programming analog neural memory in a deep learning artificial neural network |
US11769036B2 (en) * | 2018-04-18 | 2023-09-26 | Qualcomm Incorporated | Optimizing performance of recurrent neural networks |
US10860918B2 (en) * | 2018-08-21 | 2020-12-08 | Silicon Storage Technology, Inc. | Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components |
-
2018
- 2018-11-06 US US16/182,237 patent/US10956814B2/en active Active
-
2019
- 2019-07-11 CN CN201980055096.2A patent/CN112585623B/zh active Active
- 2019-07-11 EP EP19745935.7A patent/EP3844678B1/en active Active
- 2019-07-11 JP JP2021510774A patent/JP7209811B2/ja active Active
- 2019-07-11 WO PCT/US2019/041493 patent/WO2020046474A1/en unknown
- 2019-07-11 KR KR1020217007008A patent/KR102351423B1/ko active IP Right Grant
- 2019-07-11 EP EP23163990.7A patent/EP4220489A1/en active Pending
- 2019-08-19 TW TW108129490A patent/TWI718626B/zh active
-
2021
- 2021-02-22 US US17/181,656 patent/US20210174185A1/en active Pending
-
2023
- 2023-11-28 US US18/522,153 patent/US20240095511A1/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11934480B2 (en) | NAND block architecture for in-memory multiply-and-accumulate operations | |
Zhu et al. | A configurable multi-precision CNN computing framework based on single bit RRAM | |
US11132176B2 (en) | Non-volatile computing method in flash memory | |
US11562788B2 (en) | Memory processing unit | |
US20190213234A1 (en) | Vector-by-matrix multiplier modules based on non-volatile 2d and 3d memory arrays | |
KR102449941B1 (ko) | 효율적인 행렬 곱셈을 위한 시스템 및 방법 | |
US11475300B2 (en) | Neural network training method and apparatus | |
CN109146070B (zh) | 一种支撑基于rram的神经网络训练的外围电路及系统 | |
CN108763163B (zh) | 模拟向量-矩阵乘法运算电路 | |
Chang et al. | AI hardware acceleration with analog memory: Microarchitectures for low energy at high speed | |
CN109800876B (zh) | 一种基于NOR Flash模块的神经网络的数据运算方法 | |
KR102672586B1 (ko) | 인공신경망의 훈련 방법 및 장치 | |
US11157810B2 (en) | Resistive processing unit architecture with separate weight update and inference circuitry | |
CN109086249B (zh) | 模拟向量-矩阵乘法运算电路 | |
Zidan et al. | Field-programmable crossbar array (FPCA) for reconfigurable computing | |
US10783963B1 (en) | In-memory computation device with inter-page and intra-page data circuits | |
CN111478703B (zh) | 基于忆阻交叉阵列的处理电路及输出电流的补偿方法 | |
JP2018501536A (ja) | ベクトル処理のためのダブルバイアスメムリスティブドット積エンジン | |
CN112181895B (zh) | 可重构架构、加速器、电路部署和计算数据流方法 | |
Chen et al. | Partition SRAM and RRAM based synaptic arrays for neuro-inspired computing | |
JPWO2020046474A5 (ja) | ||
CN115794728A (zh) | 一种存内计算位线钳位与求和外围电路及其应用 | |
US20220351032A1 (en) | Memory for Artificial Neural Network Accelerator | |
CN111859261A (zh) | 计算电路及其操作方法 | |
Kosta et al. | HyperX: A hybrid RRAM-SRAM partitioned system for error recovery in memristive Xbars |