JP6844013B2 - 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 - Google Patents
半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 Download PDFInfo
- Publication number
- JP6844013B2 JP6844013B2 JP2019540878A JP2019540878A JP6844013B2 JP 6844013 B2 JP6844013 B2 JP 6844013B2 JP 2019540878 A JP2019540878 A JP 2019540878A JP 2019540878 A JP2019540878 A JP 2019540878A JP 6844013 B2 JP6844013 B2 JP 6844013B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- output
- data
- configuration information
- word line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 78
- 239000004065 semiconductor Substances 0.000 title claims description 23
- 238000000034 method Methods 0.000 title claims description 7
- 230000015654 memory Effects 0.000 claims description 94
- 238000004364 calculation method Methods 0.000 claims description 52
- 230000008878 coupling Effects 0.000 claims description 45
- 238000010168 coupling process Methods 0.000 claims description 45
- 238000005859 coupling reaction Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 39
- 210000004027 cell Anatomy 0.000 description 45
- 210000002569 neuron Anatomy 0.000 description 39
- 238000010586 diagram Methods 0.000 description 25
- 230000004913 activation Effects 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 240000008168 Ficus benjamina Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011165 process development Methods 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/5443—Sum of products
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/08—Address circuits; Decoders; Word-line control circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
- G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/18—Bit line organisation; Bit line lay-out
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
- G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
- G11C13/0021—Auxiliary circuits
- G11C13/0023—Address circuits or decoders
- G11C13/0026—Bit-line or column circuits
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Neurology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Memory System (AREA)
- Semiconductor Memories (AREA)
- Image Analysis (AREA)
Description
始めに、ニューラルネットワーク演算の基礎理論について説明する。
図5は、第一の実施形態に係る不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路の詳細構成を示す図である。
2 隠れ層
3 出力層
10 ニューロン
11 結合重み
20 メモリアレイ
21 メモリセル
22 ワード線
23 ビット線
24 ワード線駆動回路
25 カラム選択回路
26 演算回路
27 出力保持回路
28 ネットワーク構成情報保持回路
29 制御回路
30、31、32 セレクタ回路
40 カラム選択信号
41 ロウアドレス信号
42 設定データ
x0〜xn 入力
w0〜wn 結合重み係数
b バイアス係数
f 活性化関数
y 出力
N1 第1層のノード数
N2 第2層のノード数
Nn−1 第N−1層のノード数
Nn 第N層のノード数
Claims (6)
- 複数のワード線と、
前記複数のワード線に交差する形で配列される複数のビット線と、
前記複数のワード線と前記複数のビット線の交点に配置され、各々がニューラルネットワークの結合重み係数を保持する複数のメモリセルと、
前記複数のワード線のうち、任意の1本以上のワード線を駆動可能なワード線駆動回路と、
前記複数のビット線のうち、任意のビット線を選択可能なカラム選択回路と、
前記カラム選択回路により選択されたビット線に接続する複数のメモリセル群が保持する複数の結合重み係数と前記複数のワード線の駆動状態で示す入力データとの積和演算を、前記カラム選択回路により選択されたビット線に流れる電流を判定することで実施する演算回路と、
前記演算回路の出力データを保持する出力保持回路と、
ニューラルネットワークの各結合重み係数を割り当てたメモリセルのアドレス情報を含むネットワーク構成情報を保持するネットワーク構成情報保持回路と、
前記ネットワーク構成情報をもとに外部からの入力データを前記ワード線駆動回路にセットする機能と、前記ネットワーク構成情報をもとに前記出力保持回路の保持データを前記ワード線駆動回路にセットする機能と、前記ネットワーク構成情報をもとに演算に使用するビット線を前記カラム選択回路に指定する機能とを持つ制御回路とを備えた半導体集積回路。 - あるワード線駆動状態と、あるビット線選択状態における前記演算回路の出力データを前記出力保持回路に保存した後、前記ワード線駆動状態を保持したまま、選択するビット線を変更し、前記演算回路の出力データを前記出力保持回路に追加して保存し、結合したデータを前記ワード線駆動回路に設定する機能を持つ請求項1に記載の半導体集積回路。
- 前記外部からの入力データと前記出力保持回路の保持データから前記ワード線駆動回路に接続するデータを選択するセレクタ回路を更に備えた請求項1に記載の半導体集積回路。
- 前記外部からの入力データと前記演算回路の出力データから前記出力保持回路に接続するデータを選択するセレクタ回路を更に備えた請求項1に記載の半導体集積回路。
- 複数のワード線と、前記複数のワード線に交差する形で配列される複数のビット線と、前記複数のワード線と前記複数のビット線の交点に配置され、各々がニューラルネットワークの結合重み係数を保持する複数のメモリセルと、前記複数のワード線のうち、任意の1本以上のワード線を駆動可能なワード線駆動回路と、前記複数のビット線のうち、任意のビット線を選択可能なカラム選択回路と、前記カラム選択回路により選択されたビット線に接続する複数のメモリセル群が保持する複数の結合重み係数と前記複数のワード線の駆動状態で示す入力データとの積和演算を、前記カラム選択回路により選択されたビット線に流れる電流を判定することで実施する演算回路と、前記演算回路の出力データを保持する出力保持回路と、ニューラルネットワークの各結合重み係数を割り当てたメモリセルのアドレス情報を含むネットワーク構成情報を保持するネットワーク構成情報保持回路と、前記ネットワーク構成情報をもとに外部からの入力データを前記ワード線駆動回路にセットする機能と、前記ネットワーク構成情報をもとに前記出力保持回路の保持データを前記ワード線駆動回路にセットする機能と、前記ネットワーク構成情報をもとに演算に使用するビット線を前記カラム選択回路に指定する機能とを持つ制御回路とを備えた半導体集積回路を用い、
前記ネットワーク構成情報をもとに、前記外部からの入力データをニューラルネットワークの入力層と入力層の次の層である第一の隠れ層との結合重み係数を保持する第一のメモリセル群に対応する第一のワード線エリアを駆動するように設定し、前記第一のメモリセル群に対応する1本以上の第一のビット線群を選択して前記演算回路に接続し、
前記演算回路から得られた演算結果を前記出力保持回路に保持し、前記出力保持回路の保持データを前記第一の隠れ層の次の層である第二の隠れ層の入力データとして、前記第一の隠れ層と前記第二の隠れ層の結合重み係数を保持する第二のメモリセル群に対応する第二のワード線エリアを駆動するように設定し、前記第二のメモリセル群に対応する1本以上の第二のビット線群を選択して前記演算回路に接続し、
前記演算回路から得られた結果を前記出力保持回路に保持し、前記演算回路の出力が出力層に当たらない場合、更に次の隠れ層に対して対応するメモリセル群を用いて前記第二の隠れ層に対する動作と同様の動作を繰り返し実施するニューラルネットワーク半導体集積回路の動作方法。 - 前記第一のビット線群又は前記第二のビット線群を選択して前記演算回路に接続し、前記演算回路から得られた演算結果を前記出力保持回路に保持する動作は、次の層のノードの演算結果をすべて得るまでビット線選択を変更しながら繰り返し実施することを特徴とする請求項5に記載のニューラルネットワーク半導体集積回路の動作方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017171953 | 2017-09-07 | ||
JP2017171953 | 2017-09-07 | ||
PCT/JP2018/031298 WO2019049686A1 (ja) | 2017-09-07 | 2018-08-24 | 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019049686A1 JPWO2019049686A1 (ja) | 2020-08-06 |
JP6844013B2 true JP6844013B2 (ja) | 2021-03-17 |
Family
ID=65634134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019540878A Active JP6844013B2 (ja) | 2017-09-07 | 2018-08-24 | 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11495289B2 (ja) |
EP (1) | EP3680824A4 (ja) |
JP (1) | JP6844013B2 (ja) |
CN (1) | CN111052153B (ja) |
TW (1) | TWI699762B (ja) |
WO (1) | WO2019049686A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI698810B (zh) * | 2019-06-14 | 2020-07-11 | 旺宏電子股份有限公司 | 類神經計算裝置 |
US11233049B2 (en) | 2019-06-14 | 2022-01-25 | Macronix International Co., Ltd. | Neuromorphic computing device |
US11514300B2 (en) | 2019-06-14 | 2022-11-29 | Macronix International Co., Ltd. | Resistor circuit, artificial intelligence chip and method for manufacturing the same |
KR102389413B1 (ko) * | 2019-08-21 | 2022-04-21 | 연세대학교 산학협력단 | 멀티 mac 동작을 수행하는 뉴로모픽 시스템 및 그 방법 |
CN110751279B (zh) * | 2019-09-02 | 2022-10-14 | 北京大学 | 一种铁电电容耦合神经网络电路结构及神经网络中向量与矩阵的乘法运算方法 |
CN112580790B (zh) * | 2019-09-29 | 2023-06-30 | 华为技术有限公司 | 神经网络计算电路、芯片及系统 |
TWI732702B (zh) * | 2019-11-22 | 2021-07-01 | 旺宏電子股份有限公司 | 記憶體內運算器 |
CN115171322A (zh) * | 2022-05-27 | 2022-10-11 | 国网江苏省电力有限公司 | 一种电缆沟火灾预警及危险性判断系统及方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4988891A (en) * | 1989-05-09 | 1991-01-29 | Mitsubishi Denki Kabushiki Kaisha | Semiconductor neural network including photosensitive coupling elements |
JPH0782481B2 (ja) * | 1989-12-26 | 1995-09-06 | 三菱電機株式会社 | 半導体神経回路網 |
JP3260357B2 (ja) * | 1990-01-24 | 2002-02-25 | 株式会社日立製作所 | 情報処理装置 |
US5058180A (en) * | 1990-04-30 | 1991-10-15 | National Semiconductor Corporation | Neural network apparatus and method for pattern recognition |
JPH0454685A (ja) * | 1990-06-22 | 1992-02-21 | Kobe Steel Ltd | 状熊学習装置及び状態推定装置 |
EP0482408A3 (en) * | 1990-10-22 | 1993-12-01 | Motorola Inc | Digital neural network computation ring |
US5087826A (en) * | 1990-12-28 | 1992-02-11 | Intel Corporation | Multi-layer neural network employing multiplexed output neurons |
US5237210A (en) * | 1992-03-12 | 1993-08-17 | Intel Corporation | Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms |
JP3056324B2 (ja) * | 1992-04-01 | 2000-06-26 | 株式会社日立製作所 | 学習/想起方法および装置 |
US5371834A (en) * | 1992-08-28 | 1994-12-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Adaptive neuron model--an architecture for the rapid learning of nonlinear topological transformations |
JP4191218B2 (ja) * | 2006-10-12 | 2008-12-03 | エルピーダメモリ株式会社 | メモリ回路及び半導体装置 |
US9159020B2 (en) | 2012-09-14 | 2015-10-13 | International Business Machines Corporation | Multiplexing physical neurons to optimize power and area |
US20150324691A1 (en) * | 2014-05-07 | 2015-11-12 | Seagate Technology Llc | Neural network connections using nonvolatile memory devices |
JP6375884B2 (ja) * | 2014-11-13 | 2018-08-22 | 富士通セミコンダクター株式会社 | 半導体記憶装置及びその制御方法 |
-
2018
- 2018-08-24 JP JP2019540878A patent/JP6844013B2/ja active Active
- 2018-08-24 CN CN201880057223.8A patent/CN111052153B/zh active Active
- 2018-08-24 EP EP18853797.1A patent/EP3680824A4/en active Pending
- 2018-08-24 WO PCT/JP2018/031298 patent/WO2019049686A1/ja unknown
- 2018-08-31 TW TW107130584A patent/TWI699762B/zh active
-
2020
- 2020-03-04 US US16/809,365 patent/US11495289B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2019049686A1 (ja) | 2020-08-06 |
CN111052153A (zh) | 2020-04-21 |
US20200202925A1 (en) | 2020-06-25 |
CN111052153B (zh) | 2023-07-14 |
EP3680824A4 (en) | 2020-11-04 |
TWI699762B (zh) | 2020-07-21 |
EP3680824A1 (en) | 2020-07-15 |
US11495289B2 (en) | 2022-11-08 |
WO2019049686A1 (ja) | 2019-03-14 |
TW201921354A (zh) | 2019-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6844013B2 (ja) | 半導体記憶素子を用いたニューラルネットワーク演算回路及び動作方法 | |
US11361216B2 (en) | Neural network circuits having non-volatile synapse arrays | |
JP7336819B2 (ja) | 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法 | |
JP6858870B2 (ja) | 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路 | |
JP3260357B2 (ja) | 情報処理装置 | |
JP6956191B2 (ja) | 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路 | |
US11531871B2 (en) | Stacked neuromorphic devices and neuromorphic computing systems | |
US11354569B2 (en) | Neural network computation circuit including semiconductor storage elements | |
Thoma et al. | POEtic: an electronic tissue for bio-inspired cellular applications | |
JP6568222B2 (ja) | 半導体システムおよび計算方法 | |
JPWO2020092691A5 (ja) | ||
KR102607860B1 (ko) | 3차원 적층 시냅스 구조를 갖는 뉴로모픽 장치 및 이를 포함하는 메모리 장치 | |
Fernando et al. | 3D memristor crossbar architecture for a multicore neuromorphic system | |
JP3353786B2 (ja) | 情報処理装置 | |
KR20220057386A (ko) | 확장 가능한 뉴로모픽 회로 | |
TWI771014B (zh) | 記憶體電路及其操作方法 | |
AU2021281628B2 (en) | Efficient tile mapping for row-by-row convolutional neural network mapping for analog artificial intelligence network inference | |
Lu et al. | A runtime reconfigurable design of compute-in-memory based hardware accelerator | |
Lu et al. | NVMLearn: a simulation platform for non-volatile-memory-based deep learning hardware | |
WO2023171406A1 (ja) | 演算回路ユニット、ニューラルネットワーク演算回路、および、ニューラルネットワーク演算回路の駆動方法 | |
US20220027712A1 (en) | Neural mosaic logic unit | |
JPH1091605A (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6844013 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |