JP7365999B2 - ニューラルネットワーク演算装置および方法 - Google Patents
ニューラルネットワーク演算装置および方法 Download PDFInfo
- Publication number
- JP7365999B2 JP7365999B2 JP2020214202A JP2020214202A JP7365999B2 JP 7365999 B2 JP7365999 B2 JP 7365999B2 JP 2020214202 A JP2020214202 A JP 2020214202A JP 2020214202 A JP2020214202 A JP 2020214202A JP 7365999 B2 JP7365999 B2 JP 7365999B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- output
- neural
- input
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
- Measurement Of Resistance Or Impedance (AREA)
- Color Image Communication Systems (AREA)
- Electrotherapy Devices (AREA)
Description
2 認識対象信号
3、4 トレーニングデータ
12、14、16 演算層集合
30 ニューラルネットワーク演算装置
32 第1ニューラル回路
34 第2ニューラル回路
I1~Im 入力
R11~Rmn 重み値
O1~On 出力
SA1~SAn センサアンプ
S402~S404、S602~S608、S702~S708 ステップ
Claims (16)
- 固定された特徴パターン(pattern)に対するニューラルネットワーク演算を実行するトレーニングされたニューラルネットワークの第1の演算層集合を含む第1ニューラル回路と、
固定されていない特徴パターンに対するニューラルネットワーク演算を実行する前記トレーニングされたニューラルネットワークの第2の演算層集合を含む第2ニューラル回路と、
を含み、
前記第1ニューラル回路の性能が、前記第2ニューラル回路よりも大きく、
固定された前記特徴パターンが、認識対象物体に特定されない点、線、円、または多角形を含み、前記第1ニューラル回路が、ワンタイムプログラミング(One-time programming, OTP)メモリであり、前記第2ニューラル回路が、マルチタイムプログラミング(Multi-time programming, MTP)メモリであり、前記ワンタイムプログラミングメモリが、読み出し専用メモリ(Read only memory, ROM)または電子ヒューズ(Efuse)メモリであり、
前記トレーニングされたニューラルネットワークのトレーニング過程の間に、
ニューラルネットワークを構築し、
トレーニングデータをトレーニングのために前記ニューラルネットワークに送信して、前記トレーニングされたニューラルネットワークを取得し、前記トレーニングされたニューラルネットワークにおいて前記第1の演算層集合と前記第2の演算層集合とを分け、
新しいトレーニングデータを受信することに応答して、新しいニューラルネットワークを生成する再トレーニングのために、前記新しいトレーニングデータを以前のトレーニングにより取得された前記トレーニングされたニューラルネットワークに送信し、
前記トレーニングされたニューラルネットワークを再トレーニングする過程において、前記第1の演算層集合の構造および重み値の更新は行われず、前記第2の演算層集合の構造および重み値の少なくとも1つの更新のみが行われる、ニューラルネットワーク演算装置。 - 前記マルチタイムプログラミングメモリが、スタティックランダムアクセスメモリ(Static random access memory, SRAM)またはフラッシュ(flash)メモリである請求項1に記載のニューラルネットワーク演算装置。
- 入力信号に対して前処理を行い、前記第1ニューラル回路の複数の入力を生成する前処理回路をさらに含み、前記前処理が、信号増幅、フィルタリング、ノイズ抑制、補償、デジタル-アナログ変換、アナログ特徴抽出のうちの1つ、またはその組み合わせを含む請求項1または2に記載のニューラルネットワーク演算装置。
- 前記第1ニューラル回路および前記第2ニューラル回路が、それぞれ前記ニューラルネットワーク演算の複数の入力を受信する複数の入力線、および前記複数の入力線と交差して配置された複数の出力線と、
それぞれ前記入力線と前記出力線の複数の交点に配置され、前記ニューラルネットワーク演算の複数の重み値を保存し、接続された前記入力線の前記入力に対して乗法演算を行って、接続された前記出力線に乗積を出力するための複数の記憶ユニットと、
それぞれ前記出力線に接続され、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するための複数のセンサアンプ(Sense amplifier, SA)と、を含む、請求項1~3のいずれか1項に記載のニューラルネットワーク演算装置。 - 前記第1ニューラル回路および前記第2ニューラル回路が、さらに、
それぞれ前記センサアンプに接続または配置され、調整後の前記出力が次の前記演算層の入力として適するよう、前記センサアンプが感知した前記出力のゲイン(gain)およびバイアス(bias)を調整するための複数の調整回路を含む請求項4に記載のニューラルネットワーク演算装置。 - 前記ニューラルネットワーク演算が、積和(Multiply Accumulate, MAC)演算である請求項1~5のいずれか1項に記載のニューラルネットワーク演算装置。
- 第1ニューラル回路および第2ニューラル回路を内蔵したニューラルネットワーク演算装置に適用するニューラルネットワーク演算方法であって、前記第1ニューラル回路の性能が、前記第2ニューラル回路よりも大きく、前記方法が、
前記第1ニューラル回路に含まれるトレーニングされたニューラルネットワークの第1の演算層集合を使用して、固定された特徴パターンに対するニューラルネットワーク演算を実行するステップと、
前記第2ニューラル回路に含まれる前記トレーニングされたニューラルネットワークの第2の演算層集合を使用して、固定されていない特徴パターンに対するニューラルネットワーク演算を実行するステップと、を含み、
固定された前記特徴パターンが、認識対象物体に特定されない点、線、円、または多角形を含み、前記第1ニューラル回路が、ワンタイムプログラミングメモリであり、前記第2ニューラル回路が、マルチタイムプログラミングメモリであり、前記ワンタイムプログラミングメモリが、読み出し専用メモリまたは電子ヒューズメモリであり、
前記トレーニングされたニューラルネットワークのトレーニング過程の間に、
ニューラルネットワークを構築するステップと、
トレーニングデータをトレーニングのために前記ニューラルネットワークに送信して、前記トレーニングされたニューラルネットワークを取得し、前記トレーニングされたニューラルネットワークにおいて前記第1の演算層集合と前記第2の演算層集合とを分けるステップと、
新しいトレーニングデータを受信することに応答して、新しいニューラルネットワークを生成する再トレーニングのために、前記新しいトレーニングデータを以前のトレーニングにより取得された前記トレーニングされたニューラルネットワークに送信するステップと、
前記トレーニングされたニューラルネットワークを再トレーニングする過程において、前記第1の演算層集合の構造および重み値の更新は行われず、前記第2の演算層集合の構造および重み値の少なくとも1つの更新のみが行われるステップとを、含む、方法。 - 前記第1ニューラル回路が、互いに交差して配置された複数の入力線および複数の出力線、それぞれ前記入力線と前記出力線の複数の交点に配置され、且つ前記ニューラルネットワーク演算の複数の重み値を保存する複数の記憶ユニット、およびそれぞれ前記出力線に接続された複数のセンサアンプを含み、前記第1ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも1つの演算層のニューラルネットワーク演算を実行する前記ステップが、
前記ニューラルネットワーク演算の複数の入力を前記入力線に入力するステップと、
前記記憶ユニットにより、接続された前記入力線の前記入力に対して乗法演算を行い、接続された前記出力線に乗積を出力するステップと、
前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップと、
を含む請求項7に記載の方法。 - 前記第1ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定された少なくとも1つの演算層のニューラルネットワーク演算を実行するステップの前に、さらに、
入力信号に対して前処理を行い、前記第1ニューラル回路の前記入力を生成するステップを含み、前記前処理が、信号増幅、フィルタリング、ノイズ抑制、補償、アナログ-デジタル変換、アナログ特徴抽出のうちの1つ、またはその組み合わせを含む請求項8に記載の方法。 - 前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップの後に、さらに、
前記センサアンプが感知した前記出力に対して後処理を行うことにより、次の前記演算層の入力とするステップを含み、前記後処理が、アナログ-デジタル変換、正規化(normalization)、および活性化関数(activation function)演算のうちの1つ、またはその組み合わせを含む請求項8に記載の方法。 - 前記後処理が、さらに、調整後の前記出力が次の前記演算層の入力として適するよう、前記センサアンプが感知した前記出力のゲインおよびバイアスを調整することを含む請求項10に記載の方法。
- 前記第2ニューラル回路が、互いに交差して配置された複数の入力線および複数の出力線、それぞれ前記入力線と前記出力線の複数の交点に配置され、且つ前記ニューラルネットワーク演算の複数の重み値を保存する複数の記憶ユニット、およびそれぞれ前記出力線に接続された複数のセンサアンプを含み、前記第2ニューラル回路を使用して、前記ニューラルネットワークアルゴリズムにおいて特徴パターンが固定されていない少なくとも1つの演算層のニューラルネットワーク演算を実行する前記ステップが、
前記ニューラルネットワーク演算の複数の入力を前記入力線に入力するステップと、
前記記憶ユニットにより、接続された前記入力線の前記入力に対して乗法演算を行い、
接続された前記出力線に乗積を出力するステップと、
前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップと、
感知した前記出力に基づいて、前記演算層のアーキテクチャを調整する、または各前記記憶ユニットに保存した前記重み値を更新するステップと、
を含む請求項7~9のいずれか1項に記載の方法。 - 前記センサアンプにより、接続された前記記憶ユニットが出力した前記乗積を前記出力線が累加して得られる出力を感知するステップの後に、さらに、
前記出力に対して後処理を行うことにより、次の前記演算層の入力とするステップを含み、前記後処理が、アナログ-デジタル変換、正規化、および活性化関数演算のうちの1つ、またはその組み合わせを含む請求項12に記載の方法。 - 前記後処理が、さらに、調整後の前記出力が次の前記演算層の入力として適するよう、前記センサアンプが感知した前記出力のゲインおよびバイアスを調整することを含む請求項13に記載の方法。
- 前記マルチタイムプログラミングメモリが、スタティックランダムアクセスメモリまたはフラッシュメモリである請求項7~14のいずれか1項に記載の方法。
- 前記ニューラルネットワーク演算が、積和演算である請求項7~15のいずれか1項に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962953207P | 2019-12-24 | 2019-12-24 | |
US62/953,207 | 2019-12-24 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021103521A JP2021103521A (ja) | 2021-07-15 |
JP7365999B2 true JP7365999B2 (ja) | 2023-10-20 |
Family
ID=76437232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020214202A Active JP7365999B2 (ja) | 2019-12-24 | 2020-12-23 | ニューラルネットワーク演算装置および方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210192327A1 (ja) |
JP (1) | JP7365999B2 (ja) |
CN (1) | CN113033792A (ja) |
TW (1) | TWI787691B (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020068498A1 (en) * | 2018-09-27 | 2020-04-02 | Google Llc | Data compression using integer neural networks |
CN117648957A (zh) * | 2022-08-10 | 2024-03-05 | 华为技术有限公司 | 基于存算一体电路的神经网络补偿方法、装置及电路 |
WO2023160735A2 (zh) * | 2023-06-09 | 2023-08-31 | 南京大学 | 一种运算方法和运算单元 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001196920A (ja) | 2000-01-07 | 2001-07-19 | Nippon Telegr & Teleph Corp <Ntt> | 関数機能構成データ保持方法及びその方法を用いた集積回路 |
JP2015215837A (ja) | 2014-05-13 | 2015-12-03 | 株式会社デンソー | 演算処理装置 |
JP2018026040A (ja) | 2016-08-12 | 2018-02-15 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
WO2018135516A1 (ja) | 2017-01-19 | 2018-07-26 | 日本電気株式会社 | ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体 |
JP2018133016A (ja) | 2017-02-17 | 2018-08-23 | 株式会社半導体エネルギー研究所 | ニューラルネットワークシステム |
WO2018208939A1 (en) | 2017-05-09 | 2018-11-15 | Neurala, Inc. | Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0644376A (ja) * | 1992-05-28 | 1994-02-18 | Matsushita Electric Ind Co Ltd | 画像特徴抽出装置、画像認識方法及び画像認識装置 |
JPH0822446A (ja) * | 1994-07-11 | 1996-01-23 | Matsushita Electric Ind Co Ltd | ニューラルネットワーク回路 |
US7647284B2 (en) * | 2007-01-12 | 2010-01-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Fixed-weight recurrent neural network controller with fixed long-term and adaptive short-term memory |
US9189729B2 (en) * | 2012-07-30 | 2015-11-17 | International Business Machines Corporation | Scalable neural hardware for the noisy-OR model of Bayesian networks |
WO2014060001A1 (en) * | 2012-09-13 | 2014-04-24 | FRENKEL, Christina | Multitransmitter model of the neural network with an internal feedback |
CN105095965B (zh) * | 2015-07-16 | 2017-11-28 | 清华大学 | 人工神经网络和脉冲神经网络神经的混合通信方法 |
US11055063B2 (en) * | 2016-05-02 | 2021-07-06 | Marvell Asia Pte, Ltd. | Systems and methods for deep learning processor |
JP7015001B2 (ja) * | 2018-03-14 | 2022-02-02 | オムロン株式会社 | 欠陥検査装置、欠陥検査方法、及びそのプログラム |
JP6996411B2 (ja) * | 2018-04-25 | 2022-01-17 | 株式会社デンソー | ニューラルネットワーク回路 |
CN108805270B (zh) * | 2018-05-08 | 2021-02-12 | 华中科技大学 | 一种基于存储器的卷积神经网络系统 |
CN109800879B (zh) * | 2018-12-21 | 2022-02-01 | 科大讯飞股份有限公司 | 知识库构建方法和装置 |
CN109816026B (zh) * | 2019-01-29 | 2021-09-10 | 清华大学 | 卷积神经网络和脉冲神经网络的融合装置及方法 |
CN110543933B (zh) * | 2019-08-12 | 2022-10-21 | 北京大学 | 基于flash存算阵列的脉冲型卷积神经网络 |
-
2020
- 2020-12-23 TW TW109145630A patent/TWI787691B/zh active
- 2020-12-23 JP JP2020214202A patent/JP7365999B2/ja active Active
- 2020-12-23 US US17/131,783 patent/US20210192327A1/en active Pending
- 2020-12-23 CN CN202011535857.5A patent/CN113033792A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001196920A (ja) | 2000-01-07 | 2001-07-19 | Nippon Telegr & Teleph Corp <Ntt> | 関数機能構成データ保持方法及びその方法を用いた集積回路 |
JP2015215837A (ja) | 2014-05-13 | 2015-12-03 | 株式会社デンソー | 演算処理装置 |
JP2018026040A (ja) | 2016-08-12 | 2018-02-15 | キヤノン株式会社 | 情報処理装置および情報処理方法 |
WO2018135516A1 (ja) | 2017-01-19 | 2018-07-26 | 日本電気株式会社 | ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、及び、ニューラルネットワーク学習プログラムが格納された記録媒体 |
JP2018133016A (ja) | 2017-02-17 | 2018-08-23 | 株式会社半導体エネルギー研究所 | ニューラルネットワークシステム |
WO2018208939A1 (en) | 2017-05-09 | 2018-11-15 | Neurala, Inc. | Systems and methods to enable continual, memory-bounded learning in artificial intelligence and deep learning continuously operating applications across networked compute edges |
Also Published As
Publication number | Publication date |
---|---|
TWI787691B (zh) | 2022-12-21 |
US20210192327A1 (en) | 2021-06-24 |
JP2021103521A (ja) | 2021-07-15 |
TW202125340A (zh) | 2021-07-01 |
CN113033792A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7365999B2 (ja) | ニューラルネットワーク演算装置および方法 | |
US11055608B2 (en) | Convolutional neural network | |
US10891544B2 (en) | Event-driven universal neural network circuit | |
US20190370655A1 (en) | Unsupervised, supervised and reinforced learning via spiking computation | |
WO2005083632A1 (ja) | 参照データ最適化学習方法とパターン認識システム | |
CN105981055A (zh) | 神经网络对当前计算资源的自适应 | |
CN114207628A (zh) | 通过调整存储器内计算阵列的列阈值来执行xnor等效运算 | |
JP7196803B2 (ja) | 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法 | |
Wang et al. | Global asymptotic stability of bidirectional associative memory neural networks with S-type distributed delays | |
US11880769B2 (en) | Using multiple functional blocks for training neural networks | |
CN108009635A (zh) | 一种支持增量更新的深度卷积计算模型 | |
WO2015127130A2 (en) | Dynamic spatial target selection | |
CN113837350A (zh) | 神经形态设备和训练用于图像识别的神经网络的方法 | |
US20190095783A1 (en) | Deep learning apparatus for ann having pipeline architecture | |
US20220027718A1 (en) | Unsupervised learning of memristor crossbar neuromorphic processing systyems | |
TW202207079A (zh) | 目標資料特徵提取方法、及裝置 | |
US20210133556A1 (en) | Feature-separated neural network processing of tabular data | |
Wan et al. | Introducing cost-sensitive neural networks | |
Prieto et al. | Simulation and hardware implementation of competitive learning neural networks | |
Vonk et al. | Neural network applications | |
Menhaj et al. | A new implementation of discrete-time Hopfield net with higher capacity and speed of convergence | |
US20190180169A1 (en) | Optimization computation with spiking neurons | |
WO2015127124A2 (en) | Imbalanced cross-inhibitory mechanism for spatial target selection | |
TW202230223A (zh) | 神經處理單元(npus)與使用該神經處理單元的計算系統 | |
CN116523011A (zh) | 基于忆阻的二值神经网络层电路及二值神经网络训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221011 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7365999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |