JP7357080B2 - Rpuアレイのためのノイズおよび信号管理 - Google Patents
Rpuアレイのためのノイズおよび信号管理 Download PDFInfo
- Publication number
- JP7357080B2 JP7357080B2 JP2021569493A JP2021569493A JP7357080B2 JP 7357080 B2 JP7357080 B2 JP 7357080B2 JP 2021569493 A JP2021569493 A JP 2021569493A JP 2021569493 A JP2021569493 A JP 2021569493A JP 7357080 B2 JP7357080 B2 JP 7357080B2
- Authority
- JP
- Japan
- Prior art keywords
- normalizer
- standard deviation
- values
- post
- mean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Radar Systems Or Details Thereof (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
Description
なぜならば、||y||∝||W|| ||x||であるからである。したがって、確率的勾配降下法プロセスによってSNRを改善する仕方は、ANN学習中に(出力限界または重み限界に達するまで)重みを増加させることである。
したがって、(逆方向サイクル・パスの場合など)出力信号が小さな|yi|である場合、(すべての入力に対して絶対最大値で単に除算する)ノイズ管理は、高振幅入力チャネルの方に偏る可能性があり、ほとんどの低振幅入力は、抑制され、ノイズ・フロアに埋もれてしまう。
また、各出力信号の事後正規化は、以下のように表すことができる。
上で強調したように、また以下で詳細に説明するように、(事前/事後)正規化器iの平均μi(ミュー)および分散(すなわち、標準偏差)σi(シグマ)の値は、入力
(tは現在の反復/バッチである)の何らかの(リーキー(leaky)な)移動平均によって推定され、ここで、
は、以下の1)、2)または3)あるいはその組合せのいずれかである。1)単一の現在の入力。
ここで、整数a≦0である。2)単一の入力からの値のバッチであるが、先行する時間ステップを含む。
ここで整数a≦0かつb≦aである。3)μi、σiが入力群によって共有されている場合、
は、共有された入力群の入力バッチのすべてを含み、例えば、
であり、これは、入力1および2がグルーピングされている場合である。上記の式10~12において、事後正規化器のμおよびσに対しては、xがy’に置き換えられる。
に従って、周期的に(例えば、a-b時間ステップごとに1回)更新され、ここで、
は
の平均を示す。量σiも、同じデータ集合
を使用するが、
および
(ここでε≧0)を計算して周期的に(例えば、a-b時間ステップごとに1回)更新される。αおよびβは、事前正規化器側および事後正規化器側のすべての正規化器間で共有されるパラメータであるが、事前正規化器と事後正規化器とでは異なる可能性がある。特に断らない限り、βは、1-αで与えられる。
ここで、順序付けされた入力
および
の集合は、上記で
について説明したように(同一の順序で)構成されているが、代わりに正規化された入力x’tおよび勾配入力d’tから構成されている。αは、上記の順方向パスについて説明したものと同じ割引係数である。パラメータνiは、
として周期的に更新および計算され、ここで、β*およびα*は、固定パラメータであり、例えば、β*=0およびα*=1であり、デフォルトでは、1-αおよびαにそれぞれ等しい。量γiは、
として周期的に更新および計算され、ここで、積は、2つの順序付けされた集合において互いに対応するx’とdのペアに沿ったものだけであることを意味する。同様に、事後正規化のステップでは、x’およびd’の代わりに、正規化された出力信号yおよび対応する勾配入力が取られる。
Claims (16)
- ノイズおよび信号管理を伴う人工ニューラル・ネットワーク(ANN)のトレーニングのための方法であって、
抵抗処理ユニット(RPU)デバイスのアレイに、前記アレイへの入力ベクトルxのn個の要素のサイズgの集合群を処理するように構成された事前正規化器、および前記アレイからの出力ベクトルyのm個の要素のサイズgの集合群を処理するように構成された事後正規化器を提供するステップであって、前記アレイがm行n列を有する前記ANNの重み行列Wを表し、重み行列Wの重み値wが前記RPUデバイスの抵抗値として記憶される、前記提供するステップと、
前記事前正規化器のそれぞれの前記集合群に属する前記入力ベクトルxのすべての要素の平均μおよび標準偏差σをN個のベクトルにわたって計算し、前記事前正規化器に対する現在の平均μおよび標準偏差σの値を生成するステップであって、前記平均μおよび前記標準偏差σがN×g個の入力値に対して計算される、前記生成するステップと、
前記事前正規化器に対する前回記憶された平均μおよび標準偏差σの値を割引係数αならびに前記事前正規化器に対する前記現在の平均μおよび標準偏差σの値で更新し、前記事前正規化器に対する更新され記憶された平均μおよび標準偏差σの値を生成するステップと、
前記事前正規化器に対する前記更新され記憶された平均μおよび標準偏差σの値を使用して前記N×g個の入力値を事前正規化し、すべての前記事前正規化器からN個の正規化された入力ベクトルxnormを生成して、前記アレイを通る順方向サイクル・パスにおいてアナログ・ノイズを伴うW*xnormを計算するステップと、
前記事後正規化器のそれぞれの前記集合群に属する前記出力ベクトルyのすべての要素の前記平均μおよび前記標準偏差σを前記N個のベクトルにわたって計算し、前記事後正規化器に対する現在の平均μおよび標準偏差σの値を生成するステップであって、前記平均μおよび前記標準偏差σがN×g個の出力値に対して計算される、前記生成するステップと、
前記事後正規化器に対する前回記憶された平均μおよび標準偏差σの値を前記割引係数αならびに前記事後正規化器に対する前記現在の平均μおよび標準偏差σの値で更新し、前記事後正規化器に対する更新され記憶された平均μおよび標準偏差σの値を生成するステップと、
前記事後正規化器に対する前記更新され記憶された平均μおよび標準偏差σの値を使用して前記N×g個の出力値を事後正規化し、すべての前記事後正規化器からN個の正規化された出力ベクトルynormを生成するステップと、
前記前回の標準偏差σを使用してN個の入力ベクトルdを変換し、N個の変換された入力ベクトルdnormを生成して、前記アレイを通る逆方向サイクル・パスにおいてアナログ・ノイズを伴うWT*dnormを計算するステップと、
前記事前正規化器に対する前記前回の標準偏差σを使用してN個の出力ベクトルd’を変換して、N個の変換された出力ベクトルd’normを生成するステップと
を含む、方法。 - 前記事前正規化器および前記事後正規化器のそれぞれを初期化して、記憶された平均値を0に設定し、記憶された標準偏差値を1に設定するステップをさらに含む、請求項1に記載の方法。
- 更新サイクル・パスにおいて、前記順方向サイクル・パスからのxnormおよび前記逆方向サイクル・パスからのdnormを用いて前記アレイを更新するステップをさらに含む、請求項1に記載の方法。
- 前記割引係数αを使用して、前記事前正規化器に対する前記前回記憶された平均μおよび標準偏差σの値を(1-α)*νold+α*νnewとして更新するステップであって、νoldが前記事前正規化器に対する前記前回の平均および標準偏差であり、νnewが前記入力ベクトルxの前記要素に対して計算された前記平均および標準偏差である、前記更新するステップをさらに含む、請求項1に記載の方法。
- 最初に前記割引係数αを0よりも大きく1よりも小さい値に設定するステップをさらに含む、請求項4に記載の方法。
- 前記割引係数αを使用して、前記事後正規化器に対する前記前回記憶された平均μおよび標準偏差σの値を(1-α)*νold+α*νnewとして更新するステップであって、νoldが前記事後正規化器に対する前記前回の平均および標準偏差であり、νnewが前記出力ベクトルyの前記要素に対して計算された前記平均および標準偏差である、前記更新するステップをさらに含む、請求項1に記載の方法。
- 最初に前記割引係数αを0よりも大きく1よりも小さい値に設定するステップをさらに含む、請求項6に記載の方法。
- 前記事前正規化するステップが、
前記事前正規化器のそれぞれについて、前記N×g個の値を前記事前正規化器の前記前回の平均μで減算して結果を得るステップと、
前記結果を前記事前正規化器の前記前回の標準偏差σで除算するステップと
を含む、請求項1に記載の方法。 - 前記N個の正規化された入力ベクトルdnormをアナログ・パルス幅に変換するステップと、
前記アレイを使用してアナログ・ノイズを伴うWT*dnormを計算するステップと、
前記アレイからの前記出力ベクトルyをデジタルで表すステップと
をさらに含む、請求項1に記載の方法。 - 前記N個の正規化された入力ベクトルxnormをアナログ・パルス幅に変換するステップと、
前記アレイを使用してアナログ・ノイズを伴うW*xnormを計算するステップと、
前記アレイからの前記N個の出力ベクトルd’をデジタルで表すステップと
をさらに含む、請求項1に記載の方法。 - 前記N個の入力ベクトルdを変換する前記ステップが、前記N個の入力ベクトルdを前記事後正規化器に対する前記前回の標準偏差σで除算して、前記N個の変換された入力ベクトルdnormを生成するステップを含む、請求項1に記載の方法。
- 前記事前正規化器および事後正規化器のそれぞれを初期化して、記憶された値νを0に設定し、記憶された値Δを1に設定するステップをさらに含む、請求項1に記載の方法。
- 前記N個の入力ベクトルdを変換する前記ステップが、
前記事後正規化器を介して、前記N個の入力ベクトルdの前記N×g個の出力値の前記平均μとして、νを計算するステップと、
前記事後正規化器を介して、前記N個の入力ベクトルdの前記N×g個の出力値と、前記順方向サイクル・パスからの前記出力ベクトルyの値との相互相関Δを計算するステップと、
前記事後正規化器を介して、前記N個の入力ベクトルdの前記N×g個の出力値のそれぞれを、α×νとして計算された第1項で減算し、次いで、α×Δ×前記順方向サイクル・パスからの前記出力ベクトルyの前記値として計算された第2項で減算するステップと、
前記N個の入力ベクトルdを前記事後正規化器に対する前記前回の標準偏差σで除算して、前記N個の変換された入力ベクトルdnormを生成するステップと
を含む、請求項12に記載の方法。 - 前記逆方向サイクル・パスの前記N個の出力ベクトルd’を変換する前記ステップが、前記N個の入力ベクトルdを前記事後正規化器に対する前記前回の標準偏差σで除算して、前記N個の変換された入力ベクトルdnormを生成するステップを含む、請求項11に記載の方法。
- 前記N個の出力ベクトルd’を変換する前記ステップが、
前記事後正規化器を介して、前記N個の入力ベクトルdの前記N×g個の出力値の前記平均μとして、νを計算するステップと、
前記事後正規化器を介して、前記N個の入力ベクトルdの前記N×g個の出力値と、前記順方向サイクル・パスからの前記出力ベクトルyの値との相互相関Δを計算するステップと、
前記事後正規化器を介して、前記N個の入力ベクトルdの前記N×g個の出力値のそれぞれを、α×νとして計算された前記第1項で減算し、次いで、α×Δ×前記順方向サイクル・パスからの前記出力ベクトルyの前記値として計算された前記第2項で減算するステップと、
前記N個の入力ベクトルdを前記事後正規化器に対する前記前回の標準偏差σで除算して、前記N個の変換された入力ベクトルdnormを生成するステップと
を含む、請求項13に記載の方法。 - コンピュータ・プログラムであって、請求項1ないし15のいずれか1項に記載の方法の各ステップをコンピュータに実行させるための、コンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/427,559 | 2019-05-31 | ||
US16/427,559 US11361218B2 (en) | 2019-05-31 | 2019-05-31 | Noise and signal management for RPU array |
PCT/IB2020/053407 WO2020240288A1 (en) | 2019-05-31 | 2020-04-09 | Noise and signal management for rpu array |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022534380A JP2022534380A (ja) | 2022-07-29 |
JPWO2020240288A5 JPWO2020240288A5 (ja) | 2022-09-15 |
JP7357080B2 true JP7357080B2 (ja) | 2023-10-05 |
Family
ID=73550855
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021569493A Active JP7357080B2 (ja) | 2019-05-31 | 2020-04-09 | Rpuアレイのためのノイズおよび信号管理 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11361218B2 (ja) |
JP (1) | JP7357080B2 (ja) |
CN (1) | CN113841164B (ja) |
DE (1) | DE112020002547T5 (ja) |
GB (1) | GB2597232B (ja) |
WO (1) | WO2020240288A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11482133B2 (en) * | 2019-09-04 | 2022-10-25 | Optum Services (Ireland) Limited | Automatically modifying display presentations to programmatically accommodate for visual impairments |
US20220180164A1 (en) * | 2020-12-07 | 2022-06-09 | International Business Machines Corporation | Worst Case Noise and Bound Management for RPU Crossbar Arrays |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017010232A (ja) | 2015-06-22 | 2017-01-12 | 株式会社日立製作所 | プラント診断装置及びプラント診断方法 |
US20180293208A1 (en) | 2017-04-05 | 2018-10-11 | International Business Machines Corporation | Noise and bound management for rpu array |
JP2019502970A (ja) | 2015-10-20 | 2019-01-31 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 抵抗型処理ユニット |
JP2020514886A (ja) | 2017-03-01 | 2020-05-21 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 抵抗型処理ユニットアレイ、抵抗型処理ユニットアレイを形成する方法およびヒステリシス動作のための方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5500905A (en) | 1991-06-12 | 1996-03-19 | Microelectronics And Computer Technology Corporation | Pattern recognition neural network with saccade-like operation |
CA2081036C (en) | 1991-12-19 | 1999-08-03 | Ahmed Hashem Abdelmonem | Method and apparatus for predicting transmission system errors and failures |
US6078843A (en) | 1997-01-24 | 2000-06-20 | Honeywell Inc. | Neural network including input normalization for use in a closed loop control system |
US6054710A (en) | 1997-12-18 | 2000-04-25 | Cypress Semiconductor Corp. | Method and apparatus for obtaining two- or three-dimensional information from scanning electron microscopy |
CA2975251C (en) * | 2015-01-28 | 2021-01-26 | Google Inc. | Batch normalization layers |
US10373054B2 (en) | 2015-04-19 | 2019-08-06 | International Business Machines Corporation | Annealed dropout training of neural networks |
KR102558300B1 (ko) * | 2016-06-09 | 2023-07-21 | 프로그레스, 인코포레이티드 | 신경망 및 신경망 트레이닝 방법 |
US9646243B1 (en) | 2016-09-12 | 2017-05-09 | International Business Machines Corporation | Convolutional neural networks using resistive processing unit array |
US10990874B2 (en) | 2017-05-22 | 2021-04-27 | Sap Se | Predicting wildfires on the basis of biophysical indicators and spatiotemporal properties using a convolutional neural network |
US10192161B1 (en) | 2017-12-13 | 2019-01-29 | International Business Machines Corporation | Lithium-drift based resistive processing unit for accelerating machine learning training |
US11947668B2 (en) * | 2018-10-12 | 2024-04-02 | Sophos Limited | Methods and apparatus for preserving information between layers within a neural network |
CA3129213A1 (en) * | 2019-02-06 | 2020-08-13 | The University Of British Columbia | Neural network image analysis |
-
2019
- 2019-05-31 US US16/427,559 patent/US11361218B2/en active Active
-
2020
- 2020-04-09 WO PCT/IB2020/053407 patent/WO2020240288A1/en active Application Filing
- 2020-04-09 CN CN202080037034.1A patent/CN113841164B/zh active Active
- 2020-04-09 GB GB2116922.2A patent/GB2597232B/en active Active
- 2020-04-09 JP JP2021569493A patent/JP7357080B2/ja active Active
- 2020-04-09 DE DE112020002547.0T patent/DE112020002547T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017010232A (ja) | 2015-06-22 | 2017-01-12 | 株式会社日立製作所 | プラント診断装置及びプラント診断方法 |
JP2019502970A (ja) | 2015-10-20 | 2019-01-31 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 抵抗型処理ユニット |
JP2020514886A (ja) | 2017-03-01 | 2020-05-21 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 抵抗型処理ユニットアレイ、抵抗型処理ユニットアレイを形成する方法およびヒステリシス動作のための方法 |
US20180293208A1 (en) | 2017-04-05 | 2018-10-11 | International Business Machines Corporation | Noise and bound management for rpu array |
Also Published As
Publication number | Publication date |
---|---|
JP2022534380A (ja) | 2022-07-29 |
CN113841164A (zh) | 2021-12-24 |
GB2597232B (en) | 2023-02-15 |
CN113841164B (zh) | 2023-05-16 |
DE112020002547T5 (de) | 2022-03-03 |
GB2597232A (en) | 2022-01-19 |
WO2020240288A1 (en) | 2020-12-03 |
US11361218B2 (en) | 2022-06-14 |
GB202116922D0 (en) | 2022-01-05 |
US20200380348A1 (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kendall et al. | Training end-to-end analog neural networks with equilibrium propagation | |
CN107924227B (zh) | 电阻处理单元 | |
US9646243B1 (en) | Convolutional neural networks using resistive processing unit array | |
US9715656B1 (en) | Killing asymmetric resistive processing units for neural network training | |
JP7422782B2 (ja) | 非対称rpuデバイスによるdnnの訓練 | |
US20220058492A1 (en) | Delta-sigma modulation neurons for high-precision training of memristive synapses in deep neural networks | |
JP7357080B2 (ja) | Rpuアレイのためのノイズおよび信号管理 | |
US11556770B2 (en) | Auto weight scaling for RPUs | |
CN114819093A (zh) | 利用基于忆阻器阵列的环境模型的策略优化方法和装置 | |
KR20230029759A (ko) | 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성 | |
US20220327375A1 (en) | Training dnn by updating an array using a chopper | |
US20230097217A1 (en) | Learning static bound management parameters for analog resistive processing unit system | |
US20220101142A1 (en) | Neural network accelerators resilient to conductance drift | |
JP7332193B2 (ja) | 因子グラフ上での確率伝搬 | |
JP2023533846A (ja) | クロスバーアレイを更新するためのパルス生成 | |
US20220207344A1 (en) | Filtering hidden matrix training dnn | |
US20230195832A1 (en) | Calibration of matrix-vector operations on resistive processing unit hardware | |
JP2023547800A (ja) | Rpuクロスバー・アレイ上の重み反復 | |
US20240135166A1 (en) | Dnn training algorithm with dynamically computed zero-reference |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220905 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230831 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230925 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7357080 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |