JP2024514063A - ディープ・ニューラル・ネットワーク・トレーニング - Google Patents

ディープ・ニューラル・ネットワーク・トレーニング Download PDF

Info

Publication number
JP2024514063A
JP2024514063A JP2023558794A JP2023558794A JP2024514063A JP 2024514063 A JP2024514063 A JP 2024514063A JP 2023558794 A JP2023558794 A JP 2023558794A JP 2023558794 A JP2023558794 A JP 2023558794A JP 2024514063 A JP2024514063 A JP 2024514063A
Authority
JP
Japan
Prior art keywords
matrix
value
chopper
weight
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023558794A
Other languages
English (en)
Other versions
JPWO2022214309A5 (ja
Inventor
ゴクメン、タイフン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2024514063A publication Critical patent/JP2024514063A/ja
Publication of JPWO2022214309A5 publication Critical patent/JPWO2022214309A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/21—Pc I-O input output
    • G05B2219/21008—Read in analog values by microprocessor, potentiometer, resistor taps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25255—Neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32335—Use of ann, neural network
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33027—Artificial neural network controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33033—Identification neural controller copies weight to system neural controller
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33186—Circuit for signal adaption, voltage level shift, filter noise
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/41—Servomotor, servo controller till figures
    • G05B2219/41397—Estimate voltage control signal as function of voltage control signal and position error
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1476—Error detection or correction of the data by redundancy in operation in neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/06—Arrangements for interconnecting storage elements electrically, e.g. by wiring
    • G11C5/063—Voltage and signal distribution in integrated semi-conductor memory access lines, e.g. word-line, bit-line, cross-over resistance, propagation delay

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Complex Calculations (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)

Abstract

ディープ・ニューラル・ネットワークをトレーニングする方法において、プロセッサがＡ行列の要素を初期化する。要素は抵抗型処理ユニットを含み得る。プロセッサは、重み行列からの活性化値および誤差値にチョッパ値を掛けたもので要素を更新することによって増分重み更新を求める。プロセッサは、要素から更新電圧を読み取る。プロセッサは、更新電圧にチョッパ値を掛けることによってチョッパ積を求める。プロセッサは隠れ行列の要素を記憶する。隠れ行列の要素は、チョッパ積の連続的反復の総和を含み得る。プロセッサは、しきい値状態に達する隠れ行列の要素に基づいて、重み行列の対応する要素を更新する。

Description

本発明は、一般にはディープ・ニューラル・ネットワーク（ＤＮＮ）トレーニングに関し、より詳細には、抵抗型処理ユニット（ＲＰＵ）デバイスのフィルタリング信号にチョッパ値を追加して雑音を低減するための技術に関する。
ディープ・ニューラル・ネットワーク（ＤＮＮ）は、抵抗型処理ユニット（ＲＰＵ）などの抵抗型デバイスのアナログ・クロスポイント・アレイで具体化され得る。ＲＰＵデバイスは一般に、第１の端子、第２の端子、および活性領域を含む。活性領域のコンダクタンス状態がＲＰＵの重み値を特定し、ＲＰＵの重み値は、第１／第２の端子に対する信号の印加によって更新／調節され得る。
ＤＮＮベースのモデルが、物体認識、音声認識、自然言語処理などの様々な異なる認知ベースのタスクのために使用されている。そのようなタスクを実施するときに高いレベルの精度を実現するために、ＤＮＮトレーニングが必要とされる。大規模なＤＮＮをトレーニングすることは計算集約的なタスクである。逆伝播や確率的勾配降下法（ＳＧＤ）などのＤＮＮトレーニングの最も一般的な方法は、正確に機能するためにＲＰＵが「対称」であることを必要とする。対称アナログ抵抗型デバイスは、正および負の電圧パルスがかけられるとき、コンダクタンスを対称的に変更する。しかしながら、実際には、ＲＰＵデバイスは非線形で非対称のスイッチング特性を示し得る。たとえば、重みを上方または下方に調節するために電圧パルスが印加されるとき、しばしばアップ調節とダウン調節との間に不均衡がある。
本発明は、抵抗型処理ユニット（ＲＰＵ）を使用して重み値を追跡および更新するディープ・ニューラル・ネットワーク（ＤＮＮ）をトレーニングするための技術を提供する。本明細書で説明される技術は、ＲＰＵによって導入され得る雑音およびバイアスに伴う問題を克服する。具体的には、ＲＰＵによって導入される雑音が、低域フィルタのような働きをする隠れ行列を使用することによって対処され、バイアスが、チョッパを使用することによって対処される。
方法またはコンピュータ・プログラム製品の態様では、プロセッサが、重み行列からの活性化値および誤差値にチョッパ値を掛けたものでＡ行列の要素を更新することによって増分重み更新を求める。要素は抵抗型処理ユニットを含み得る。プロセッサは要素から更新電圧を読み取る。プロセッサは、更新電圧にチョッパ値を掛けることによってチョッパ積を求める。プロセッサは隠れ行列の要素を記憶する。隠れ行列の要素は、チョッパ積の連続的反復の総和を含み得る。プロセッサは、しきい値状態に達する隠れ行列の要素に基づいて、重み行列の対応する要素を更新する。
一実施形態では、プロセッサは、隠れ行列の対応する要素内のＡ行列の要素についてのチョッパ積の総和を追跡する。チョッパ積は、Ａ行列に適用する前および後に、重み行列の対応する要素からの活性化値および誤差値にチョッパ値を掛けたものを含み得る。プロセッサは、総和のうちの１つの総和がしきい値に達したとき、重み行列の対応する要素についての更新をトリガする。
一実施形態は、導電性行ワイヤと導電性列ワイヤとの間の交点を分離する抵抗型処理ユニット（ＲＰＵ）デバイスを有するＡ行列を有するディープ・ニューラル・ネットワーク（ＤＮＮ）を含み得る。ＲＰＵデバイスは、ＤＮＮ内のニューロン間の重みつき接続についての処理済み勾配を含み得る。ＤＮＮは、導電性行ワイヤと導電性列ワイヤとの間の交点を分離するＲＰＵデバイスを有する重み行列を含み得る。ＲＰＵデバイスは、ＤＮＮ内のニューロン間の重みつき接続を含み得る。ＤＮＮは、Ａ行列に適用する前に重み行列からの活性化値および誤差値にチョッパ値を掛け、Ａ行列からの出力ベクトルにチョッパ値を掛けてチョッパ積を生成するように構成されたチョッパを含み得る。ＤＮＮは、重み行列Ｗ内の各ＲＰＵデバイスについてのＨ値を含む隠れ行列を記憶するように構成されたコンピュータ・ストレージを含み得る。Ｈ値はチョッパ積の総和を含み得る。
一実施形態では、ディープ・ニューラル・ネットワーク（ＤＮＮ）をトレーニングすることは、Ａ行列の導電性列ワイヤを通じて、入力ベクトルｅｉにチョッパ値を掛けたものを電圧パルスとして送り、Ａ行列の導電性行ワイヤから、得られる出力ベクトルｙ’を電流出力として読み取ることを含み得る。Ａ行列は、導電性列ワイヤと導電性行ワイヤとの間の交点を分離する抵抗型処理ユニット（ＲＰＵ）デバイスを含み得る。トレーニングは、出力ベクトルｙ’にチョッパ値を掛けることによって各ＲＰＵについてのチョッパ積を求めることを含み得る。トレーニングは、チョッパ積を反復的に加えることによって隠れ行列のＨ値を更新することを含み得、隠れ行列は各ＲＰＵについてのＨ値を含む。トレーニングは、Ｈ値がしきい値に達した後、重み行列Ｗの導電性列ワイヤを通じて、入力ベクトルｅｉを電圧パルスとして送るのと同時に、重み行列Ｗの導電性行ワイヤを通じて、しきい値に達したＨ値の符号情報を電圧パルスとして送ることを含み得る。
本発明のより完全な理解、ならびに本発明のより詳しい特徴および利点が、以下の詳細な説明および図面を参照することによって得られることになる。
重み行列Ｗ、Ａ行列、および隠れ行列Ｈを有するディープ・ニューラル・ネットワーク（ＤＮＮ）を示す概略図である。 本発明の一実施形態による、抵抗型処理ユニット（ＲＰＵ）デバイスのアナログ・クロスポイント・アレイで具体化されたディープ・ニューラル・ネットワーク（ＤＮＮ）を示す図である。 本発明の一実施形態による、線形で対称なＲＰＵデバイスの理想的なスイッチング特性を示す図である。 本発明の一実施形態による、非線形で非対称なＲＰＵデバイスの理想的ではないスイッチング特性を示す図である。 本発明の一実施形態による、ＤＮＮをトレーニングするための例示的方法を示す図である。 本発明の一実施形態による、行列Ｗと、行列Ｗのゼロ重み値に対応するコンダクタンス値でポピュレートされた基準アレイとに対応する２つの相互接続されたアレイ（すなわち、アレイＷおよび基準アレイ）を示す図である。 本発明の一実施形態による、順方向サイクルｙ＝Ｗｘが実施されることを示す図である。 本発明の一実施形態による、逆方向サイクルｚ＝ＷＴｏが実施されることを示す図である。 本発明の一実施形態による、順方向サイクルで伝播されるｘと、逆方向サイクルで伝播されるδでアレイＡが更新されることを示す図である。 本発明の一実施形態による、順方向サイクルｙ’＝Ａｅｉが重み行列に対して実施されることを示す図である。 Ａ行列の順方向サイクルで計算された値で隠れ行列Ｈが更新されることを示す図である。 本発明の一実施形態による、隠れ行列Ｈ９０２が重み行列Ｗ１０１０に選択的に逆に適用される概略図である。 本発明の一実施形態による、例示的ワン・ホット符号化ベクトルを示す図である。 本発明の一実施形態による、２次の例示的アダマール行列を示す図である。 本発明の一実施形態による、４次の例示的アダマール行列を示す図である。 本発明の一実施形態による、本技術のうちの１つまたは複数を実施する際に利用され得る例示的装置を示す図である。
非対称抵抗型処理ユニット（ＲＰＵ）デバイスを用いるディープ・ニューラル・ネットワーク（ＤＮＮ）トレーニング技術が本明細書で提供される。ＤＮＮを通過するデータ入力が、ＤＮＮ内に供給されるトレーニング・データのセットに対するデータ出力と正確に一致するまで、パーセプトロンの層間で重み値を調節することによってＤＮＮがトレーニングされる。こうした重み値はデジタルに記憶され得るが、本明細書で開示される実施形態では、重み値が、重み行列で具体化されたＲＰＵデバイス内に記憶される。ＲＰＵデバイスの使用により、速度が改善され、ＤＮＮのリソース消費が削減されるが、多くのアナログ・システムに固有の雑音およびバイアスが導入され得る。アナログＲＰＵデバイスの雑音およびバイアスを軽減するために、本明細書で開示される実施形態は、雑音を軽減するための低域フィルタのような働きをする隠れ行列と、バイアスを軽減する正または負のチョッパ値を導入するチョッパとを含む。
ここで図を参照すると、図１Ａは、重み行列Ｗ１０２、Ａ行列１１２、および隠れ行列Ｈ１１４を有するディープ・ニューラル・ネットワーク（ＤＮＮ）１００を示す概略図である。図１Ａに示される矢印の方向で示されるように、重み行列Ｗ１０２は、Ａ行列１１２および隠れ行列１１４を使用して反復的にトレーニングされる。上記で強調したように、重み行列Ｗ１０２は、ＲＰＵのアナログ・クロスポイント・アレイで具体化され得る。たとえば、図１Ｂに示される概略図を参照されたい。
図１Ｂに示されるように、算術（アブストラクト）重み行列１０２の各パラメータ（重みｗｉｊ）が、ハードウェア上の単一のＲＰＵデバイス（ＲＰＵｉｊ）、すなわちＲＰＵデバイスの物理クロスポイント・アレイ１０４にマッピングされる。クロスポイント・アレイ１０４は、一連の導電性行ワイヤ１０６と、導電性行ワイヤ１０６に直交する向きの、導電性行ワイヤ１０６と交差する一連の導電性列ワイヤ１０８とを含む。行ワイヤ１０６と列ワイヤ１０８との間の交点がＲＰＵ１１０によって分離され、ＲＰＵデバイスのクロスポイント・アレイ１０４が形成される。各ＲＰＵ１１０は、第１の端子、第２の端子、および活性領域を含み得る。活性領域の伝導状態がＲＰＵ１１０の重み値を特定し、ＲＰＵの重み値は、第１／第２の端子に対する信号の印加によって更新／調節され得る。さらに、３端子（さらには４端子以上）デバイスが、余分な端子を制御することによって実質的に２端子抵抗型メモリ・デバイスとして働き得る。
各ＲＰＵ１１０（ＲＰＵｉｊ）は、クロスポイント・アレイ１０４の位置（すなわち、ｉ行ｊ列）に基づいて一意に識別される。たとえば、クロスポイント・アレイ１０４の上端から下端に、左側から右側に作業すると、第１の行ワイヤ１０６と第１の列ワイヤ１０８の交点のＲＰＵはＲＰＵ１１と指定され、第１の行ワイヤ１０６と第２の列ワイヤ１０８の交点のＲＰＵはＲＰＵ１２と指定され、以下同様である。さらに、重み行列１０２のパラメータの、クロスポイント・アレイ１０４のＲＰＵへのマッピングは同じ規則に従う。たとえば、重み行列１０２の重みｗｉ１が、クロスポイント・アレイ１０４のＲＰＵｉ１にマッピングされ、重み行列１０２の重みｗｉ２が、クロスポイント・アレイ１０４のＲＰＵｉ２にマッピングされ、以下同様である。
クロスポイント・アレイ１０４のＲＰＵ１１０は、実際にはＤＮＮ内のニューロン間の重みつき接続として機能する。ＲＰＵ１１０の伝導状態（たとえば、抵抗）は、行ワイヤ１０６および列ワイヤ１０８の個々のワイヤ間に印加される電圧をそれぞれ制御することによって変更され得る。ＲＰＵの伝導状態の変更によってデータが記憶される。電圧を印加し、ターゲットＲＰＵ１１０を通過する電流を測定することによって、ＲＰＵ１１０の伝導状態が読み取られる。重みに関する演算のすべては、ＲＰＵ１１０によって完全に並列に実施される。
機械学習および認知科学では、ＤＮＮベースのモデルは、動物の生物学的神経回路網、特に脳から着想を得た一群の統計的学習モデルである。こうしたモデルは、一般には未知である接続の多くの入力および重みに依存するシステムおよび認知機能を推定し、または近似するために使用され得る。ＤＮＮはしばしば、電子信号の形態で互いの間で「メッセージ」を交換する、シミュレートされた「ニューロン」として働く、相互接続されたプロセッサ要素のいわゆる「ニューロモルフィック」システムとして具体化される。シミュレートされたニューロン間で電子メッセージを搬送するＤＮＮ内の接続は、所与の接続の強さまたは弱さに対応する数値重みを備える。こうした数値重みは、経験に基づいて調節され、調整され得、ＤＮＮが入力に適応するようにされ、学習することができるようにされる。たとえば、手書き認識用のＤＮＮは、入力イメージのピクセルによって活性化され得る入力ニューロンのセットによって定義される。ネットワークの設計者によって決定される機能によって重み付けされ、変換された後、こうした入力ニューロンの活性化が別の下流側ニューロンに渡される。出力ニューロンが活性化されるまで、このプロセスが反復される。活性化された出力ニューロンは、どの文字が読み取られたかを判定する。
以下で詳細に説明されるように、隠れ行列１１４の要素（すなわち、Ｈｉｊ）がしきい値に達するまで、Ａ行列１１２を通じて重み値Ｗｉｊを更新し、次いで得られるＡ行列１１２からの出力を隠れ行列１１４内に加算することによって、図１Ａに示されるＤＮＮ１００がトレーニングされる。しかしながら、Ａ行列１１２内の重み値が更新される前および後に、チョッパ１１６が入力信号および出力信号にチョッパ値を掛ける。所与の時刻のチョッパ値は、正の１（＋１）または負の１（－１）のどちらかに等しい。チョッパ１１６は各チョッパ値の間でランダムに反転し、それによって、トレーニング期間の一部では、反対の符号で更新がＡ行列１１４に適用される。チョッパ１１６によるこのランダムな符号反転は、Ａ行列１１２による重み値に寄与する任意の「バイアス」がある場合、それがトレーニング時間のある期間では一方の符号（すなわち、正または負）を有し、トレーニング時間の他の期間では他方の符号（すなわち、負または正）を有することを意味する。バイアスは、ＤＮＮ１００で使用され得る理想的ではないＲＰＵを含む、任意のアナログ・システムに固有のものであり得る。
図２Ａは、本発明の一実施形態による、線形で対称なＲＰＵデバイスの理想的なスイッチング特性を示す図である。図２Ａに示されるように、理想的なＲＰＵは、外部電圧刺激に線形かつ対称に応答する。トレーニングのために、そのような理想的なデバイスは、逆伝播および確率的勾配降下法（ＳＧＤ）のＤＮＮトレーニング・プロセスを完全に実装する。逆伝播は、順方向サイクル、逆方向サイクル、および重み更新サイクルという３つのサイクルで実施されるトレーニング・プロセスであり、この３つのサイクルが、収束基準が満たされるまで複数回反復される。確率的勾配降下法（ＳＧＤ）は、逆伝播を使用して、各パラメータ（重みｗｉｊ）の誤差勾配を計算する。
逆伝播を実施するために、ＤＮＮベースのモデルは、複数のレベルの抽象化でデータの表現を学習する複数の処理層から構成される。Ｎ個の入力ニューロンがＭ個の出力ニューロンに接続される単一の処理層では、順方向サイクルは、ベクトル行列乗算（ｙ＝Ｗｘ）を計算することを含み、ただし長さＮのベクトルｘは入力ニューロンの活動を表し、サイズＭ×Ｎの行列Ｗは、入力ニューロンと出力ニューロンの各対の間の重み値を記憶する。得られる長さＭのベクトルｙが、抵抗型メモリ要素のそれぞれに対して非線形活性化を実施することによってさらに処理され、次いで次の層に渡される。
情報が最終出力層に到達すると、逆方向サイクルが、誤差信号を計算し、ＤＮＮを通じて誤差信号を逆伝播させることを含む。単一層上の逆方向サイクルはまた、重み行列の転置（各行と対応する列とを交換すること）に関するベクトル行列乗算（ｚ＝ＷＴδ）を含み、ただし長さＭのベクトルδは、出力ニューロンによって計算される誤差を表し、長さＮのベクトルｚが、ニューロン非線形性の導関数を使用してさらに処理され、前の層に渡される。
最後に、重み更新サイクルでは、順方向サイクルおよび逆方向サイクルで使用される２つのベクトルの外積を実施することによって重み行列Ｗが更新される。２つのベクトルのこの外積はしばしば、Ｗ←Ｗ＋η（δｘＴ）と表され、ただしηはグローバル学習率である。
この逆伝播プロセス中に重み行列Ｗに対して実施される演算のすべては、対応する数のＭ行Ｎ列を有するＲＰＵ１１０のクロスポイント・アレイ１０４で実装され得、ただしクロスポイント・アレイ１０４内の記憶されるコンダクタンス値が行列Ｗを形成する。順方向サイクルでは、入力ベクトルｘが、列ワイヤ１０８のそれぞれを通じて電圧パルスとして送られ、得られるベクトルｙが、行ワイヤ１０６から電流出力として読み取られる。同様に、電圧パルスが、逆方向サイクルに対する入力として行ワイヤ１０６から供給されるとき、重み行列ＷＴの転置に関してベクトル行列積が計算される。最後に、更新サイクルでは、ベクトルｘおよびδを表す電圧パルスが、列ワイヤ１０８および行ワイヤ１０６から同時に供給される。この構成では、各ＲＰＵ１１０が、対応する列ワイヤ１０８および行ワイヤ１０６から来る電圧パルスを処理することによって局所的乗算および総和演算を実施し、したがって増分重み更新を達成する。
上記で強調したように、対称なＲＰＵ（図２Ａ参照）は逆伝播およびＳＧＤを完全に実装する。すなわち、そのような理想的なＲＰＵでは、wij←wij+ηΔwijであり、ただしｗｉｊは、クロスポイント・アレイ１０４のｉ行ｊ列についての重み値である。
一方、図２Ｂは、本発明の一実施形態による、非線形で非対称なＲＰＵデバイスの理想的ではないスイッチング特性を示す図である。図２Ｂに示されるように、現実のＲＰＵは、外部電圧刺激に対して非線形かつ非対称に応答し得る。すなわち、「アップ」時間枠２０２の間に、ＲＰＵに「アップ」パルスが与えられるとき、重み値２０４は、重み値が低いときよりも大きいステップ・サイズで変化する。すなわち、連続的「アップ」パルスがＲＰＵに印加されるにつれて、重み値２０４は安定する。同様に「ダウン」時間枠２０６の間に、ＲＰＵに「ダウン」パルスが与えられるとき、重み値２０４は、重み値が高いときよりも大きいステップ・サイズで変化する。すなわち、連続的「ダウン」パルスがＲＰＵに印加されるとき、重み値２０４はやはり安定する。
図２Ｂはまた、ＲＰＵが単一の重み値（以下で詳細に説明されるゼロシフト技術からのゼロ重み値に対応する）を有することを示し、アップ調節とダウン調節は等しい強さであるが、それ以外は、重み範囲の残りの部分について不均衡である。時間枠２０８の間に、等しいアップ・パルスおよびダウン・パルスのシーケンスがＲＰＵデバイスに与えられるとき、この不均衡は、デバイスが対称点２１０に向かって上方または下方に進む傾向を有することを意味する。このデバイス挙動は、ＲＰＵデバイスのコンダクタンス変化を支配するＲＰＵデバイスの物理から生じている追加のエネルギー項（内部エネルギー）に変換され得る。したがって、逆伝播のために使用されるとき、理想的でないスイッチング特性を有するこうしたＲＰＵは、理想的なケースとは非常に異なるもの、すなわちwij←wij+ηΔwijF(wij)－η|Δwij|G(wij)を実装し、ただし|Δwij|G(wij)は、ＲＰＵデバイスの非対称スイッチング特性のために現れる追加のエネルギー項（内部エネルギー）を表し、F(wij)は、スイッチング特性の非線形性のために現れる項である。
ＲＰＵ１１０などの抵抗型メモリ・デバイスでは、各デバイスについてのアップ・パルスおよびダウン・パルスの傾きが厳密に同じとなる単一の対称点が常に存在する。この対称点（それぞれの個々のＲＰＵについて異なり得る）に重み値ゼロが割り当てられ得る。
図２Ｂに示されるように、重みアレイ内のＲＰＵ１１０のすべてがそれ自体の対称点に集束するまで、重みアレイ内のＲＰＵ１１０に反復的な（第１、第２、第３など）アップ電圧パルスおよびダウン電圧パルスを印加することによって、クロスポイント・アレイ１０４内の各ＲＰＵ１１０についての対称点２１０が求められ得る。たとえば、コンダクタンス範囲がＧｍｉｎからＧｍａｘまでであり、１つの更新インシデントの平均デルタＧがｄＧａｖｇである場合、コンダクタンス範囲内の有効状態数は(Gmax-Gmin)/dGavgである。デバイスが端点にあり、交互アップ／ダウン・パルスが与えられるとき、デバイスは、中心点=(Gmax-Gmin)/dGavgに達するように更新数を取る。収束を保証するために、交互アップ／ダウン・パルスの余分なサイクル、たとえばn×(Gmax-Gmin)/dGavgを与え得、ただしｎ＝１以上である。アップ電圧パルスおよびダウン電圧パルスは、ＲＰＵ１１０にランダムに（すなわち、各パルスはランダムにアップ・パルスまたはダウン・パルスのどちらかである）、交互に（すなわち、先行するパルスがアップ・パルスである場合、次のパルスはダウン・パルスであり、逆も同様である）などで印加され得る。
重みアレイ内のＲＰＵ１１０のすべてがそれ自体の対称点にすべて収束すると、（対称点での）重みアレイからの各ＲＰＵ１１０についてのコンダクタンス値が、重みアレイと相互接続される別々の基準アレイにコピーされる。重みアレイ内のデバイスと基準アレイ内のデバイスとの間に１対１の相関があり、したがって、重みアレイ内の１つの対応するデバイスについて、基準アレイ内の各デバイスで固有ゼロ重み値が確立され得る。したがって、動作の間、重みアレイ内のＲＰＵ１１０の出力が、基準アレイ内に記憶された対応するデバイスからゼロ重み値だけシフトされる。たとえば、重みアレイと基準アレイのどちらにも同一の信号が供給され得る。次いで、重みアレイ内のＲＰＵ１１０からの出力（たとえば、Ｉ１、Ｉ２、Ｉ３など）が、（ゼロ重み値に設定される）基準アレイ内の対応するデバイスの出力からそうした値を差し引くことによってゼロシフトされ、ゼロシフトされた結果が達成され得る。しかしながら、実際には、基準アレイに対称点をコピーすることによって常に完全な表現が得られるわけではないことがある。対称点の不完全なコピーは、「バイアス」を導入することによってＲＰＵアレイを使用する試みを複雑にし得る。すなわち、対称点が実際の対称点よりも高く、または低くコピーされるとき、バイアスがシステムに導入される。
ゼロシフトされた結果を達成するためのこの初期設定の後、ゼロシフトを設定するときに導入され得るバイアスを補償するためにチョッパ値を使用しながら、ＤＮＮをトレーニングするために本技術が使用される。図３は、本発明の一実施形態による、ＤＮＮをトレーニングするための例示的方法３００を示す図である。トレーニングの間、重み更新が最初に行列上に累積される。Ａ行列は、ゼロ点の周りの対称的挙動を有するＲＰＵの行および列から構成されるハードウェア構成要素である。次いで、Ａ行列からの重み更新が、選択的に重み行列Ｗに移動される。重み行列Ｗも、ＲＰＵの行および列から構成されるハードウェア構成要素である。トレーニング・プロセスは、ＤＮＮの精度を最大にするパラメータ（重みｗｉｊ）のセットを反復的に求める。初期化中に、ゼロ重み値を有する基準アレイは、理想的にはゼロに対応するが、実際には対称点の不完全なコピーによって制限される値について、重みＡ行列内の各ＲＰＵがその平衡点にあることを保証する。一方、行列Ｗは、ＤＮＮトレーニングに対して適用される一般的な方法を用いて、ランダムに分布する値に初期化される。隠れ行列Ｈ（一般にデジタルに記憶されるが、ある実施形態はアナログ隠れ行列Ｈを使用する）がゼロに初期化される。
トレーニングの間、重み更新がＡ行列に対して実行される。次いで、Ａ行列によって処理された情報が隠れ行列Ｈ（低域フィルタを実質的に実施する別々の行列）内に累積される。次いで、更新しきい値に達する隠れ行列Ｈの値が、重み行列Ｗに適用される。更新しきい値は、Ａ行列のハードウェア内で発生する雑音を実質的に最小限に抑える。しかしながら、要素からの各反復が、バイアスに基づくが、ＤＮＮをトレーニングすることに関連する重み更新に基づかない、一貫した更新（正または負のどちらか）を保持するので、バイアスで初期化されるＡ行列の要素について、尚早に更新しきい値に達することになる。チョッパ値は、一定の期間にわたってバイアスの符号を反転することによってバイアスを打ち消し、その期間に、バイアスが逆の符号で隠れ行列Ｈに加算される。具体的には、ある期間で、重み値と正のバイアスが隠れ行列Ｈに加算され、他の時間枠で、重み値と負のバイアスが隠れ行列Ｈに加算される。チョッパ値のランダムな反転は、正のバイアスを有する時間枠が、負のバイアスを有する時間枠と同じになる傾向があることを意味する。したがって、理想的でないＲＰＵに関連するハードウェア・バイアスおよび雑音が許容され（またはＨ行列によって吸収され）、したがって標準ＳＧＤ技術、隠れ行列Ｈのみ、または非対称デバイスを使用する他のトレーニング技術と比べて、より少ない数の状態であっても、少ないテスト誤差を与える。
方法３００は、Ａ行列、隠れ行列Ｈ、および重み行列Ｗを初期化することによって始まる（ブロック３０２）。Ａ行列を初期化することは、たとえば、Ａ行列内の各ＲＰＵについて対称点を求めることと、対応するコンダクタンス値を基準アレイに記憶することとを含む。上記で与えられたように、ＲＰＵのすべてがそれ自体の対称点に収束するまで、反復的なアップ電圧パルスおよびダウン電圧パルスをＲＰＵに（たとえば、ランダムに、交互に、など）印加することによって、各ＲＰＵデバイスについての対称点が求められ得る。アレイＡおよび基準アレイは２つの相互接続されたアレイで具体化され得、その組合せがＡ行列を形成する。物理的コンダクタンスは負の量となることはできないので、アレイＡおよび基準アレイ内のコンダクタンス値の差が、Ａ行列についての論理的値を形成する。しかしながら、初期プログラミング・ステップの後、基準アレイは一定に保たれ、Ａ行列が更新されるとき、更新中であるのはアレイＡであるので、Ａ行列およびアレイＡを相互交換可能に参照する。しかしながら、Ａ行列に対して実施されるベクトル行列乗算演算は常に、アレイＡおよび基準アレイの差分読取りを使用する。同じ方法および演算原理が、行列ＷおよびアレイＷにも当てはまる。
図４は、本発明の一実施形態による、Ａ行列と、Ａ行列のゼロ重み値コンダクタンス値でポピュレートされた基準アレイとに対応する２つの相互接続されたアレイ（すなわち、物理アレイおよび基準アレイ）を示す図である。（Ａ行列の重み値（ｗｉｊ）でポピュレートされた）ＲＰＵ４０４のクロスポイント・アレイ４０２と、（基準行列の対応するゼロ重みコンダクタンス値（ｗ０’）でポピュレートされた）ＲＰＵ４０８のクロスポイント・アレイ４０６とが示されている。Ａ行列内の１つの対応するＲＰＵについて、基準行列内の各ＲＰＵで固有ゼロ重み値（ｗ０’）が確立され得る。隠れ行列Ｈの初期化は、行列内の電流値をゼロにすること、または接続されたコンピューティング・デバイス上のデジタル記憶空間を割り振ることを含む。重み行列Ｗの初期化は、重み行列Ｗについてのトレーニング・プロセスが開始し得るように、重み行列Ｗにランダムな値をロードすることを含む。
ゼロ重みコンダクタンス値が基準アレイ内に記憶されると、ＤＮＮのトレーニングが実施される。３つのサイクル（すなわち、順方向サイクル、逆方向サイクル、および重み更新サイクル）で逆伝播を使用して誤差勾配を計算するだけでなく、ここでは演算が、そのＨ値の反復的組合せがしきい値を超えて増加した後にのみ重み値を更新する隠れ行列Ｈによってフィルタリングされる。反復的組合せは、対称点が各ＲＰＵ４０４についてマッピングされるとき、不完全なゼロシフトの結果として生じ得るバイアスを打ち消すように構成されたチョッパ値と組み合わされる。
方法３００は、重み行列Ｗを使用して順方向サイクルを実施することによって活性化値を求めることを含む（ブロック３０４）。図５は、本発明の一実施形態による、順方向サイクルが実施されることを示す図である。順方向サイクルは、ベクトル行列乗算（ｙ＝Ｗｘ）を計算することを含み、入力ベクトルｘとして具体化された活性化値は、入力ニューロンの活動を表し、重み行列Ｗは、入力ニューロンと出力ニューロンの各対の間の重み値を記憶する。図５は、順方向サイクルのベクトル行列乗算演算がＲＰＵデバイスのクロスポイント・アレイ５０２で実装されることを示し、クロスポイント・アレイ５０２内の記憶されたコンダクタンス値が行列を形成する。
入力ベクトルｘが、導電性列ワイヤ５１２のそれぞれを通じて電圧パルスとして送られ、得られる出力ベクトルｙが、クロスポイント・アレイ５０２の導電性行ワイヤ５１０からの電流出力として読み取られる。クロスポイント・アレイ５０２からのアナログ出力ベクトル５１６をデジタル信号に変換するために、アナログ－デジタル変換器（ＡＤＣ）５１３が利用される。基準行列４０６からコピーされたゼロ重みコンダクタンス値が、クロスポイント・アレイ５０２内のＲＰＵデバイスの出力値をその対称点に対してシフトして、そのスイッチング挙動でのバイアスを補償し、負の論理行列値を符号化するために使用される。そのようにするために、クロスポイント・アレイ５０２に印加される電圧パルスが基準アレイにも印加される。次いで、クロスポイント・アレイ５０２の出力ベクトルｙが基準アレイの出力ベクトルｙから差し引きされる。
方法３００はまた、重み行列Ｗに対して逆方向サイクルを実施することによって誤差値を求めることを含む（ブロック３０６）。図６は、本発明の一実施形態による、逆方向サイクルが実施されることを示す図である。一般に、逆方向サイクルは、誤差値δを計算することと、重み行列Ｗの転置に対するベクトル行列乗算を介して重み行列Ｗを通じて誤差値δを逆伝播すること（すなわち、ｚ＝ＷＴδ）とを含み、ただしベクトルδは、出力ニューロンによって計算される誤差を表し、ベクトルｚは、ニューロン非線形性の導関数を使用してさらに処理され、次いで前の層に渡される。
図６は、逆方向サイクルのベクトル行列乗算演算がクロスポイント・アレイ５０２で実装されることを示す。誤差値δが導電性行ワイヤ５１０のそれぞれを通じて電圧パルスとして送られ、得られる出力ベクトルｚが、クロスポイント・アレイ５０２の導電性列ワイヤ５１２からの電流出力として読み取られる。電圧パルスが逆方向サイクルに対する入力として行ワイヤ５１０から供給されるとき、ベクトル行列積が重み行列Ｗの転置に対して計算される。
図６にさらに示されるように、ＡＤＣ５１３は、クロスポイント・アレイ５０２からの（アナログ）出力ベクトル５１８をデジタル信号に変換するために利用される。前述の順方向サイクルの場合と同じく、ゼロ重みコンダクタンス値が、クロスポイント・アレイ５０２内のＲＰＵデバイスの出力値をその対称点に対してシフトして、そのスイッチング挙動でのバイアスを補償し、負の論理行列値を符号化する。そのようにするために、クロスポイント・アレイ５０２に印加される電圧パルスが基準アレイにも印加される。次いで、クロスポイント・アレイ５０２の出力ベクトルｚが基準アレイの出力ベクトルｚから差し引きされる。
方法３００はまた、活性化値または誤差値あるいはその両方にチョッパ値を適用することを含む（ブロック３０８）。チョッパ値は、チョッパ（たとえば、図１のチョッパ１１６）によって適用され得、チョッパは、Ａ行列５０２内の行ワイヤごと、および列ワイヤごとに含まれる。いくつかの実施形態では、クロスポイント・アレイ５０２は、列ワイヤ５０６上にのみ、または行ワイヤ５０４上にのみチョッパを有し得る。チョッパ値が活性化値または誤差値あるいはその両方に適用された後、方法３００はまた、活性化値、誤差値（入力ベクトルｘおよびδ）、およびチョッパ値でＡ行列を更新することを含む（ブロック３１０）。図７は、本発明の一実施形態による、順方向サイクルで伝播されるｘと、逆方向サイクルで伝播されるδでアレイＡ５０２が更新されることを示す図である。各行および列は、それぞれのワイヤに印加されるチョッパ値５５０を有する。チョッパ値５５０の符号は、正のチョッパ値について「＋」として表され（すなわち、活性化値または誤差値に対する変更なし）、または負のチョッパ値について「Ｘ」（すなわち、活性化値または誤差値に対する符号変更）として表される。更新は、導電性列ワイヤ５０６および導電性行ワイヤ５０４からそれぞれ同時に供給される、（順方向サイクルからの）ベクトルｘおよび（逆方向サイクルからの）ベクトルδを表す電圧パルスを送ることによってクロスポイント・アレイ５０２で実装される。この構成では、クロスポイント・アレイ５０２内の各ＲＰＵは、対応する導電性列ワイヤ５０６および導電性行ワイヤ５０４から来る電圧パルスを処理することによって局所的乗算および総和演算を実施し、したがって増分重み更新を達成する。順方向サイクル（ブロック３０４）および逆方向サイクル（ブロック３０６）と、順方向サイクルおよび逆方向サイクルからの入力ベクトルでＡ行列を更新すること（ブロック３０１０）が、Ａ行列の更新後の値を改善するために何回か反復され得る。
方法３００はまた、入力ベクトルｅｉおよびチョッパ値を使用してＡ行列に対して順方向サイクルを実施する（すなわち、ｙ’＝Ａｅｉ）ことによってチョッパ積を読み取ることを含む（ブロック３１２）。各時間ステップで、新しい入力ベクトルｅｉが使用され、サブインデックスｉは時間インデックスを示す。以下で詳細に説明されるように、例示的実施形態によれば、入力ベクトルｅｉはワン・ホット符号化ベクトルである。たとえば、当技術分野では周知のように、ワン・ホット符号化ベクトルは、単一の高（１）ビットを有し、他のすべてのビットが低（０）である組合せのみを有するビットのグループである。例示目的で単純で非限定的な例を用いるために、サイズ４×４の行列を仮定すると、ワン・ホット符号化ベクトルは以下のベクトルのうちの１つとなる：[1 0 0 0]、[0 1 0 0]、[00 1 0]、および[0 0 0 1]。各時間ステップで、新しいワン・ホット符号化ベクトルが使用され、サブインデックスｉはその時間インデックスを示す。しかしながら、本明細書では入力ベクトルｅｉを選ぶための他の方法も企図されることは注目に値する。たとえば、その代わりに、アダマール行列、ランダムな行列などの列から入力ベクトルｅｉが選ばれ得る。
図８は、本発明の一実施形態による、チョッパ値を用いてＡ行列に対して順方向サイクルｙ’＝Ａｅｉを実施することによってチョッパ積を読み取ることを示す図である。入力ベクトルｅｉが、導電性列ワイヤ５０６のそれぞれを通じて電圧パルスとして送られ、得られる出力ベクトルｙ’が、クロスポイント・アレイ５０２の導電性行ワイヤ５０４から電流出力として読み取られる。各列ワイヤ５０６および行ワイヤ５０４は、Ａ行列がそれを用いて更新された同一のチョッパ値（すなわち、正または負）で読み取られる。たとえば、第１の列ワイヤ５０６ｉ１が、図７および図８では正のチョッパ値（＋）を有し、第２の列ワイヤ５０６ｉ２が、図７および図８では負のチョッパ値（Ｘ）を有し、第１の行ワイヤ５０４１ｉが、図７および図８では負のチョッパ値（Ｘ）を有する。電圧パルスが、この順方向サイクルに対する入力として列ワイヤ５０６から供給されるとき、ベクトル行列積が計算される。
方法３００は、チョッパ積（すなわち、出力ベクトルｙ’および入力ベクトルｅｉとチョッパ値の積）を使用して隠れ行列Ｈを更新することを含む（ブロック３１４）。図９は、Ａ行列９０４の順方向サイクルで計算された値で隠れ行列Ｈ９０２が更新されることを示す図である。隠れ行列Ｈ９０２は、ほとんどの場合、Ａ行列内の各ＲＰＵ（すなわち、各ＲＰＵがＡｉｊに配置される）についてのＨ値９０６（すなわち、Ｈｉｊ）を記憶する（Ａ行列および重み行列Ｗのような物理デバイスではなく）デジタル行列である。順方向サイクルが実施されるとき、出力ベクトルｙ’ｅｉＴが生成され、チョッパ値が掛けられてチョッパ積９０８が求められ、隠れ行列Ｈは、各Ｈ値９０６にチョッパ積９０８を加える。したがって、出力ベクトルが読み取られるごとに、隠れ行列Ｈ９０２は変化する。低雑音レベルのＲＰＵでは、Ｈ値９０６は一貫して増加する。値の増加は、出力ベクトルｙ’ｅｉ Ｔの値に応じて正または負の方向であり得る。出力ベクトルｙ’ｅｉ Ｔが著しい雑音を含む場合、ある反復では正となり、別の反復では負となる可能性が高い。正および負の出力ベクトルｙ’ｅｉ Ｔ値のこの組合せは、Ｈ値９０６がよりゆっくりと、より一貫せずに増加することを意味する。
方法３００はまた、反転割合でチョッパ値の符号を反転することを含む（ブロック３１６）。いくつかの実施形態では、チョッパ積が隠れ行列Ｈに追加された後にのみ、チョッパ値が反転される。すなわち、チョッパ値は、活性化値および誤差値がＡ行列に書き込まれたときに１回と、順方向サイクルがＡ行列から読み取られたときに１回の、２回使用される。チョッパ積が計算される前に、チョッパ値は反転されるべきではない。反転割合は、ユーザ・プリファレンスとして定義され得、したがって各チョッパ積が隠れ行列Ｈに加えられた後、チョッパは、チョッパ値を反転する割合機会(percentage chance)を有する。たとえば、ユーザ・プリファレンスは５０パーセントであり得、したがって時間の半分で、チョッパ積が計算された後に、チョッパ値は符号を変更する（すなわち、正から負、または負から正）機会を有する。
Ｈ値９０６が増加するにつれて、方法３００は、Ｈ値９０６がしきい値よりも大きくなったかどうかを追跡することを含む（ブロック３１８）。特定の場所（すなわち、Ｈｉｊ）でＨ値９０６がしきい値以下である場合（ブロック３１８の「いいえ」）、方法３００は、順方向サイクル（ブロック３０４）を実施することから、隠れ行列Ｈを更新すること（ブロック３１４）、および潜在的にはチョッパ値を反転すること（ブロック３１６）を通じて反復する。Ｈ値９０６がしきい値より大きい場合（ブロック３１０の「はい」）、方法３００は、重み行列Ｗに入力ベクトルｅｉを送ることに進むが、特定のＲＰＵについてのみである（ブロック３２０）。前述のように、Ｈ値９０６の増加は、正または負の方向であり得、したがってしきい値も正または負の値である。図１０は、本発明の一実施形態による、隠れ行列Ｈ９０２が重み行列Ｗ１０１０に選択的に逆に適用される概略図である。図１０は、しきい値に達し、重み行列Ｗ１０１０に送られている第１のＨ値１０１２および第２のＨ値１０１４を示す。第１のＨ値１０１２は正のしきい値に達しており、したがって入力ベクトル１０１６内のその行について正の１：「１」を保持する。第２のＨ値１０１４は負のしきい値に達しており、したがって入力ベクトル１０１６内のその行について負の１：「－１」を保持する。入力ベクトル１０１６内の行の残りの部分はゼロを保持する。そうした値（すなわち、Ｈ値９０６）はしきい値を超えて増加していないからである。しきい値は、隠れ行列Ｈに加えられているｙ’ｅｉＴよりもずっと大きいものであり得る。たとえば、しきい値は、ｙ’ｅｉＴの予想強度の１０倍または１００倍であり得る。こうした高いしきい値により、重み行列Ｗに対して実施される更新の頻度が削減される。しかしながら、Ｈ行列によって実施されるフィルタリング機能は、ニューラル・ネットワークの目標関数の誤差を低減する。こうした更新は、多くのデータ例を処理した後にのみ生成され得、したがって更新の信頼レベルが向上する。この技術により、限られた数の状態のみを有する雑音の多いＲＰＵデバイスを伴うニューラル・ネットワークのトレーニングが可能となる。Ｈ値が重み行列Ｗに適用された後、Ｈ値９０６がゼロにリセットされ、方法３００の反復が続行される。
重み行列Ｗがｅｉ１０１８で更新された後、方法３００は、トレーニングが完了したかどうかを判定することによって続行される。トレーニングが完了していない場合、たとえば一定の収束基準が満たされていない場合（ブロック３２２の「いいえ」）、方法３００は反復され、順方向サイクルｙ＝Ｗｘを実施することによって再び開始する。たとえば、単に例として、誤差信号に対する改善がもはや見られないとき、トレーニングは完了したと見なされ得る。トレーニングが完了した場合（ブロック３２２の「はい」）、方法３００は終了する。
上記で強調したように、例示的実施形態によれば、入力ベクトルｅｉは、単一の高（１）ビットを有し、他のすべてのビットが低（０）である組合せのみを有するビットのグループであるワン・ホット符号化ベクトルである。たとえば図１１を参照されたい。図１１に示されるように、サイズ４×４の行列を仮定すると、ワン・ホット符号化ベクトルは以下のベクトルのうちの１つとなる：[1 0 0 0]、[0 1 0 0]、[00 1 0]、および[0 0 0 1]。各時間ステップで、その時間インデックスでのサブインデックスｉによって示される、新しいワン・ホット符号化ベクトルが使用される。別の例示的実施形態によれば、入力ベクトルｅｉは、アダマール行列の列から選ばれる。当技術分野では周知のように、アダマール行列は、エントリ±１を有する正方行列である。たとえば、図１２（２次のアダマール行列）および図１３（４次のアダマール行列）を参照されたい。本発明は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであり得る。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体を含み得る。
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のために命令を保持および記憶し得る有形デバイスであり得る。コンピュータ可読記憶媒体は、たとえば、限定はしないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、静的ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピィ（Ｒ）・ディスク、命令が記録されたパンチ・カードや溝の中の隆起構造などの機械的に符号化されたデバイス、および上記の任意の適切な組合せが含まれる。本明細書では、コンピュータ可読記憶媒体は、電波または他の自由伝播電磁波、導波路または他の伝送媒体を通じて伝播する電磁波（たとえば、光ファイバ・ケーブルを通過する光パルス）、ワイヤを通じて伝送される電気信号など、本質的に一時的信号であると解釈されるべきではない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスに、あるいはネットワーク、たとえばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク、もしくはワイヤレス・ネットワーク、またはその組合せを介して外部コンピュータまたは外部記憶デバイスにダウンロードされ得る。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを含み得る。各コンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶するためにコンピュータ可読プログラム命令を転送する。
本発明の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械語命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語や類似のプログラミング言語などの従来の手続型プログラミング言語とを含む１つまたは複数のプログラミング言語の何らかの組合せで書かれたソース・コードまたはオブジェクト・コードであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で、スタンド・アロン・ソフトウェア・パッケージとして部分的にユーザのコンピュータ上で、部分的にユーザのコンピュータ、および部分的にリモート・コンピュータ上で、または完全にリモート・コンピュータもしくはサーバ上で実行され得る。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続され得、または接続が外部コンピュータに対して（たとえば、インターネット・サービス・プロバイダを使用してインターネットを通じて）行われ得る。いくつかの実施形態では、たとえばプログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することによってコンピュータ可読プログラム命令を実行し得る。
本発明の態様が、本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して本明細書で説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、フローチャート図またはブロック図あるいはその両方の中のブロックの組合せが、コンピュータ可読プログラム命令によって実装され得ることを理解されよう。
こうしたコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能データ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実装するための手段を生み出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに与えられ、マシンが作り出され得る。こうしたコンピュータ可読プログラム命令はまた、命令を記憶するコンピュータ可読記憶媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作の態様を実装する命令を含む製品を含むように、コンピュータ、プログラム可能データ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示し得るコンピュータ可読記憶媒体内に記憶され得る。
コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能装置、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックで指定される機能／動作を実装するように、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされ、コンピュータ、他のプログラム可能装置、または他のデバイス上で一連の動作ステップを実施させて、コンピュータ実装プロセスが生成され得る。
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点で、フローチャートまたはブロック図の各ブロックは、指定の論理的機能を実装するための１つまたは複数の実行可能命令を含む命令のモジュール、セグメント、または部分を表し得る。いくつかの代替実装では、ブロック内に記載の機能は、図に記載されている以外の順序で行われ得る。たとえば、連続して示される２つのブロックは、実際にはほぼ同時に実行され得、またはブロックは、関係する機能に応じて、時には逆の順序で実行され得る。ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方のブロックの組合せが、指定の機能または動作を実施し、あるいは専用ハードウェアとコンピュータ命令の組合せを実施する専用ハードウェア・ベースのシステムによって実装され得ることにも留意されよう。
次に図１４を参照すると、本明細書で提示される方法のうちの１つまたは複数を実装するための装置１４００のブロック図が示されている。単に例として、装置１４００は、アレイに印加される入力電圧パルスを制御し、かつ／またはアレイからの出力信号を処理するように構成され得る。
装置１４００は、コンピュータ・システム１４１０および取外し可能媒体１４５０を含む。コンピュータ・システム１４１０は、プロセッサ・デバイス１４２０、ネットワーク・インターフェース１４２５、メモリ１４３０、媒体インターフェース１４３５、および任意選択のディスプレイ１４４０を含む。ネットワーク・インターフェース１４２５により、コンピュータ・システム１４１０がネットワークに接続することが可能となり、媒体インターフェース１４３５により、コンピュータ・システム１４１０が、ハード・ドライブや取外し可能媒体１４５０などの媒体と対話することが可能となる。
プロセッサ・デバイス１４２０は、本明細書で開示される方法、ステップ、および機能を実装するように構成され得る。メモリ１４３０は分散し、またはローカルであり得、プロセッサ・デバイス１４２０は分散し、または単一であり得る。メモリ１４３０は、電気的メモリ、磁気的メモリ、または光メモリ、あるいはこれらまたは他のタイプの記憶デバイスの任意の組合せとして実装され得る。さらに、「メモリ」という用語は、プロセッサ・デバイス１４２０によってアクセスされるアドレス指定可能な空間内のアドレスから読み取り、またはそれに書き込むことのできる任意の情報を包含するように十分に広く解釈されるべきである。この定義では、ネットワーク・インターフェース１４２５を通じてアクセス可能なネットワーク上の情報は、依然としてメモリ１４３０内にある。プロセッサ・デバイス１４２０は、ネットワークから情報を取り出すことができるからである。プロセッサ・デバイス１４２０を構成する各分散プロセッサは、一般にそれ自体のアドレス指定可能なメモリ空間を含むことに留意されたい。コンピュータ・システム１４１０の一部またはすべてが、特定用途向けまたは汎用集積回路内に組み込まれ得ることにも留意されたい。
任意選択のディスプレイ１４４０は、装置１４００の人間のユーザと対話するのに適した任意のタイプのディスプレイである。一般に、ディスプレイ１４４０は、コンピュータ・モニタまたは他の類似のディスプレイである。
本発明の例示的実施形態が本明細書で説明されたが、本発明はそうした厳密な実施形態に限定されないこと、および本発明の範囲から逸脱することなく、当業者によって様々な他の変更および修正が行われ得ることを理解されたい。

Claims (25)

  1. ディープ・ニューラル・ネットワーク（ＤＮＮ）をトレーニングする方法であって、
    重み行列からの活性化値および誤差値にチョッパ値を掛けたものでＡ行列の要素を更新することによって増分重み更新を求めることであって、前記要素が抵抗型処理ユニットを含む、前記求めることと、
    前記要素から更新電圧を読み取ることと、
    前記更新電圧に前記チョッパ値を掛けることによってチョッパ積を求めることと、
    隠れ行列の要素を記憶することであって、前記隠れ行列の前記要素が、前記チョッパ積の連続的反復の総和を含む、前記記憶することと、
    しきい値状態に達する前記隠れ行列の前記要素に基づいて、重み行列の対応する要素を更新することと
    を含む方法。
  2. 前記チョッパ値が、正の１および負の１からなるグループから選択される状態を含む、請求項１に記載の方法。
  3. 前記正の１の値と前記負の１の値との間で前記状態を反転する確率がユーザ定義される、請求項２に記載の方法。
  4. 前記重み行列の前記対応する要素を更新することが、前記重み行列の導電性列ワイヤを通じて電圧パルスを送るのと同時に、前記重み行列の導電性行ワイヤを通じて前記隠れ行列の前記要素の符号情報を電圧パルスとして送ることを含む、請求項１に記載の方法。
  5. 前記チョッパ値が、前記Ａ行列の導電性列ワイヤに印加される、請求項１に記載の方法。
  6. 前記チョッパ値が、前記Ａ行列の導電性行ワイヤに印加される、請求項１に記載の方法。
  7. ディープ・ニューラル・ネットワークをトレーニングするためのコンピュータ実装方法であって、
    隠れ行列の対応する要素内のＡ行列の要素についてのチョッパ積の総和を追跡することであって、前記チョッパ積が、前記Ａ行列に適用する前および後に、重み行列の対応する要素からの活性化値および誤差値にチョッパ値を掛けたものを含む、前記追跡することと、
    前記総和のうちの１つの前記総和がしきい値に達したとき、前記重み行列の前記対応する要素についての更新をトリガすることと
    を含むコンピュータ実装方法。
  8. 前記チョッパ値が、正の１および負の１からなるグループから選択される値を含む、請求項７に記載の方法。
  9. 前記正の１の値と前記負の１の値との間で状態を反転する確率がユーザ定義される、請求項８に記載の方法。
  10. 前記総和がデジタルに追跡される、請求項７に記載の方法。
  11. ディープ・ニューラル・ネットワーク（ＤＮＮ）であって、
    導電性行ワイヤと導電性列ワイヤとの間の交点を分離する抵抗型処理ユニット（ＲＰＵ）デバイスを含むＡ行列であって、それによって前記ＲＰＵデバイスが、前記ＤＮＮ内のニューロン間の重みつき接続についての処理済み勾配を含む、前記Ａ行列と、
    導電性行ワイヤと導電性列ワイヤとの間の交点を分離するＲＰＵデバイスを含む重み行列であって、それによって前記ＲＰＵデバイスが、前記ＤＮＮ内のニューロン間の重みつき接続を含む、前記重み行列と、
    前記Ａ行列に適用する前に前記重み行列からの活性化値および誤差値にチョッパ値を掛け、前記Ａ行列からの出力ベクトルに前記チョッパ値を掛けてチョッパ積を生成するように構成されたチョッパと、
    前記重み行列Ｗ内の各ＲＰＵデバイスについてのＨ値を含む隠れ行列を記憶するように構成されたコンピュータ・ストレージであって、前記Ｈ値が前記チョッパ積の総和を含む、前記コンピュータ・ストレージと
    を備えるディープ・ニューラル・ネットワーク（ＤＮＮ）。
  12. 前記チョッパが、前記Ａ行列の前記列ワイヤのうちの１つと、前記Ａ行列の前記行ワイヤのうちの１つからなるグループから選択されたものに割り当てられる、請求項１１に記載のＤＮＮ。
  13. 前記チョッパ値が、ユーザ定義された確率で、正の１の値と負の１の値との間で反転する、請求項１１に記載のＤＮＮ。
  14. アレイ内のバイアスを削減するためのコンピュータ・プログラム製品であって、
    １つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ可読記憶媒体上に集合的に記憶されたプログラム命令であって、
    Ａ行列の要素を初期化するためのプログラム命令であって、前記要素が抵抗型処理ユニットを含む、前記プログラム命令と、
    重み行列からの活性化値および誤差値にチョッパ値を掛けたもので前記要素を更新することによって増分重み更新を求めるためのプログラム命令と、
    前記要素から更新電圧を読み取るためのプログラム命令と、
    前記更新電圧に前記チョッパ値を掛けることによってチョッパ積を求めるためのプログラム命令と、
    隠れ行列の要素を記憶するためのプログラム命令であって、前記隠れ行列の前記要素が、前記チョッパ積の連続的反復の総和を含む、前記プログラム命令と、
    しきい値状態に達する前記隠れ行列の前記要素に基づいて、重み行列の対応する要素を更新するためのプログラム命令と
    を含む前記プログラム命令と
    を含むコンピュータ・プログラム製品。
  15. 前記チョッパ値が、正の１および負の１からなるグループから選択される状態を含む、請求項１４に記載のコンピュータ・プログラム製品。
  16. 前記正の１の値と前記負の１の値との間で前記状態を反転する確率がユーザ定義される、請求項１５に記載のコンピュータ・プログラム製品。
  17. 前記重み行列の前記対応する要素を更新することが、前記重み行列の導電性列ワイヤを通じて電圧パルスを送るのと同時に、前記重み行列の導電性行ワイヤを通じて前記隠れ行列の前記要素の符号情報を電圧パルスとして送ることを含む、請求項１４に記載のコンピュータ・プログラム製品。
  18. 前記増分重み更新が、前記Ａ行列に対して演算される出力ベクトルおよび入力ベクトルの行列乗算を含む、請求項１４に記載のコンピュータ・プログラム製品。
  19. 前記重み行列を更新するための命令が、前記重み行列の導電性列ワイヤを通じて電圧パルスを送るのと同時に、前記隠れ行列の前記要素がしきい値状態に達したとき、前記重み行列の導電性行ワイヤを通じて、前記しきい値状態に達した前記隠れ行列の前記要素の符号情報を電圧パルスとして送るための命令を含む、請求項１４に記載のコンピュータ・プログラム製品。
  20. ディープ・ニューラル・ネットワーク（ＤＮＮ）をトレーニングするためのコンピュータ実装方法であって、
    Ａ行列の導電性列ワイヤを通じて、入力ベクトルｅｉにチョッパ値を掛けたものを電圧パルスとして送り、前記Ａ行列の導電性行ワイヤから、得られる出力ベクトルｙ’を電流出力として読み取ることであって、前記Ａ行列が、前記導電性列ワイヤと前記導電性行ワイヤとの間の交点を分離する抵抗型処理ユニット（ＲＰＵ）デバイスを含む、前記読み取ることと、
    前記出力ベクトルｙ’に前記チョッパ値を掛けることによって各ＲＰＵについてのチョッパ積を求めることと、
    前記チョッパ積を反復的に加えることによって隠れ行列のＨ値を更新することであって、前記隠れ行列が各ＲＰＵについてのＨ値を含む、前記更新することと、
    Ｈ値がしきい値に達した後、重み行列Ｗの前記導電性列ワイヤを通じて、前記入力ベクトルｅｉを電圧パルスとして送るのと同時に、前記重み行列Ｗの前記導電性行ワイヤを通じて、しきい値に達した前記Ｈ値の符号情報を電圧パルスとして送ることと
    を含むコンピュータ実装方法。
  21. 前記入力ベクトルおよび前記誤差信号が、前記重み行列に対して演算される順方向サイクルおよび逆方向サイクルから導出された重み行列からの活性化値および誤差値を含む、請求項２０に記載の方法。
  22. 前記チョッパ値が、正の１および負の１からなるグループから選択される状態を含む、請求項２０に記載の方法。
  23. 前記正の１の値と前記負の１の値との間で前記状態を反転する確率がユーザ定義される、請求項２０に記載の方法。
  24. 前記重み行列の前記対応する要素を更新することが、前記重み行列の導電性列ワイヤを通じて電圧パルスを送るのと同時に、前記重み行列の導電性行ワイヤを通じて前記隠れ行列の前記要素の符号情報を電圧パルスとして送ることを含む、請求項２０に記載の方法。
  25. 前記入力ベクトルｅｉが、ワン・ホット符号化ベクトルおよびアダマール行列からなるグループから選択されたものを含む、請求項２０に記載の方法。
JP2023558794A 2021-04-09 2022-03-22 ディープ・ニューラル・ネットワーク・トレーニング Pending JP2024514063A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/226,416 2021-04-09
US17/226,416 US20220327375A1 (en) 2021-04-09 2021-04-09 Training dnn by updating an array using a chopper
PCT/EP2022/057494 WO2022214309A1 (en) 2021-04-09 2022-03-22 Deep neural network training

Publications (2)

Publication Number Publication Date
JP2024514063A true JP2024514063A (ja) 2024-03-28
JPWO2022214309A5 JPWO2022214309A5 (ja) 2024-04-16

Family

ID=81346171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023558794A Pending JP2024514063A (ja) 2021-04-09 2022-03-22 ディープ・ニューラル・ネットワーク・トレーニング

Country Status (5)

Country Link
US (1) US20220327375A1 (ja)
EP (1) EP4320558A1 (ja)
JP (1) JP2024514063A (ja)
CN (1) CN117136363A (ja)
WO (1) WO2022214309A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024083180A1 (en) * 2022-10-20 2024-04-25 International Business Machines Corporation Dnn training algorithm with dynamically computed zero-reference.

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9646243B1 (en) * 2016-09-12 2017-05-09 International Business Machines Corporation Convolutional neural networks using resistive processing unit array

Also Published As

Publication number Publication date
WO2022214309A1 (en) 2022-10-13
US20220327375A1 (en) 2022-10-13
CN117136363A (zh) 2023-11-28
EP4320558A1 (en) 2024-02-14

Similar Documents

Publication Publication Date Title
US11562249B2 (en) DNN training with asymmetric RPU devices
US10248907B2 (en) Resistive processing unit
US9715656B1 (en) Killing asymmetric resistive processing units for neural network training
US11188825B2 (en) Mixed-precision deep-learning with multi-memristive devices
US11087204B2 (en) Resistive processing unit with multiple weight readers
JP7288047B2 (ja) アナログ・クロスポイント・アレイにおいて対称点をゼロ重み点として一致させるためのアライメント方法、そのベクトル行列
US20200293855A1 (en) Training of artificial neural networks
JP2024514063A (ja) ディープ・ニューラル・ネットワーク・トレーニング
KR20230029759A (ko) 아날로그 크로스바 어레이들을 업데이트하기 위한 희소 수정가능 비트 길이 결정 펄스 생성
CN113841164B (zh) Rpu阵列的噪声和信号管理
US20220101142A1 (en) Neural network accelerators resilient to conductance drift
US20220207344A1 (en) Filtering hidden matrix training dnn
JP2023533846A (ja) クロスバーアレイを更新するためのパルス生成
KR20230005309A (ko) 아날로그 인공지능 네트워크 추론을 위한 행별 컨볼루션 신경망 매핑을 위한 효율적 타일 매핑
WO2024083180A1 (en) Dnn training algorithm with dynamically computed zero-reference.
US20240135166A1 (en) Dnn training algorithm with dynamically computed zero-reference
US11133063B1 (en) Suppressing undesired programming at half-selected devices in a crosspoint array of 3-terminal resistive memory

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240326