JP7371235B2 - ニューラルネットワークのアナログハードウェア実現 - Google Patents

ニューラルネットワークのアナログハードウェア実現 Download PDF

Info

Publication number
JP7371235B2
JP7371235B2 JP2022515539A JP2022515539A JP7371235B2 JP 7371235 B2 JP7371235 B2 JP 7371235B2 JP 2022515539 A JP2022515539 A JP 2022515539A JP 2022515539 A JP2022515539 A JP 2022515539A JP 7371235 B2 JP7371235 B2 JP 7371235B2
Authority
JP
Japan
Prior art keywords
analog
neural network
network
implementations
neurons
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022515539A
Other languages
English (en)
Other versions
JP2022548547A (ja
Inventor
ティモフェジェフス，アレクサンダース
マスロフ，ボリス
ユリエヴィッチ ゴドフスキー，ドミトリー
ヴァディモヴィッチ コフショフ，ニコライ
Original Assignee
ポリン テクノロジー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ポリン テクノロジー リミテッド filed Critical ポリン テクノロジー リミテッド
Publication of JP2022548547A publication Critical patent/JP2022548547A/ja
Priority to JP2023179328A priority Critical patent/JP2024001230A/ja
Application granted granted Critical
Publication of JP7371235B2 publication Critical patent/JP7371235B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)

Description

開示される実装態様は、一般に、ニューラルネットワークに関し、より具体的には、ニューラルネットワークのハードウェア実現のためのシステムおよび方法に関する。
従来のハードウェアは、ニューラルネットワークの革新と機械学習ベースのアプリケーションの人気の高まりに付いていくことができていない。デジタルマイクロプロセッサの進歩が頭打ちになっているため、ニューラルネットワークの複雑さは、ＣＰＵおよびＧＰＵの計算能力を上回り続けている。ＬｏｉｈｉおよびＴｒｕｅ Ｎｏｒｔｈなどのスパイクニューラルネットワークに基づくニューロモルフィックプロセッサは、用途が限定されている。ＧＰＵのようなアーキテクチャでは、そのようなアーキテクチャの電力および速度は、データ伝送速度によって制限される。データ伝送は、チップ電力の最大８０％を消費し得、計算の速度に著しく影響を与え得る。エッジアプリケーションは、低消費電力を必要とするが、５０ミリワット未満の電力を消費する、既知のパフォーマンスの高いハードウェア実装態様は現在ない。
クロスバー技術を使用するメモリスタベースのアーキテクチャは、回帰型およびフィードフォワード型ニューラルネットワークを作製するには非実用的なままである。例えば、メモリスタベースのクロスバーは、動作中の高レイテンシおよび電流の漏れを含む多くの欠点を有し、それらを非実用的なものとする。また、特にニューラルネットワークが負の重みと正の重みとの両方を有する場合、メモリスタベースのクロスバーを作製することには信頼性の問題がある。多くのニューロンを有する大規模なニューラルネットワークの場合、高次元では、異なる信号の同時伝播にメモリスタベースのクロスバーを使用することができず、ひいては、このことが、ニューロンが演算増幅器によって表されるときに、信号の和を複雑にする。さらに、メモリスタベースのアナログ集積回路は、少数の抵抗状態、メモリスタを形成するときの第１のサイクルの問題、メモリスタを訓練するときのチャネル形成の複雑さ、メモリスタの寸法に対する予測不可能な依存性、メモリスタの低速動作、および抵抗の状態のドリフトなどの、いくつかの制限を有する。
加えて、ニューラルネットワークに必要とされるトレーニングプロセスは、ニューラルネットワークのハードウェア実現に固有の課題を提示する。訓練されたニューラルネットワークは、分類などの特定の推論タスクに使用される。ニューラルネットワークが訓練されると、ハードウェアと同等なものが作製される。ニューラルネットワークが再訓練されると、ハードウェア作製プロセスが繰り返され、コストが跳ね上がる。いくつかの再構成可能なハードウェアソリューションが存在するが、そのようなハードウェアは、容易には大量生産できず、再構成可能でないハードウェアよりも多大なコスト（例えば、５倍以上のコスト）がかかる。さらに、スマートホームアプリケーションなどのエッジ環境は、再プログラム可能性をそのようなものとしては必要としない。例えば、ニューラルネットワークのすべてのアプリケーションのうちの８５％は、動作中に再訓練を必要としないため、オンチップ学習が、それほど有用ではない。さらに、エッジアプリケーションは、再プログラム可能なハードウェアを信頼性のないものにし得る、ノイズの多い環境を含む。
したがって、上記で識別された欠点のうちの少なくともいくつかに対処する方法、回路、および／またはインターフェースが必要である。訓練されたニューラルネットワークをモデル化し、かつ本明細書に記載される手法に従って製造されたアナログ回路は、改善されたワット当たりの性能の利点を提供することができ、エッジ環境でハードウェアソリューションを実装するのに有用であり得、ドローンナビゲーションおよび自律車などの多様なアプリケーションに取り組むことができる。提案された製造方法および／またはアナログネットワークアーキテクチャによって提供されるコスト上の利点は、ニューラルネットワークが大型になるとさらに顕著である。また、ニューラルネットワークのアナログハードウェア実装態様は、改善された並列性およびニューロモルフィズムを提供する。さらに、ニューロモルフィックアナログコンポーネントは、デジタル対応物と比較すると、ノイズおよび温度変化に感度を有していない。
本明細書に記載される手法に従って製造されたチップは、サイズ、電力、および性能において従来のシステムに比して桁違いの改善を提供し、再訓練目的を含めてエッジ環境に理想的である。そのようなアナログニューロモルフィックチップは、エッジコンピューティングアプリケーションを実装するために、または物のインターネット（ＩｏＴ）環境で使用され得る。アナログハードウェアに起因して、８０～９０％を超える電力を消費し得る初期処理（例えば、画像認識のための記述子の形成）を、チップ上で移動させることができ、それによって、エネルギー消費およびネットワーク負荷を低減し、アプリケーションの新たな市場を開くことができる。
様々なエッジアプリケーションが、そのようなアナログハードウェアの使用から利益を得ることができる。例えば、ビデオ処理のために、本明細書に記載される手法を使用して、デジタルインターフェースなしでＣＭＯＳセンサに直接接続することを含むことができる。他の様々なビデオ処理アプリケーションには、自動車の道路標識認識、ロボットのカメラベースのトゥルーデプスならびに／または同時ローカリゼーションおよびマッピング、サーバ接続なしのルームアクセス制御、ならびにセキュリティおよびヘルスケアの常時オンソリューションが含まれる。そのようなチップは、レーダおよびライダからのデータ処理、ならびに低レベルのデータ融合に使用され得る。そのような手法を使用して、大型電池パックの電池管理機能、データセンタへの接続なしでの音声／発声処理、モバイルデバイスでの発声認識、ＩｏＴセンサのウェイクアップ発話命令、ある言語を別の言語に翻訳するトランスレータ、低信号強度を用いるＩｏＴの大型センサアレイ、および／または何百ものセンサを用いる構成可能なプロセス制御を実装することができる。
標準的なソフトウェアベースのニューラルネットワークシミュレーション／訓練の後に、いくつかの実装態様による、ニューロモルフィックアナログチップが、大量生産され得る。クライアントのニューラルネットワークは、ニューラルネットワークの構造にかかわらず、カスタマイズされたチップ設計および製造で容易にポーティングされ得る。さらに、いくつかの実装態様による、オンチップソリューション（ネットワークエミュレータ）を直ちに図ることができるライブラリが提供される。そのようなソリューションは、訓練、１つのリソグラフィマスクの変更、それに続くチップの大量生産のみを必要とする。例えば、チップの製造中に、リソグラフィマスクの一部のみを変更すればよい。
本明細書に記載される手法を使用して、訓練されたニューラルネットワーク（フィードフォワードニューラルネットワークまたは回帰型ニューラルネットワークのいずれか）と数学的に同等であるアナログニューロモルフィック集積回路を設計および／または製造することができる。いくつかの実装態様によれば、プロセスは、標準要素からなる変換されたネットワークに最初に変換される、訓練されたニューラルネットワークから始まる。変換されたネットワークの動作は、標準要素を表す既知のモデルを有するソフトウェアを使用してシミュレートされる。ソフトウェアシミュレーションを使用して、変換されたネットワーク内の抵抗器の各々について個々の抵抗値を決定する。変換されたネットワーク内の標準要素の配置に基づいて、リソグラフィマスクがレイアウトされる。標準要素の各々は、プロセスを簡素化および高速化するために、標準要素に対応する既存の回路ライブラリを使用してマスクにレイアウトされる。いくつかの実装態様では、抵抗器は、変換されたネットワーク内の他の要素（例えば、演算増幅器）を含むマスクとは別の１つ以上のマスクにレイアウトされる。このようにして、ニューラルネットワークが再訓練される場合、再訓練されたニューラルネットワーク内の新たな重みを表す、抵抗器または他のタイプの固定抵抗要素を含むマスクのみが再生される必要があり、これにより、プロセスが、簡素化および高速化される。その後、リソグラフィマスクは、アナログニューロモルフィック集積回路を製造するためのファブに送られる。
一態様では、いくつかの実装態様による、ニューラルネットワークのハードウェア実現のための方法が提供される。方法は、ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを取得することを含む。方法はまた、ニューラルネットワークトポロジを、アナログコンポーネントの同等なアナログネットワークに変換することを含む。方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算することを含む。重み行列の各要素は、同等なアナログネットワークのアナログコンポーネント間のそれぞれの接続を表す。方法はまた、アナログコンポーネントのコンポーネント値を選択することを含む、重み行列に基づいて同等なアナログネットワークを実装するための概略モデルを生成することを含む。
いくつかの実装態様では、概略モデルを生成することは、重み行列の抵抗行列を生成することを含む。抵抗行列の各要素は、重み行列のそれぞれの重みに対応し、抵抗値を表す。
いくつかの実装態様では、方法は、訓練されたニューラルネットワークの新たな重みを取得することと、新たな重みに基づいて同等なアナログネットワークの新たな重み行列を計算することと、新たな重み行列の新たな抵抗行列を生成することと、をさらに含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、ニューロンの１つ以上の層を含み、ニューロンの各層は、それぞれの数学的関数に基づいてそれぞれの出力を計算し、ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することは、ニューロンの１つ以上の層の各層について、（ｉ）それぞれの層について、それぞれの数学的関数に基づいて、１つ以上の関数ブロックを識別することを含む。各関数ブロックは、それぞれの数学的関数の出力に適合するブロック出力を有するそれぞれの概略的な実装態様を有し、（ｉｉ）１つ以上の関数ブロックを配置することに基づいて、アナログニューロンのそれぞれの多層ネットワークを生成する。各アナログニューロンは、１つ以上の関数ブロックのそれぞれの関数を実装し、多層ネットワークの第１の層の各アナログニューロンは、多層ネットワークの第２の層の１つ以上のアナログニューロンに接続されている。
いくつかの実装態様では、１つ以上の関数ブロックは、以下からなる群から選択される１つ以上の基底関数ブロックを含む。（ｉ）ブロック出力

を有する加重和ブロック。ＲｅＬＵは、整流線形ユニット（ＲｅＬＵ）活性化関数または同様の活性化関数であり、Ｖｉは、ｉ番目の入力を表し、ｗｉは、ｉ番目の入力に対応する重みを表し、バイアスは、バイアス値を表し、Σは、総和演算子であり、（ｉｉ）ブロック出力Ｖｏｕｔ＝ｃｏｅｆｆ．Ｖｉ．Ｖｊを有する信号乗算器ブロック。Ｖｉは、ｉ番目の入力を表し、Ｖｊは、ｊ番目の入力を表し、ｃｏｅｆｆは、所定の係数であり、（ｉｉｉ）ブロック出力

を有するシグモイド活性化ブロック。Ｖは、入力であり、ＡおよびＢは、シグモイド活性化ブロックの所定の係数値であり、（ｉｖ）ブロック出力Ｖｏｕｔ＝Ａ＊ｔａｎｈ（Ｂ＊Ｖｉｎ）を有する双曲線正接活性化ブロック。Ｖｉｎは、入力を表し、ＡおよびＢは、所定の係数値であり、および（ｖ）ブロック出力Ｕ（ｔ）＝Ｖ（ｔ－ｄｔ）を有する信号遅延ブロック。ｔは、現在の期間であり、Ｖ（ｔ－ｄｔ）は、前の期間ｔ－ｄｔの信号遅延ブロックの出力を表し、ｄｔは、遅延値である。
いくつかの実装態様では、１つ以上の関数ブロックを識別することは、それぞれの層のタイプに基づいて１つ以上の関数ブロックを選択することを含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、ニューロンの１つ以上の層を含み、ニューロンの各層は、それぞれの数学的関数に基づいてそれぞれの出力を計算し、ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することは、以下を含む。（ｉ）ニューラルネットワークトポロジの第１の層を複数のサブ層に分解することであって、第１の層に対応する数学的関数を分解して１つ以上の中間数学的関数を取得することを含む、分解すること。各サブ層は、中間数学的関数を実装し、ならびに（ｉｉ）ニューラルネットワークトポロジの第１の層の各サブ層について、（ａ）それぞれの中間数学的関数に基づいて、それぞれのサブ層のために１つ以上のサブ関数ブロックを選択すること、および（ｂ）１つ以上のサブ関数ブロックを配置することに基づいて、アナログニューロンのそれぞれの多層アナログサブネットワークを生成すること。各アナログニューロンは、１つ以上のサブ関数ブロックのそれぞれの関数を実装し、多層アナログサブネットワークの第１の層の各アナログニューロンは、多層アナログサブネットワークの第２の層の１つ以上のアナログニューロンに接続されている。
いくつかの実装態様では、第１の層に対応する数学的関数は、１つ以上の重みを含み、数学的関数を分解することは、１つ以上の中間関数を組み合わせることが数学的関数をもたらすように１つ以上の重みを調整することを含む。
いくつかの実装態様では、方法は、（ｉ）ニューラルネットワークトポロジの１つ以上の出力層についてデジタルコンポーネントの同等なデジタルネットワークを生成することと、（ｉｉ）同等なアナログネットワークの１つ以上の層の出力をデジタルコンポーネントの同等なデジタルネットワークに接続することと、をさらに含む。
いくつかの実装態様では、アナログコンポーネントは、複数の演算増幅器および複数の抵抗器を含み、各演算増幅器は、同等なアナログネットワークのアナログニューロンを表し、各抵抗器は、２つのアナログニューロン間の接続を表す。
いくつかの実装態様では、アナログコンポーネントのコンポーネント値を選択することは、勾配降下方法を実行して、複数の抵抗器の可能な抵抗値を識別することを含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、１つ以上のＧＲＵまたはＬＳＴＭニューロンを含み、ニューラルネットワークトポロジを変換することは、１つ以上のＧＲＵニューロンまたはＬＳＴＭニューロンの各回帰接続のための１つ以上の信号遅延ブロックを生成することを含む。
いくつかの実装態様では、１つ以上の信号遅延ブロックは、ニューラルネットワークトポロジに対する所定の入力信号周波数と一致する周波数で活性化される。
いくつかの実装態様では、ニューラルネットワークトポロジは、制限されない活性化関数を実行するニューロンの１つ以上の層を含み、ニューラルネットワークトポロジを変換することは、（ｉ）制限されない活性化関数を制限された活性化で置換することと、（ｉｉ）所定の１つ以上の入力のために、訓練されたニューラルネットワークと同等なアナログネットワークとの間の出力の差が最小化されるように、同等なアナログネットワークの接続または重みを調整することと、からなる群から選択される１つ以上の変換を適用することを含む。
いくつかの実装態様では、方法は、抵抗行列に基づいて、アナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成することをさらに含む。
いくつかの実装態様では、方法は、（ｉ）訓練されたニューラルネットワークの新たな重みを取得することと、（ｉｉ）新たな重みに基づいて同等なアナログネットワークの新たな重み行列を計算することと、（ｉｉｉ）新たな重み行列の新たな抵抗行列を生成することと、（ｉｖ）新たな抵抗行列に基づいてアナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための新たなリソグラフィマスクを生成することと、をさらに含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、重みを生成するためのソフトウェアシミュレーションを使用して訓練されている。
別の態様では、いくつかの実装態様による、ニューラルネットワークのハードウェア実現のための方法が提供される。方法は、ニューラルネットワークトポロジ、および訓練されたニューラルネットワークの重みを取得することを含む。方法はまた、アナログ集積回路（ＩＣ）設計制約に基づいて、１つ以上の結合制約を計算することを含む。方法はまた、ニューラルネットワークトポロジを、１つ以上の結合制約を満たすアナログコンポーネントの同等な疎結合ネットワークに変換することを含む。方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等な疎結合ネットワークの重み行列を計算することを含む。重み行列の各要素は、同等な疎結合ネットワークのアナログコンポーネント間のそれぞれの接続を表す。
いくつかの実装態様では、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、１つ以上の結合制約に従って、可能な入力結合度Ｎｉおよび出力結合度Ｎｏを導出することを含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力およびＬ個の出力および重み行列Ｕを有する少なくとも１つの密結合層を含む。そのような場合、少なくとも１つの密結合層を変換することは、入力結合度がＮｉを超えず、かつ出力結合度がＮｏを超えないように、Ｋ個の入力、Ｌ個の出力および

層を有する同等な疎結合ネットワークを構築することを含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力およびＬ個の出力および重み行列Ｕを有する少なくとも１つの密結合層を含む。そのような場合、少なくとも１つの密結合層を変換することは、Ｋ個の入力、Ｌ個の出力、および

個の層を有する同等な疎結合ネットワークを構築することを含む。各層ｍは、対応する重み行列Ｕｍによって表され、ここで、欠けている接続は、入力結合度がＮｉを超えず、かつ出力結合度がＮｏを超えないように、ゼロで表される式Ｕ＝Πｍ＝１．．ＭＵｍは、所定の精度で満たされる。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力およびＬ個の出力、Ｐｉの最大入力結合度、Ｐｏの最大出力結合度、ならびにＵの重み行列を有する単一の疎結合層を含み、欠けている接続は、ゼロで表される。そのような場合、単一の疎結合層を変換することは、入力結合度がＮｉを超えず、かつ出力結合度がＮｏを超えないように、Ｋ個の入力、Ｌ個の出力、各層ｍが、対応する重み行列Ｕｍによって表される、

層を有する、同等な疎結合ネットワークを構築することを含み、欠けている接続は、ゼロで表される。式Ｕ＝Πｍ＝１．．ＭＵｍは、所定の精度で満たされる。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力およびＬ個の出力を有する畳み込み層を含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、畳み込み層を、Ｋ個の入力、Ｌ個の出力、Ｐｉの最大入力結合度、およびＰｏの最大出力結合度を有する単一の疎結合層に分解することを含む。Ｐｉ≦ＮｉおよびＰｏ≦Ｎｏ。
いくつかの実装態様では、重み行列を利用して同等な疎結合ネットワークを実装するための概略モデルを生成する。
いくつかの実装態様では、ニューラルネットワークトポロジは、回帰型ニューラル層を含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、回帰型ニューラル層を、信号遅延接続を有する１つ以上の密結合層または疎結合層に変換することを含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、回帰型ニューラル層を含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、回帰型ニューラル層をいくつかの層に分解することを含み、層のうちの少なくとも１つは、Ｋ個の入力およびＬ個の出力および重み行列Ｕを有する密結合層または疎結合層と同等であり、欠けている接続は、ゼロで表される。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、重みベクトルＵ∈ＲＫ、および活性化関数Ｆを有する計算ニューロンを有する単層パーセプトロンを含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、（ｉ）１つ以上の結合制約に従って同等な疎結合ネットワークの結合度Ｎを導出することと、（ｉｉ）式

を使用して同等な疎結合ネットワークの層の数ｍを計算することと、（ｉｉｉ）Ｋ個の入力、ｍ個の層、および結合度Ｎを有する同等な疎結合ネットワークを構築することと、を含む。同等な疎結合ネットワークは、ｍ個の層の各層にそれぞれ１つ以上のアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、単層パーセプトロンの計算ニューロンの活性化関数Ｆを実装する。また、そのような場合、同等な疎結合ネットワークの重み行列を計算することは、重みベクトルＵに基づく連立方程式を解くことによって、同等な疎結合ネットワークの接続の重みベクトルＷを計算することを含む。連立方程式は、Ｓ個の変数を有するＫ個の方程式を含み、Ｓは、式

を使用して計算される。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｌ個の計算ニューロンを有する単層パーセプトロン、およびＬ個の計算ニューロンの各計算ニューロンの重みの行を含む重み行列Ｖを含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、以下を含む。（ｉ）１つ以上の結合制約に従って同等な疎結合ネットワークの結合度Ｎを導出すること、（ｉｉ）式

を使用して同等な疎結合ネットワークの層の数ｍを計算すること、（ｉｉｉ）単層パーセプトロンをＬ個の単層パーセプトロンネットワークに分解すること。各単層パーセプトロンネットワークは、Ｌ個の計算ニューロンのそれぞれの計算ニューロンを含み、（ｉｖ）Ｌ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ａ）Ｋ個の入力、ｍ個の層、および結合度Ｎを有するそれぞれの単層パーセプトロンのそれぞれの同等なピラミッド様サブネットワークを構築すること。同等なピラミッド様サブネットワークは、ｍ個の層の各層に１つ以上のそれぞれのアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、それぞれの単層パーセプトロンに対応するそれぞれの計算ニューロンの活性化関数を実装し、（ｂ）Ｌ個の単層パーセプトロンネットワークの各同等なピラミッド様サブネットワークの入力を連結して、Ｌ＊Ｋ個の入力を有する入力ベクトルを形成することを含めて、各同等なピラミッド様サブネットワークを連結することによって、同等な疎結合ネットワークを構築すること。また、そのような場合、同等な疎結合ネットワークの重み行列を計算することは、Ｌ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ｉ）重み行列Ｖのｉ番目の行がそれぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンに対応する、重みベクトルＵ＝Ｖｉを設定することと、（ｉｉ）重みベクトルＵに基づく連立方程式を解くことによって、それぞれの同等なピラミッド様サブネットワークの接続の重みベクトルＷｉを計算することと、を含む。連立方程式は、Ｓ個の変数を有するＫ個の方程式を含み、Ｓは、式

を使用して計算される。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｓ個の層を有する多層パーセプトロンを含み、Ｓ個の層の各層ｉは、計算ニューロンＬｉと、Ｌｉ個の計算ニューロンの各計算ニューロンの重みの行を含む、対応する重み行列Ｖｉと、の対応するセットを含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、以下を含む。（ｉ）１つ以上の結合制約に従って同等な疎結合ネットワークの結合度Ｎを導出すること、（ｉｉ）多層パーセプトロンをＱ＝Σｉ＝１，ｓ（Ｌｉ）個の単層パーセプトロンネットワークに分解することと。各単層パーセプトロンネットワークは、Ｑ個の計算ニューロンのそれぞれの計算ニューロンを含む。多層パーセプトロンを分解することは、Ｑ個の計算ニューロンによって共有されるＫ個の入力の１つ以上の入力を複製することを含み、（ｉｉｉ）Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ａ）式

を使用して、それぞれの同等なピラミッド様サブネットワークの層の数ｍを計算すること。Ｋｉ，ｊは、多層パーセプトロンのそれぞれの計算ニューロンの入力の数であり、（ｂ）Ｋｉ，ｊ個の入力、ｍ個の層、および結合度Ｎを有するそれぞれの単層パーセプトロンのそれぞれの同等なピラミッド様サブネットワークを構築すること。同等なピラミッド様サブネットワークは、ｍ個の層の各層に１つ以上のそれぞれのアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、それぞれの単層パーセプトロンに対応するそれぞれの計算ニューロンの活性化関数を実装し、（ｉｖ）Ｑ個の単層パーセプトロンネットワークの各同等なピラミッド様サブネットワークの入力を連結して、Ｑ＊Ｋｉ，ｊ個の入力を有する入力ベクトルを形成することを含めて、各同等なピラミッド様サブネットワークを連結することによって、同等な疎結合ネットワークを構築すること。また、そのような場合、同等な疎結合ネットワークの重み行列を計算することは、Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ｉ）重みベクトル

を設定することであって、重み行列Ｖのｉ番目の行は、それぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンに対応し、ｊは、多層パーセプトロンのそれぞれの計算ニューロンの対応する層である、設定することと、（ｉｉ）重みベクトルＵに基づく連立方程式を解くことによって、それぞれの同等なピラミッド様サブネットワークの接続の重みベクトルＷｉを計算することと、を含む。連立方程式は、Ｓ個の変数を有するＫｉ、ｊ個の方程式を含み、Ｓは、式

を使用して計算される。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｓ個の層を有する畳み込みニューラルネットワーク（ＣＮＮ）を含み、Ｓ個の層の各層ｉは、計算ニューロンＬｉと、Ｌｉ個の計算ニューロンの各計算ニューロンの重みの行を含む対応する重み行列Ｖｉと、の対応するセットを含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、以下を含む。（ｉ）１つ以上の結合制約に従って同等な疎結合ネットワークの結合度Ｎを導出すること、（ｉｉ）ＣＮＮをＱ＝Σｉ＝１，Ｓ（Ｌｉ）個の単層パーセプトロンネットワークに分解すること。各単層パーセプトロンネットワークは、Ｑ個の計算ニューロンのそれぞれの計算ニューロンを含む。ＣＮＮを分解することは、Ｑ個の計算ニューロンによって共有されるＫ個の入力の１つ以上の入力を複製することを含み、（ｉｉｉ）Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ａ）式

を使用して、それぞれの同等なピラミッド様サブネットワークの層の数ｍを計算すること。ｊは、ＣＮＮ内のそれぞれの計算ニューロンの対応する層であり、Ｋｉ，ｊは、ＣＮＮ内のそれぞれの計算ニューロンの入力の数であり、および（ｂ）Ｋｉ，ｊ個の入力、ｍ個の層、および結合度Ｎを有するそれぞれの単層パーセプトロンネットワークのそれぞれの同等なピラミッド様サブネットワークを構築すること。同等なピラミッド様サブネットワークは、ｍ個の層の各層に１つ以上のそれぞれのアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、それぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンの活性化関数を実装し、（ｉｖ）Ｑ個の単層パーセプトロンネットワークの各同等なピラミッド様サブネットワークの入力を連結して、Ｑ＊Ｋｉ，ｊ個の入力を有する入力ベクトルを形成することを含めて、各同等なピラミッド様サブネットワークを連結することによって、同等な疎結合ネットワークを構築すること。また、そのような場合、同等な疎結合ネットワークの重み行列を計算することは、Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ｉ）重みベクトル

を設定することであって、重み行列Ｖのｉ番目の行は、それぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンに対応し、ｊは、ＣＮＮのそれぞれの計算ニューロンの対応する層である、設定することと、（ｉｉ）重みベクトルＵに基づく連立方程式を解くことによって、それぞれの同等なピラミッド様サブネットワークの接続の重みベクトルＷｉを計算することと、を含む。連立方程式は、Ｓ個の変数を有するＫｉ、ｊ個の方程式を含み、Ｓは、式

を使用して計算される。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｋ個のニューロンを有する層Ｌｐ、Ｌ個のニューロンを有する層Ｌｎ、および重み行列Ｗ∈ＲＬ×Ｋを含み、Ｒは、実数の集合であり、層Ｌｐの各ニューロンは、層Ｌｎの各ニューロンに接続されており、層Ｌｎの各ニューロンは、活性化関数Ｆを実行し、これにより、層Ｌｎの出力は、入力ｘについての式Ｙｏ＝Ｆ（Ｗ．ｘ）を使用して計算される。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、台形変換であって、（ｉ）１つ以上の結合制約に従って、可能な入力結合度ＮＩ＞１および可能な出力結合度ＮＯ＞１を導出することと、（ｉｉ）Ｋ・Ｌ＜Ｌ・ＮＩ＋Ｋ・ＮＯであるという判定に従って、恒等活性化関数を実行するＫ個のアナログニューロンを有する層ＬＡｐ、恒等活性化関数を実行する

個のアナログニューロンを有する層ＬＡｈ、および活性化関数Ｆを実行するＬ個のアナログニューロンを有する層ＬＡｏを含む３層アナログネットワークを構築することであって、層ＬＡｐの各アナログニューロンは、ＮＯ個の出力を有し、層ＬＡｈの各アナログニューロンは、ＮＩ個以下の入力およびＮＯ個以下の出力を有し、層ＬＡｏの各アナログニューロンは、ＮＩ個の入力を有するようになっている、構築することと、を含む、台形変換を実行することを含む。また、そのような場合、同等な疎結合ネットワークの重み行列を計算することは、Ｋ・ＮＯ＋Ｌ・ＮＩ個の変数でのＫ・Ｌ個の方程式を含む行列方程式Ｗｏ．Ｗｈ＝Ｗを解くことによって、疎重み行列ＷｏおよびＷｈを生成することを含み、これにより、層ＬＡｏの総出力は、式Ｙｏ＝Ｆ（Ｗｏ．Ｗｈ．ｘ）を使用して計算される。疎重み行列Ｗｏ∈ＲＫ×Ｍは、層ＬＡｐと層ＬＡｈとの間の接続を表し、疎重み行列Ｗｈ∈ＲＭ×Ｌは、層ＬＡｈと層ＬＡｏとの間の接続を表す。
いくつかの実装態様では、台形変換を実行することは、Ｋ・Ｌ≧Ｌ・Ｎ・Ｉ＋Ｋ・ＮＯという判定に従って、（ｉ）層Ｌｐを分割して、Ｋ’・Ｌ≧Ｌ・ＮＩ＋Ｋ’・ＮＯとなるように、Ｋ’個のニューロンを有するサブ層Ｌｐ１および（Ｋ－Ｋ’）個のニューロンを有するサブ層Ｌｐ２を取得することと、（ｉｉ）Ｋ’個のニューロンを有するサブ層Ｌｐ１について、構築するステップおよび生成するステップを実行することと、（ｉｉｉ）Ｋ－Ｋ個のニューロンを有するサブ層Ｌｐ２について、分割するステップ、構築するステップ、および生成するステップを再帰的に実行することと、をさらに含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、多層パーセプトロンネットワークを含む。そのような場合、方法は、多層パーセプトロンネットワークの連続する層の各ペアについて、台形変換を反復的に実行し、かつ同等な疎結合ネットワークの重み行列を計算することをさらに含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、（ｉ）２つの全結合層の線形結合の計算、（ｉｉ）要素ごとの加算、および（ｉｉｉ）非線形関数計算を含む、回帰型ニューラルネットワーク（ＲＮＮ）を含む。そのような場合、方法は、（ｉ）２つの全結合層、および（ｉｉ）非線形関数計算について、台形変換を実行し、かつ同等な疎結合ネットワークの重み行列を計算することをさらに含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、（ｉ）複数の全結合層の線形結合の計算、（ｉｉ）要素ごとの加算、（ｉｉｉ）アダマール積、および（ｉｖ）複数の非線形関数計算を含む、長期短期記憶（ＬＳＴＭ）ネットワークまたはゲート付き回帰型ユニット（ＧＲＵ）ネットワークを含む。そのような場合、方法は、（ｉ）複数の全結合層、および（ｉｉ）複数の非線形関数計算について、台形変換を実行することと、同等な疎結合ネットワークの重み行列を計算することと、をさらに含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、（ｉ）複数の部分結合層、および（ｉｉ）１つ以上の全結合層を含む畳み込みニューラルネットワーク（ＣＮＮ）を含む。そのような場合、方法は、（ｉ）ゼロの重みを有する欠損している接続を挿入することによって、複数の部分結合層を同等な全結合層に変換することと、（ｉｉ）同等な全結合層および１つ以上の全結合層の連続する層の各ペアについて、台形変換を反復的に実行し、かつ同等な疎結合ネットワークの重み行列を計算することと、をさらに含む。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｌ個の出力ニューロン、および重み行列Ｕ∈ＲＬ×Ｋを含み、Ｒは、実数の集合であり、各出力ニューロンは、活性化関数Ｆを実行する。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、以下を含む近似変換を実行することを含む。（ｉ）１つ以上の結合制約に従って、可能な入力結合度ＮＩ＞１および可能な出力結合度ＮＯ＞１を導出すること、（ｉｉ）集合

からパラメータｐを選択すること、（ｉｉｉ）ｐ＞０であるという判定に従って、ピラミッドニューラルネットワークがこのピラミッドニューラルネットワークの出力層に

個のニューロンを有するように、同等な疎結合ネットワークの第１のｐ個の層を形成するピラミッドニューラルネットワークを構築すること。ピラミッドニューラルネットワーク内の各ニューロンは、恒等関数を実行し、および（ｉｖ）Ｎｐ個の入力およびＬ個の出力を有する台形ニューラルネットワークを構築すること。台形ニューラルネットワークの最後の層の各ニューロンは、活性化関数Ｆを実行し、すべての他のニューロンは、恒等関数を実行する。そのような場合、同等な疎結合ネットワークの重み行列を計算することは、以下を含む。（ｉ）ピラミッドニューラルネットワークの重みを生成することであって、（ａ）以下のルール、すなわち、（ａ）

に従って、ピラミッドニューラルネットワークの第１の層のあらゆるニューロンｉの重みを設定することを含む、生成すること。Ｃは、非ゼロ定数であり、ｋｉ＝（ｉ－１）ＮＩ＋１であり、および（ｂ）ｋｉを除くニューロンのすべての重みについて、

、（ｂ）ピラミッドニューラルネットワークのすべての他の重みを１に設定すること、ならびに（ｉｉ）台形ニューラルネットワークの重みを生成することであって、（ａ）式

に従って台形ニューラルネットワークの第１の層の各ニューロンｉの重みを設定すること、および（ｂ）台形ニューラルネットワークの他の重みを１に設定することを含む、生成すること。
いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｓ個の層、およびｉ番目の層のＬｉ＝１、Ｓ個の計算ニューロンを有する多層パーセプトロン、ならびにｉ番目の層の重み行列

を含み、Ｌ０＝Ｋである。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、多層パーセプトロンのＳ個の層の各層ｊについて、（ｉ）Ｌｊ－１個の入力、ＬＪ個の出力ニューロン、および重み行列Ｕｊからなるそれぞれの単層パーセプトロンへの近似変換を実行することによって、それぞれのピラミッド－台形ネットワークＰＴＮＮＸｊを構築することと、（ｉｉ）各ピラミッド台形ネットワークをスタックすることによって、同等な疎結合ネットワークを構築することと、を含む。
別の態様では、いくつかの実装態様による、ニューラルネットワークのハードウェア実現のための方法が提供される。方法は、ニューラルネットワークトポロジ、および訓練されたニューラルネットワークの重みを取得することを含む。方法はまた、ニューラルネットワークトポロジを、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントの同等なアナログネットワークに変換することを含む。各演算増幅器は、同等なアナログネットワークのアナログニューロンを表し、各抵抗器は、２つのアナログニューロン間の接続を表す。方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算することを含む。重み行列の各要素は、それぞれの接続を表す。方法はまた、重み行列の抵抗行列を生成することを含む。抵抗行列の各要素は、重み行列のそれぞれの重みに対応し、抵抗値を表す。
いくつかの実装態様では、重み行列の抵抗行列を生成することは、（ｉ）可能な抵抗値の所定の範囲｛Ｒ最小，Ｒ最大｝を取得し、所定の範囲内の初期ベース抵抗値Ｒベースを選択することと、（ｉｉ）所定の範囲内で、制限された長さの抵抗値セットを選択することであって、このセットは、制限された長さの抵抗値セット内の｛Ｒｉ、Ｒｊ｝のすべての組み合わせについての範囲［－Ｒベース，Ｒベース］内の可能な重み

の最も均一な分布を提供する、選択することと、（ｉｉｉ）同等なアナログネットワークの、各アナログニューロンについてまたは各層について、のいずれかで、同等なアナログネットワークの、各ニューロンのまたは各層についての、入ってくる接続の最大重みおよびバイアスｗｍａｘに基づいて、Ｒ＋＝Ｒ－がＲベース＊ｗ最大に最も近い抵抗器セット値であるように、制限された長さの抵抗値セットから抵抗値Ｒ＋＝Ｒ－を選択することと、（ｉｖ）重み行列の各要素について、Ｒ１およびＲ２のすべての可能な値について、式

に従う誤差を可能な抵抗値の所定の範囲内で最小化する、それぞれの第１の抵抗値Ｒ１およびそれぞれの第２の抵抗値Ｒ２を選択することであって、ｗは、重み行列のそれぞれの要素であり、ｒｅｒｒは、抵抗についての所定の相対許容差値である、選択することと、を含む。
いくつかの実装態様では、可能な抵抗値の所定の範囲は、範囲１００ＫΩ～１ＭΩの公称シリーズＥ２４に従う抵抗を含む。
いくつかの実装態様では、Ｒ＋およびＲ－は、同等なアナログネットワークの各層について独立に選定される。
いくつかの実装態様では、Ｒ＋およびＲ－は、同等なアナログネットワークの各アナログニューロンについて独立に選定される。
いくつかの実装態様では、重み行列の第１の１つ以上の重みおよび第１の１つ以上の入力は、同等なアナログネットワークの第１の演算増幅器への１つ以上の接続を表す。そのような場合、方法は、抵抗行列を生成する前に、（ｉ）第１の１つ以上の重みを第１の値によって修正することと、（ｉｉ）活性化関数を実行する前に、第１の演算増幅器を、第１の１つ以上の重みと第１の１つ以上の入力との線形結合に第１の値を乗算するように構成することと、をさらに含む。
いくつかの実装態様では、方法は、（ｉ）重みの所定の範囲を取得することと、（ｉｉ）同等なアナログネットワークが同じ入力に対して訓練されたニューラルネットワークと同様の出力を生成するように、重みの所定の範囲に従って重み行列を更新することと、を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、ニューラルネットワークトポロジの各層が量子化された重みを有するように訓練されている。
いくつかの実装態様では、方法は、訓練されたニューラルネットワークを再訓練して、同等なアナログネットワークに、訓練されたニューラルネットワークと比較して異なる出力を生成させる、重みまたは抵抗値の誤差に対する感度を低下させることをさらに含む。
いくつかの実装態様では、方法は、所定の閾値よりも大きい閾値によって、その層の平均絶対重みよりも大きい任意の層における重みを最小化するために、訓練されたニューラルネットワークを再訓練することをさらに含む。
別の態様では、いくつかの実装態様による、ニューラルネットワークのハードウェア実現のための方法が提供される。方法は、ニューラルネットワークトポロジ、および訓練されたニューラルネットワークの重みを取得することを含む。方法はまた、ニューラルネットワークトポロジを、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントの同等なアナログネットワークに変換することを含む。各演算増幅器は、同等なアナログネットワークのアナログニューロンを表し、各抵抗器は、２つのアナログニューロン間の接続を表す。方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算することを含む。重み行列の各要素は、それぞれの接続を表す。方法はまた、重み行列の抵抗行列を生成することを含む。抵抗行列の各要素は、重み行列のそれぞれの重みに対応する。方法はまた、同等なアナログネットワークを枝刈りして、抵抗行列に基づいて、複数の演算増幅器または複数の抵抗器の数を低減して、アナログコンポーネントの最適化されたアナログネットワークを取得することを含む。
いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、所定の最小閾値抵抗値を下回る抵抗値を有する抵抗行列の１つ以上の要素に対応する抵抗器を、導体で置き換えることを含む。
いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、所定の最大閾値抵抗値を上回る抵抗行列の１つ以上の要素に対応する、同等なアナログネットワークの１つ以上の接続を除去することを含む。
いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、およそゼロである重み行列の１つ以上の要素に対応する、同等なアナログネットワークの１つ以上の接続を除去することを含む。
いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、いかなる入力接続も有しない、同等なアナログネットワークの１つ以上のアナログニューロンを除去することをさらに含む。
いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、（ｉ）１つ以上のデータセットの計算を行うときに、アナログニューロンの使用を検出することに基づいて、同等なアナログネットワークのアナログニューロンをランク付けすることと、（ｉｉ）ランク付けに基づいて同等なアナログネットワークの１つ以上のアナログニューロンを選択することと、（ｉｉｉ）同等なアナログネットワークから１つ以上のアナログニューロンを除去することと、を含む。
いくつかの実装態様では、アナログニューロンの使用を検出することは、（ｉ）モデリングソフトウェアを使用して同等なアナログネットワークのモデルを確立することと、（ｉｉ）モデルを使用して１つ以上のデータセットの計算を生成することによって、アナログ信号の伝播を測定することと、を含む。
いくつかの実装態様では、アナログニューロンの使用を検出することは、（ｉ）モデリングソフトウェアを使用して同等なアナログネットワークのモデルを確立することと、（ｉｉ）モデルを使用して１つ以上のデータセットの計算を生成することによって、モデルの出力信号を測定することと、を含む。
いくつかの実装態様では、アナログニューロンの使用を検出することは、（ｉ）モデリングソフトウェアを使用して同等なアナログネットワークのモデルを確立することと、（ｉｉ）モデルを使用して１つ以上のデータセットの計算を生成することによって、アナログニューロンによって消費される電力を測定することと、を含む。
いくつかの実装態様では、方法は、同等なアナログネットワークを枝刈りした後、かつ同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成する前に、同等なアナログネットワークの重み行列を再計算することと、再計算された重み行列に基づいて抵抗行列を更新することと、をさらに含む。
いくつかの実装態様では、方法は、同等なアナログネットワークの各アナログニューロンについて、（ｉ）重み行列を計算しながら、訓練されたニューラルネットワークの重みに基づいて、それぞれのアナログニューロンのそれぞれのバイアス値を計算することと、（ｉｉ）それぞれのバイアス値が所定の最大バイアス閾値を上回っているという判定に従って、同等なアナログネットワークからそれぞれのアナログニューロンを除去することと、（ｉｉｉ）それぞれのバイアス値が所定の最小バイアス閾値を下回っているという判定に従って、それぞれのアナログニューロンを同等なアナログネットワーク内の線形接合部で置換することと、をさらに含む。
いくつかの実装態様では、方法は、重み行列を生成する前に、同等なアナログネットワークの１つ以上のアナログニューロンからの接続の数を増加させることによって、同等なアナログネットワークのニューロンの数を低減することをさらに含む。
いくつかの実装態様では、方法は、ニューラルネットワークトポロジを変換する前に、同等なアナログネットワークが所定数未満のアナログコンポーネントを含むように、ニューラルネットワークの枝刈り手法を使用して、訓練されたニューラルネットワークを枝刈りして、ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを更新することをさらに含む。
いくつかの実装態様では、枝刈りは、訓練されたニューラルネットワークと同等なアナログネットワークとの間の出力の一致の、精度またはレベルを考慮して、反復実行される。
いくつかの実装態様では、方法は、ニューラルネットワークトポロジを同等なアナログネットワークに変換する前に、ネットワーク知識抽出を実行することをさらに含む。
別の態様では、いくつかの実装態様による集積回路が提供される。集積回路は、以下を含む、方法によって作製されたアナログコンポーネントのアナログネットワークを含む。（ｉ）ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを取得すること、（ｉｉ）ニューラルネットワークトポロジを、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントの同等なアナログネットワークに変換すること。各演算増幅器は、それぞれのアナログニューロンを表し、各抵抗器は、それぞれの第１のアナログニューロンとそれぞれの第２のアナログニューロンとの間のそれぞれの接続を表し、（ｉｉｉ）訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算すること。重み行列の各要素は、それぞれの接続を表し、（ｉｖ）重み行列の抵抗行列を生成すること。抵抗行列の各要素は、重み行列のそれぞれの重みに対応し、（ｖ）抵抗行列に基づいてアナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成すること、および（ｖｉ）リソグラフィプロセスを使用して１つ以上のリソグラフィマスクに基づいて回路を作製すること。
いくつかの実装態様では、集積回路は、１つ以上のデジタルに基づいて、アナログコンポーネントの同等なアナログネットワークのアナログ入力を生成するように構成された１つ以上のデジタルアナログ変換器をさらに含む。
いくつかの実装態様では、集積回路は、集積回路の推論の数に基づいて、サンプリング周波数で一次元または二次元のアナログ入力を処理するように構成されたアナログ信号サンプリングモジュールをさらに含む。
いくつかの実装態様では、集積回路は、複数の演算増幅器の動作範囲に適合するようにアナログ信号をスケールダウンするかまたはスケールアップするための電圧変換モジュールをさらに含む。
いくつかの実装態様では、集積回路は、ＣＣＤカメラから取得された１つ以上のフレームを処理するように構成されたタクト信号処理モジュールをさらに含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、長期短期記憶（ＬＳＴＭ）ネットワークである。そのような場合、集積回路は、信号タクトを同期させ、かつ時系列処理を可能にするための１つ以上のクロックモジュールをさらに含む。
いくつかの実装態様では、集積回路は、アナログコンポーネントの同等なアナログネットワークの出力に基づいてデジタル信号を生成するように構成された１つ以上のアナログデジタル変換器をさらに含む。
いくつかの実装態様では、集積回路は、エッジアプリケーションから取得された一次元または二次元のアナログ信号を処理するように構成された１つ以上の信号処理モジュールをさらに含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、検出される所定の量のガスを含有するガス混合物中の異なるガスの選択的感知のために、異なるガス混合物に対するガスセンサのアレイの信号を含む訓練データセットを使用して訓練されている。そのような場合、ニューラルネットワークトポロジは、１６個のガスセンサによる測定に基づいて３つの二元ガス成分を検出するために設計された一次元深層畳み込みニューラルネットワーク（１Ｄ－ＤＣＮＮ）であり、１６個のセンサごとの１Ｄ畳み込みブロック、３つの共有または共通の１Ｄ畳み込みブロック、および３つの稠密層を含み、そのような場合、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）任意の数の時間ステップによる遅延を生じさせる遅延ブロック、（ｉｉｉ）５の信号制限、（ｉｖ）１５個の層、（ｖ）およそ１００，０００個のアナログニューロン、および（ｖｉ）およそ４，９００，０００個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、ＭＯＳＦＥＴデバイスの残存耐用年数（ＲＵＬ）を予測するために、異なるＭＯＳＦＥＴの熱老化時系列データを含む訓練データセットを使用して訓練されている。そのような場合、ニューラルネットワークトポロジは、各層に６４個のニューロンを有する４つのＬＳＴＭ層、これに続く、それぞれ６４個のニューロンおよび１つのニューロンを有する２つの稠密層を含む。そのような場合、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）１８個の層、（ｉｖ）３，０００～３，２００個のアナログニューロン、および（ｖ）１２３，０００～１２４，０００個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、電池管理システム（ＢＭＳ）で使用するためのリチウムイオン電池の健康状態（ＳＯＨ）および充電状態（ＳＯＣ）を監視するために、異なる市販のＬｉイオン電池の連続使用中の放電および温度データを含む時系列データを含む訓練データセットを使用して訓練されている。そのような場合、ニューラルネットワークトポロジは、入力層、各層に６４個のニューロンを有する２つのＬＳＴＭ層、これに続く、ＳＯＣ値およびＳＯＨ値を生成するための２つのニューロンを有する出力稠密層を含む。そのような場合、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）９つの層、（ｉｖ）１，２００～１，３００個のアナログニューロン、および（ｖ）５１，０００～５２，０００個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、電池管理システム（ＢＭＳ）で使用するためのリチウムイオン電池の健康状態（ＳＯＨ）を監視するために、異なる市販のＬｉイオン電池の連続使用中の放電および温度データを含む時系列データを含む訓練データセットを使用して訓練されている。そのような場合、ニューラルネットワークトポロジは、１８個のニューロンを有する入力層、１００個のニューロンを有する単純回帰層、および１つのニューロンを有する稠密層を含む。そのような場合、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）４つの層、（ｉｖ）２００～３００個のアナログニューロン、および（ｖ）２，２００～２，４００個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、発声コマンドを識別するために、発話コマンドを含む訓練データセットを使用して訓練されている。そのような場合、ニューラルネットワークトポロジは、１つのニューロンを有する深さ方向に分離可能な畳み込みニューラルネットワーク（Ｄｅｐｔｈｗｉｓｅ Ｓｅｐａｒａｂｌｅ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＤＳ－ＣＮＮ）層である。そのような場合、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）１３個の層、（ｉｖ）およそ７２，０００個のアナログニューロン、および（ｖ）およそ２６０万個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、所定の期間にわたって様々な身体活動を行う異なる個人の光電式容積脈波記録法（ＰＰＧ）データ、加速度計データ、温度データ、および電気皮膚応答信号データ、ならびにＰＰＧセンサデータおよび３軸加速度計データに基づいて身体運動中の脈拍数を判定するためのＥＣＧセンサから取得された基準心拍数、を含む訓練データセットを使用して訓練されている。そのような場合、ニューラルネットワークトポロジは、時系列畳み込みを行う、各々が１６個のフィルタおよび２０のカーネルを有する２つのＣｏｎｖ１Ｄ層、各々が１６個のニューロンを有する２つのＬＳＴＭ層、ならびに各々が１６個のニューロンおよび１つのニューロンを有する２つの稠密層を含む。そのような場合、同等なアナログネットワークは、（ｉ）任意の数の時間ステップを生成するための遅延ブロック、（ｉｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉｉ）５の信号制限、（ｉｖ）１６個の層、（ｖ）７００～８００個のアナログニューロン、および（ｖｉ）１２，０００～１２，５００個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、パルスドップラレーダ信号に基づいて異なるオブジェクトを分類するように訓練されている。そのような場合、ニューラルネットワークトポロジは、マルチスケールＬＳＴＭニューラルネットワークを含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、慣性センサデータに基づいて、人間活動のタイプの認識を実行するように訓練されている。そのような場合、ニューラルネットワークトポロジは、各々が１２個のフィルタおよび６４のカーネル次元の畳み込み層を有し、かつ各々に、最大枝刈り層と、Ｎがクラスの数であるとして、それぞれ、１０２４個のニューロンおよびＮ個のニューロンの２つの共通の稠密層と、が続く、３つのチャネル方向の畳み込みネットワークを含む。そのような場合、同等なアナログネットワークは、（ｉ）任意の数の時間ステップを生成するための遅延ブロック、（ｉｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉｉ）１０個のアナログニューロンの出力層、（ｉｖ）５の信号制限、（ｖ）１０個の層、（ｖｉ）１，２００～１，３００個のアナログニューロン、および（ｖｉ）２０，０００～２１，０００個の接続を含む。
いくつかの実装態様では、訓練されたニューラルネットワークは、畳み込み演算を使用して心拍数データとマージされる加速度計データに基づいて人間活動の異常なパターンを検出するようにさらに訓練されている。
別の態様では、ニューラルネットワークのハードウェア実現のためのライブラリを生成するための方法が提供される。方法は、複数のニューラルネットワークトポロジを取得することを含み、各ニューラルネットワークトポロジは、それぞれのニューラルネットワークに対応する。方法はまた、各ニューラルネットワークトポロジを、アナログコンポーネントのそれぞれの同等なアナログネットワークに変換することを含む。方法はまた、複数の回路を作製するための複数のリソグラフィマスクを生成することを含み、各回路は、アナログコンポーネントのそれぞれの同等なアナログネットワークを実装する。
いくつかの実装態様では、方法は、新たなニューラルネットワークトポロジ、および訓練されたニューラルネットワークの重みを取得することをさらに含む。方法はまた、新たなニューラルネットワークトポロジを複数のニューラルネットワークトポロジと比較することに基づいて、複数のリソグラフィマスクから１つ以上のリソグラフィマスクを選択することを含む。方法はまた、重みに基づいて、新たな同等なアナログネットワークの重み行列を計算することを含む。方法はまた、重み行列の抵抗行列を生成することを含む。方法はまた、抵抗行列および１つ以上のリソグラフィマスクに基づいて、新たな同等なアナログネットワークを実装する回路を作製するための新たなリソグラフィマスクを生成することを含む。
いくつかの実装態様では、新たなニューラルネットワークトポロジは、複数のサブネットワークトポロジを含み、１つ以上のリソグラフィマスクを選択することは、各サブネットワークトポロジを複数のネットワークトポロジの各ネットワークトポロジと比較することにさらに基づく。
いくつかの実装態様では、複数のサブネットワークトポロジの１つ以上のサブネットワークトポロジが、複数のネットワークトポロジの任意のネットワークトポロジと比較することに失敗する。そのような場合、方法は、（ｉ）１つ以上のサブネットワークトポロジの各サブネットワークトポロジを、アナログコンポーネントのそれぞれの同等なアナログサブネットワークに変換することと、（ｉｉ）１つ以上の回路を作製するための１つ以上のリソグラフィマスクを生成することであって、１つ以上の回路の各回路は、アナログコンポーネントのそれぞれの同等なアナログサブネットワークを実装する、生成することと、をさらに含む。
いくつかの実装態様では、それぞれのネットワークトポロジをそれぞれの同等なアナログネットワークに変換することは、（ｉ）それぞれのネットワークトポロジを複数のサブネットワークトポロジに分解することと、（ｉｉ）各サブネットワークトポロジをアナログコンポーネントのそれぞれの同等なアナログサブネットワークに変換することと、（ｉｉｉ）それぞれの同等なアナログネットワークを取得するように、各同等なアナログサブネットワークを構成することと、を含む。
いくつかの実装態様では、それぞれのネットワークトポロジを分解することは、それぞれのネットワークトポロジの１つ以上の層を複数のサブネットワークトポロジとして識別することを含む。
いくつかの実装態様では、各回路は、（ｉ）アナログコンポーネントのそれぞれの同等なアナログネットワークの模式図を生成することと、（ｉｉ）模式図に基づいてそれぞれの回路レイアウト設計を生成することと、によって取得される。
いくつかの実装態様では、方法は、複数の回路を作製するための複数のリソグラフィマスクを生成する前に、１つ以上の回路レイアウト設計を組み合わせることをさらに含む。
別の態様では、いくつかの実装態様による、アナログニューロモルフィック回路のエネルギー効率を最適化するための方法が提供される。方法は、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントのアナログネットワークを実装する集積回路を取得することを含む。アナログネットワークは、訓練されたニューラルネットワークを表し、各演算増幅器は、それぞれのアナログニューロンを表し、各抵抗器は、それぞれの第１のアナログニューロンとそれぞれの第２のアナログニューロンとの間のそれぞれの接続を表す。方法はまた、アナログネットワークの１つの層から後続の層に信号を同時に転送することを含む複数の試験入力のために、集積回路を使用して推論を生成することを含む。方法はまた、集積回路を使用して推論を生成しながら、（ｉ）複数の演算増幅器の信号出力のレベルが平衡化されているかどうかを判定することと、（ｉｉ）信号出力のレベルが平衡化されているという判定に従って、（ａ）信号の伝播のために信号形成に影響を与える、アナログネットワークの活性なセットのアナログニューロンを判定し、かつ（所定の期間、活性なセットのアナログニューロンとは相違する、アナログネットワークの１つ以上のアナログニューロンの電力供給をオフにすることと、を含む。
いくつかの実装態様では、活性なセットのアナログニューロンを判定することは、アナログネットワークを通した信号伝播の遅延を計算することに基づく。
いくつかの実装態様では、活性なセットのアナログニューロンを判定することは、アナログネットワークを通した信号の伝播を検出することに基づく。
いくつかの実装態様では、訓練されたニューラルネットワークは、フィードフォワードニューラルネットワークであり、活性なセットのアナログニューロンは、アナログネットワークの活性な層に属し、電力供給をオフにすることは、アナログネットワークの活性な層の前の１つ以上の層の電力供給をオフにすることを含む。
いくつかの実装態様では、所定の期間は、信号遅延を考慮して、アナログネットワークを通した信号の伝播をシミュレートすることに基づいて計算される。
いくつかの実装態様では、訓練されたニューラルネットワークは、回帰型ニューラルネットワーク（ＲＮＮ）であり、アナログネットワークは、複数の演算増幅器以外かつ複数の抵抗器以外の１つ以上のアナログコンポーネントをさらに含む。そのような場合、方法は、信号出力のレベルが平衡化されているという判定に従って、所定の期間、１つ以上のアナログコンポーネントの電力供給をオフにすることをさらに含む。
そのような場合、方法は、所定の期間の後、アナログネットワークの１つ以上のアナログニューロンの電力供給をオンにすることをさらに含む。
いくつかの実装態様では、複数の演算増幅器の信号出力のレベルが平衡化されているかどうかを判定することは、アナログネットワークの１つ以上の演算増幅器が所定の閾値信号レベルを超えて出力しているかどうかを検出することに基づく。
いくつかの実装態様では、方法は、推論を生成しながら、所定の期間オフにすることと、所定の期間活性なセットのアナログニューロンをオンにすることと、を繰り返すことをさらに含む。
いくつかの実装態様では、方法は、（ｉ）信号出力のレベルが平衡化されているという判定に従って、各推論サイクルについて、（ａ）第１の時間区間の間に、信号の伝播のために信号形成に影響を与える、アナログネットワークの第１の層のアナログニューロンを判定することと、（ｂ）所定の期間、第１の層の前の、アナログネットワークの第１の１つ以上のアナログニューロンの電力供給をオフにすることと、（ｉｉ）第１の時間区間に続く第２の時間区間の間に、所定の期間、アナログネットワークの、第１の層のアナログニューロンおよび第１の１つ以上のアナログニューロンを含む、第２の１つ以上のアナログニューロンの電力供給をオフにすることと、をさらに含む。
いくつかの実装態様では、１つ以上のアナログニューロンは、アナログネットワークの第１の１つ以上の層のアナログニューロンからなり、活性なセットのアナログニューロンは、アナログネットワークの第２の層のアナログニューロンからなり、アナログネットワークの第２の層は、第１の１つ以上の層の層とは相違する。
いくつかの実装態様では、コンピュータシステムは、１つ以上のプロセッサ、メモリ、およびディスプレイを有する。１つ以上のプログラムは、本明細書に記載される方法のうちのいずれかを実行するための命令を含む。
いくつかの実装態様では、非一時的コンピュータ可読記憶媒体は、１つ以上のプロセッサ、メモリ、およびディスプレイを有するコンピュータシステムによる実行用に構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、本明細書に記載される方法のうちのいずれかを実行するための命令を含む。
したがって、訓練されたニューラルネットワークのハードウェア実現のために使用される方法、システム、およびデバイスが開示される。
前述のシステム、方法、およびグラフィカルユーザインターフェース、ならびにデータ可視化分析およびデータ準備を提供する追加のシステム、方法、およびグラフィカルユーザインターフェースをよりよく理解するために、同様の参照番号が図面全体で対応する部分を指す以下の図面と併せて、以下の実装態様の説明を参照されたい。
いくつかの実装態様による、アナログコンポーネントを使用した訓練されたニューラルネットワークのハードウェア実現のためのシステムのブロック図である。 いくつかの実装態様による、アナログコンポーネントを使用した訓練されたニューラルネットワークのハードウェア実現のための図１Ａのシステムの代替表現のブロック図である。 いくつかの実装態様による、アナログコンポーネントを使用した訓練されたニューラルネットワークのハードウェア実現のための図１Ａのシステムの別の表現のブロック図である。 いくつかの実装態様によるコンピューティングデバイスのシステム図である。 いくつかの実装態様による、コンピューティングデバイスの任意選択のモジュールを示す。 いくつかの実装態様による、訓練されたニューラルネットワークに対応するアナログネットワークの概略モデルを生成するための例示的なプロセスを示す。 いくつかの実装態様による、ターゲットチップモデルを生成するために使用される例示的なマニュアルプロトタイピングプロセスを示す。 いくつかの実装態様による、数学的に同等なアナログネットワークに変換されたニューラルネットワークの例を示す。 いくつかの実装態様による、ニューロンの数学モデルの例を示す。 いくつかの実装態様による、入力値のＸＯＲを計算するためのニューラルネットワークのアナログハードウェア実現のための例示的なプロセスを例示する。 いくつかの実装態様による、例示的なパーセプトロンを示す。 いくつかの実装態様による、例示的なピラミッド－ニューラルネットワークを示す。 いくつかの実装態様による、例示的なピラミッド単一ニューラルネットワークを示す。 いくつかの実装態様による、変換されたニューラルネットワークの例を示す。 いくつかの実装態様による、単層ニューラルネットワークに対するＴ変換アルゴリズムの適用を示す。 いくつかの実装態様による、例示的な回帰型ニューラルネットワーク（ＲＮＮ）を示す。 いくつかの実装態様による、ＬＳＴＭニューロンのブロック図である。 いくつかの実装態様による、遅延ブロックを示す。 いくつかの実装態様による、ＬＳＴＭニューロンのニューロンスキーマである。 いくつかの実装態様による、ＧＲＵニューロンのブロック図である。 いくつかの実装態様による、ＧＲＵニューロンのニューロンスキーマである。 いくつかの実装態様による、単一のＣｏｎｖ１Ｄフィルタのバリアントのニューロンスキーマである。 いくつかの実装態様による、変換されたニューラルネットワークの例示的なアーキテクチャを示す。 いくつかの実装態様による、出力誤差と分類誤差または重み誤差との間の依存関係を示す例示的なチャートを提供する。 いくつかの実装態様による、抵抗器量子化に使用されるニューロンモデルの例示的なスキームを提供する。 いくつかの実装態様による、ＣＭＯＳ上に作られた演算増幅器の概略図を示す。 いくつかの実装態様による、図１９Ａに示される例示的な回路の説明の表を示す。 いくつかの実装態様による、ＬＳＴＭブロックの概略図を示す。 いくつかの実装態様による、図２０Ａ～２０Ｄに示される例示的な回路の説明の表を示す。 いくつかの実装態様による、乗算器ブロックの概略図を示す。 いくつかの実装態様による、図２１Ａ～２１Ｉに示される概略図の説明の表を示す。 いくつかの実装態様による、シグモイドニューロンの概略図を示す。 いくつかの実装態様による、図２２Ａに示される概略図の説明の表を示す。 いくつかの実装態様による、双曲線正接関数ブロックの概略図を示す。 いくつかの実装態様による、図２３Ａに示される概略図の説明の表を示す。 いくつかの実装態様による、単一のニューロンＣＭＯＳ演算増幅器の概略図を示す。 いくつかの実装態様による、図２４Ａ～２４Ｃに示される概略図の説明の表を示す。 いくつかの実装態様による、単一のニューロンＣＭＯＳ演算増幅器のバリアントの概略図を示す。 いくつかの実装態様による、図２５Ａ～２５Ｄに示される概略図の説明の表を示す。 いくつかの実装態様による、例示的な重み分布ヒストグラムを示す。 いくつかの実装態様による、ニューラルネットワークのハードウェア実現のための方法のフローチャートを示す。 いくつかの実装態様による、ハードウェア設計制約によるニューラルネットワークのハードウェア実現のための方法のフローチャートを示す。 いくつかの実装態様による、ハードウェア設計制約によるニューラルネットワークのハードウェア実現のための方法のフローチャートを示す。 いくつかの実装態様による、ハードウェア設計制約によるニューラルネットワークのハードウェア実現のための方法のフローチャートを示す。 いくつかの実装態様による、アナログコンポーネントのアナログネットワークを含む集積回路を作製するための方法のフローチャートを示す。 いくつかの実装態様による、ニューラルネットワークのハードウェア実現のためのライブラリを生成するための方法のフローチャートを示す。 いくつかの実装態様による、アナログニューロモルフィック回路（訓練されたニューラルネットワークをモデル化する）のエネルギー効率を最適化するための方法のフローチャートを示す。 いくつかの実装態様による、モバイルネットｖ１アーキテクチャについて記載する表を示す。
ここで、実装態様を参照し、その例は、添付の図に図示される。以下の説明では、本発明の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、これらの具体的な詳細を必要とせずに本発明が実施され得ることは、当業者には明らかであろう。
図１Ａは、いくつかの実装態様による、アナログコンポーネントを使用した訓練されたニューラルネットワークのハードウェア実現のためのシステム１００のブロック図である。システムは、訓練されたニューラルネットワーク１０２をアナログニューラルネットワーク１０４に変換すること（１２６）を含む。いくつかの実装態様では、アナログ集積回路制約１８４は、変換（１２６）を制約して（１４６）、アナログニューラルネットワーク１０４を生成する。続いて、システムは、重み量子化（１２８）と呼ばれることがあるプロセスによって、アナログニューラルネットワーク１０４の重み１０６を導出（計算または生成）する。いくつかの実装態様では、アナログニューラルネットワークは、複数のアナログニューロンを含み、各アナログニューロンは、演算増幅器などのアナログコンポーネントによって表され、各アナログニューロンは、接続を介して別のアナログニューロンに接続されている。いくつかの実装態様では、接続は、２つのアナログニューロン間の電流の流れを低減する抵抗器を使用して表される。いくつかの実装態様では、システムは、重み１０６を接続の抵抗値１１２に変換する（１４８）。システムは、続いて、重み１０６に基づいてアナログニューラルネットワーク１０４を実装するための１つ以上の概略モデル１０８を生成する（１３０）。いくつかの実装態様では、システムは、抵抗値１１２（または重み１０６）を最適化して、概略モデル１０８を生成（１５０）するためにさらに使用される最適化されたアナログニューラルネットワーク１１４を形成する。いくつかの実装態様では、システムは、接続用のリソグラフィマスク１１０を生成し（１３２）、かつ／またはアナログニューロン用のリソグラフィマスク１２０を生成する（１３６）。いくつかの実装態様では、システムは、アナログニューラルネットワーク１０４を実装するアナログ集積回路１１８を作製する（１３４および／または１３８）。いくつかの実装態様では、システムは、接続用のリソグラフィマスク１１０および／またはアナログニューロン用のリソグラフィマスク１２０に基づいて、リソグラフィマスクのライブラリ１１６を生成する（１５２）。いくつかの実装態様では、システムは、リソグラフィマスクのライブラリ１１６を使用して（１５４）、アナログ集積回路１１８を作製する。いくつかの実装態様では、訓練されたニューラルネットワーク１４２が再訓練される（１４２）と、システムは、抵抗値１１２（および／または重み１０６）、概略モデル１０８、および／または接続用のリソグラフィマスク１１０を再生成（または再計算）する（１４４）。いくつかの実装態様では、システムは、アナログニューロン１２０用のリソグラフィマスク１２０を再利用する。つまり、いくつかの実装態様では、重み１０６（または変更された重みに対応する抵抗値１１２）、および／または接続用のリソグラフィマスク１１０のみが再生成される。接続、重み、概略モデル、および／または対応する接続用のリソグラフィマスクのみが再生されることから、破線１５６によって示されるように、再訓練されたニューラルネットワークのアナログ集積回路を作製するためのプロセス（またはその経路）は、実質的に簡略化され、ニューラルネットワークのハードウェア実現のための従来の手法と比較すると、ニューラルネットワークのハードウェアのリスピンを行うための市場投入までの時間が短縮される。
図１Ｂは、いくつかの実装態様による、アナログコンポーネントを使用した訓練されたニューラルネットワークのハードウェア実現のためのシステム１００の代替表現のブロック図である。システムは、ソフトウェアでニューラルネットワークを訓練すること（１５６）と、接続の重みを決定することと、ニューラルネットワークと同等な電子回路を生成すること（１５８）と、各接続の重みに対応する抵抗器値を計算すること（１６０）と、続いて、抵抗器値を有するリソグラフィマスクを生成すること（１６２）と、を含む。
図１Ｃは、いくつかの実装態様による、アナログコンポーネントを使用した訓練されたニューラルネットワークのハードウェア実現のためのシステム１００の別の表現のブロック図である。システムは、いくつかの実装態様によれば、ソフトウェア開発キット（ＳＤＫ）１８０として配布される。ユーザは、ニューラルネットワークを開発および訓練し（１６４）、訓練されたニューラルネット１６６をＳＤＫ１８０に入力する。ＳＤＫは、訓練されたニューラルネット１６６の複雑さを推定する（１６８）。訓練されたニューラルネットの複雑さを低減することができる（例えば、いくつかの接続および／またはニューロンを除去することができ、いくつかの層を低減することができ、またはニューロンの密度を変更することができる）場合、ＳＤＫ１８０は、訓練されたニューラルネットを枝刈りし（１７８）、ニューラルネットを再訓練して（１８２）、更新された訓練されたニューラルネット１６６を取得する。訓練されたニューラルネットの複雑さが低減されると、ＳＤＫ１８０は、訓練されたニューラルネット１６６をアナログコンポーネントの疎ネットワーク（例えば、ピラミッド形状または台形形状のネットワーク）に変換する（１７０）。また、ＳＤＫ１８０は、アナログネットワークの回路モデル１７２を生成する。いくつかの実装態様では、ＳＤＫは、ソフトウェアシミュレーションを使用して、同じ入力について、訓練されたニューラルネットワークと比較して、回路モデル１７２によって生成された出力のずれを推定する（１７６）。推定誤差が閾値誤差（例えば、ユーザによって設定された値）を超える場合、ＳＤＫ１８０は、ユーザに、ニューラルネットワークを再構成、再開発、および／または再訓練するように促す。いくつかの実装態様では、示されていないが、ＳＤＫは、推定誤差を低減するために、訓練されたニューラルネット１６６を自動的に再構成する。このプロセスは、誤差が閾値誤差を下回るように低減されるまで、複数回反復される。図１Ｃでは、ブロック１７６（「回路で生じた誤差の推定」）からブロック１６４（「ニューラルネットワークの開発および訓練」）までの破線は、フィードバックループを示す。例えば、枝刈りされたネットワークが所望の精度を示さなかった場合、いくつかの実装態様は、精度が所与のアプリケーションの所定の閾値（例えば、９８％の精度）を超えるまで、ネットワークを異なるように枝刈りする。いくつかの実装態様では、枝刈りがネットワーク全体の再訓練を含むことから、このプロセスは、重みを再計算することを含む。
いくつかの実装態様では、上述のシステム１００のコンポーネントは、コンピューティングモジュールとして１つ以上のコンピューティングデバイスまたはサーバシステム内に実装される。図２Ａは、いくつかの実装態様によるコンピューティングデバイス２００のシステム図である。本明細書で使用される場合、「コンピューティングデバイス」という用語は、パーソナルデバイス１０２とサーバとの両方を含む。コンピューティングデバイス２００は、典型的には、メモリ２１４に記憶され、それによって処理演算を実行するモジュール、プログラム、および／または命令を実行するための１つ以上の処理ユニット／コア（ＣＰＵ）２０２、１つ以上のネットワークまたは他の通信インターフェース２０４、メモリ２１４、およびこれらのコンポーネントを相互接続するための１つ以上の通信バス２１２を含む。通信バス２１２は、システムコンポーネント間の通信を相互接続および制御する回路を含み得る。コンピューティングデバイス２００は、ディスプレイデバイス２０８および１つ以上の入力デバイスまたは機構２１０を含むユーザインターフェース２０６を含み得る。いくつかの実装態様では、入力デバイス／機構２１０は、キーボードを含み、いくつかの実装態様では、入力デバイス／機構は、「ソフト」キーボードを含み、これは、ディスプレイデバイス２０８に必要に応じて表示され、ユーザがディスプレイ２０８に現れる「キーを押す」ことを可能にする。いくつかの実装態様では、ディスプレイ２０８および入力デバイス／機構２１０は、タッチスクリーンディスプレイ（タッチ感知ディスプレイとも呼ばれる）を含む。いくつかの実装態様では、メモリ２１４は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、または他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実装態様では、メモリ２１４は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。いくつかの実装態様では、メモリ２１４は、ＣＰＵ２０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ２１４、または代替的にメモリ２１４内の不揮発性メモリデバイスは、コンピュータ可読記憶媒体を含む。いくつかの実装態様では、メモリ２１４、またはメモリ２１４のコンピュータ可読記憶媒体は、以下のプログラム、モジュール、およびデータ構造、またはそれらのサブセットを記憶する。
●様々な基本システムサービスを処理するための、およびハードウェア依存タスクを実行するための手順を含むオペレーティングシステム２１６、
●１つ以上の通信ネットワークインターフェース２０４（有線または無線）、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、大都市圏ネットワークなどの１つ以上の通信ネットワークを介してコンピューティングデバイス２００を他のコンピュータおよびデバイスに接続するために使用される通信モジュール２１８、
●重み２２２およびニューラルネットワークトポロジ２２４を含む訓練されたニューラルネットワーク２２０。入力ニューラルネットワークの例が、いくつかの実装態様に従って、図４Ａ～４Ｃ、図１２、図１３Ａ、および１４Ａを参照して以下に記載され、
●変換されたアナログニューラルネットワーク２２８、数学的定式化２３０、基底関数ブロック２３２、アナログモデル２３４（ニューロンモデルと呼ばれることがある）、および／またはアナログ集積回路（ＩＣ）設計制約２３６を含むニューラルネットワーク変換モジュール２２６。ニューラルネットワーク変換モジュール２２６の例示的な動作が、少なくとも図５、６Ａ～６Ｃ、７、８、９、１０、および１１Ａ～１１Ｃ、ならびに図２７Ａ～２７Ｊおよび図２８Ａ～２８Ｓに示されるフローチャートを参照して以下に記載され、および／または
●変換されたネットワークの重み２７２を含み、かつ任意選択で抵抗計算モジュール２４０、抵抗値２４２を含む、重み行列計算（重み量子化と呼ばれることがある）モジュール２３８。重み行列計算モジュール２３８および／または重み量子化の例示的な動作が、いくつかの実装態様に従って、少なくとも図１７Ａ～１７Ｃ、図１８、および図２９Ａ～２９Ｆを参照して記載される。
いくつかの実装態様は、図２Ｂに示されるように、１つ以上の任意選択のモジュール２４４を含む。いくつかの実装態様は、アナログニューラルネットワーク最適化モジュール２４６を含む。アナログニューラルネットワーク最適化の例が、いくつかの実装態様に従って、図３０Ａ～３０Ｍを参照して以下に記載される。
いくつかの実装態様は、抵抗（または接続）以外のアナログコンポーネント（例えば、演算増幅器、乗算器、遅延ブロックなど）用のリソグラフィマスク２５０をさらに含むリソグラフィマスク生成モジュール２４８を含む。いくつかの実装態様では、リソグラフィマスクは、ケイデンス、シノプシス、またはメンターグラフィックスソフトウェアパッケージを使用して、チップ設計に従ったチップ設計レイアウトに基づいて生成される。いくつかの実装態様は、シリコンウェハ製造工場（ファブと呼ばれることがある）製の設計キットを使用する。リソグラフィマスクは、設計キット（例えば、ＴＳＭＣ６５ｎｍ設計キット）を提供する特定のファブで使用されることが意図されている。生成されたリソグラフィマスクファイルは、ファブでチップを製造するために使用される。いくつかの実装態様では、ケイデンス、メンターグラフィックス、またはシノプシスソフトウェアパッケージベースのチップ設計は、ＳＰＩＣＥまたは高速ＳＰＩＣＥ（メンターグラフィックス）ソフトウェアパッケージから半自動的に生成される。いくつかの実装態様では、チップ設計スキルを有するユーザは、スパイスまたは高速スパイス回路からケイデンス、メンターグラフィックスまたはシノプシスチップ設計への変換を推進する。いくつかの実装態様は、単一のニューロンユニットのケイデンス設計ブロックを組み合わせ、ブロック間の適切な相互接続を確立する。
いくつかの実装態様は、リソグラフィマスク２５６のライブラリをさらに含むライブラリ生成モジュール２５４を含む。ライブラリ生成の例が、いくつかの実装態様に従って、図３２Ａ～３２Ｅを参照して以下に記載される。
いくつかの実装態様は、アナログ－デジタル変換（ＡＤＣ）、デジタル－アナログ変換（ＤＡＣ）、または同様の他のインターフェース２６０、および／または作製されたＩＣもしくはモデル２６２をさらに含む、集積回路（ＩＣ）作製モジュール２５８を含む。例示的な集積回路および／または関連モジュールが、いくつかの実装態様に従って、図３１Ａ～３１Ｑを参照して以下に記載される。
いくつかの実装態様は、推論モジュール２６６、信号監視モジュール２６８、および／または電力最適化モジュール２７０をさらに含む、エネルギー効率最適化モジュール２６４を含む。エネルギー効率最適化の例が、いくつかの実装態様に従って、図３３Ａ～３３Ｋを参照して以下に記載される。
上記で特定された実行可能モジュール、アプリケーション、または手順のセットの各々は、前述のメモリデバイスのうちの１つ以上に記憶されてよく、上述の関数を実行するための命令セットに対応する。上記で特定されたモジュールまたはプログラム（すなわち、命令セット）は、別個のソフトウェアプログラム、手順、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの様々なサブセットが、様々な実装態様で組み合わされるか、または別様に再配置されてもよい。いくつかの実装態様では、メモリ２１４は、上記で特定されたモジュールおよびデータ構造のサブセットを記憶する。さらに、いくつかの実装態様では、メモリ２１４は、上述されていない追加のモジュールまたはデータ構造を記憶する。
図２Ａは、コンピューティングデバイス２００を示すが、図２Ａは、本明細書に記載される実装態様の構造的概略図としてではなく、存在し得る様々な特徴の機能的説明としてより強く意図されている。実際には、当業者によって認識されるように、別々に示される項目を組み合わせることができ、いくつかの項目を分離することができる。
アナログネットワークの概略モデルを生成するための例示的なプロセス
図３Ａは、いくつかの実装態様による、訓練されたニューラルネットワークに対応するアナログネットワークの概略モデルを生成するための例示的なプロセス３００を示す。図３Ａに示されるように、訓練されたニューラルネットワーク３０２（例えば、モバイルネット）は、ターゲットまたは同等なアナログネットワーク３０４に（Ｔ変換と呼ばれることがあるプロセスを使用して）変換される（３２２）。ターゲットニューラルネットワーク（Ｔネットワークと呼ばれることがある）３０４は、単一ニューロンモデル（ＳＮＭ）を使用するＳＰＩＣＥ（ＳＰＩＣＥモデル３０６として）にエクスポートされ（３２４）、これは、ＳＰＩＣＥから、ケイデンス、およびケイデンスモデル３０８を使用するフルオンチップ設計にエクスポートされる（３２６）。ケイデンスモデル３０８は、１つ以上の検証入力のために、初期ニューラルネットワークに対して交差検証される（３２８）。
上記および下記の説明では、数学的ニューロンは、１つ以上の重み付けされた入力を受け取り、かつスカラー出力を生成する数学的関数である。いくつかの実装態様では、数学的ニューロンは、メモリ（例えば、長期短期記憶（ＬＳＴＭ）、回帰ニューロン）を有することができる。自明なニューロンは、「理想的な」数学的ニューロン、

を表す関数を実行する数学的ニューロンであり、式中、ｆ（ｘ）は、活性化関数である。ＳＮＭは、概略的な形態で特定のタイプの数学的ニューロン（例えば、自明なニューロン）を表すアナログコンポーネント（例えば、演算増幅器、抵抗器Ｒ１、．．．、Ｒｎ、および他のコンポーネント）を有する、概略モデルである。ＳＮＭ出力電圧は、Ｋ個の入力電圧およびＳＮＭコンポーネント値に依存する対応する式により表される

。いくつかの実装態様によれば、適切に選択されたコンポーネント値を有すると、ＳＮＭ式は、所望の重みセットを有する数学的ニューロン式と同等である。いくつかの実装態様では、重みセットは、ＳＮＭで使用される抵抗器によって完全に決定される。ターゲット（アナログ）ニューラルネットワーク３０４（Ｔネットワークと呼ばれることがある）は、定義されたＳＮＭ表現とそれらの間の重み付けされた接続とを有し、ニューラルネットワークを形成する、数学的ニューロンのセットである。Ｔネットワークは、インバウンド制限（Ｔネットワーク内の任意のニューロンに対するインバウンド接続の最大限度）、アウトバウンド制限（Ｔネットワーク内の任意のニューロンに対するアウトバウンド接続の最大限度）、および信号範囲（例えば、すべての信号は、事前定義された信号範囲内にあるべきである）など、いくつかの制限に従う。Ｔ変換（３２２）は、モバイルネットなどのいくつかの所望のニューラルネットワークを対応するＴネットワークに変換するプロセスである。ＳＰＩＣＥモデル３０６は、Ｔ－ネットワーク３０４のＳＰＩＣＥニューラルネットワークモデルであり、各数学的ニューロンは、対応する１つ以上のＳＮＭで置き換えられる。ケイデンスＮＮモデル３１０は、各数学的ニューロンが対応する１つ以上のＳＮＭで置き換えられる、Ｔ－ネットワーク３０４のケイデンスモデルである。また、本明細書に記載されるように、２つのネットワークＬおよびＭは、これらのネットワークのすべてのニューロン出力について、ｅｐｓが比較的小さい（例えば、動作電圧範囲の０．１～１％）として、

の場合、数学的同等性を有する。また、２つのネットワークＬおよびＭは、所与の検証入力データセット｛Ｉ１，．．．，Ｉｎ｝について、分類結果がほとんど同じであり、すなわち、ｅｐｓが比較的小さいとして、Ｐ（Ｌ（Ｉｋ）＝Ｍ（Ｉｋ））＝１－ｅｐｓである場合、関数同等性を有する。
図３Ｂは、いくつかの実装態様による、ケイデンス３１４上のＳＮＭモデルに基づいてターゲットチップモデル３２０を生成するために使用される例示的な手動プロトタイピングプロセスを示す。以下の説明では、ケイデンスを使用するが、いくつかの実装態様に従って、ケイデンスツールの代わりに、メンターグラフィック設計またはシノプシス（例えば、シノプシス設計キット）製の代替ツールが使用されてもよいことに留意されたい。このプロセスは、インバウンド制限およびアウトバウンド制限ならびに信号制限を含むＳＮＭ制限を選択することと、ニューロン間の接続のためのアナログコンポーネント（例えば、特定の抵抗器アレイ技術を含む抵抗器）を選択することと、ケイデンスＳＮＭモデル３１４を開発することと、を含む。プロトタイプＳＮＭモデル３１６（例えば、ＰＣＢプロトタイプ）が、ケイデンス３１４上のＳＮＭモデルに基づいて開発される（３３０）。プロトタイプＳＮＭモデル３１６は、同等性についてＳＰＩＣＥモデルと比較される。いくつかの実装態様では、ニューラルネットワークが同等性要件を満たすとき、ニューラルネットワークが、オンチッププロトタイプのために選択される。ニューラルネットワークのサイズが小さいため、Ｔ変換を同等性について手動検証することができる。続いて、オンチップＳＮＭモデル３１８が、ＳＮＭモデルプロトタイプ３１６に基づいて生成される（３３２）。オンチップＳＮＭモデルは、いくつかの実装態様に従って、可能な限り最適化される。いくつかの実装態様では、ＳＮＭを確定した後、オンチップＳＮＭモデル３１８に基づいてターゲットチップモデル３２０を生成する（３３４）前に、ＳＮＭモデルのオンチップ密度が計算される。プロトタイピングプロセスの間、実践者は、ニューラルネットワークタスクまたはアプリケーションおよび特定のニューラルネットワーク（例えば、０．１～１１０万個のニューロンのオーダーのニューラルネットワークを有する）を選択し、Ｔ変換を実行し、ケイデンスニューラルネットワークモデルを確立し、インターフェースおよび／またはターゲットチップモデルを設計することを反復し得る。
例示的な入力ニューラルネットワーク
図４Ａ、４Ｂ、および４Ｃは、いくつかの実装態様による、システム１００に入力され、かつ数学的に同等なアナログネットワークに変換される、訓練されたニューラルネットワーク（例えば、ニューラルネットワーク２２０）の例を示す。図４Ａは、入力を受信し、活性化関数を使用して入力を組み合わせ、かつ１つ以上の出力を生成する人工ニューロンから構成された例示的なニューラルネットワーク（人工ニューラルネットワークと呼ばれることがある）を示す。入力には、画像、センサデータ、およびドキュメントなどのデータが含まれる。典型的には、各ニューラルネットワークは、オブジェクト認識などの特定のタスクを実行する。ネットワークは、ニューロン間の接続を含み、各接続は、ニューロンの出力を別のニューロンへの入力として提供する。訓練後、各接続には、対応する重みが割り当てられる。図４Ａに示されるように、ニューロンは、典型的には、複数の層に編成され、ニューロンの各層は、ニューロンの直前および直後の層にのみ接続されている。ニューロン４０２の入力層は、外部入力（例えば、入力Ｘ１、Ｘ２、．．．、Ｘｎ）を受け取る。入力層４０２に、ニューロンの１つ以上の隠れ層（例えば、層４０４および４０６）が続き、それに、出力４１０を生成する出力層４０８が続く。１つの層のあらゆるニューロンを次の層のすべてのニューロンに接続する全結合パターン、または１つの層のニューロンのグループの出力を次の層の単一のニューロンに接続する枝刈りパターンなどの、様々なタイプの接続パターンが、連続する層のニューロンを接続する。フィードフォワードネットワークと呼ばれることがある、図４Ａに示されるニューラルネットワークとは対照的に、図４Ｂに示されるニューラルネットワークは、１つの層のニューロンから、同じ層の他のニューロン、または先行する層のニューロンのいずれかへの１つ以上の接続を含む。図４Ｂに示される例は、回帰型ニューラルネットワークの例であり、入力層の２つの入力ニューロン４１２（入力Ｘ１を受け入れる）および４１４（入力Ｘ２を受け入れる）、これに続く２つの隠れ層を含む。第１の隠れ層は、入力層のニューロンと全結合ニューロン４１６および４１８、ならびに第２の隠れ層のニューロン４２０、４２２、および４２４を含む。第２の隠れ層のニューロン４２０の出力は、第１の隠れ層のニューロン４１６に接続されており、フィードバックループを提供する。ニューロン４２０、４２２、および４２４を含む隠れ層は、出力ｙを生成する出力層のニューロン４２６に入力される。
図４Ｃは、いくつかの実装態様による、畳み込みニューラルネットワーク（ＣＮＮ）の例を示す。図４Ａおよび４Ｂに示されるニューラルネットワークとは対照的に、図４Ｃに示される例は、特徴学習のための層の第１の段階と、オブジェクト認識などの分類タスクのための層の第２の段階と、を含む、異なるタイプのニューラルネットワーク層を含む。特徴学習段階は、畳み込みおよび整流線形ユニット（ＲｅＬＵ）層４３０、これに続く枝刈り層４３２を含み、枝刈り層４３２には、別の畳み込みおよびＲｅＬＵ層４３４が続き、当該ＲｅＬＵ層４３４には、別の枝刈り層４３６が続く。第１の層４３０は、入力４２８（例えば、入力画像またはその部分）から特徴を抽出し、その入力に対する畳み込み演算、および１つ以上の非線形演算（例えば、ＲｅＬＵ、ｔａｎｈ、またはシグモイド）を実行する。層４３２などの枝刈り層は、入力が大きいときにパラメータの数を低減する。枝刈り層４３６の出力は、層４３８によって平滑化され、１つ以上の層（例えば、層４４０および４４２）を有する全結合ニューラルネットワークに入力される。全結合ニューラルネットワークの出力は、ソフトマックス層４４４に入力され、全結合ネットワークの層４４２の出力を分類して、多くの異なる出力４４６（例えば、入力画像４２８のオブジェクトクラスまたはタイプ）のうちの１つを生成する。
いくつかの実装態様は、各層のニューロンの数、ニューロンの総数、各ニューロンの演算または活性化関数、および／またはニューロン間の接続を含む入力ニューラルネットワークのレイアウトまたは編成を、ニューラルネットワークトポロジ２２４としてメモリ２１４に記憶する。
図５は、いくつかの実装態様による、ニューロンのための数学モデル５００の例を示す。数学モデルは、入力された入来信号５０２にシナプス重み５０４を乗算し、ユニット総和５０６によって総和することを含む。ユニット総和５０６の結果は、いくつかの実装態様に従って、非線形変換ユニット５０８に入力されて、出力信号５１０を生成する。
図６Ａ～６Ｃは、いくつかの実装態様による、入力値のＸＯＲ（ＸＯＲ結果の分類）を計算するためのニューラルネットワークのアナログハードウェア実現のための例示的なプロセスを例示している。図６Ａは、それぞれ、ｘ軸およびｙ軸に沿った、可能な入力値Ｘ１およびＸ２のテーブル６００を示す。期待される結果値は、中空円（１の値を表す）と塗りつぶした円または暗円（０の値を表す）によって示され、これは、２つの入力信号および２つのクラスについての典型的なＸＯＲ問題である。値Ｘ１およびＸ２の両方ではなく、いずれか一方が１である場合にのみ、期待される結果は１であり、それ以外の場合は０である。訓練セットは、４つの可能な入力信号の組み合わせ（Ｘ１入力およびＸ２入力の二値）からなる。図６Ｂは、いくつかの実装態様による、図６ＡのＸＯＲ分類を解決するためのＲｅＬＵベースのニューラルネットワーク６０２を示す。ニューロンは、バイアス値を使用せず、ＲｅＬＵ活性化を使用する。入力６０４および６０６（それぞれ、Ｘ１およびＸ２に対応する）は、第１のＲｅＬＵニューロン６０８－２に入力される。入力６０４および６０６はまた、第２のＲｅＬＵニューロン６０８－４に入力される。２つのＲｅＬＵニューロン６０８－２および６０８－４の結果は、出力値５１０（Ｏｕｔ値）を生成するために、入力値の線形総和を実行する第３のニューロン６０８－６に入力される。ニューラルネットワーク６０２は、ＲｅＬＵニューロン６０８－２の（それぞれ、入力値Ｘ１およびＸ２の）重み－１および１、ＲｅＬＵニューロン６０８－４の（それぞれ、入力値Ｘ１およびＸ２の）重み－１および１、ならびに（それぞれ、ＲｅｌＬＵニューロン６０８－２および６０８－４の出力の）重み１および１を有する。いくつかの実装態様では、訓練されたニューラルネットワークの重みは、重み２２２としてメモリ２１４に記憶される。
図６Ｃは、いくつかの実装態様による、ネットワーク６０２の例示的な同等なアナログネットワークを示す。Ｘ１およびＸ２入力６０４および６０６のアナログの同等な入力６１４および６１６は、第１の層のアナログニューロンＮ１ ６１８およびＮ２ ６２０に入力される。ニューロンＮ１およびＮ２は、第２の層のニューロンＮ３およびＮ４と密結合されている。第２の層のニューロン（すなわち、ニューロンＮ３ ６２２およびニューロンＮ４ ６２４）は、出力Ｏｕｔ（ネットワーク６０２の出力６１０と同等）を生成する出力ニューロンＮ５ ６２６と接続されている。ニューロンＮ１、Ｎ２、Ｎ３、Ｎ４、およびＮ５は、ＲｅＬＵ（最大値＝１）活性化関数を有する。
いくつかの実装態様は、およそ１０００回の反復で収束し、かつ接続の重みをもたらす、ケラス学習を使用する。いくつかの実装態様では、重みは、重み２２２の一部としてメモリ２１４に記憶される。以下の例では、データフォーマットは、「ニューロン［第１のリンク重み，第２のリンク重み，バイアス］」である。
●Ｎ１［－０．９８２４３２１，０．９７６５１７，－０．００２０４６７７］、
●Ｎ２［１．００６６７０２，－１．０１０１４１８，－０．０００４５４８５］、
●Ｎ３［１．０３５７６０６，１．００７２４６９，－０．００４８３７２３］、
●Ｎ４［－０．０７３７６３７３，－０．７６８２６１２，０．０］、および
●Ｎ５［１．００２９９３５，－１．１９９４３６９，－０．００１４７７６７］。
次に、ニューロン間の接続の抵抗器値を計算するために、いくつかの実装態様が、抵抗器範囲を計算する。いくつかの実装態様は、１ＭΩの抵抗器公称値（Ｒ＋，Ｒ－）、１００ＫΩ～１ＭΩの可能な抵抗器範囲、および公称シリーズＥ２４を設定する。いくつかの実装態様は、各接続のｗ１、ｗ２、ｗｂｉａｓ抵抗器値を以下のように計算する。各重み値ｗｉ（例えば、重み２２２）について、いくつかの実装態様は、選定された公称シリーズ内のすべての可能な（Ｒｉ－，Ｒｉ＋）抵抗器ペアのオプションを評価し、最小の誤差値

を生成する抵抗器ペアを選定する。以下の表は、いくつかの実装態様による、各接続に関する重みｗ１、ｗ２、およびバイアスの例示的な値を提供する。
変換されたニューラルネットワークの例示的な利点
変換の例を記載する前に、従来のアーキテクチャに対する変換されたニューラルネットワークの利点のうちのいくつかに注目すべきである。本明細書に記載されるように、入力された訓練されたニューラルネットワークは、ピラミッド形状または台形形状のアナログネットワークに変換される。クロスバーを超えるピラミッドまたは台形の利点のうちのいくつかは、より低いレイテンシ、同時のアナログ信号伝播、抵抗器および演算増幅器を含む標準的な集積回路（ＩＣ）設計要素を使用した製造の可能性、計算の高い並列性、高精度（例えば、従来の方法と比較して、層の数とともに精度が増加する）、各重みおよび／または各接続における誤差に対する許容差（例えば、ピラミッドは誤差をバランスさせる）、低ＲＣ（ネットワークを介した信号の伝播に関連する低抵抗容量遅延）、および／または変換されたネットワークの各層における各ニューロンのバイアスおよび関数を操作する能力を含む。また、ピラミッドは、１つの出力で任意のニューラルネットワークをモデル化することができるマルチレベルパーセプトロンであることから、それ自体が優れた計算ブロックである。いくつかの実装態様によれば、いくつかの出力を有するネットワークは、異なるピラミッドまたは台形幾何学形状を使用して実装されている。ピラミッドは、各ニューロンがｎ個の入力および１つの出力を有する、１つの出力およびいくつかの層（例えば、Ｎ個の層）を有する多層パーセプトロンと考えることができる。同様に、台形は、各ニューロンがｎ個の入力およびｍ個の出力を有する多層パーセプトロンである。各台形は、いくつかの実装態様による、各ニューロンがｎ個の入力およびｍ個の出力を有し、かつｎおよびｍが、ＩＣアナログチップ設計制限によって制限される、ピラミッド様ネットワークである。
いくつかの実装態様は、任意の訓練されたニューラルネットワークのピラミッドまたは台形のサブシステムへの可逆変換を実行する。したがって、ピラミッドおよび台形は、任意のニューラルネットワークを変換するための普遍的な確立ブロックとして使用され得る。ピラミッドベースまたは台形ベースのニューラルネットワークの利点は、標準的なリソグラフィ手法を使用して、標準的なＩＣアナログ要素（例えば、演算増幅器、抵抗器、回帰ニューロンの場合の信号遅延ライン）を使用して、任意のニューラルネットワークを実現する可能性である。変換されたネットワークの重みをある区間に制限することも可能である。つまり、可逆変換は、いくつかの実装態様に従って、いくつかの事前定義された範囲に制限された重みで実行される。ピラミッドまたは台形を使用する別の利点は、信号処理の高度な並列性、または計算の速度を増加させ、より低いレイテンシを提供する、アナログ信号の同時伝播である。さらに、多くの最新のニューラルネットワークは、疎結合ネットワークであり、クロスバーに変換されるよりもピラミッドに変換されると、はるかに優れており（例えば、よりコンパクトであり、低いＲＣ値を有し、リーク電流がない）、ピラミッドおよび台形ネットワークは、クロスバーベースのメモリスタネットワークよりも比較的コンパクトである。
さらに、アナログニューロモルフィック台形様チップは、アナログデバイスに典型的ではない、いくつかの特性を所有している。例えば、アナログチップの縦続数が増えるにつれて、信号対雑音比は増加せず、外部雑音が抑制され、温度の影響が大幅に低減される。そのような性質により、台形様アナログニューロモルフィックチップは、デジタル回路に類似している。例えば、個々のニューロンは、いくつかの実装態様に従って、演算増幅器に基づいて、信号をレベル調整し、２０，０００～１００，０００Ｈｚの周波数で動作し、動作範囲よりも高い周波数を有するノイズまたは信号の影響を受けない。台形様アナログニューロモルフィックチップはまた、演算増幅器がどのように機能するかの特異性に起因して、出力信号の濾波を実行する。そのような台形様アナログニューロモルフィックチップは、近接位相ノイズを抑制する。また、演算増幅器の低オーム出力に起因して、このノイズは、大幅に低減される。各演算増幅器出力での信号のレベル調整、および増幅器の同期作用に起因して、温度によって引き起こされるパラメータのドリフトは、最終出力で信号に影響を与えない。台形様類似ニューロモルフィック回路は、入力信号の誤差およびノイズに対して耐性があり、ニューラルネットワークの重み値に対応する抵抗値のずれに対して耐性がある。台形様アナログニューロモルフィックネットワークはまた、演算増幅器に基づく、アナログニューロモルフィック台形様回路の性質そのものに起因して、すべての抵抗器についてそのような誤差が同じである場合、抵抗器値設定における誤差のような、任意の種類のシステム誤差に対して耐性がある。
訓練されたニューラルネットワークの例示的な可逆変換（Ｔ変換）
いくつかの実装態様では、本明細書に記載される例示的な変換は、変換されたニューラルネットワーク２２８を取得するために、数学的定式化２３０、基底関数ブロック２３２、アナログコンポーネントモデル２３４、および／またはアナログ設計制約２３６に基づいて、訓練されたニューラルネットワーク２２０を変換するニューラルネットワーク変換モジュール２２６によって、実行される。
図７は、いくつかの実装態様による、例示的なパーセプトロン７００を示す。パーセプトロンは、Ｋ＝８つの入力および８つのニューロン７０２－２、．．．、７０２－１６を、この８つの入力を受け取る入力層に含む。出力層には、Ｌ＝４つの出力に対応する４つのニューロン７０４－２、．．．、７０４－８を有する出力層がある。入力層のニューロンは、出力層のニューロンに全結合されており、８×４＝３２個の接続を作っている。接続の重みが重み行列ＷＰによって表されるものとする（要素ＷＰｉ，ｊは、入力層のｉ番目のニューロンと出力層のｊ番目のニューロンとの間の接続の重みに対応する）。さらに、各ニューロンが活性化関数Ｆを実行するものとする。
図８は、いくつかの実装態様による、図７に示されるパーセプトロンと同等である、ターゲットニューラルネットワークの一種（Ｔ－ＮＮ、またはＴＮＮ）である、例示的なピラミッドニューラルネットワーク（Ｐ－ＮＮ）８００を示す。パーセプトロン（図７）のＰＮ－ＮＮアーキテクチャ（図８）へのこの変換を実行するために、Ｔ－ＮＮについて、入力の数がＮｉ＝４に制限され、出力数がＮｏ＝２に制限されるものとする。Ｔ－ＮＮは、ニューロン８０２－２、．．．、８０２－３４の入力層ＬＴＩを含み、入力層ＬＴＩは、ニューロン８０２－２、．．．、８０２－１６の入力層の２つのコピーの、合計２×８＝１６個の入力ニューロンの連結である。ニューロン８０２－２０、．．．、８０２－３４を含むニューロン８０４のセットは、ニューロン８０２－２、．．．、８０２－１８のコピーであり、入力は、複製される。例えば、ニューロン８０２－２への入力はまた、ニューロン８０２－２０に入力され、ニューロン８０２－４への入力２０はまた、ニューロン８０２－２２に入力される、などである。図８はまた、線形ニューロンであるニューロン８０６－０２、．．．、８０６－１６（２×１６÷４＝８つのニューロン）の隠れ層ＬＴＨ１を含む。入力層ＬＴＩからの各グループのＮｉ個のニューロンは、ＬＴＨ１層からの２つのニューロンに全結合されている。図８はまた、２×８÷４＝４つのニューロン８０８－０２、．．．、８０８－０８を有する出力層ＬＴＯを含み、各ニューロンは、活性化関数Ｆを実行する。層ＬＴＯの各ニューロンは、層ＬＴＨ１の異なる群からの相違するニューロンに接続されている。図８に示されるネットワークは、４０個の接続を含む。いくつかの実装態様は、以下のように、図８のＰ－ＮＮの重み行列計算を実行する。隠れ層ＬＴＨ１（ＷＴＨ１）の重みは、重み行列ＷＰから計算され、出力層ＬＴＯ（ＷＴＯ）に対応する重みは、１に等しい要素を有する疎行列を形成する。
図９は、いくつかの実装態様による、図８の出力ニューロンに対応するピラミッド単一ニューラルネットワーク（ＰＳＮＮ）９００を示す。ＰＳＮＮは、入力ニューロン９０２－０２、．．．、９０２－１６（図７のネットワーク７００の８つの入力ニューロンに対応する）の層（ＬＰＳＩ）を含む。隠れ層ＬＰＳＨ１は、８÷４＝２つの線形ニューロン９０４－０２および９０４－０４を含み、ＬＴＩからの各グループのＮｉ個のニューロンは、ＬＰＳＨ１層の１つのニューロンに接続されている。出力層ＬＰＳＯは、隠れ層のニューロン９０４－０２および９０４－０４の両方に接続されている、活性化関数Ｆを有する１つのニューロン９０６からなる。ＰＳＮＮ９００の重み行列を計算するために、いくつかの実装態様は、ＬＰＳＨ１層についてのＷＰの第１の行に等しいベクトルＷＰＳＨ１を計算する。ＬＰＳＯ層について、いくつかの実装態様は、各要素が１に等しい２つの要素を有する重みベクトルＷＰＳＯを計算する。このプロセスは、第１、第２、第３、および第４の出力ニューロンについて繰り返される。図８に示されるネットワークなどのＰ－ＮＮは、（４つの出力ニューロンの）ＰＳＮＮの融合である。あらゆるＰＳＮＮの入力層は、Ｐの入力層の別個のコピーである。この例では、Ｐ－ＮＮ８００は、８×４＝３２個の入力を有する入力層、２×４＝８つのニューロンを有する隠れ層、および４つのニューロンを有する出力層を含む。
Ｎ個の入力および１つの出力を有するターゲットニューロンを用いる例示的な変換
いくつかの実装態様では、本明細書に記載される例示的な変換は、変換されたニューラルネットワーク２２８を取得するために、数学的定式化２３０、基底関数ブロック２３２、アナログコンポーネントモデル２３４、および／またはアナログ設計制約２３６に基づいて、訓練されたニューラルネットワーク２２０を変換するニューラルネットワーク変換モジュール２２６によって、実行される。
１つの出力を有する単層パーセプトロン
単層パーセプトロンＳＬＰ（Ｋ，１）が、Ｋ個の入力、および活性化関数Ｆを有する１つの出力ニューロンを含むものとする。さらに、Ｕ∈ＲＫが、ＳＬＰ（Ｋ，１）の重みのベクトルであるものとする。以下のアルゴリズムＮｅｕｒｏｎ２ＴＮＮ１は、Ｎ個の入力および１つの出力を有するＴニューロン（ＴＮ（Ｎ，１）と呼ばれる）から、Ｔニューラルネットワークを構築する。
アルゴリズムＮｅｕｒｏｎ２ＴＮＮ１
１．ＳＬＰ（Ｋ，１）からのすべての入力を含めることによって、Ｔ－ＮＮの入力層を構築する。
２．Ｋ＞Ｎの場合には：
ａ．Ｋ個の入力ニューロンを、あらゆるグループがＮ個以下の入力からなるような

個のグループに分割する。
ｂ．ｍ１個のニューロンからＴ－ＮＮの最初の隠れ層ＬＴＨ１を構築し、各ニューロンは、恒等活性化関数を実行する。
ｃ．あらゆるグループからの入力ニューロンを、次の層からの対応するニューロンに接続する。そのため、ＬＴＨ１からのあらゆるニューロンが、Ｎ個以下の入力接続を有する。
ｄ．次の式に従って、新たな接続の重みを設定する。
ｗｉｊ＝ｕｊ，ｊ＝（ｉ－１）＊Ｎ＋１，．．．，ｉ＊Ｎ

３．それ以外の場合（すなわち、Ｋ＜＝Ｎの場合）には）：
ａ．活性化関数Ｆを計算する１つのニューロンで出力層を構築する
ｂ．入力ニューロンを単一出力ニューロンに接続する。単一出力ニューロンは、Ｋ≦Ｎ個の接続を有する。
ｃ．以下の式によって、新たな接続の重みを設定する。

ｄ．アルゴリズムを終了する
４．ｌ＝１を設定する
５．ｍｌ＞Ｎの場合：
ａ．ｍｌ個のニューロンを

個のグループに分割し、各グループは、Ｎ個以下のニューロンからなる。
ｂ．ｍｌ＋１個のニューロンからＴ－ＮＮの隠れ層ＬＴＨｌ＋１を構築し、あらゆるニューロンは、恒等活性化関数を有する。
ｃ．各グループからの入力ニューロンを、次の層からの対応するニューロンに接続する。
ｄ．次の式に従って、新たな接続の重みを設定する。

ｅ．ｌ＝ｌ＋１を設定する。
６．それ以外の場合（ｍ＞＝Ｎの場合）：
ａ．活性化関数Ｆを計算する１つのニューロンで出力層を構築する
ｂ．すべてのＬＴＨｌのニューロンを単一出力ニューロンに接続する。
ｃ．次の式に従って、新たな接続の重みを設定する。

ｄ．アルゴリズムを終了する
７．ステップ５および６を繰り返す。
ここで、

－最小整数は、ｘ以上である。アルゴリズムＮｅｕｒｏｎ２ＴＮＮ１によって構築されたＴ－ＮＮの層の数は、

である。Ｔ－ＮＮの重みの総数は、
図１０は、いくつかの実装態様による、構築されたＴ－ＮＮの例を示す。最初の層を除くすべての層は、これらの層の入力の恒等変換を実行する。構築されたＴ－ＮＮの重み行列は、いくつかの実装態様による、以下の形態を有する。

Ｔ－ＮＮの出力値は、以下の式により計算される。
ｙ＝Ｆ（ＷｍＷｍ－１．．．Ｗ２Ｗ１ｘ）
第１の層の出力は、以下の式に従って出力ベクトルとして計算される：
取得されたベクトルに第２の層の重み行列を乗算すると、
あらゆる後続の層は、ｘの何らかのサブベクトルの線形結合に等しい成分を有するベクトルを出力する。
最後に、Ｔ－ＮＮの出力は、以下に等しい。
これは、同じ入力ベクトルｘについてＳＬＰ（Ｋ，１）で計算された値と同じ値である。そのため、ＳＬＰ（Ｋ，１）の出力地と構築されたＴ－ＮＮの出力値とは、等しい。
いくつかの出力を有する単層パーセプトロン
Ｋ個の入力およびＬ個の出力ニューロンを有する単層パーセプトロンＳＬＰ（Ｋ，Ｌ）があり、各ニューロンが活性化関数Ｆを実行するものとする。さらに、Ｕ∈ＲＬ×ＫがＳＬＰ（Ｋ，Ｌ）の重み行列とする。以下のアルゴリズムＬａｙｅｒ２ＴＮＮ１は、ニューロンＴＮ（Ｎ，１）からＴニューラルネットワークを構築する。
アルゴリズムＬａｙｅｒ２ＴＮＮ１
１．あらゆる出力ニューロンｉ＝１，．．．，Ｌについて
ａ．Ｋ個の入力、１つの出力ニューロン、および重みベクトルＵｉｊ、ｊ＝１，２、．．．、ＫからなるアルゴリズムＮｅｕｒｏｎ２ＴＮＮ１をＳＬＰｉ（Ｋ，１）に適用する。結果として、ＴＮＮｉが構築される。
２．すべてのＴＮＮｉを１つのニューラルネットに構成することによって、ＰＴＮＮを構築する：
ａ．すべてのＴＮＮｉの入力ベクトルを連結するので、ＰＴＮＮの入力は、Ｋ個の入力のＬ個のグループを有し、各グループは、ＳＬＰ（Ｋ，Ｌ）の入力層のコピーである。
ＰＴＮＮの出力は、あらゆるペアＳＬＰｉ（Ｋ，１）およびＴＮＮｉの出力が等しいため、同じ入力ベクトルについてのＳＬＰ（Ｋ，Ｌ）の出力に等しい。
多層パーセプトロン
多層パーセプトロン（ＭＬＰ）が、Ｋ個の入力、Ｓ個の層、およびＬｉ個の計算ニューロンをｉ番目の層に含み、ＭＬＰ（Ｋ，Ｓ，Ｌ１，．．．ＬＳ）として表されるものとする。

が、ｉ番目の層の重み行列であるものとする。
以下は、いくつかの実装態様による、ニューロンＴＮ（Ｎ，１）からＴニューラルネットワークを構築するための例示的なアルゴリズムである。
アルゴリズムＭＬＰ２ＴＮＮ１
１．あらゆる層ｉ＝１、．．．、Ｓについて
ａ．Ｌｉ－１個の入力、Ｌｉ個の出力ニューロン、および重み行列ＵｉからなるＳＬＰｉ（Ｌｉ－１，Ｌｉ）にアルゴリズムＬａｙｅｒ２ＴＮＮ１を適用し、結果としてＰＴＮＮｉを構築する。
２．すべてのＰＴＮＮｉを１つのニューラルネットにスタックすることによって、ＭＴＮＮを構築し、ＴＮＮｉ－１の出力は、ＴＮＮｉの入力として設定される。
あらゆるペアＳＬＰｉ（Ｌｉ－１，Ｌｉ）およびＰＴＮＮｉの出力が等しいため、ＭＴＮＮの出力は、同じ入力ベクトルについてのＭＬＰ（Ｋ，Ｓ，Ｌ１，．．．ＬＳ）の出力に等しい。
ＮＩ個の入力およびＮＯ個の出力を有するターゲットニューロンでの例示的なＴ変換
いくつかの実装態様では、本明細書に記載される例示的な変換は、変換されたニューラルネットワーク２２８を取得するために、数学的定式化２３０、基底関数ブロック２３２、アナログコンポーネントモデル２３４、および／またはアナログ設計制約２３６に基づいて、訓練されたニューラルネットワーク２２０を変換するニューラルネットワーク変換モジュール２２６によって、実行される。
いくつかの出力を有する単層パーセプトロンの例示的な変換
単層パーセプトロンＳＬＰ（Ｋ，Ｌ）が、Ｋ個の入力およびＬ個の出力ニューロンを含み、各ニューロンが、活性化関数Ｆを実行するものとする。さらに、Ｕ∈ＲＬ×Ｋが、ＳＬＰ（Ｋ，Ｌ）の重み行列であるものとする。以下のアルゴリズムは、いくつかの実装態様に従って、ニューロンＴＮ（ＮＩ，ＮＯ）からＴニューラルネットワークを構築する。
アルゴリズムＬａｙｅｒ２ＴＮＮＸ
１．アルゴリズムＬａｙｅｒ２ＴＮＮ１（上記の説明を参照）を使用することによって、ＳＬＰ（Ｋ，Ｌ）からＰＴＮＮを構築する。ＰＴＮＮは、Ｋ個の入力のＬ個のグループからなる入力層を有する。
２．Ｌ個のグループから

個のサブセットを構成する。各サブセットは、入力ベクトルコピーのＮＯ個以下のグループを含む。
３．あらゆるサブセットのグループを、入力ベクトルの１つのコピーで置換する。
４．あらゆる入力ニューロンからＮＯ個の出力接続を作ることによって、あらゆるサブセット内の接続を再確立することによって、ＰＴＮＮＸを構築する。
いくつかの実装態様によれば、ＰＴＮＮＸの出力は、（上述した）ＰＴＮＮについてと同じ式によって計算されるので、出力は、等しい。
図１１Ａ～１１ｃは、いくつかの実装態様による、２つの出力ニューロンおよびＴＮ（ＮＩ，２）を有する単層ニューラルネットワーク（ＮＮ）の上記のアルゴリズムのアプリケーション１１００を示す。図１１Ａは、いくつかの実装態様による、例示的なソースまたは入力ＮＮを示す。Ｋ個の入力が、層１１０４に属する２つのニューロン１および２に入力される。図１１Ｂは、いくつかの実装態様による、アルゴリズムの第１のステップの後に構築されたＰＴＮＮを示す。ＰＴＮＮは、図１１Ａに示されるＮＮの出力ニューロン１およびニューロン２に対応するサブネットを実装する２つの部分からなる。図１１Ｂでは、入力１１０２は、複製され、２つのセットの入力ニューロン１１０６－２および１１０６－４に入力される。各セットの入力ニューロンは、２つのセットのニューロン１１０８－２および１１０８－４を有する後続の層のニューロンに接続されており、各セットのニューロンは、ｍ１個のニューロンを含む。入力層には、恒等変換ブロック１１１０－２および１１１０－４が続き、各ブロックは、恒等重み行列を有する１つ以上の層を含む。恒等変換ブロック１１１０－２の出力は、出力ニューロン１１１２（図１１Ａの出力ニューロン１に対応する）に接続されており、恒等変換ブロック１１１０－４の出力は、出力ニューロン１１１４（図１１Ａの出力ニューロン１に対応する）に接続されている。図１１Ｃは、入力ベクトル（１１０６－２および１１０６－４）の２つのコピーを１つのベクトル１１１６で置換すること（ステップ３）と、あらゆる入力ニューロンから２つの出力リンクを作ることによって第１の層１１１８内の接続を再確立することと、を含む、アルゴリズムの最終ステップのアプリケーションを示し、１つのリンクは、出力１に関連するサブネットに接続し、別のリンクは、出力２のサブネットに接続する。
多層パーセプトロンの例示的な変換
多層パーセプトロン（ＭＬＰ）が、Ｋ個の入力、Ｓ個の層、およびＬｉ個の計算ニューロンを第ｉ層に含み、ＭＬＰ（Ｋ，Ｓ，Ｌ１，．．．ＬＳ）として表されるものとする。

が、ｉ番目の層の重み行列であるものとする。以下の例示的なアルゴリズムは、いくつかの実装態様に従って、ニューロンＴＮ（ＮＩ，ＮＯ）からＴニューラルネットワークを構築する。
アルゴリズムＭＬＰ２ＴＮＮＸ
１．あらゆる層ｉ＝１、．．．、Ｓについて：
ａ．アルゴリズムＬａｙｅｒ２ＴＮＮＸを、Ｌｉ－１個の入力、Ｌｉ個の出力ニューロン、および重み行列ＵｉからなるＳＬＰｉ（Ｌｉ－１，Ｌｉ）に適用する。結果として、ＰＴＮＮＸｉが構築される。
２．すべてのＰＴＮＮＸｉを１つのニューラルネットにスタックすることによって、ＭＴＮＮＸを構築する。
ａ．ＴＮＮＸｉ－１の出力は、ＴＮＮＸｉの入力として設定される。
いくつかの実装態様によれば、あらゆるペアＳＬＰｉ（Ｌｉ－１，Ｌｉ）およびＰＴＮＮＸｉの出力が等しいため、ＭＴＮＮＸの出力は、同じ入力ベクトルについてのＭＬＰ（Ｋ，Ｓ，Ｌ１，．．．ＬＳ）の出力に等しい。
回帰型ニューラルネットワークの例示的な変換
回帰型ニューラルネットワーク（ＲＮＮ）は、情報を保存することを可能にする後方接続を含む。図１２は、いくつかの実装態様による、例示的なＲＮＮ１２００を示す。例は、入力Ｘｔ １２０６を受け入れ、活性化関数Ａを実行し、かつ値ｈｔ １２０２を出力する、活性化関数Ａを実行するブロック１２０４を示す。ブロック１２０４からそれ自体への後方矢印は、いくつかの実装態様による、後方接続を示す。同等なネットワークが、活性化ブロックが入力Ｘｔ １２０６を受け取る時点まで右側に示されている。時刻０では、ネットワークは、入力Ｘｔ １２０８を受け入れて活性化関数Ａ １２０４を実行し、値ｈｏ １２１０を出力し、時刻１では、ネットワークは、入力Ｘ１ １２１２と時刻０でのネットワークの出力とを受け入れて活性化関数Ａ １２０４を実行し、値ｈ１ １２１４を出力し、時刻２では、ネットワークは、入力Ｘ２ １２１６と時刻１でのネットワークの出力とを受け入れ、活性化関数Ａ １２０４を実行し、値ｈ１ １２１８を出力する。このプロセスは、いくつかの実装態様に従って、時刻ｔまで継続し、その時点でネットワークは、入力Ｘｔ １２０６と時刻ｔ－１でのネットワークの出力とを受け入れ、活性化関数Ａ １２０４を実行し、値ｈｔ １２０２を出力する。
ＲＮＮにおけるデータ処理は、以下の式によって実行される：
ｈｔ＝ｆ（Ｗ（ｈｈ）ｈｔ－１＋Ｗ（ｈｘ）ｘｔ）
上式で、ｘｔは、電流入力ベクトルであり、ｈｔ－１は、前の入力ベクトルｘｔ－１についてのＲＮＮの出力である。この表式は、いくつかの演算、すなわち、２つの全結合層Ｗ（ｈｈ）ｈｔ－１およびＷ（ｈｘ）ｘｔの線形結合の計算、要素ごとの加算、および非線形関数の計算（ｆ）からなる。第１および第３の演算は、台形ベースのネットワークによって実装され得る（１つの全結合層が、台形ネットワークの特別な場合であるピラミッドベースのネットワークによって実装される）。第２の演算は、任意の構造のネットワークに実装され得る一般的な演算である。
いくつかの実装態様では、回帰接続を有していないＲＮＮの層は、上述のＬａｙｅｒ２ＴＮＮＸアルゴリズムによって変換される。変換が完了した後、関連するニューロン間に回帰リンクが追加される。いくつかの実装態様は、図１３Ｂを参照して以下に記載される遅延ブロックを使用する。
ＬＳＴＭネットワークの例示的な変換
長期短期記憶（ＬＳＴＭ）ニューラルネットワークは、ＲＮＮの特別な場合である。ＬＳＴＭネットワークの演算は、以下の式により表される。
●ｆｔ＝σ（Ｗｆ［ｈｔ－１，ｘｔ］＋ｂｆ）、
●ｉｔ＝σ（Ｗｉ［ｈｔ－１，ｘｔ］＋ｂｉ）、
●Ｄｔ＝ｔａｎｈ（ＷＤ［ｈｔ－１，ｘｔ］＋ｂＤ）、
●Ｃｔ＝（ｆｔ×Ｃｔ－１＋ｉｔ×Ｄｔ）、
●ｏｔ＝σ（Ｗｏ［ｈｔ－１，ｘｔ］＋ｂｏ）、および
●ｈｔ＝ｏｔ×ｔａｎｈ（Ｃｔ）。
上記の式中、Ｗｆ、Ｗｉ、ＷＤ、およびＷＯは、訓練可能な重み行列であり、ｂｆ、ｂｉ、ｂＤ、およびｂＯは、訓練可能なバイアスであり、ｘｔは、電流入力ベクトルであり、ｈｔ－１は、前の入力ベクトルｘｔ－１について計算されたＬＳＴＭの内部状態であり、ｏｔは、電流入力ベクトルについて出力される。式中、下付き文字ｔは、時間インスタンスｔを意味し、下付き文字ｔ－１は、時間インスタンスｔ－１を意味する。
図１３Ａは、いくつかの実装態様による、ＬＳＴＭニューロン１３００のブロック図である。シグモイド（σ）ブロック１３１８は、入力ｈｔ－１ １３３０およびｘｔ １３３２を処理し、出力ｆｔ １３３６を生成する。第２のシグモイド（σ）ブロック１３２０は、入力ｈｔ－１ １３３０およびｘｔ １３３２を処理し、出力ｉｔ １３３８を生成する。双曲線正接（ｔａｎｈ）ブロック１３２２は、入力ｈｔ－１ １３３０およびｘｔ １３３２を処理し、出力Ｄｔ １３４０を生成する。第３のシグモイド（σ）ブロック１３２８は、入力ｈｔ－１ １３３０およびｘｔ １３３２を処理し、出力Ｏｔ １３４２を生成する。乗算器ブロック１３０４は、ｆｔ １３３６、および（先行時間インスタンスからの）和演算ブロック１３０６の出力Ｃｔ－１ １３０２を処理して出力を生成し、当該出力は、出力ｉｔ １３３８とＤｔ １３４０とを乗算して出力Ｃｔ １３１０を生成する第２の乗算器ブロック１３１４の出力と、和演算ブロック１３０６によって和演算される。出力Ｃｔ １３１０は、別のｔａｎｈブロック１３１２に入力されて出力を生成し、この出力は、第３の乗算器ブロック１３１６で出力Ｏｔ １３４２と乗算されて、出力ｈｔ １３３４を生成する。
これらの表式には、以下のいくつかのタイプの演算が利用されている。（ｉ）いくつかの全結合層についての線形結合の計算、（ｉｉ）要素ごとの加算、（ｉｉｉ）アダマール積、および（ｉｖ）非線形関数計算（例えば、シグモイド（σ）および双曲線正接（ｔａｎｈ））。いくつかの実装態様は、（ｉ）および（ｉｖ）の演算を台形ベースのネットワークによって実装する（１つの全結合層が、台形ネットワークの特別な場合であるピラミッドベースのネットワークによって実装される）。いくつかの実装態様は、一般的な演算である（ｉｉ）および（ｉｉｉ）の演算のために様々な構造のネットワークを使用する。
回帰接続を有していないＬＳＴＭ層の層は、いくつかの実装態様に従って、上述のＬａｙｅｒ２ＴＮＮＸアルゴリズムを使用することによって変換される。変換が完了した後、いくつかの実装態様に従って、関連するニューロン間に回帰リンクが追加される。
図１３Ｂは、いくつかの実装態様による、遅延ブロックを示す。上述したように、ＬＳＴＭ演算の式中の表式のうちのいくつかは、前の時間インスタンスからの出力を保存し、復元し、および／または呼び出すことに依存する。例えば、乗算器ブロック１３０４は、和演算ブロック１３０６の出力（先行時間インスタンスから）Ｃｔ－１ １３０２を処理する。図１３Ｂは、いくつかの実装態様による、遅延ブロックの２つの例を示す。例１３５０は、左側の遅延ブロック１３５４を含み、時間ｔで入力ｘｔ １３５２を受け入れ、出力ｘｔ－ｄｔ １３５６によって示されるｄｔの遅延の後にこの入力を出力する。右側の例１３６０は、いくつかの実装態様に従って、縦続の（または複数の）遅延ブロック１３６４および１３６６は、出力ｘｔ－２ｄｔ １３６８によって示される２ユニットの時間遅延の後に入力ｘｔ １３６２を出力する。
図１３Ｃは、いくつかの実装態様による、ＬＳＴＭニューロンのニューロンスキーマである。スキーマは、重み付けされた和演算器ノード（加算器ブロックと呼ばれることがある）１３７２、１３７４、１３７６、１３７８、および１３９６、乗算器ブロック１３８４、１３９２、および１３９４、ならびに遅延ブロック１３８０および１３８２を含む。入力ｘｔ １３３２は、加算器ブロック１３７２、１３７４、１３７６、および１３７８に接続されている。先行入力ｘｔ－１の出力ｈｔ－１ １３３０はまた、加算器ブロック１３７２、１３７４、１３７６、および１３７８に入力される。加算器ブロック１３７２は、出力ｆｔ １３３６を生成するシグモイドブロック１３９４－２に入力される出力を生成する。同様に、加算器ブロック１３７４は、出力ｉｔ １３３８を生成するシグモイドブロック１３８６に入力される出力を生成する。同様に、加算器ブロック１３７６は、出力Ｄｔ １３４０を生成する双曲線正接ブロック１３８８に入力される出力を生成する。同様に、加算器ブロック１３７８は、出力Ｏｔ １３４２を生成するシグモイドブロック１３９０に入力される出力を生成する。乗算器ブロック１３９２は、出力ｉｔ １３３８、ｆｔ １３３６、および先行時間インスタンスＣｔ－１ １３０２からの加算器ブロック１３９６の出力を使用して、第１の出力を生成する。乗算器ブロック１３９４は、出力ｉｔ １３３８およびＤｔ １３４０を使用して、第２の出力を生成する。加算器ブロック１３９６は、第１の出力と第２の出力とを和演算して、出力Ｃｔ １３１０を生成する。出力Ｃｔ １３１０は、双曲線正接ブロック１３９８に入力されて出力を生成し、この出力は、シグモイドブロック１３９０の出力、Ｏｔ１３４２とともに、乗算器ブロック１３８４に入力されて、出力ｈｔ １３３４を生成する。遅延ブロック１３８２は、先行時間インスタンスからの加算器ブロック１３９６の出力を呼び出す（例えば、保存および復元する）ために使用される。同様に、遅延ブロック１３８０は、（例えば、先行時間インスタンスからの）先行入力ｘｔ－１についての乗算器ブロック１３８４の出力を呼び出すか、または保存し、および復元するために使用される。遅延ブロックの例は、いくつかの実装態様に従って、図１３Ｂを参照して上述されている。
ＧＲＵネットワークの例示的な変換
ゲート付き回帰型ユニット）（ＧＲＵ）ニューラルネットワークは、ＲＮＮの特別の場合である。ＲＮＮの演算は、以下の表式で表される。
●ｚｔ＝σ（Ｗｚｘｔ＋Ｕｚｈｔ－１）、
●ｒｔ＝σ（Ｗｒｘｔ＋Ｕｒｈｔ－１）、
●ｊｔ＝ｔａｎｈ（Ｗｘｔ＋ｒｔ×Ｕｈｔ－１）、
●ｈｔ＝ｚｔ×ｈｔ－１＋（１－ｚｔ）×ｊｔ）。
上記の式中、ｘｔは、電流入力ベクトルであり、ｈｔ－１は、前の入力ベクトルｘｔ－１について計算された出力である。
図１４Ａは、いくつかの実装態様による、ＧＲＵニューロンのブロック図である。シグモイド（σ）ブロック１４１８は、入力ｈｔ－１ １４０２およびｘｔ １４２２を処理し、出力ｒｔ １４２６を生成する。第２のシグモイド（σ）ブロック１４２０は、入力ｈｔ－１ １４０２およびｘｔ １４２２を処理し、出力ｚｔ １４２８を生成する。乗算器ブロック１４１２は、出力ｒｔ １４２６と入力ｈｔ－１ １４０２とを乗算して出力を生成し、この出力は、（入力ｘｔ １４２２とともに）双曲線正接（ｔａｎｈ）ブロック１４２４に入力されて、出力ｊｔ １４３０を生成する。第２の乗算器ブロック１４１４は、出力ｊｔ １４３０と出力ｚｔ １４２８とを乗算して、第１の出力を生成する。ブロック１４１０は、１－出力ｚｔ １４２８を計算して出力を生成し、この出力は、出力と入力ｈｔ－１ １４０２とを乗算する第３の乗算器ブロック１４０４に入力されて出力を生成し、この出力は、（乗算器ブロック１４１４からの）第１の出力とともに加算器ブロック１４０６に入力されて、出力ｈｔ １４０８を生成する。入力ｈｔ－１ １４０２は、先行時間区間出力ｔ－１からのＧＲＵニューロンの出力である。
図１４Ｂは、いくつかの実装態様による、ＧＲＵニューロン１４４０のニューロンスキーマである。スキーマは、重み付けされた和演算器ノード（加算器ブロックと呼ばれることがある）１４０４、１４０６、１４１０、１４０６、および１４３４、乗算器ブロック１４０４、１４１２、および１４１４、ならびに遅延ブロック１４３２を含む。入力ｘｔ １４２２は、加算器ブロック１４０４、１４１０、および１４０６に接続されている。先行入力ｘｔ－１の出力ｈｔ－１ １４０２はまた、加算器ブロック１４０４および１４０６、ならびに乗算器ブロック１４０４および１４１２に入力される。加算器ブロック１４０４は、出力Ｚｔ １４２８を生成するシグモイドブロック１４１８に入力される出力を生成する。同様に、加算器ブロック１４０６は、シグモイドブロック１４２０に入力される出力を生成し、シグモイドブロック１４２０は、乗算器ブロック１４１２に入力される出力ｒｔ １４２６を生成する。乗算器ブロック１４１２の出力は、加算器ブロック１４１０に入力され、加算器ブロック１４１０の出力は、出力１４３０を生成する双曲線正接ブロック１４２４に入力される。出力１４３０ならびにシグモイドブロック１４１８の出力は、乗算器ブロック１４１４に入力される。シグモイドブロック１４１８の出力は、その出力を遅延ブロック１４３２からの入力と乗算して第１の出力を生成する乗算器ブロック１４０４に入力される。乗算器ブロックは、第２の出力を生成する。加算器ブロック１４３４は、第１の出力と第２の出力とを和演算して、出力ｈｔ １４０８を生成する。遅延ブロック１４３２は、先行時間インスタンスからの加算器ブロック１４３４の出力を呼び出す（例えば、保存および復元する）ために使用される。遅延ブロックの例は、いくつかの実装態様に従って、図１３Ｂを参照して上述されている。
ＧＲＵで使用される演算タイプは、ＬＳＴＭネットワーク（上述の）の演算タイプと同じであるので、ＧＲＵは、いくつかの実装態様による、ＬＳＴＭについて上述した原理に従って（例えば、Ｌａｙｅｒ２ＴＮＮＸアルゴリズムを使用して）台形ベースのネットワークに変換される。
畳み込みニューラルネットワークの例示的な変換
一般に、畳み込みニューラルネットワーク（ＣＮＮ）は、畳み込み（カーネルを用いた画像の（または内部マップの）断片の線形結合のセット）、アクティブ化関数、および枝刈り（例えば、最大値、平均値など）などのいくつかの基本演算を含む。ＣＮＮ内のあらゆる計算ニューロンは、ＭＬＰのニューロンの一般的な処理スキーム、すなわち、後続の活性化関数の計算を用いたいくつかの入力の線形結合に従う。そのため、ＣＮＮは、いくつかの実装態様による、多層パーセプトロンについて上述したＭＬＰ２ＴＮＮＸアルゴリズムを使用して変換される。
Ｃｏｎｖ１Ｄは、時間座標にわたって実行される畳み込みである。図１５Ａおよび１５Ｂは、いくつかの実装態様による、単一のＣｏｎｖ１Ｄフィルタのバリアントのニューロンスキーマである。図１５Ａでは、重み付けされた和演算器ノード１５０２（加算器ブロックと呼ばれることがあり、「＋」と標記される）は、５つの入力を有するので、５のカーネルを用いた１Ｄ畳み込みに対応する。入力は、時間ｔからのｘｔ １５０４、時間ｔ－１からのｘｔ－１ １５１４（入力を遅延ブロック１５０６に入力することによって取得される）、時間ｔ－２からのｘｔ－２１５１６（遅延ブロック１５０６の出力を別の遅延ブロック１５０８に入力することによって取得される）、時間ｔ－３からのｘｔ－３１５１８（遅延ブロック１５０８の出力を別の遅延ブロック１５１０に入力することによって取得される）、および時間ｔ－４からのｘｔ－４１５２０（遅延ブロック１５１０の出力を別の遅延ブロック１５１２に入力することにより取得される、である。大きなカーネルについては、ブロックのうちのいくつかが、より大きな遅延を生成するように、異なる周波数遅延ブロックを利用することが有益であることがある。いくつかの実装態様は、図１５Ｂに示されるように、いくつかの小さな遅延ブロックを１つの大きな遅延ブロックに置き換える。図１５Ａの遅延ブロックに加えて、例は、時間ｔ－３からのｘｔ－３ １５１８を生成する遅延＿３ブロック１５２４、および時間ｔ－５からのｘｔ－５ １５２２を生成する別の遅延ブロック１５２６を使用する。遅延＿３ １５２４ブロックは、いくつかの実装態様による、複数の遅延ブロックの例である。この演算は、ブロックの総数を減少させないが、いくつかの実装態様によれば、入力信号に対して実行される結果として生じる演算の総数を減少させ、誤差の蓄積を低減し得る。
いくつかの実装態様では、畳み込み層は、台形様ニューロンによって表され、全結合層は、抵抗器のクロスバーによって表される。いくつかの実装態様は、クロスバーを使用し、クロスバーの抵抗行列を計算する。
複数の出力を有する単層パーセプトロンの例示的な近似アルゴリズム
いくつかの実装態様では、本明細書に記載される例示的な変換は、変換されたニューラルネットワーク２２８を取得するために、数学的定式化２３０、基底関数ブロック２３２、アナログコンポーネントモデル２３４、および／またはアナログ設計制約２３６に基づいて、訓練されたニューラルネットワーク２２０、および／またはアナログニューラルネットワーク最適化モジュール２４６を変換するニューラルネットワーク変換モジュール２２６によって、実行される。
単層パーセプトロンＳＬＰ（Ｋ，Ｌ）が、Ｋ個の入力およびＬ個の出力ニューロンを含み、各出力ニューロンが、活性化関数Ｆを実行するものとする。さらに、Ｕ∈ＲＬ×Ｋが、ＳＬＰ（Ｋ，Ｌ）の重み行列であるものとする。以下は、いくつかの実装態様による、近似アルゴリズムＬａｙｅｒ２ＴＮＮＸ＿Ａｐｐｒｏｘを使用してニューロンＴＮ（ＮＩ，ＮＯ）からＴニューラルネットワークを構築するための例である。アルゴリズムは、ニューロンおよび接続の数を減少させるために、第１の段階で（上述した）Ｌａｙｅｒ２ＴＮＮ１アルゴリズムを適用し、続いて、Ｌａｙｅｒ２ＴＮＮＸを適用して、減少したサイズの入力を処理する。得られたニューラルネットの出力は、Ｌａｙｅｒ２ＴＮＮ１アルゴリズムによって構築された層の共有重みを使用して計算される。これらの層の数は、アルゴリズムのパラメータである値ｐによって決定される。ｐが０に等しい場合には、Ｌａｙｅｒ２ＴＮＮＸアルゴリズムが適用されるのみであり、変換は、同等である。ｐ＞０の場合には、ｐ個の層は、重みを共有し、変換は、近似的である。
アルゴリズムＬａｙｅｒ２ＴＮＮＸ＿Ａｐｐｒｏｘ
１．パラメータｐを、

の値で設定する。
２．ｐ＞０の場合、ニューロンＴＮ（ＮＩ，１）でのアルゴリズムＬａｙｅｒ２ＴＮＮ１をネットＳＬＰ（Ｋ，Ｌ）に適用し、得られたサブネット（ＰＮＮ）の最初のｐ個の層を構築する。
ネットＰＮＮは、出力層に

個のニューロンを有する。
３．ニューロンＴＮ（ＮＩ，ＮＯ）でのアルゴリズムＬａｙｅｒ２ＴＮＮＸを適用し、Ｎｐ個の入力およびＬ個の出力を有するニューラルサブネットＴＮＮを構築する。
４．ＰＮＮネットの重みを設定する。ＰＮＮの第１の層のあらゆるニューロンｉの重みは、ルール

に従って設定される。ここで、Ｃは、ゼロに等しくない任意の定数であり、ｋｉを除くこのニューロンのすべての重みｊについて、ｋｉ＝（ｉ－１）ＮＩ＋１かつ

。
ＰＮＮネットのすべての他の重みは、１に設定される。

は、第１の層のニューロンｉとニューロンｋｉとの間の接続のための第１の層（上付き文字（１）が意味する）の重みを表す。
５．ＴＮＮサブネットの重みを設定する。ＴＮＮの第１層のあらゆるニューロンｉの重み（ネット全体を考慮すると、これは（ｐ＋１）番目の層である）は、式

に従って設定される。ＴＮＮのすべての他の重みは、１に設定される。
６．ＴＮＮサブネットの最後の層のすべてのニューロンの活性化関数をＦに設定する。すべての他のニューロンの活性化関数は、恒等である。
図１６は、いくつかの実装態様による、結果として生じるニューラルネットの例示的なアーキテクチャ１６００を示す。この例は、ＴＮＮ１６０６に接続されたＰＮＮ１６０２を含む。ＰＮＮ１６０２は、Ｋ個の入力の層を含み、ＴＮＮ１６０６に入力１６１２として接続されているＮｐ個の出力を生成する。ＴＮＮ１６０６は、いくつかの実装態様に従って、Ｌ個の出力１６１０を生成する。
いくつかの出力を有する多層パーセプトロンの近似アルゴリズム
多層パーセプトロン（ＭＬＰ）が、Ｋ個の入力、Ｓ個の層、およびＬｉ個の計算ニューロンをｉ番目の層に含み、ＭＬＰ（Ｋ，Ｓ，Ｌ１，．．．ＬＳ）として表されるものとする。さらに、

が、ｉ番目の層の重み行列であるものとする。以下の例示的なアルゴリズムは、いくつかの実装態様に従って、ニューロンＴＮ（ＮＩ，ＮＯ）からＴニューラルネットワークを構築する。
アルゴリズムＭＬＰ２ＴＮＮＸ＿Ａｐｐｒｏｘ
１．あらゆる層ｉ＝１、．．．、Ｓについて：
ａ．（上述した）アルゴリズムＬａｙｅｒ２ＴＮＮＸ＿Ａｐｐｒｏｘを、Ｌｉ－１個の入力、Ｌｉ個の出力ニューロン、および重み行列ＵｉからなるＳＬＰｉ（Ｌｉ－１，Ｌｉ）に適用する。ｉ＝１の場合には、Ｌ０＝Ｋ。このステップは、結果としてＰＴＮＮＸｉを構築するものとする。
２．すべてのＰＴＮＮＸｉを１つのニューラルネットにスタックすることによって、ＭＴＮＮＸ（多層パーセプトロン）を構築し、ＴＮＮＸｉ－１の出力は、ＴＮＮＸｉの入力として設定される。
変換されたニューラルネットワークの圧縮の例示的な方法
いくつかの実装態様では、本明細書に記載される例示的な変換は、変換されたニューラルネットワーク２２８を取得するために、数学的定式化２３０、基底関数ブロック２３２、アナログコンポーネントモデル２３４、および／またはアナログ設計制約２３６に基づいて、訓練されたニューラルネットワーク２２０、および／またはアナログニューラルネットワーク最適化モジュール２４６を変換するニューラルネットワーク変換モジュール２２６によって、実行される。
このセクションは、いくつかの実装態様による、変換されたニューラルネットワークの圧縮の例示的な方法について記載する。いくつかの実装態様は、アナログネットワークオンチップを実現するために必要な、演算増幅器および抵抗器の数を最小化するために、アナログピラミッド様ニューラルネットワークを圧縮する。いくつかの実装態様では、アナログニューラルネットワークの圧縮の方法は、ソフトウェアニューラルネットワークにおける枝刈りと同様の枝刈りである。それにもかかわらず、ハードウェアでＩＣアナログチップとして実現可能であるピラミッド様アナログネットワークの圧縮には、いくつかの特異な点がある。演算増幅器および抵抗器などの素子の数が、アナログベースのニューラルネットワークの重みを定義することから、オンチップで配置される演算増幅器および抵抗器の数を最小化することが極めて重要である。このことはまた、チップの消費電力を最小化するのに役立つ。畳み込みニューラルネットワークなどの最新のニューラルネットワークは、ネットワークの精度を著しく損なうことなく、５～２００回圧縮できる。多くの場合、最新のニューラルネットワークのブロック全体は、精度を著しく損なうことなく枝刈りできる。稠密なニューラルネットワークを、疎結合ピラミッドまたは台形またはクロスバー様ニューラルネットワークに変換することは、疎結合ピラミッドまたは台形様アナログネットワークを枝刈りする機会を提示し、次いで、これらは、アナログＩＣチップ内のオペレーティング増幅器および抵抗器によって表される。いくつかの実装態様では、そのような手法は、従来のニューラルネットワーク圧縮手法に加えて適用される。いくつかの実装態様では、圧縮手法は、入力ニューラルネットワークおよび／または変換されたニューラルネットワークの特定のアーキテクチャ（例えば、ピラミッド対台形対クロスバー）に基づいて適用される。
例えば、ネットワークが演算増幅器などのアナログ素子によって実現されることから、いくつかの実装態様は、標準的な訓練データセットが提示されるときに、演算増幅器を通って流れる電流を決定し、それによって、チップ全体に対して結び目（演算増幅器）が必要かどうかを判定する。いくつかの実装態様は、チップのスパイスモデルを分析し、電流が流れず、かつ電力が消費されない結び目および接続を決定する。いくつかの実装態様は、アナログＩＣネットワークを通る電流の流れを決定し、したがって、次いで枝刈りされる結び目および接続を決定する。さらに、いくつかの実装態様はまた、接続の重みが高すぎる場合に接続を除去し、および／または接続の重みが低すぎる場合に抵抗器を直接コネクタに置き換える。いくつかの実装態様は、この結び目につながるすべての接続が所定の閾値よりも低い（例えば、０に近い）重みを有する場合、結び目を枝刈りし、増幅器が増幅なしで線形関数を与える場合、演算増幅器が常に出力にゼロを提供する接続を削除し、かつ／または演算増幅器を線形接合部に変更する。
いくつかの実装態様は、ピラミッド、台形、またはクロスバータイプのニューラルネットワークに特有の圧縮手法を適用する。いくつかの実装態様は、（圧縮なしよりも）より大きな入力量でピラミッドまたは台形を生成し、したがって、ピラミッドまたは台形内の層の数を最小化する。いくつかの実装態様は、各ニューロンの出力の数を最大化することによって、よりコンパクトな台形ネットワークを生成する。
最適抵抗器セットの例示的な生成
いくつかの実装態様では、本明細書に記載される例示的な計算は、変換されたニューラルネットワークの接続の重み２７２、および／または重み２７２の対応する抵抗値２４２を計算する重み行列計算または重み量子化モジュール２３８によって（例えば、抵抗計算モジュール２４０を使用して）実行される。
このセクションは、いくつかの実装態様による、訓練されたニューラルネットワークの最適な抵抗器セットを生成する例について記載する。例示的な方法は、場合によってはより小さい抵抗器公称値、および場合によってはより高い許容される抵抗器ばらつきを有するマイクロチップ上にニューラルネットワークを実装するための抵抗器公称値に接続重みを変換するために提供される（ＮＮモデルと呼ばれることがある）。
試験セット「Ｔｅｓｔ」は、入力ベクトル（ｘ座標およびｙ座標）の約１０，０００個の値を含み、両方の座標は、０．０１のステップで［０；１］の範囲で変動するものとする。所与の入力ＸについてのネットワークＮＮ出力は、Ｏｕｔ＝ＮＮ（Ｘ）によって与えられるものとする。さらに、入力値クラスが以下のように求められるものとする。Ｃｌａｓｓ＿ｎｎ（Ｘ）＝ＮＮ（Ｘ）＞０．６１？１：０．
以下は、数理ネットワークモデルＭを概略ネットワークモデルＳと比較する。概略ネットワークモデルは、ｒｖの可能な抵抗器ばらつきを含み、「試験」セットを処理し、その都度、出力値Ｓ（試験）＝Ｏｕｔ＿ｓの異なるベクトルを生成する。出力誤差は、以下の式によって定義される。
分類誤差は、以下の式によって定義される。
いくつかの実装態様は、所望の分類誤差を１％以下に設定する。
例示的な誤差分析
図１７Ａは、いくつかの実装態様による、Ｍネットワーク上の出力誤差と分類誤差との間の依存関係を示す例示的なチャート１７００を示す。図１７Ａでは、ｘ軸は、分類マージン１７０４に対応し、ｙ軸は、総誤差１７０２に対応する（上記の説明を参照）。グラフは、出力信号の異なる分類マージンの総誤差（モデルＭの出力と実データとの差）を示す。この例について、チャートによれば、最適分類マージン１７０６は、０．６１０である。
別のネットワークＯが、関連するＭ出力値に対して一定のシフトで出力値を生成するものとすると、ＯとＭとの間に分類誤差が生じる。分類誤差を１％未満に保つには、このシフトは［－０．０４５，０．０４０］の範囲にあるべきである。したがって、Ｓの可能な出力誤差は、４５ｍＶである。
可能な重み誤差は、ネットワーク全体にわたる重み／バイアス相対誤差と出力誤差の間の依存関係を分析することによって決定される。図１７Ｂおよび１７Ｃにそれぞれ示されるチャート１７１０および１７２０は、いくつかの実装態様に従って、「試験」セットにわたって、２０個のランダムに修正されたネットワークを平均することによって取得される。これらのチャートでは、ｘ軸は、絶対重み誤差１７１２を表し、ｙ軸は、絶対出力誤差１７１４を表す。チャートから分かるように、４５ｍＶ（ｙ＝０．０４５）の出力誤差制限は、各重みに対して０．０１の相対誤差値または０．０１の絶対誤差値（ｘの値）を許容する。ニューラルネットワークの最大重みモジュラス（すべての重みの中の重みの絶対値の最大値）は、１．９４である。
抵抗器セットを選定するための例示的なプロセス
このセットから選定された｛Ｒ＋，Ｒ－｝ペアと一緒に設定された抵抗は、ある程度の抵抗器誤差ｒ＿ｅｒｒを有する必要とされる重み範囲［－ｗｌｉｍ；ｗｌｉｍ］を超える値関数を有する。いくつかの実装態様では、抵抗器セットの値関数は、以下のように計算される。
●可能な重みオプションアレイは、抵抗器誤差に依存する重み平均誤差と一緒に計算される。
●アレイ内の重みオプションは、必要とされる重み範囲［－ｗｌｉｍ；ｗｌｉｍ］に制限され、
●重み誤差の点で隣接値よりも悪い値が削除され、
●隣接する値間の距離の配列が計算され、
●値関数は、距離配列の二乗平均または最大値の成分である。
いくつかの実装態様は、学習率値に基づいて抵抗器セット内の各抵抗器値を連続的に調整することによって、最適な抵抗器セットを反復的に探索する。いくつかの実装態様では、学習率は、経時的に変化する。いくつかの実装態様では、初期抵抗器セットは、均一（例えば、［１；１；．．．；１］）として選定され、最小抵抗器値および最大抵抗器値は、２桁の大きさの範囲（例えば、［１；１００］または［０．１；１０］）内にあるように選定される。いくつかの実装態様は、Ｒ＋＝Ｒ－を選択する。いくつかの実装態様では、反復プロセスは、極小値に収束する。１つの場合では、プロセスは、以下のセット、すなわち、［０．１７、１．０３６、０．２３８、０．２１、０．３６２、１．４７３、０．８５８、０．６９、５．１３８、１．２１５、２．０８３、０．２７５］をもたらした。これは、ｒｍｉｎ＝０．１（最小抵抗）、ｒｍａｘ＝１０（最大抵抗）、およびｒ＿ｅｒｒ＝０．００１（抵抗の推定誤差）を有する重み範囲［－２；２］に対する１２個の抵抗の局所最適抵抗セットである。いくつかの実装態様は、優れた局所最適値を見つけるために、利用可能な範囲全体［ｒｍｉｎ；ｒｍａｘ］を使用しない。利用可能な範囲の一部（例えば、この場合、［０．１７；５．１３］）のみが、使用される。抵抗器の設定値は相対的であり、絶対ではない。この場合、抵抗器セットには、３０の相対値範囲で十分である。
一例では、長さ２０の以下の抵抗器セット、すなわち、［０．３００、０．４６１、０．５１９、０．５６６、０．６４８、０．６５５、０．６８９、０．９９６、１．００６、１．０４８、１．１８６、１．２２２、１．２６１、１．４３５、１．４８８、１．５２４、１．５８４、１．７６３、１．８９６、２．０２］が、上記のパラメータについて取得される。この例では、値１．７６３はまた、Ｒ－＝Ｒ＋値である。続いて、このセットを使用して、ＮＮの重みを生成し、対応するモデルＳを生成する。モデルＳの平均二乗出力誤差は、相対抵抗誤差がゼロに近いことを考慮して１１ｍＶであったので、２０個の抵抗のセットは、必要とされるよりも多い。入力データのセットにわたる最大誤差は、３３ｍＶであると計算された。一例では、２５６レベルを有するＳ、ＤＡＣ、およびＡＤＣコンバータを別個のモデルとして分析し、結果は、１４ｍＶの平均二乗出力誤差、および４９ｍＶの最大出力誤差を示した。ＮＮ上の４５ｍＶの出力誤差は、１％の相対認識誤差に相当する。４５ｍＶの出力誤差値はまた、許容可能である０．０１の相対重み誤差または０．０１の絶対重み誤差に相当する。ＮＮ内の最大重みモジュラスは、１．９４である。このようにして、最適（または準最適）抵抗器セットは、反復プロセスを使用して、所望の重み範囲［－ｗｌｉｍ；ｗｌｉｍ］、抵抗器誤差（相対）、および可能な抵抗器範囲に基づいて決定される。
典型的には、非常に広い抵抗セットは、異なる層または重みスペクトル部分内で異なる精度が必要とされない限り、あまり有益ではない（例えば、１～１／５桁の大きさで十分である）。例えば、重みが［０，１］の範囲にあるが、重みのほとんどが［０，０．００１］の範囲にあるものとすると、その範囲内でより良い精度が必要である。上述した例では、相対抵抗誤差がゼロに近いことを考慮すると、２０個の抵抗のセットは、所与の精度でＮＮネットワークを量子化するのに十分過ぎる。一例では、抵抗のセット［０．３００、０．４６１、０．５１９、０．５６６、０．６４８、０．６５５、０．６８９、０．９９６、１．００６、１．０４８、１．１８６、１．２２２、１．２６１、１．４３５、１．４８８、１．５２４、１．５８４、１．７６３、１．８９６、２．０２］（記載値は相対的）で、１１ｍＶの平均Ｓ出力誤差が、取得された。
抵抗値の量子化のための例示的なプロセス
いくつかの実装態様では、本明細書に記載される例示的な計算は、変換されたニューラルネットワークの接続の重み２７２、および／または重み２７２の対応する抵抗値２４２を計算する重み行列計算または重み量子化モジュール２３８によって（例えば、抵抗計算モジュール２４０を使用して）実行される。
このセクションは、いくつかの実装態様による、訓練されたニューラルネットワークの重みに対応する抵抗値を量子化するための例示的なプロセスについて記載する。例示的なプロセスは、ニューラルネットワークを実現するためのアナログハードウェアコンポーネントを使用してチップを製造するプロセスを実質的に簡素化する。上述したように、いくつかの実装態様は、抵抗器を使用して、アナログニューロンを表す演算増幅器のニューラルネットワーク重みおよび／またはバイアスを表す。ここで記載される例示的なプロセスは、具体的には、チップのための抵抗器のセットをリソグラフィ加工する際の複雑さを低減する。抵抗値を量子化する手順では、チップ製造に抵抗の選択値のみが必要である。このようにして、例示的なプロセスは、チップ製造の全体的なプロセスを簡素化し、オンデマンドの自動抵抗器リソグラフィマスク製造を可能にする。
図１８は、いくつかの実装態様による、抵抗器の量子化に使用されるニューロンモデル１８００の例示的なスキームを提供する。いくつかの実装態様では、回路は、負の重み固定抵抗器（Ｒ１－１８０４、Ｒ２－１８０６、Ｒｂ－バイアス１８１６、Ｒｎ－１８１８、およびＲ－１８１２）、ならびに正の重み固定抵抗器（Ｒ１＋１８０８、Ｒ２＋１８１０、Ｒｂ＋バイアス１８２０、Ｒｎ＋１８２２）、およびＲ＋１８１４）から入力信号を受信する演算増幅器１８２４（例えば、ＡＤ８２４シリーズ高精度増幅器）に基づいている。正の重み電圧は、演算増幅器１８２４の直接入力に供給され、負の重み電圧は、演算増幅器１８２４の反転入力に供給される。演算増幅器１８２４を使用して、各抵抗器からの加重出力の加重和演算を可能にし、この場合に、負の重みは、正の重みから減算される。演算増幅器１８２４はまた、回路動作に必要な程度まで信号を増幅する。いくつかの実装態様では、演算増幅器１８２４はまた、演算増幅器１８２４の出力カスケードにおいて出力信号のＲＥＬＵ変換を遂行する。
次の式は、抵抗器値に基づいて重みを決定する。
●ニューロンの出力における電圧は、以下の式によって決定される。

●各接続の重みは、次の式によって決定される。
次の例示的な最適化手順は、いくつかの実装態様に従って、各抵抗の値を量子化し、ニューラルネットワーク出力の誤差を最小化する。
１．接続の重みおよびバイアスのセット｛ｗ１，．．．，ｗｎ，ｂ｝を取得する。
２．可能な最小抵抗器値および最大抵抗器値｛Ｒｍｉｎ，Ｒｍａｘ｝を取得する。これらのパラメータは、製造に使用される技術に基づいて決定される。いくつかの実装態様は、ＴａＮまたはテルル高抵抗材料を使用する。いくつかの実装態様では、抵抗器の最小値は、リソグラフィによって形成され得る最小二乗によって決定される。最大値は、抵抗器（例えば、ＴａＮまたはテルルから作られた抵抗器）が所望の領域に適合するように許容可能な長さによって決定され、当該所望の領域は、リソグラフィマスク上の演算増幅器区画の領域によって決定される。いくつかの実装態様では、抵抗器のアレイがスタックされることから（例えば、ＢＥＯＬ内の１つ、ＦＥＯＬ内の別の１つ）、抵抗器のアレイの領域は、１つの演算増幅器の領域よりも小さい。
３．各抵抗器がｒ＿ｅｒｒの相対許容差値を有すると仮定する。
４．目標は、｛ｗ１，．．．，ｗｎ，ｂ｝値に基づいて、定義された［Ｒｍｉｎ；Ｒｍａｘ］内の所与の長さＮの抵抗値｛Ｒ１，．．．，Ｒｎ｝のセットを選択することである。特定の最適性基準に基づいて設定された準最適な｛Ｒ１，．．．，Ｒｎ｝を見つけるための例示的な探索アルゴリズムが、以下に提供される。
５．別のアルゴリズムは、｛Ｒ１．．Ｒｎ｝が決定された場合、｛Ｒｎ，Ｒｐ，Ｒｎｉ，Ｒｐｉ｝をネットワークに選定する。
例示的な｛Ｒ１，．．．，Ｒｎ｝探索アルゴリズム
いくつかの実装態様は、抵抗器セット探索のための反復アプローチを使用する。いくつかの実装態様は、定義された範囲内の初期（ランダムまたは均一な）セット｛Ｒ１，．．．，Ｒｎ｝を選択する。いくつかの実装態様は、抵抗器セットの素子のうちの１つをＲ－＝Ｒ＋値として選択する。いくつかの実装態様は、現在の学習率値によってセット内の各抵抗器を変更し、そのような変更が（値関数に従って）「より良い」セットを生成するまで変更する。このプロセスは、さらなる改善が可能でなくなるまで、セット内のすべての抵抗器について、いくつかの異なる学習率値で繰り返される。
いくつかの実装態様は、抵抗器セットの値関数を以下のように定義する。
●可能な重みオプションは、（上述した）式に従って計算される。

●各重みオプションの予想誤差値は、ＩＣ製造技術によって決定された潜在的な抵抗相対誤差ｒ＿ｅｒｒに基づいて推定される。
●重みオプションリストは、［－ｗｌｉｍ；ｗｌｉｍ］範囲に限定または制限される
●高い閾値（例えば、ｒ＿ｅｒｒの１０倍）を超える予想誤差を有するいくつかの値が除去される。
●値関数は、隣接する２つの重みオプション間の距離の二乗平均として計算される。そのため、重みオプションが［－ｗｌｉｍ；ｗｌｉｍ］範囲内で均一に分布している場合、値関数は最小である。
モデルの必要とされる重み範囲［－ｗｌｉｍ；ｗｌｉｍ］が［－５；５］に設定され、その他のパラメータがＮ＝２０、ｒ＿ｅｒｒ＝０．１％、ｒｍｉｎ＝１００ＫΩ、ｒｍａｘ＝５ＭΩを含むものとする。ここで、ｒｍｉｎおよびｒｍａｘは、それぞれ抵抗の最小値および最大値である。
一例では、長さ２０の以下の抵抗器セット、すなわち、［０．３００、０．４６１、０．５１９、０．５６６、０．６４８、０．６５５、０．６８９、０．９９６、１．００６、１．０４８、１．１８６、１．２２２、１．２６１、１．４３５、１．４８８、１．５２４、１．５８４、１．７６３、１．８９６、２．０２］ＭΩが、上述のパラメータについて取得された。Ｒ－＝Ｒ＋＝１．７６３ＭΩ。
例示的な｛Ｒｎ，Ｒｐ，Ｒｎｉ，Ｒｐｉ｝探索アルゴリズム
いくつかの実装態様は、上述したアルゴリズムなどの反復アルゴリズムを使用してＲｎおよびＲｐを決定する。いくつかの実装態様は、Ｒｐ＝Ｒｎを設定する（ＲｎおよびＲｐを決定するためのタスクは、対称であり、２つの量は、典型的には、類似の値に収束する）。次いで、重みｗｉごとに、いくつかの実装態様は、推定重み誤差値を最小化する抵抗のペア｛Ｒｎｉ、Ｒｐｉ｝を選択する。
いくつかの実装態様は、次いで、ニューラルネットワーク模式図を実装するために設定された｛Ｒｎｉ；Ｒｐｉ；Ｒｎ；Ｒｐ｝値を使用する。一例では、模式図は、いくつかの実装態様に従って、１０，０００個の均一に分布した入力データサンプルのセットにわたって、１１ｍＶの平均二乗出力誤差（上述したＳ平均二乗出力誤差と呼ばれることがある）および３３ｍＶの最大誤差を生成した。一例では、Ｓモデルは、別個のモデルとして、２５６レベルを有するデジタル－アナログ変換器（ＤＡＣ）、アナログ－デジタル変換器（ＡＤＣ）とともに分析された。モデルは、いくつかの実装に従って、同じデータセットに対して１４ｍＶの平均二乗出力誤差および４９ｍＶの最大出力誤差を生成した。ＤＡＣおよびＡＤＣは、それらがアナログ値をビット値に変換し、またその逆に変換するため、レベルを有する。８ビットのデジタル値は、２５６レベルに等しい。８ビットＡＤＣについて、精度を１／２５６よりも良くすることはできない。
いくつかの実装態様は、Ｍａｔｈｃａｄまたは他の任意の同様のソフトウェアを使用して、キルヒホッフの回路法則および演算増幅器の基本原理（図１９Ａを参照して以下に記載する）に基づいて、接続の重みが既知であるときに、アナログＩＣチップの抵抗値を計算する。いくつかの実装態様では、演算増幅器は、信号の増幅および活性化関数（例えば、ＲｅＬＵ、シグモイド、正接双曲線、または線形数学方程式）による変換の両方のために使用される。
いくつかの実装態様は、リソグラフィ層に抵抗器を製造し、抵抗器は、ＳｉＯ２マトリクス内の円筒穴として形成され、抵抗値は、穴の直径によって設定される。いくつかの実装態様は、高密度抵抗器アレイを作るために、高抵抗材料として非晶質ＴａＮ、ＣｒＮのＴｉＮ、またはテルルを使用する。Ｔａ対Ｎ Ｔｉ対ＮおよびＣｒ対Ｎのいくつかの比は、超高密度高抵抗率素子アレイを作るための高抵抗を提供する。例えば、ＴａＮ、Ｔａ５Ｎ６、Ｔａ３Ｎ５については、Ｔａに対するＮの比が高いほど、抵抗率が高い。いくつかの実装態様は、Ｔｉ２Ｎ、ＴｉＮ、ＣｒＮ、またはＣｒ５Ｎを使用し、それに応じて比率を決定する。ＴａＮ堆積は、チップ製造で使用される標準的な手順であり、すべての主要なファウンドリで利用可能である。
例示的な演算増幅器
図１９Ａは、いくつかの実装態様による、ＣＭＯＳ（ＣＭＯＳオペアンプ）１９００で作られた演算増幅器の概略図を示す。図１９Ａでは、Ｉｎ＋（正入力またはｐｏｓ）１４０４、およびＩｎ－（負入力またはｎｅｇ）１４０６、およびＶｄｄ－（ＧＮＤに対する正電源電圧）１４０２は、接点入力である。接点Ｖｓｓ－（負電源電圧またはＧＮＤ）は、ラベル１４０８によって示されている。回路出力は、Ｏｕｔ １４１０（接点出力）である。ＣＭＯＳトランジスタのパラメータは、幾何学的寸法の比、すなわち、Ｌ（ゲートチャネルの長さ）対Ｗ（ゲートチャネルの幅）によって決定され、その例が、図１９Ｂ（以下に記載される）に示される表に示されている。電流ミラーは、ＮＭＯＳトランジスタＭ１１ １９４４、Ｍ１２ １９４６、および抵抗器Ｒ１ １９２１（１２ｋΩの例示的な抵抗値）で作られており、差動対（Ｍ１ １９２６およびＭ３ １９３０）のオフセット電流を提供する。差動増幅段（差動対）は、ＮＭＯＳトランジスタＭ１ １９２６およびＭ３ １９３０で作られている。トランジスタＭ１、Ｍ３は増幅用であり、ＰＭＯＳトランジスタＭ２ １９２８、Ｍ４ １９３２は、能動電流負荷の役割を果たす。Ｍ３トランジスタから、信号は、出力ＰＭＯＳトランジスタＭ７ １９３６のゲートに入力される。トランジスタＭ１から、信号は、ＰＭＯＳトランジスタＭ５（インバータ） １９３４、およびＮＭＯＳトランジスタＭ６ １９３４に対する能動負荷に入力される。トランジスタＭ５ １９３４を通って流れる電流は、ＮＭＯＳトランジスタＭ８ １９３８に対する設定である。トランジスタＭ７ １９３６は、正の半波信号に対するコモンソースを有するスキームに含まれる。Ｍ８トランジスタ１９３８は、負の半波信号のためのコモンソース回路によって可能にされる。演算増幅器の全体的な負荷容量を増加させるために、Ｍ７ １９３６およびＭ８ １９３８の出力は、Ｍ９ １９４０およびＭ１０ １９４２のトランジスタによるインバータを含む。キャパシタＣ１ １９１２およびＣ２ １９１４は、ブロッキング用である。
図１９Ｂは、いくつかの実装態様による、図１９Ａに示される例示的な回路の説明の表１９４８を示す。パラメータの値は、例として提供され、様々な他の構成が可能である。トランジスタＭ１、Ｍ３、Ｍ６、Ｍ８、Ｍ１０、Ｍ１１、およびＭ１２は、明示的な基板接続を有するＮチャネルＭＯＳＦＥＴトランジスタである。他のトランジスタＭ２、Ｍ４、Ｍ５、Ｍ７、およびＭ９は、明示的な基板接続を有するＰチャネルＭＯＳＦＥＴトランジスタである。表は、トランジスタ（列３）の各々に与えられる、長さ（Ｌ、列１）と幅（Ｗ、列２）の例示的なシャッター比を示す。
いくつかの実装態様では、上述した例のような演算増幅器は、ニューラルネットワークのハードウェア実現のための集積回路の基本素子として使用される。いくつかの実装態様では、演算増幅器は、４０平方ミクロンのサイズであり、４５ｎｍノード標準に従って作製される。
いくつかの実装態様では、ＲｅＬＵ、双曲線正接、およびシグモイド関数などの活性化関数は、修正された出力カスケードを有する演算増幅器によって表される。例えば、ＲＥＬＵ、シグモイド、または正接関数は、いくつかの実装態様に従って、対応する周知のアナログ模式図を使用して、演算増幅器（オペアンプと呼ばれることがある）の出力カスケードとして実現される。
上記および下記に記載される例では、いくつかの実装態様では、演算増幅器は、インバータ、電流ミラー、２象限または４象限乗算器、および／または他のアナログ関数ブロックによって置き換えられ、加重和演算を可能にする。
ＬＳＴＭブロックの例示的なスキーム
図２０Ａ～２０Ｅは、いくつかの実装態様による、ＬＳＴＭニューロン２００００の概略図を示す。ニューロンの入力は、範囲［－０．１，０．１］にある値であるＶｉｎ１ ２０００２およびＶｉｎ２ ２０００４である。ＬＳＴＭニューロンはまた、時間Ｈ（ｔ－１）でニューロンを計算した結果の値（前の値；ＬＳＴニューロンについては上記の説明を参照）２０００６、および時間Ｃ（ｔ－１）でのニューロンの状態ベクトル（前の値）２０００８を入力する。ニューロンＬＳＴＭの出力（図２０Ｂに示される）は、現時点のＨ（ｔ）２０１１８におけるニューロンと、現時点のＣ（ｔ）２０１２０におけるニューロンの状態ベクトルと、を計算した結果を含む。スキームには、以下が含まれる。
●図２０Ａに示される、演算増幅器Ｕ１ ２００９４およびＵ２ ２０１００で組み立てられた「ニューロンＯ」。抵抗器Ｒ＿Ｗｏ１ ２００１８、Ｒ＿Ｗｏ２ ２００１６、Ｒ＿Ｗｏ３ ２００１２、Ｒ＿Ｗｏ４ ２００１０、Ｒ＿Ｕｏｐ１ ２００１４、Ｒ＿Ｕｏｍ１ ２００２０、Ｒｒ ２００６８、およびＲｆ２ ２００６６は、単一の「ニューロンＯ」の接続の重みを設定する。「ニューロンＯ」は、非線形関数としてシグモイド（モジュールＸ１ ２００７８、図２０Ｂ）を使用する。
●演算増幅器Ｕ３ ２００９８（図２０Ｃに示される）およびＵ４ ２０１００（図２０Ａに示される）で組み立てられた「ニューロンＣ」。抵抗器Ｒ＿Ｗｃ１ ２００３０、Ｒ＿Ｗｃ２ ２００２８、Ｒ＿Ｗｃ３ ２００２４、Ｒ＿Ｗｃ４ ２００２２、Ｒ＿Ｕｃｐ１ ２００２６、Ｒ＿Ｕｃｍ１ ２００３２、Ｒｒ ２０１２２、およびＲｆ２ ２０１２０は、「ニューロンС」の接続の重みを設定する。「ニューロンＣ」は、非線形関数として双曲線正接（モジュールＸ２ ２２０８０、図２Ｂ）を使用する。
●図２０Ｃに示される、演算増幅器Ｕ５ ２０１０２およびＵ６ ２０１０４で組み立てられた「ニューロンＩ」。抵抗器Ｒ＿Ｗｉ１ ２００４２、Ｒ＿Ｗｉ２ ２００４０、Ｒ＿Ｗｉ３ ２００３６、およびＲ＿Ｗｉ４ ２００３４、Ｒ＿Ｕｉｐ１ ２００３８、Ｒ＿Ｕｉｍ１ ２００４４、Ｒｒ ２０１２４、およびＲｆ２ ２０１２６は、「ニューロンＩ」の接続の重みを設定する。「ニューロンＩ」は、非線形関数としてシグモイド（モジュールＸ３ ２００８２）を使用する。
●図２０Ｄに示される、演算増幅器Ｕ７ ２０１０６およびＵ８ ２０１０８で組み立てられた「ニューロンｆ」抵抗器Ｒ＿Ｗｆ１ ２００５４、Ｒ＿Ｗｆ２ ２００５２、Ｒ＿Ｗｆ３ ２００４８、Ｒ＿Ｗｆ４ ２００４６、Ｒ＿Ｕｆｐ１ ２００５０、Ｒ＿Ｕｆｍ１ ２００５６、Ｒｒ ２０１２８、およびＲｆ２ ２０１３０は、「ニューロンｆ」の接続の重みを設定する。「ニューロンｆ」は、非線形関数としてシグモイド（モジュールＸ４ ２００８４）を使用する。
モジュールＸ２ ２００８０（図２０Ｂ）およびＸ３ ２００８２（図２０Ｃ）の出力は、Ｘ５乗算器モジュール２００８６（図２０Ｂ）に入力される。モジュールＸ４ ２００８４（図２０Ｄ）およびＵ９ ２００１０へのバッファの出力は、乗算モジュールＸ６ ２００８８に入力される。モジュールＸ５ ２００８６およびＸ６ ２００８８の出力は、加算器（Ｕ１０ ２０１１２）に入力される。分割器１０は、抵抗器Ｒ１ ２００７０、Ｒ２ ２００７２、およびＲ３ ２００７４で組み立てられている。双曲線正接（モジュールＸ７ ２００９０、図２０Ｂ）の非線形関数は、除数信号の放出で取得される。出力Ｃ（ｔ）２０１２０（ＬＳＴＭニューロンの現在の状態ベクトル）は、Ｕ１１ ２０１１４出力信号に対するバッファインバータで取得される。モジュールＸ１ ２００７８およびＸ７ ２００９０の出力は、乗算器（モジュールＸ８ ２００９２）に入力され、その出力は、Ｕ１２ ２０１１６に対する１０分割器に入力される。現時点のＨ（ｔ）２０１１８におけるＬＳＴＭニューロンを計算した結果は、Ｕ１２ ２０１１６の出力信号から取得される。
図２０Ｅは、いくつかの実装態様による、図２０Ａ～２０Ｄに示される回路の異なる構成可能なパラメータ（例えば、電圧）の例示的な値を示す。いくつかの実装態様に従って、Ｖｄｄ ２００５８は、＋１．５Ｖに設定され、Ｖｓｓ ２００６４は、－１．５Ｖに設定され、Ｖｄｄ１ ２００６０は、＋１．８Ｖに設定され、Ｖｓｓ１ ２００６２は、－１．０Ｖに設定され、ＧＮＤ ２０１１８は、ＧＮＤに設定される。
図２０Ｆは、いくつかの実装態様による、図２０Ａ～２０Ｄに示される例示的な回路の説明の表２０１３２を示す。パラメータの値は、例として提供され、様々な他の構成が可能である。トランジスタＵ１～Ｕ１２は、ＣＭＯＳオペアンプである（図１９Ａおよび図１９Ｂを参照して上述した）。Ｘ１、Ｘ３、Ｘ４は、シグモイド関数を実行するモジュールである。Ｘ２およびＸ７は、双曲線正接関数を実行するモジュールである。Ｘ５およびＸ８は、乗算関数を実行するモジュールである。抵抗器定格の例としては、Ｒｗ＝１０ｋΩ、およびＲｒ＝１．２５ｋΩが挙げられる。その他の抵抗器は、Ｒｗとの比較で表される。例えば、Ｒｆ２＝１２×Ｒｗ、Ｒ＿Ｗｏ４＝５×Ｒｗ、Ｒ＿Ｗｏ３＝８×Ｒｗ、Ｒ＿Ｕｏｐ１＝２．６×Ｒｗ、Ｒ＿Ｗｏ２＝１２×Ｒｗ、Ｒ＿Ｗ１＝ｗ×Ｒｗ、およびＲ＿Ｕｏｍ１＝２．３×Ｒｗ、Ｒ＿Ｗｃ４＝４×Ｒｗ、Ｒ＿Ｗｃ３＝５．４５×Ｒｗ、Ｒ＿Ｕｃｐ１＝３×Ｒｗ、Ｒ＿Ｗｃ２＝１２×Ｒｗ、Ｒ＿Ｗｃ１＝２．７２×Ｒｗ、Ｒ＿Ｕｃｍ１＝３．７×Ｒｗ、Ｒ＿Ｗｉ４＝４．８×Ｒｗ、Ｗ＿Ｗｉ３＝６×Ｒｗ、Ｗ＿Ｕｉｐ１＝２×Ｒｗ、Ｒ＿Ｗｉ２＝１２×Ｒｗ、Ｒ＿Ｗｉ１＝３×Ｒｗ、Ｒ＿Ｕｉｍ１＝２．３×Ｒｗ、Ｒ＿Ｗｆ４＝２．２×Ｒｗ、Ｒ＿Ｗｆ３＝５×Ｒｗ、Ｒ＿Ｗｆｐ＝４×Ｒｗ、Ｒ＿Ｗｆ２＝２×Ｒｗ、Ｒ＿Ｗｆ１＝５．７×Ｒｗ、およびＲｆｍ１＝４．２×Ｒｗである。
乗算器ブロックの例示的なスキーム
図２１Ａ～２１Ｉは、いくつかの実装態様による、乗算器ブロック２１０００の概略図を示す。ニューロン２１０００は、演算増幅器Ｕ１ ２１０４０およびＵ２ ２１０４２（図２１Ｂに示される）、Ｕ３ ２１０４４（図２１Ｈに示される）、およびＵ４ ２１０４６およびＵ５ ２１０４８（図２１Ｉに示される）、ならびにＣＭＯＳトランジスタＭ１ ２１０５２～Ｍ６８ ２１１８２を使用して組み立てられた、４象限乗算器の原理に基づいている。乗算器の入力は、Ｖ＿ｏｎｅ ２１０２０ ２１００６およびＶ＿ｔｗｏ ２１００８（図２１Ｂに示される）、ならびに接点Ｖｄｄ（正電源電圧、例えば、ＧＮＤに対して＋１．５Ｖ）２１００４および接点Ｖｓｓ（負電源電圧、例えば、ＧＮＤに対して－１．５Ｖ）２１００２を含む。このスキームでは、追加の電源電圧、すなわち、接点入力Ｖｄｄ１（正電源電圧、例えば、ＧＮＤに対して＋１．８Ｖ）、接点Ｖｓｓ１（負電源電圧、例えば、ＧＮＤに対して‐１．０Ｖ）が使用される。回路計算の結果は、ｍｕｌｔ＿ｏｕｔ（出力ピン）２１１７０（図２１Ｉに示される）に出力される。
図２１Ｂを参照すると、Ｖ＿ｏｎｅ ２１００６からの入力信号（Ｖ＿ｏｎｅ）は、Ｕ１ ２１０４０で１の利得を生じるインバータに接続されており、その出力は、振幅が等しいが信号Ｖ＿ｏｎｅと反対符号の信号ｎｅｇＡ ２１００６を形成する。同様に、入力Ｖ＿ｔｗｏ ２１００８からの信号（Ｖ＿ｔｗｏ）は、Ｕ２ ２１０４２で１の利得を生じるインバータに接続されており、その出力は、振幅が等しいが信号Ｖ＿ｔｗｏと反対符号の信号ｎｅｇＢ ２１０１２を形成する。可能な組み合わせ（Ｖ＿ｏｎｅ、Ｖ＿ｔｗｏ、ｎｅｇＡ、ｎｅｇＢ）からの信号のペアになる組み合わせは、ＣＭＯＳトランジスタによる対応するミキサに出力される。
図２１Ａを再び参照すると、Ｖ＿ｔｗｏ ２１００８およびｎｅｇＡ ２１０１０は、ＮＭＯＳトランジスタＭ１９ ２１０８６、Ｍ２０ ２１０８８、Ｍ２１ ２１０９０、Ｍ２２ ２１０９２、およびＰＭＯＳトランジスタＭ２３ ２１０９４およびＭ２４ ２１０９６で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、ＮＭＯＳトランジスタＭ６ ２１０６０（図２１Ｄ）に入力される。
信号で発生する同様の変換としては、以下が挙げられる。
●ｎｅｇＢ ２１０１２およびＶ＿ｏｎｅ ２１０２０は、ＮＭＯＳトランジスタＭ１１ ２１０７０、Ｍ１２ ２０７２、Ｍ１３ ２０７４、Ｍ１４ ２１０７６、およびＰＭＯＳトランジスタＭ１５ ２０７８およびＭ１６ ２１０８０で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ５ ２１０５８ ＮＭＯＳトランジスタ（図２１Ｄに示される）に入力される。
●Ｖ＿ｏｎｅ ２１０２０およびｎｅｇＢ ２１０１２は、ＰＭＯＳトランジスタＭ１８ ２１０８４、Ｍ４８ ２１１４４、Ｍ４９ ２１１４６、およびＭ５０ ２１１４８、およびＮＭＯＳトランジスタＭ１７ ２１０８２、Ｍ４７ ２１１４２で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ９ ＰＭＯＳトランジスタ２１０６６（図２１Ｄに示される）に入力され、
●ｎｅｇＡ ２１０１０およびＶ＿ｔｗｏ ２１００８は、ＰＭＯＳトランジスタＭ５２ ２１１５２、Ｍ５４ ２１１５６、Ｍ５５ ２１１５８、およびＭ５６ ２１１６０、ならびにＮＭＯＳトランジスタＭ５１ ２１１５０、およびＭ５３ ２１１５４で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ２ ＮＭＯＳトランジスタ２１０５４（図２１Ｃに示される）に入力される。
●ｎｅｇＢ ２１０１２およびＶ＿ｏｎｅ ２１０２０は、ＮＭＯＳトランジスタＭ１１ ２１０７０、Ｍ１２ ２１０７２、Ｍ１３ ２１０７４、およびＭ１４ ２１０７６、ならびにＰＭＯＳトランジスタＭ１５ ２１０７８、およびＭ１６ ２１０８０で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ１０ ＮＭＯＳトランジスタ２１０６８（図２１Ｄに示される）に入力される。
●ｎｅｇＢ ２１０１２およびｎｅｇＡ ２１０１０は、ＮＭＯＳトランジスタＭ３５ ２１１１８、Ｍ３６ ２１１２０、Ｍ３７ ２１１２２、およびＭ３８ ２１１２４、ならびにＰＭＯＳトランジスタＭ３９ ２１１２６、およびＭ４０ ２１１２８で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ２７ ＰＭＯＳトランジスタ２１１０２（図２１Ｈに示される）に入力される。
●Ｖ＿ｔｗｏ ２１００８およびＶ＿ｏｎｅ ２１０２０は、ＮＭＯＳトランジスタＭ４１ ２１１３０、Ｍ４２ ２１１３２、Ｍ４３ ２１１３４、およびＭ４４ ２１１３６、ならびにＰＭＯＳトランジスタＭ４５ ２１１３８、およびＭ４６ ２１１４０で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ３０ ＮＭＯＳトランジスタ２１１０８（図２１Ｈに示される）に入力される。
●Ｖ＿ｏｎｅ ２１０２０およびＶ＿ｔｗｏ ２１００８は、ＰＭＯＳトランジスタＭ５８ ２１１６２、Ｍ６０ ２１１６６、Ｍ６１ ２１１６８、およびＭ６２ ２１１７０、ならびにＮＭＯＳトランジスタＭ５７ ２１１６０、およびＭ５９ ２１１６４で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、Ｍ３４ ＰＭＯＳトランジスタ２１１１６（図２１Ｈに示される）に入力される。
●ｎｅｇＡ ２１０１０およびｎｅｇＢ ２１０１２は、ＰＭＯＳトランジスタＭ６４ ２１１７４、Ｍ６６ ２１１７８、Ｍ６７ ２１１８０、およびＭ６８ ２１１８２、ならびにＮＭＯＳトランジスタＭ６３ ２１１７２、およびＭ６５ ２１１７６で組み立てられたマルチプレクサに入力される。このマルチプレクサの出力は、ＰＭＯＳトランジスタＭ３３ ２１１１４（図２１Ｈに示される）に入力される。
電流ミラー（トランジスタＭ１ ２１０５２、Ｍ２ ２１０５３、Ｍ３ ２１０５４、およびＭ４ ２１０５６）は、トランジスタＭ５ ２１０５８、Ｍ６ ２１０６０、Ｍ７ ２１０６２、Ｍ８ ２１０６４、Ｍ９ ２１０６６、およびＭ１０ ２１０６８で作られた、左に示される４象限乗算器の一部分に電力供給する。（トランジスタＭ２５ ２１０９８、Ｍ２６ ２１１００、Ｍ２７ ２１１０２、およびＭ２８ ２１１０４による）電流ミラーは、トランジスタＭ２９ ２１１０６、Ｍ３０ ２１１０８、Ｍ３１ ２１１１０、Ｍ３２ ２１１１２、Ｍ３３ ２１１１４、およびＭ３４ ２１１１６で作られた、４象限乗算器の右側部分の電源を供給する。乗算結果は、トランジスタＭ３ ２１０５４に並列に可能にされた抵抗器Ｒｏ ２１０２２、およびトランジスタＭ２８ ２１１０４に並列に可能にされた抵抗Ｒｏ ２１１８８から得られ、Ｕ３ ２１０４４による加算器に供給される。Ｕ３ ２１０４４の出力は、図２１Ｉに示されるように、Ｕ５ ２１０４８で組み立てられた、７，１の利得を有する加算器に供給され、その第２の入力は、抵抗Ｒ１ ２１０２４およびＲ２ ２１０２６ならびにバッファＵ４ ２１０４６によって設定された基準電圧によって補償される。乗算結果は、Ｕ５ ２１０４８の出力からＭｕｌｔ＿Ｏｕｔ出力２１１７０を介して出力される。
図２１Ｊは、いくつかの実装態様による、図２１Ａ～２１Ｉに示される模式図の説明の表２１１９８を示す。Ｕ１－Ｕ５は、ＣＭＯＳオペアンプである。明示的な基板接続を有するＮチャネルＭＯＳＦＥＴトランジスタとしては、トランジスタＭ１、Ｍ２、Ｍ２５、およびＭ２６（長さ（Ｌ）＝２．４ｕのシャッター比、および幅（Ｗ）＝１．２６ｕのシャッター比を有する）、トランジスタＭ５、Ｍ６、Ｍ２９、およびＭ３０（Ｌ＝０．３６ｕ、およびＷ＝７．２ｕを有する）、トランジスタＭ７、Ｍ８、Ｍ３１、およびＭ３２（Ｌ＝０．３６ｕ、およびＷ＝１９９．９８ｕを有する）、トランジスタＭ１１～Ｍ１４、Ｍ１９～Ｍ２２、Ｍ３５～Ｍ３８、およびＭ４１～Ｍ４４（Ｌ＝０．３６ｕ、およびＷ＝０．４ｕを有する）、ならびにトランジスタＭ１７、Ｍ４７、Ｍ５１、Ｍ５３、Ｍ５７、Ｍ５９、Ｍ４３、およびＭ６４（Ｌ＝０．３６ｕ、およびＷ＝０．７２ｕを有する）が挙げられる。明示的な基板接続を有するＰチャネルＭＯＳＦＥＴトランジスタとしては、トランジスタＭ３、Ｍ４、Ｍ２７、およびＭ２８（長さ（Ｌ）＝２．４ｕのシャッター比、および幅（Ｗ）＝１．２６ｕのシャッター比を有する）、トランジスタＭ９、Ｍ１０、Ｍ３３、およびＭ３４（Ｌ＝０．３６ｕ、およびＷ＝７．２ｕを有する）、トランジスタＭ１８、Ｍ４８、Ｍ４９、Ｍ５０、Ｍ５２、Ｍ５４、Ｍ５５、Ｍ５６、Ｍ５８、Ｍ６０、Ｍ６１、Ｍ６２、Ｍ６４、Ｍ６６、Ｍ６７、およびＭ６８（Ｌ＝０．３６ｕ、およびＷ＝０．８ｕを有する）、ならびにトランジスタＭ１５、Ｍ１６、Ｍ２３、Ｍ２４、Ｍ３９、Ｍ４０、Ｍ４５、およびＭ４６（Ｌ＝０．３６ｕ、およびＷ＝０．７２ｕを有する）が挙げられる。例示的な抵抗器定格としては、いくつかの実装態様に従って、Ｒｏ＝１ｋΩ、Ｒｉｎ＝１ｋΩ、Ｒｆ＝１ｋΩ、Ｒｃ４＝２ｋΩ、およびＲｃ５＝２ｋΩが挙げられる。
シグモイドブロックの例示的なスキーム
図２２Ａは、いくつかの実装態様による、シグモイドブロック２２００の概略図を示す。シグモイド関数（例えば、図２０Ａ～２０Ｆを参照して上述したモジュールＸ１ ２００７８、Ｘ３ ２００８２、およびＸ４ ２００８４）は、演算増幅器Ｕ１ ２２５０、Ｕ２ ２２５２、Ｕ３ ２２５４、Ｕ４ ２２５６、Ｕ５ ２２５８、Ｕ６ ２２６０、Ｕ７、２２６２、およびＵ８ ２２６４、ならびにＮＭＯＳトランジスタＭ１ ２２６６、Ｍ２ ２２６８、およびＭ３ ２２７０を使用して実装される。接点Ｓｉｇｍ＿ｉｎ ２２０６は、モジュール入力であり、接点入力Ｖｄｄ１ ２２２２は、ＧＮＤ２２０８に対して正電源電圧＋１．８Ｖであり、接点Ｖｓｓ１ ２２０４は、ＧＮＤに対して負電源電圧－１．０Ｖである。このスキームでは、Ｕ４ ２２５６は、－０．２３３２Ｖの基準電圧源を有し、電圧は、分割器Ｒ１０ ２２３０およびＲ１１ ２２３２によって設定される。Ｕ５ ２２５８は、０．４Ｖの基準電圧源を有し、電圧は、分割器Ｒ１２ ２２３４およびＲ１３ ２２３６によって設定される。Ｕ６ ２２６０は、０．３２６８７Ｖの基準電圧源を有し、電圧は、分割器Ｒ１４ ２２３８およびＲ１５ ２２４０によって設定される。Ｕ７ ２２６２は、－０．５Ｖの基準電圧源を有し、電圧は、分割器Ｒ１６ ２２４２およびＲ１７ ２２４４によって設定される。Ｕ８ ２２６４は、－０．３３Ｖの基準電圧源を有し、電圧は、分割器Ｒ１８ ２２４６およびＲ１９ ２２４８によって設定される。
シグモイド関数は、トランジスタＭ１ ２２６６およびＭ２ ２２６８で組み立てられた差動モジュールで、対応する基準電圧を加えることによって、形成される。差動段用の電流ミラーは、アクティブレギュレーション演算増幅器Ｕ３ ２２５４、およびＮＭＯＳトランジスタＭ３ ２２７０で組み立てられる。差動段からの信号は、ＮＭＯＳトランジスタＭ２および抵抗器Ｒ５ ２２２０で取り出され、加算器Ｕ２ ２２５２に入力される。出力信号ｓｉｇｍ＿ｏｕｔ ２２１０は、Ｕ２加算器２２５２出力から取り出される。
図２２Ｂは、いくつかの実装態様による、図２２Ａに示される概略図の説明の表２２７８を示す。Ｕ１～Ｕ８は、ＣＭＯＳオペアンプである。Ｍ１、Ｍ２、およびＭ３は、いくつかの実装態様による、長さ（Ｌ）＝０．１８ｕのシャッター比、および幅（Ｗ）＝０．９ｕのシャッター比を有するＮチャネルＭＯＳＦＥＴトランジスタである。
双曲線正接ブロックの例示的なスキーム
図２３Ａは、いくつかの実装態様による、双曲線正接関数ブロック２３００の概略図を示す。双曲線正接関数（例えば、図２０Ａ～２０Ｆを参照して上述したモジュールＸ２ ２００８０およびＸ７ ２００９０）は、演算増幅器（Ｕ１ ２３１２、Ｕ２ ２３１４、Ｕ３ ２３１６、Ｕ４ ２３１８、Ｕ５ ２３２０、Ｕ６ ２３２２、Ｕ７ ２３２８、およびＵ８ ２３３０）およびＮＭＯＳトランジスタ（Ｍ１ ２３３２、Ｍ２ ２３３４、およびＭ３ ２３３６）を使用して実装される。このスキームでは、接点ｔａｎｈ＿ｉｎ ２３０６は、モジュール入力であり、接点入力Ｖｄｄ１ ２３０４は、ＧＮＤ２３０８に対して正電源電圧＋１．８Ｖであり、接点Ｖｓｓ１ ２３０２は、ＧＮＤに対して負電源電圧－１．０Ｖである。さらに、このスキームでは、Ｕ４ ２３１８は、分割器Ｒ１０ ２３５６およびＲ１１ ２３５８によって設定された電圧である、－０．１Ｖの基準電圧源を有する。Ｕ５ ２３２０は、分割器Ｒ１２ ２３６０およびＲ１３ ２３６２によって設定された電圧である、１．２Ｖの基準電圧源を有する。Ｕ６ ２３２２は、分割器Ｒ１４ ２３６４およびＲ１５ ２３６６によって設定された電圧である、０．３２６８７Ｖの基準電圧源を有する。Ｕ７ ２３２８は、分割器Ｒ１６ ２３６８およびＲ１７ ２３７０によって設定された電圧である、－０．５Ｖの基準電圧源を有する。Ｕ８ ２３３０は、分割器Ｒ１８ ２３７２およびＲ１９ ２３７４によって設定された電圧である、－０．３３Ｖの基準電圧源を有する。双曲線正接関数は、トランジスタＭ１ ２３３２およびＭ２ ２３３４で作られた差動モジュールで、対応する基準電圧を追加することによって、形成される。差動段用の電流ミラーは、アクティブレギュレーション演算増幅器Ｕ３ ２３１６、およびＮＭＯＳトランジスタＭ３ ２３３６で取得される。ＮＭＯＳトランジスタＭ２ ２３３４および抵抗Ｒ５ ２３４６により、信号は、差動段から取り出され、加算器Ｕ２ ２３１４に入力される。出力信号ｔａｎｈ＿ｏｕｔ ２３１０は、Ｕ２加算器２３１４出力から取り出される。
図２３Ｂは、いくつかの実装態様による、図２３Ａに示される概略図の説明の表２３８２を示す。Ｕ１～Ｕ８は、ＣＭＯＳオペアンプであり、Ｍ１、Ｍ２、およびＭ３は、長さ（Ｌ）＝０．１８ｕのシャッター比、および幅（Ｗ）＝０．９ｕのシャッター比を有する、ＮチャンネルＭＯＳＦＥＴトランジスタである。
単一ニューロンＯＰ１ ＣＭＯＳオペアンプの例示的なスキーム
図２４Ａ～２４Ｃは、いくつかの実装態様による、単一ニューロンＯＰ１ ＣＭＯＳオペアンプ２４００の概略図を示す。実施例は、本明細書に記載されるＯＰ１スキームに従ってＣＭＯＳで作られた、演算増幅器による単一ニューロンのバリアントである。このスキームでは、接点Ｖ１ ２４１０およびＶ２ ２４０８は、単一のニューロンの入力であり、接点バイアス２４０６は、ＧＮＤに対して電圧＋０．４Ｖであり、接点入力Ｖｄｄ ２４０２は、ＧＮＤに対して正電源電圧＋５．０Ｖであり、接点Ｖｓｓ ２４０４は、ＧＮＤであり、接点Ｏｕｔ ２４７４は、単一ニューロンの出力である。ＣＭＯＳトランジスタのパラメータは、幾何学的寸法の比、すなわち、Ｌ（ゲートチャネルの長さ）、およびＷ（ゲートチャネルの幅）によって決定される。このオプアンプは、２つの電流ミラーを有する。ＮＭＯＳトランジスタＭ３ ２４２０、Ｍ６ ２４２６、およびＭ１３ ２４４０による電流ミラーは、ＮＭＯＳトランジスタＭ２ ２４１８およびＭ５ ２４２４による差動対のオフセット電流を提供する。ＰＭＯＳトランジスタＭ７ ２４２８、Ｍ８ ２４３０、およびＭ１５ ２４４４における電流ミラーは、ＰＭＯＳトランジスタＭ９ ２４３２およびＭ１０ ２４３４による差動対のオフセット電流を提供する。第１の差動増幅段では、ＮＭＯＳトランジスタＭ２ ２４１８およびＭ５ ２４２４は、増幅用であり、ＰＭＯＳトランジスタＭ１ ２４１６およびＭ４ ２４２２は、能動電流負荷の役割を果たす。Ｍ５ ２４２４トランジスタから、信号は、トランジスタＭ１３ ２４４０のＰＭＯＳゲートに出力される。Ｍ２ ２４１８トランジスタから、信号は、ＰＭＯＳトランジスタＭ９ ２４３２およびＭ１０ ２４３４による第２の差動増幅器段の右入力に出力される。ＮＭＯＳトランジスタＭ１１ ２４３６およびＭ１２ ２４３８は、Ｍ９ ２４３２およびＭ１０ ２４３４トランジスタの能動電流負荷の役割を果たす。Ｍ１７ ２４４８トランジスタは、信号の正の半波に対するコモンソースを有するスキームに従って、オンに切り替えられる。Ｍ１８ ２４５０トランジスタは、信号の負の半波に対するコモンソースを有するスキームに従って、オンに切り替えられる。ＯＰアンプの全体的な負荷容量を増加させるために、Ｍ１７ ２４４８およびＭ１８ ２４５０トランジスタによるインバータが、Ｍ１３ ２４４０およびＭ１４ ２４４２トランジスタの出力において可能にされる。
図２４Ｄは、いくつかの実装態様による、図２４Ａ～２４Ｃに示される概略図の説明の表２４７６を示す。単一ニューロン（２つの入力および１つの出力を有する）の接続の重みは、抵抗比：ｗ１＝（Ｒｐ／Ｒ１＋）－（Ｒｎ／Ｒ１－）；ｗ２＝（Ｒｐ／Ｒ２＋）－（Ｒｎ／Ｒ２－）；ｗ ｂｉａｓ＝（Ｒｐ／Ｒｂｉａｓ＋）－（Ｒｎ／Ｒｂｉａｓ－）によって設定される。正規化抵抗（Ｒｎｏｒｍ－およびＲｎｏｒｍ＋）は、正確な等式、すなわち、（Ｒｎ／Ｒ１－）＋（Ｒｎ／Ｒ２－）＋（Ｒｎ／Ｒｂｉａｓ－）＋（Ｒｎ／Ｒｎｏｒｍ－）＝（Ｒｐ／Ｒ１＋）＋（Ｒｐ／Ｒ２＋）＋（Ｒｐ／Ｒｂｉａｓ＋）＋（Ｒｐ／Ｒｎｏｒｍ＋）を取得するために必要である。明示的な基板接続を有するＮチャネルＭＯＳＦＥＴトランジスタとしては、Ｌ＝０．３６ｕおよびＷ＝３．６ｕを有するトランジスタＭ２およびＭ５、Ｌ＝０．３６ｕおよびＷ＝１．８ｕを有するトランジスタＭ３、Ｍ６、Ｍ１１、Ｍ１２、Ｍ１４およびＭ１６、ならびにＬ＝０．３６ｕおよびＷ＝１８ｕを有するトランジスタＭ１８が挙げられる。明示的な基板接続を有するＰチャネルＭＯＳＦＥＴトランジスタとしては、Ｌ＝０．３６ｕおよびＷ＝３．９６ｕを有するトランジスタＭ１、Ｍ４、Ｍ７、Ｍ８、Ｍ１３、およびＭ１５、Ｌ＝０．３６ｕおよびＷ＝１１．８８ｕを有するトランジスタＭ９およびＭ１０、ならびにＬ＝０．３６ｕおよびＷ＝３９．６ｕを有するトランジスタＭ１７が挙げられる。
単一ニューロンＯＰ３ ＣＭＯＳオペアンプの例示的なスキーム
図２５Ａ～２５Ｄは、いくつかの実装態様による、ＯＰ３スキームに従ってＣＭＯＳで作られた、演算増幅器による単一ニューロン２５０００のバリアントの概略図を示す。単一ニューロンは、いくつかの実装態様に従って、３つの単純な演算増幅器（オペアンプ）からなる。ユニットニューロン加算器は、バイポーラ電源を有する２つのオペアンプで実行され、ＲＥＬＵ活性化関数は、ユニポーラ電源を有しかつ１０の利得を有するオペアンプで実行される。トランジスタＭ１ ２５０２８～Ｍ１６ ２５０５８は、ニューロンの負接続の総和に使用される。トランジスタＭ１７ ２５０６０～Ｍ３２ ２５０９０は、ニューロンの正接続を追加するために使用される。ＲＥＬＵ活性化関数は、トランジスタＭ３３ ２５０９２～Ｍ４６ ２５１１８で実行される。スキームでは、接点Ｖ１ ２５００８およびＶ２ ２５０１０は、単一ニューロンの入力であり、接点バイアス２５００２は、ＧＮＤに対して電圧＋０．４Ｖであり、接点入力Ｖｄｄ ２５００４は、ＧＮＤに対して正電源電圧＋２．５Ｖであり、接点Ｖｓｓ ２５００６は、負電源電圧－２．５Ｖであり、接点Ｏｕｔ ２５１３４は、単一ニューロンの出力である。単一ニューロンで使用されるＣＭＯＳトランジスタのパラメータは、以下の幾何学的寸法、すなわち、Ｌ（ゲートチャネルの長さ）およびＷ（ゲートチャネルの幅）の比によって決定される。単一ニューロンに含まれる最も単純なオペアンプの演算を考える。各オペアンプは、２つの電流ミラーを有する。ＮＭＯＳトランジスタＭ３ ２５０３２（Ｍ１９ ２５０６４、Ｍ３５ ２５０９６）、Ｍ６ ２５０３８（Ｍ２２ ２５０７０、Ｍ３８ ２５１０２）およびＭ１６ ２５０５８（Ｍ３２ ２５０９０、Ｍ４８ ２５１２２）による電流ミラーは、ＮＭＯＳトランジスタＭ２ ２５０３０（Ｍ１８ ２５０６２、Ｍ３４ ２５０９４）およびＭ５ ２５０３６（Ｍ２１ ２５０６８、Ｍ３５ ２５０９６）による差動対のオフセット電流を提供する。ＰＭＯＳトランジスタＭ７ ２５０４０（Ｍ２３ ２５０７２、Ｍ３９ ２５１０４）、Ｍ８ ２５０４２（Ｍ２４ ２５０７４、Ｍ４０ ２５１０６）およびＭ１５ ２５０５６（Ｍ３１ ２５８８）の電流ミラーは、ＰＭＯＳトランジスタＭ９ ２５０４４（Ｍ２５ ２５０７６、Ｍ４１ ２５１０８）およびＭ１０ ２５０４６（Ｍ２６ ２５０７８、Ｍ４２ ２５１１０）による差動対のオフセット電流を提供する。第１の差動増幅段では、ＮＭＯＳトランジスタＭ２ ２５０３０（Ｍ１８ ２５０６２、Ｍ３４ ２５０９４）およびＭ５ ２５０３６（Ｍ２１ ２５０６８、Ｍ３７ ２５１００）は、増幅用であり、ＰＭＯＳトランジスタＭ１ ２５０２８（Ｍ１７ ２５０６０、Ｍ３３ ２５０９２）およびＭ４ ２５０３４（Ｍ２０ ２５０６６、Ｍ３６ ２５０９８）は、能動電流負荷の役割を果たす。トランジスタＭ５ ２５０３６（Ｍ２１ ２５０６８、Ｍ３７ ２５１００）から、信号は、トランジスタＭ１３ ２５０５２（Ｍ２９ ２５０８４、Ｍ４５ ２５１１６）のＰＭＯＳゲートに入力される。トランジスタＭ２ ２５０３０（Ｍ１８ ２５０６２、Ｍ３４ ２５０９４）から、信号は、ＰＭＯＳトランジスタＭ９ ２５０４４（Ｍ２５ ２５０７６、Ｍ４１ ２５１０８）およびＭ１０ ２５０４６（Ｍ２６ ２５０７８、Ｍ４２ ２５１１０）による第２の差動増幅器段の右入力に入力される。ＮＭＯＳトランジスタＭ１１ ２５０４８（Ｍ２７ ２５０８０、Ｍ４３ ２５１１２）およびＭ１２ ２５０４８（Ｍ２８ ２５０８０、Ｍ４４ ２５１１４）は、トランジスタＭ９ ２５０４４（Ｍ２５ ２５０７６、Ｍ４１ ２５１０８）およびＭ１０ ２５０４６（Ｍ２６ ２５０７８、Ｍ４２ ２５１１０）のア能動電流負荷の役割を果たす。トランジスタＭ１３ ２５０５２（Ｍ２９ ２５０８２、Ｍ４５ ２５１１６）は、正の半波信号に対するコモンソースを有するスキームに含まれる。トランジスタＭ１４ ２５０５４（Ｍ３０ ２５０８４、Ｍ４６ ２５１１８）は、信号の負の半波に対するコモンソースを有するスキームに従ってオンに切り替えられる。
単一ニューロン（２つの入力および１つの出力を有する）の接続の重みは、抵抗比：ｗ１＝（Ｒ フィードバック／Ｒ１＋）－（Ｒ フィードバック／Ｒ１－）；ｗ２＝（Ｒ フィードバック／Ｒ２＋）－（Ｒ フィードバック／Ｒ２－）；ｗｂｉａｓ＝（Ｒ フィードバック／Ｒｂｉａｓ＋）－（Ｒ フィードバック／Ｒｂｉａｓ－）；ｗ１＝（Ｒ ｐ＊Ｋ ａｍｐ／Ｒ１＋）－（Ｒ ｎ＊Ｋ ａｍｐ／Ｒ１－）；ｗ２＝（Ｒ ｐ＊Ｋ ａｍｐ／Ｒ２－）；ｗｂｉａｓ＝（Ｒ ｐ＊Ｋ ａｍｐ／Ｒｂｉａｓ＋）－（Ｒ ｎ＊Ｋ ａｍｐ／Ｒｂｉａｓ－）によって設定され、Ｋ ａｍｐ＝Ｒ１ＲｅＬＵ／Ｒ２ＲｅＬＵである。Ｒ フィードバック＝１００ｋ－ｗ１、ｗ２、ｗｂｉａｓを計算するためにのみ使用される。いくつかの実装態様によれば、例示的な値としては、Ｒ フィードバック＝１００ｋ、Ｒｎ＝Ｒｐ＝Ｒｃｏｍ＝１０ｋ、Ｋ ａｍｐ ＲｅＬＵ＝１＋９０ｋ／１０ｋ＝１０、ｗ１＝（１０ｋ＊１０／２２．１ｋ）－（１０ｋ＊１０／２１．５ｋ）＝－０．１２６２７６、ｗ２＝（１０ｋ＊１０／７５ｋ）－（１０ｋ＊１０／７１．５ｋ）＝－０．０６５２６８、ｗｂｉａｓ＝（１０ｋ＊１０／７１．５ｋ）－（１０ｋ＊１０／７８．７ｋ）＝０．１２７９５３が挙げられる。
ニューロンの負のリンク加算器（Ｍ１～Ｍ１７）の入力は、Ｒｃｏｍ抵抗器を通してニューロンの正のリンク加算器（Ｍ１７～Ｍ３２）から受信される。
図２５Ｅは、いくつかの実装態様による、図２５Ａ～２５Ｄに示される概略図の説明の表２５１３６を示す。明示的な基板接続を有するＮチャネルＭＯＳＦＥＴトランジスタとしては、Ｌ＝０．３６ｕおよびＷ＝３．６ｕを有するトランジスタＭ２、Ｍ５、Ｍ１８、Ｍ２１、Ｍ３４、およびＭ３７、Ｌ＝０．３６ｕおよびＷ＝１．８ｕを有するトランジスタＭ３、Ｍ６、Ｍ１１、Ｍ１２、Ｍ１４、Ｍ１６、Ｍ１９、Ｍ２２、Ｍ２７、Ｍ２８、Ｍ３２、Ｍ３８、Ｍ３５、Ｍ３８、Ｍ４３、Ｍ４４、Ｍ４６、およびＭ４８が挙げられる。明示的な基板接続を有するＰチャネルＭＯＳＦＥＴトランジスタとしては、Ｌ＝０．３６ｕおよびＷ＝３．９６ｕを有するトランジスタＭ１、Ｍ４、Ｍ７、Ｍ８、Ｍ１３、Ｍ１５、Ｍ１７、Ｍ２０、Ｍ２３、Ｍ２４、Ｍ２９、Ｍ３１、Ｍ３３、Ｍ３６、Ｍ３９、Ｍ４０、Ｍ４５、およびＭ４７、ならびにＬ＝０．３６ｕおよびＷ＝１１．８８ｕを有するトランジスタＭ９、Ｍ１０、Ｍ２５、Ｍ２６、Ｍ４１、およびＭ４２が挙げられる。
訓練されたニューラルネットワークのアナログハードウェア実現のための例示的な方法
図２７Ａ～２７Ｊは、いくつかの実装態様による、ニューラルネットワークのハードウェア実現（２７０２）のための方法２７００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２と、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶するメモリ２１４と、を有するコンピューティングデバイス２００で（例えば、ニューラルネットワーク変換モジュール２２６を使用して）実行される（２７０４）。方法は、訓練されたニューラルネットワーク（例えば、ネットワーク２２０）のニューラルネットワークトポロジ（例えば、トポロジ２２４）および重み（例えば、重み２２２）を取得すること（２７０６）を含む。いくつかの実装態様では、訓練されたニューラルネットワークは、重みを生成するために、ソフトウェアシミュレーションを使用して訓練されている（２７０８）。
方法はまた、ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換すること（２７１０）を含む。次に図２７Ｃを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、ニューロンの１つ以上の層を含む（２７２４）。それぞれの数学的関数に基づいてそれぞれの出力を計算するニューロンの各層。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することは、ニューロンの１つ以上の層の各層についての一連のステップを実行すること（２７２６）を含む。一連のステップは、それぞれの層について、それぞれの数学的関数に基づいて、１つ以上の関数ブロックを識別すること（２７２８）を含む。各関数ブロックは、それぞれの数学的関数の出力に適合するブロック出力を有するそれぞれの概略実装態様を有する。いくつかの実装態様では、１つ以上の関数ブロックを識別することは、それぞれの層のタイプに基づいて１つ以上の関数ブロックを選択すること（２７３０）を含む。例えば、層は、ニューロンからなることができ、層の出力は、その入力の線形な重ね合わせである。１つ以上の関数ブロックを選択することは、層の出力が線形な重ね合わせであるか、または同様のパターン識別である場合、層タイプのこの識別に基づく。いくつかの実装態様は、出力の数＞１かどうかを判定し、次いで、台形変換またはピラミッド変換のいずれかを使用する。
次に図２７Ｄを参照すると、いくつかの実装態様では、１つ以上の関数ブロックは、以下からなる群から選択される（２７３４）１つ以上の基底関数ブロック（例えば、基底関数ブロック２３２）を含む。（ｉ）ブロック出力

を有する加重和ブロック（２７３６）。ＲｅＬＵは、整流線形ユニット（ＲｅＬＵ）活性化関数または同様の活性化関数（例えば、閾値を有するＲｅＬＵ）であり、Ｖｉは、ｉ番目の入力を表し、ｗｉは、ｉ番目の入力に対応する重みを表し、バイアスは、バイアス値を表し、Σは、総和演算子であり、（ｉｉ）ブロック出力Ｖｏｕｔ＝ｃｏｅｆｆ．Ｖｉ．Ｖｊを有する信号乗算ブロック（２７３８）。Ｖｉは、ｉ番目の入力を表し、Ｖｊは、ｊ番目の入力を表し、ｃｏｅｆｆは、所定の係数であり、（ｉｉｉ）ブロック出力

を有するシグモイド活性化ブロック（２７４０）。Ｖは、入力を表し、ＡおよびＢは、シグモイド活性化ブロックの所定の係数値（例えば、Ａ＝－０．１、Ｂ＝１１．３）であり、（ｉｖ）ブロック出力Ｖｏｕｔ＝Ａ＊ｔａｎｈ（Ｂ＊Ｖｉｎ）を有する双曲線正接活性化ブロック（２７４２）。Ｖｉｎは、入力を表し、ＡおよびＢは、所定の係数値（例えば、Ａ＝０．１、Ｂ＝－１０．１）であり、ブロック出力Ｕ（ｔ）＝Ｖ（ｔ－ｄｔ）を有する信号遅延ブロック（２７４４）。ｔは、現在の期間を表し、Ｖ（ｔ－１）は、先行する期間ｔ－１の信号遅延ブロックの出力を表し、ｄｔは、遅延値である。
ここで図２７Ｃを再び参照すると、一連のステップはまた、１つ以上の関数ブロックを配置することに基づいて、アナログニューロンのそれぞれの多層ネットワークを生成すること（２７３２）を含む。各アナログニューロンは、１つ以上の関数ブロックのそれぞれの関数を実装し、多層ネットワークの第１の層の各アナログニューロンは、多層ネットワークの第２の層の１つ以上のアナログニューロンに接続されている。
ここで図２７Ａを再び参照すると、ＧＲＵおよびＬＳＴＭなどのいくつかのネットワークについて、いくつかの実装態様に従って、ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換すること（２７１０）は、より複雑な処理を必要とする。次に図２７Ｅを参照し、ニューラルネットワークトポロジは、ニューロンの１つ以上の層を含む（２７４６）ものとする。さらに、ニューロンの各層が、それぞれの数学的関数に基づいてそれぞれの出力を計算するものとする。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することは、以下を含む。（ｉ）ニューラルネットワークトポロジの第１の層を複数のサブ層に分解すること（２７４８）であって、第１の層に対応する数学的関数を分解して１つ以上の中間数学的関数を取得することを含む、分解すること。各サブ層は、中間数学的関数を実装する。いくつかの実装態様では、第１の層に対応する数学的関数は、１つ以上の重みを含み、数学的関数を分解することは、１つ以上の中間関数を組み合わせることが数学的関数をもたらすように、１つ以上の重みを調整すること（２７５０）を含み、および（ｉｉ）ニューラルネットワークトポロジの第１の層の各サブ層について一連のステップを実行すること（２７５２）。一連のステップは、それぞれのサブ層について、それぞれの中間数学的関数に基づいて、１つ以上のサブ関数ブロックを選択すること（２７５４）と、１つ以上のサブ関数ブロックを配置することに基づいて、アナログニューロンのそれぞれの多層アナログサブネットワークを生成すること（２７５６）と、を含む。各アナログニューロンは、１つ以上のサブ関数ブロックのそれぞれの関数を実装し、多層アナログサブネットワークの第１の層の各アナログニューロンは、多層アナログサブネットワークの第２の層の１つ以上のアナログニューロンに接続されている。
次に図２７Ｈを参照し、ニューラルネットワークトポロジが、１つ以上のＧＲＵニューロンまたはＬＳＴＭニューロンを含む（２７６８）ものとする。その場合、ニューラルネットワークトポロジを変換することは、１つ以上のＧＲＵニューロンまたはＬＳＴＭニューロンの回帰接続ごとに１つ以上の信号遅延ブロックを生成すること（２７７０）を含む。いくつかの実装態様では、外部サイクルタイマは、一定の期間（例えば、１、５、または１０の時間ステップ）で１つ以上の信号遅延ブロックを活性化する。いくつかの実装態様は、加算時間シフトを生成するための１つの信号にわたって、複数の遅延ブロックを使用する。いくつかの実装態様では、１つ以上の信号遅延ブロックの活性化頻度は、ネットワーク入力信号頻度に同期されている／同期されている。いくつかの実装態様では、１つ以上の信号遅延ブロックは、ニューラルネットワークトポロジに対する所定の入力信号周波数と一致する周波数で活性化される（２７７２）。いくつかの実装態様では、この所定の入力信号周波数は、人間活動認識（ＨＡＲ）またはＰＰＧなどのアプリケーションに依存し得る。例えば、所定の入力信号周波数は、ビデオ処理では３０～６０Ｈｚ、ＨＡＲおよびＰＰＧでは約１００Ｈｚ、音声処理では１６ＫＨｚ、電池管理では約１～３Ｈｚである。いくつかの実装態様は、異なる周波数で異なる信号遅延ブロックを活性化する。
次に図２７Ｉを参照し、ニューラルネットワークトポロジが、制限されない活性化関数を実行するニューロンの１つ以上の層を含む（２７７４）ものとする。いくつかの実装態様では、そのような場合、ニューラルネットワークトポロジを変換することは、制限されない活性化関数を制限された活性化で置換すること（２７７８）（例えば、ＲｅＬＵを閾値ＲｅＬＵで置換すること）と、所定の１つ以上の入力について、訓練されたニューラルネットワークと同等なアナログネットワークとの間の出力の差が最小化されるように、同等なアナログネットワークの接続または重みを調整すること（２７８０）と、からなる群から選択される１つ以上の変換を適用すること（２７７６）を含む。
ここで図２７Ａを再び参照すると、方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算すること（２７１２）を含む。重み行列の各要素は、同等なアナログネットワークのアナログコンポーネント間のそれぞれの接続を表す。
方法はまた、アナログコンポーネントのコンポーネント値を選択することを含む、重み行列に基づいて同等なアナログネットワークを実装するための概略モデルを生成すること（２７１４）を含む。次に図２７Ｂを参照すると、いくつかの実装態様では、概略モデルを生成することは、重み行列の抵抗行列を生成すること（２７１６）を含む。抵抗行列の各要素は、重み行列のそれぞれの重みに対応し、抵抗値を表す。いくつかの実装態様では、方法は、再訓練されたネットワークの抵抗器の抵抗行列だけを再生成することを含む。いくつかの実装態様では、方法は、訓練されたニューラルネットワークの新たな重みを取得すること（２７１８）と、新たな重みに基づいて同等なアナログネットワークの新たな重み行列を計算すること（２７２０）と、新たな重み行列の新たな抵抗行列を生成すること（２７２２）と、をさらに含む。
次に図２７Ｊを参照すると、いくつかの実装態様では、方法は、抵抗行列に基づいてアナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成すること（例えば、マスク生成モジュール２４８を使用してマスク２５０および／または２５２を生成すること）をさらに含む（２７８２）。いくつかの実装態様では、方法は、再訓練されたネットワークの抵抗器（例えば、マスク２５０）用のマスクだけを生成することを含む。いくつかの実装態様では、方法は、（ｉ）訓練されたニューラルネットワークの新たな重みを取得すること（２７８４）と、（ｉｉ）新たな重みに基づいて同等なアナログネットワークの新たな重み行列を計算すること（２７８６）と、（ｉｉｉ）新たな重み行列の新たな抵抗行列を生成すること（２７８８）と、（ｉｖ）新たな抵抗行列に基づいてアナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための新たなリソグラフィマスクを生成すること（２７９０）と、をさらに含む。
ここで図２７Ｇを参照すると、アナログコンポーネントは、複数の演算増幅器および複数の抵抗器を含む（２７６２）。各演算増幅器は、同等なアナログネットワークのアナログニューロンを表し、各抵抗器は、２つのアナログニューロン間の接続を表す。いくつかの実装態様は、４象限乗算器、シグモイドおよび双曲線正接関数回路、遅延線、和演算器、および／または分割器などの他のアナログコンポーネントを含む。いくつかの実装態様では、アナログ成分の成分値を選択すること（２７６４）は、複数の抵抗器の可能な抵抗値を識別するための、勾配降下法および／または他の重み量子化方法を実行すること（２７６６）を含む。
ここで図２７Ｆを再度参照すると、いくつかの実装態様では、方法は、デジタルでの出力層に特定の活性化関数（例えば、ソフトマックス）を実装することをさらに含む。いくつかの実装態様では、方法は、ニューラルネットワークトポロジの１つ以上の出力層のデジタルコンポーネントの同等なデジタルネットワークを生成すること（２７５８）と、同等なアナログネットワークの１つ以上の層の出力をデジタルコンポーネントの同等なデジタルネットワークに接続すること（２７６０）と、をさらに含む。
ニューラルネットワークの制約されたアナログハードウェア実現のための例示的な方法
図２８Ａ～２８Ｓは、いくつかの実装態様による、ハードウェア設計制約に従ったニューラルネットワークのハードウェア実現（２８００２）のための方法２８０００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２を有するコンピューティングデバイス２００で（例えば、ニューラルネットワーク変換モジュール２２６を使用して）実行され（２８００４）、メモリ２１４は、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶する。方法は、訓練されたニューラルネットワーク（例えば、ネットワーク２２０）のニューラルネットワークトポロジ（例えば、トポロジ２２４）および重み（例えば、重み２２２）を取得すること（２８００６）を含む。
方法はまた、アナログ集積回路（ＩＣ）設計制約（例えば、制約２３６）に基づいて、１つ以上の結合制約を計算すること（２８００８）を含む。例えば、ＩＣ設計制約は、電流制限（例えば、１Ａ）を設定することができ、ニューロン模式図および演算増幅器（オペアンプ）設計は、オペアンプ出力電流を範囲［０～１０ｍＡ］に設定することができるので、これは、出力ニューロン接続を１００に制限する。このことは、ニューロンが１００個の接続を通して電流を次の層に流す１００個の出力を有することを意味するが、演算増幅器の出力での電流が１０ｍＡに制限されるので、いくつかの実装態様は、最大１００個の出力（０．１ｍＡ×１００＝１０ｍＡ）を使用する。この制約がなければ、いくつかの実装態様は、例えば、電流リピータを使用して、出力の数を１００個超に増加させる。
方法はまた、（例えば、ニューラルネットワーク変換モジュール２２６を使用して）ニューラルネットワークトポロジを、１つ以上の結合制約を満たすアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８０１０）を含む。
いくつかの実装態様では、ニューラルネットワークトポロジを変換することは、１つ以上の結合制約に従って、可能な入力結合度Ｎｉおよび出力結合度Ｎｏを導出すること（２８０１２）を含む。
次に図２８Ｂを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力（前の層のニューロン）およびＬ個の出力（現在の層のニューロン）および重み行列Ｕを有する少なくとも１つの密結合層を含み（２８０１８）、少なくとも１つの密結合層を変換すること（２８０２０）は、入力結合度がＮｉを超えず、かつ出力結合度がＮｏを超えないように、Ｋ個の入力、Ｌ個の出力、および

個の層を有する同等な疎結合ネットワークを構築すること（２８０２２）を含む。
次に図２８Ｃを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力（前の層のニューロン）およびＬ個の出力（現在の層のニューロン）および重み行列Ｕを有する少なくとも１つの密結合層を含み（２８０２４）、少なくとも１つの密結合層を変換すること（２８０２６）は、Ｋ個の入力、Ｌ個の出力、および

個の層を有する同等な疎結合ネットワークを構築すること（２８０２８）を含む。各層ｍは、対応する重み行列Ｕｍによって表され、ここで、欠けている接続は、入力結合度がＮｉを超えず、かつ出力結合度がＮｏを超えないように、ゼロで表される。式Ｕ＝Πｍ＝１．．ＭＵｍは、所定の精度で満たされる。所定の精度は、変更されたネットワーク出力が、許容される誤差値以下の基準ネットワーク出力とは異なることを統計的に保証する合理的な精度値であり、この誤差値は、タスク依存性である（通常、０．１％～１％）。
次に図２８Ｄを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力およびＬ出力を有する単一の疎結合層、Ｐｉの最大入力結合度、Ｐｏの最大出力結合度、およびＵの重み行列を含み（２８０３０）、欠けている接続はゼロで表される。そのような場合、単一の疎結合層を変換すること（２８０３２）は、Ｋ個の入力、Ｌ個の出力、

個の層を有する同等な疎結合ネットワークを構築すること（２８０３４）を含む。各層ｍは、対応する重み行列Ｕｍによって表され、ここで、欠けている接続は、入力結合度がＮｉを超えず、かつ出力結合度がＮｏを超えないように、ゼロで表され、式Ｕ＝Πｍ＝１．．ＭＵｍは、所定の精度で満たされる。
次に図２８Ｅを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力（前の層のニューロン）およびＬ個の出力（現在の層のニューロン）を有する畳み込み層（例えば、深さ方向の畳み込み層、または分離可能な畳み込み層）を含む（２８０３６）。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８０３８）は、畳み込み層を、Ｋ個の入力、Ｌ個の出力、Ｐｉの最大入力結合度、およびＰｏの最大出力結合度を有する単一の疎結合層に分解すること（２８０４０）を含み、Ｐｉ≦ＮｉかつＰｏ≦Ｎｏである。
図２８Ａを再び参照すると、方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等な疎結合ネットワークの重み行列を計算すること（２８０１４）を含む。重み行列の各要素は、同等な疎結合ネットワークのアナログコンポーネント間のそれぞれの接続を表す。
ここで図２８Ｆを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、回帰型ニューラル層を含み（２８０４２）、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８０４４）は、回帰型ニューラル層を信号遅延接続を有する１つ以上の密結合層または疎結合層に変換すること（２８０４６）を含む。
次に図２８Ｇを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、回帰型ニューラル層（例えば、長期短期記憶（ＬＳＴＭ）層またはゲート付き回帰ユニット（ＧＲＵ）層）を含み、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換することは、回帰型ニューラル層をいくつかの層に分解することを含み、層の少なくとも１つは、Ｋ個の入力（前の層のニューロン）およびＬ個の出力（現在の層のニューロン）および重み行列Ｕを有する密結合層または疎結合層と同等であり、欠けている接続は、ゼロで表される。
次に図２８Ｈを参照すると、いくつかの実装態様では、方法は、１つの計算ニューロンを有する単層パーセプトロンの変換を実行することを含む。いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、重みベクトルＵ∈ＲＫ、および活性化関数Ｆを有する計算ニューロンを有する単層パーセプトロンを含む（２８０５４）。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８０５６）は、（ｉ）１つ以上の結合制約に従って同等な疎結合ネットワークの結合度Ｎを導出すること（２８０５８）と、（ｉｉ）式

を使用して同等な疎結合ネットワークの層の数ｍを計算すること（２８０６０）と、（ｉｉｉ）Ｋ個の入力、ｍ個の層、および結合度Ｎを有する同等な疎結合ネットワークを構築すること（２８０６２）と、を含む。同等な疎結合ネットワークは、ｍ個の層の各層にそれぞれの１つ以上のアナログニューロンを含む。第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、単層パーセプトロンの計算ニューロンの活性化関数Ｆを実装する。さらに、そのような場合、同等な疎結合ネットワークの重み行列を計算すること（２８０６４）は、重みベクトルＵに基づいて連立方程式を解くことによって、同等な疎結合ネットワークの接続の重みベクトルＷを計算すること（２８０６６）を含む。連立方程式は、Ｓ個の変数を有するＫ個の方程式を含み、Ｓは、式

を使用して計算される。
次に図２８Ｉを参照すると、いくつかの実装態様では、方法は、Ｌ個の計算ニューロンを有する単層パーセプトロンの変換を実行することを含む。いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｌ個の計算ニューロンを有する単層パーセプトロン、およびＬ個の計算ニューロンの各計算ニューロンの重みの行を含む重み行列Ｖを含む（２８０６８）。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８０７０）は、以下を含む。（ｉ）１つ以上の結合制約に従って同等な疎結合ネットワーク用の結合度Ｎを導出すること（２８０７２）、（ｉｉ）式

を使用して同等な疎結合ネットワーク用の層の数ｍを計算すること（２８０７４）、（ｉｉｉ）単層パーセプトロンをＬ個の単層パーセプトロンネットワークに分解すること（２８０７６）。各単層パーセプトロンネットワークは、Ｌ個の計算ニューロンのそれぞれの計算ニューロンを含み、（ｉｖ）Ｌ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワーク（２８０７８）について、Ｋ個の入力、ｍ個の層、および結合度Ｎを有するそれぞれの単層パーセプトロンネットワークのそれぞれの同等なピラミッド様サブネットワークを構築する（２８０８０）こと。同等なピラミッド様サブネットワークは、ｍ個の層の各層に１つ以上のそれぞれのアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、それぞれの単層パーセプトロンに対応するそれぞれの計算ニューロンの活性化関数を実装し、および（ｖ）Ｌ個の単層パーセプトロンネットワークの各同等なピラミッド様サブネットワークの入力を連結して、Ｌ＊Ｋ個の入力を有する入力ベクトルを形成することを含めて、各同等なピラミッド様サブネットワークを連結することによって、同等な疎結合ネットワークを構築すること（２８０８２）。さらに、そのような場合、同等な疎結合ネットワークの重み行列をコンピューティングすること（２８０８４）は、Ｌ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワーク（２８０８６）について、（ｉ）重み行列Ｖのｉ番目の行がそれぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンに対応する、重みベクトルＵ＝Ｖｉを設定すること（２８０８８）、および（ｉｉ）重みベクトルＵに基づく連立方程式を解くことによって、それぞれの同等なピラミッド様サブネットワークの接続の重みベクトルＷｉを計算すること（２８０９０）。連立方程式は、Ｓ個の変数を有するＫ個の方程式を含み、Ｓは、

式を使用して計算される。
次に図２８Ｊを参照すると、いくつかの実装態様では、方法は、多層パーセプトロンの変換アルゴリズムを実行することを含む。いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｓ個の層を有する多層パーセプトロンを含み（２８０９２）、Ｓ個の層の各層ｉは、計算ニューロンＬｉと、Ｌｉ個の計算ニューロンの各計算ニューロンの重みの行を含む対応する重み行列Ｖｉと、の対応するセットを含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８０９４）は、以下を含む。（ｉ）１つ以上の結合制約に従って、同等な疎結合ネットワークの結合度Ｎを導出すること（２８０９６）、（ｉｉ）多層パーセプトロンをＱ＝Σｉ＝１、Ｓ（Ｌｉ）個の単層パーセプトロンネットワークに分解すること（２８０９８）。各単層パーセプトロンネットワークは、Ｑ個の計算ニューロンのそれぞれの計算ニューロンを含む。多層パーセプトロンを分解することは、Ｑ個の計算ニューロンによって共有されるＫ個の入力の１つ以上の入力を複製すること、（ｉｉｉ）Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワーク（２８１００）について、（ａ）式

を使用して、それぞれの同等なピラミッド様サブネットワークの層の数ｍを計算すること（２８１０２）。Ｋｉ，ｊは、多層パーセプトロンのそれぞれの計算ニューロンの入力の数であり、（ｂ）Ｋｉ，ｊ個の入力、ｍ個の層、および結合度Ｎを有するそれぞれの単層パーセプトロンのそれぞれの同等なピラミッド様サブネットワークを構築すること（２８１０４）。同等なピラミッド様サブネットワークは、ｍ個の層の各層に１つ以上のそれぞれのアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、それぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンの活性化関数を実装し、（ｉｖ）Ｑ個の単層パーセプトロンネットワークの各同等なピラミッド様サブネットワークの入力を連結して、Ｑ＊Ｋｉ，ｊ個の入力を有する入力ベクトルを形成することを含めて、各同等なピラミッド様サブネットワークを連結することによって、同等な疎結合ネットワークを構築すること（２８１０６）。そのような場合、同等な疎結合ネットワークの重み行列を計算すること（２８１０８）は、Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワーク（２８１１０）について、（ｉ）重み行列Ｖのｉ番目の行がそれぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンに対応し、ｊが多層パーセプトロンのそれぞれの計算ニューロンの対応する層である、重みベクトル

を設定すること（２８１１２）と、（ｉｉ）重みベクトルＵに基づいて連立方程式を解くことによって、それぞれの同等なピラミッド様サブネットワークの接続の重みベクトルＷｉを計算すること（２８１１４）と、を含む。連立方程式は、Ｓ個の変数を有するＫｉ、ｊ個の方程式を含み、Ｓは、式

を使用して計算される。
次に図２８Ｋを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｓ個の層を有する畳み込みニューラルネットワーク（ＣＮＮ）を含み（２８１１６）、Ｓ個の層の各層ｉは、計算ニューロンＬｉと、Ｌｉ個の計算ニューロンの各計算ニューロンの重みの行を含む対応する重み行列Ｖｉと、の対応するセットを含む。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８１１８）は、以下を含む。（ｉ）１つ以上の結合制約に従って、同等な疎結合ネットワークの結合度Ｎを導出すること（２８１２０）、（ｉｉ）ＣＮＮをＱ＝Σｉ＝１、Ｓ（Ｌｉ）個の単層パーセプトロンネットワークに分解すること（２８１２２）。各単層パーセプトロンネットワークは、Ｑ個の計算ニューロンのそれぞれの計算ニューロンを含む。ＣＮＮを分解することは、Ｑ個の計算ニューロンによって共有されるＫ個の入力の１つ以上の入力を複製することを含み、（ｉｉｉ）Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて、（ａ）式

を使用して、それぞれの同等なピラミッド様サブネットワークの層の数ｍを計算すること。ｊは、ＣＮＮ内のそれぞれの計算ニューロンの対応する層であり、Ｋｉ，ｊは、ＣＮＮ内のそれぞれの計算ニューロンの入力の数であり、および（ｂ）Ｋｉ，ｊ個の入力、ｍ個の層、および結合度Ｎを有するそれぞれの単層パーセプトロンネットワークのそれぞれの同等なピラミッド様サブネットワークを構築すること。同等なピラミッド様サブネットワークは、ｍ個の層の各層に１つ以上のそれぞれのアナログニューロンを含み、第１のｍ－１個の層の各アナログニューロンは、恒等変換を実装し、最後の層のアナログニューロンは、それぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンの活性化関数を実装し、（ｉｖ）Ｑ個の単層パーセプトロンネットワークの各同等なピラミッド様サブネットワークの入力を連結して、Ｑ＊Ｋｉ，ｊ個の入力を有する入力ベクトルを形成することを含めて、各同等なピラミッド様サブネットワークを連結することによって、同等な疎結合ネットワークを構築すること（２８１３０）。そのような場合、同等な疎結合ネットワークの重み行列を計算すること（２８１３２）は、Ｑ個の単層パーセプトロンネットワークの各単層パーセプトロンネットワークについて（２８１３４）、（ｉ）重みベクトル

を設定することであって、重み行列Ｖのｉ番目の行は、それぞれの単層パーセプトロンネットワークに対応するそれぞれの計算ニューロンに対応し、ｊは、ＣＮＮのそれぞれの計算ニューロンの対応する層である、設定することと、（ｉｉ）重みベクトルＵに基づく連立方程式を解くことによって、それぞれの同等なピラミッド様サブネットワークの接続の重みベクトルＷｉを計算することと、を含む。連立方程式は、Ｓ個の変数を有するＫｉ、ｊ個の方程式を含み、Ｓは、式

を使用して計算される。
次に図２８Ｌを参照すると、いくつかの実装態様では、方法は、２つの層を台形ベースのネットワークに変換することを含む。いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｋ個のニューロンを有する層Ｌｐ、Ｌ個のニューロンを有する層Ｌｎ、および重み行列Ｗ∈ＲＬ×Ｋを含み（２８１４０）、Ｒは、実数の集合であり、層Ｌｐの各ニューロンは、層Ｌｎの各ニューロンに接続されており、層Ｌｎの各ニューロンは、活性化関数Ｆを実行し、これにより、層Ｌｎの出力は、入力ｘについての式Ｙｏ＝Ｆ（Ｗ．ｘ）を使用して計算される。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８１４２）は、台形変換であって、（ｉ）１つ以上の結合制約に従って、可能な入力結合度ＮＩ＞１および可能な出力結合度ＮＯ＞１を導出すること（２８１４４）と、（ｉｉ）Ｋ・Ｌ＜Ｌ・ＮＩ＋Ｋ・ＮＯであるという判定に従って、恒等活性化関数を実行するＫ個のアナログニューロンを有する層ＬＡｐ、恒等活性化関数を実行する

個のアナログニューロンを有する層ＬＡｈ、および活性化関数Ｆを実行するＬ個のアナログニューロンを有する層ＬＡｏを含む３層アナログネットワークを構築すること（２８１４６）であって、層ＬＡｐの各アナログニューロンは、ＮＯ個の出力を有し、層ＬＡｈの各アナログニューロンは、ＮＩ個以下の入力およびＮＯ個以下の出力を有し、層ＬＡｏの各アナログニューロンは、ＮＩ個の入力を有するようになっている、構築することと、を含む、台形変換を実行することを含む。いくつかのそのような場合、同等な疎結合ネットワークの重み行列を計算すること（２８１４８）は、Ｋ・ＮＯ＋Ｌ・ＮＩ個の変数でのＫ・Ｌ個の方程式を含む行列方程式Ｗｏ．Ｗｈ＝Ｗを解くことによって、疎重み行列ＷｏおよびＷｈを生成すること（２８５０）を含み、これにより、層ＬＡｏの総出力は、式Ｙｏ＝Ｆ（Ｗｏ．Ｗｈ．ｘ）を使用して計算される。疎な重み行列Ｗｏ∈ＲＫ×Ｍは、層ＬＡｐと層ＬＡｈとの間の接続を表し、疎重み行列Ｗｈ∈ＲＭ×Ｌは、層ＬＡｈと層ＬＡｏとの間の接続を表す。
次に図２８Ｍを参照すると、いくつかの実装態様では、台形変換を実行することは、Ｋ・Ｌ≧Ｌ・Ｎ・Ｉ＋Ｋ・ＮＯという判定に従って、（ｉ）層Ｌｐを分割して（２８１５４）、Ｋ’・Ｌ≧Ｌ・ＮＩ＋Ｋ’・ＮＯとなるように、Ｋ’個のニューロンを有するサブ層Ｌｐ１および（Ｋ－Ｋ’）個のニューロンを有するサブ層Ｌｐ２を取得することと、（ｉｉ）Ｋ’個のニューロンを有するサブ層Ｌｐ１について、構築するステップおよび生成するステップを実行すること（２８１５６）と、（ｉｉｉ）Ｋ－Ｋ個のニューロンを有するサブ層Ｌｐ２について、分割するステップ、構築するステップ、および生成するステップを再帰的に実行すること（２８１５８）と、をさらに含む。
次に図２８Ｎを参照すると、方法は、多層パーセプトロンを台形ベースのネットワークに変換することを含む。いくつかの実装態様では、ニューラルネットワークトポロジは、多層パーセプトロンネットワークを含み（２８１６０）、方法は、多層パーセプトロンネットワークの連続する層の各ペアについて、台形変換を反復的に実行し（２８１６２）、かつ同等な疎結合ネットワークの重み行列を計算することをさらに含む。
次に図２８Ｏを参照すると、方法は、回帰型ニューラルネットワークを台形ベースのネットワークに変換することを含む。いくつかの実装態様では、ニューラルネットワークトポロジは、（ｉ）２つの全結合層の線形結合の計算、（ｉｉ）要素ごとの加算、および（ｉｉｉ）非線形関数計算を含む、回帰型ニューラルネットワーク（ＲＮＮ）を含む（２８１６４）。そのような場合、方法は、（ｉ）２つの全結合層、および（ｉｉ）非線形関数計算について、台形変換を実行し（２８１６６）、かつ同等な疎結合ネットワークの重み行列を計算することをさらに含む。要素ごとの加算は、任意の構造のネットワークに実装され得る一般的な演算であり、その例は、上記に提供されている。非線形関数計算は、Ｎｏ制限およびＮｉ制限とは独立したニューロンごとの演算であり、通常、各ニューロンで「シグモイド」または「ｔａｎｈ」ブロックを用いて別々に計算される。
次に図２８Ｐを参照すると、ニューラルネットワークトポロジは（ｉ）複数の全結合層の線形組み合わせの計算、（ｉｉ）要素ごとの加算、（ｉｉｉ）アダマール積、および（ｉｖ）複数の非線形関数計算（シグモイドおよび双曲線正接演算）を含む、長期短期記憶（ＬＳＴＭ）ネットワークまたはゲート付き回帰型ユニット（ＧＲＵ）ネットワークを含む、（２８１６８）。そのような場合、方法は、（ｉ）複数の全結合層、および（ｉｉ）複数の非線形関数計算について、台形変換を実行すること（２８１７０）と、同等な疎結合ネットワークの重み行列を計算することと、をさらに含む。要素ごとの加算およびアダマール積は、上述の任意の構造のネットワークに実装され得る一般的な演算である。
次に図２８Ｑを参照すると、ニューラルネットワークトポロジは、（ｉ）複数の部分結合層（例えば、畳み込み層および枝刈り層のシーケンス；各枝刈り層は、１よりも大きいストライドを有する畳み込み層であると仮定される）、および（ｉｉ）１つ以上の全結合層（シーケンスは、全結合層で終了する）を含む、畳み込みニューラルネットワーク（ＣＮＮ）を含む（２８１７２）。そのような場合、方法は、（ｉ）ゼロの重みを有する欠けている接続を挿入することによって、複数の部分結合層を同等な全結合層に変換すること（２８１７４）と、同等な全結合層および１つ以上の全結合層の連続する層の各ペアについて、台形変換を反復的に実行し（２８１７６）、かつ同等な疎結合ネットワークの重み行列を計算することと、をさらに含む。
次に図２８Ｒを参照すると、ニューラルネットワークトポロジは、Ｋ個の入力、Ｌ個の出力ニューロン、および重み行列Ｕ∈ＲＬ×Ｋを含み（２８１７８）、Ｒは、実数の集合であり、各出力ニューロンは、活性化関数Ｆを実行する。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８１８０）は、以下を含む近似変換を実行することを含む。（ｉ）１つ以上の結合制約に従って、可能な入力結合度ＮＩ＞１および可能な出力結合度ＮＯ＞１を導出すること（２８１８２）、（ｉｉ）集合

からパラメータｐを選択すること（２８１８４）、（ｉｉｉ）ｐ＞０であるという判定に従って、ピラミッドニューラルネットワークがこのピラミッドニューラルネットワークの出力層に

個のニューロンを有するように、同等な疎結合ネットワークの第１のｐ個の層を形成するピラミッドニューラルネットワークを構築すること（２８１８６）。ピラミッドニューラルネットワーク内の各ニューロンは、恒等関数を実行し、および（ｉｖ）Ｎｐ個の入力およびＬ個の出力を有する台形ニューラルネットワークを構築すること（２８１８８）。台形ニューラルネットワークの最後の層の各ニューロンは、活性化関数Ｆを実行し、すべての他のニューロンは、恒等関数を実行する。また、そのような場合、同等な疎結合ネットワークの重み行列を計算すること（２８１９０）は、以下を含む。（ｉ）以下のルールに従って、ピラミッドニューラルネットワークの第１の層のあらゆるニューロンｉの重みを設定することを含む、生成すること（２８１９２）。（ａ）

。Ｃは、非ゼロ定数であり、ｋｉ＝（ｉ－１）ＮＩ＋１であり、および（ｂ）ｋｉを除くニューロンのすべての重みについて、

、ならびに（ｉｉ）ピラミッドニューラルネットワークのすべての他の重みを１に設定すること、ならびに（ｉｉ）台形ニューラルネットワークの重みを生成すること（２８１９４）であって、（ｉ）式

に従って台形ニューラルネットワークの第１の層（ネット全体を考慮すると、これは、（ｐ＋１）番目の層である）の各ニューロンｉの重みを設定すること、および（ｉｉ）台形ニューラルネットワークの他の重みを１に設定することを含む、生成すること。
次に図２８Ｓを参照すると、いくつかの実装態様では、ニューラルネットワークトポロジは、Ｋ個の入力、Ｓ個の層、およびｉ番目の層のＬｉ＝１，Ｓ個の計算ニューロン、ならびにｉ番目の層の重み行列

を有する、多層パーセプトロン、を含み（２８１９６）、Ｌ０＝Ｋである。そのような場合、ニューラルネットワークトポロジをアナログコンポーネントの同等な疎結合ネットワークに変換すること（２８１９８）は、多層パーセプトロンのＳ個の層の各層ｊ（２８２００）について、Ｌｊ－１個の入力、Ｌｊ個の出力ニューロン、および重み行列Ｕｊからなるそれぞれの単層パーセプトロンへの近似変換を実行することによって、それぞれのピラミッド－台形ネットワークＰＴＮＮＸｊを構築すること（２８２０２）と、（ｉｉ）各ピラミッド台形ネットワークをスタックする（例えば、ピラミッド台形ネットワークＰＴＮＮＸｊ－１の出力が、ＰＴＮＮＸｊの入力として設定される）ことによって、同等な疎結合ネットワークを構築すること（２８２０４）と、を含む。
図２８Ａを再び参照すると、いくつかの実装態様では、方法は、重み行列を利用して同等な疎結合ネットワークを実装するための概略モデルを生成すること（２８０１６）をさらに含む。
訓練されたニューラルネットワークのアナログハードウェア実現のための抵抗値を計算する例示的な方法
図２９Ａ～２９Ｆは、いくつかの実装態様による、ハードウェア設計制約に従ったニューラルネットワークのハードウェア実現（２９０２）のための方法２９００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２と、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶するメモリ２１４と、を有するコンピューティングデバイス２００で（例えば、重み量子化モジュール２３８を使用して）実行される（２９０４）。
方法は、訓練されたニューラルネットワーク（例えば、ネットワーク２２０）のニューラルネットワークトポロジ（例えば、トポロジ２２４）および重み（例えば、重み２２２）を取得すること（２９０６）を含む。いくつかの実装態様では、重み量子化は、訓練中に実行される。いくつかの実装態様では、訓練されたニューラルネットワークは、ニューラルネットワークトポロジの各層が、量子化された重みを有するように訓練されている（２９０８）（例えば、離散値のリストからの特定の値、例えば、各層が＋１、０、－１の３つの重み値のみを有する）。
方法はまた、（例えば、ニューラルネットワーク変換モジュール２２６を使用して）ニューラルネットワークトポロジを、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントの同等なアナログネットワークに変換すること（２９１０）を含む。各演算増幅器は、同等なアナログネットワークのアナログニューロンを表し、各抵抗器は、２つのアナログニューロン間の接続を表す。
方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算すること（２９１２）を含む。重み行列の各要素は、それぞれの接続を表す。
方法はまた、重み行列の抵抗行列を生成すること（２９１４）を含む。抵抗行列の各要素は、重み行列のそれぞれの重みに対応し、抵抗値を表す。
次に図２９Ｂを参照すると、いくつかの実装態様では、重み行列の抵抗行列を生成することは、抵抗器セットを見つけるための簡略化された勾配降下ベースの反復方法を含む。いくつかの実装態様では、重み行列の抵抗行列を生成することは、以下を含む。（ｉ）可能な抵抗値の所定の範囲｛Ｒ最小，Ｒ最大｝を取得すること（２９１６）、および所定の範囲内の初期ベース抵抗値Ｒベースを選択すること。例えば、重み行列の要素の値に従って範囲およびベース抵抗が選択され、値は、製造プロセスによって決定され、範囲－実際に製造され得る抵抗、大きな抵抗器は好ましくなく、実際に製造され得るものの量子化。いくつかの実装態様では、可能な抵抗値の所定の範囲は、範囲１００ＫΩ～１ＭΩの公称シリーズＥ２４に従う抵抗を含み（２９１８）、（ｉｉ）所定の範囲内で、制限された長さの抵抗値セットを選択することであって、このセットは、制限された長さの抵抗値セット内の｛Ｒｉ，Ｒｊ｝のすべての組み合わせについて、範囲［－Ｒベース，Ｒベース］内の最も均一な分布の可能な重み

を提供する、選択すること（２９２０）。いくつかの実装態様では、重み値は、この範囲外にあるが、この範囲内の重み間の二乗平均距離は最小であり、（ｉｉｉ）同等なアナログネットワークの、各アナログニューロンについてまたは各層について、のいずれかで、同等なアナログネットワークの、各ニューロンのまたは各層についての、入ってくる接続の最大重みおよびバイアスｗ最大に基づいて、Ｒ＋＝Ｒ－がＲベース＊ｗ最大に最も近い抵抗器セット値であるように、制限された長さの抵抗値セットから抵抗値Ｒ＋＝Ｒ－を選択すること（２９２２）。いくつかの実装態様では、Ｒ＋およびＲ－は、同等なアナログネットワークの各層について独立に選定される（２９２４）。いくつかの実装態様では、Ｒ＋およびＲ－は、同等なアナログネットワークの各アナログニューロンについて独立に選定され（２９２６）、および（ｉｖ）重み行列の各要素について、Ｒ１およびＲ２のすべての可能な値について、式

に従う誤差を可能な抵抗値の所定の範囲内で最小化する、それぞれの第１の抵抗値Ｒ１およびそれぞれの第２の抵抗値Ｒ２を選択すること（２９２８）であって、ｗは、重み行列のそれぞれの要素であり、ｒｅｒｒは、可能な抵抗値についての所定の相対許容差値である、選択すること。
次に図２９Ｃを参照すると、いくつかの実装態様は、重み低減を実行する。いくつかの実装態様では、重み行列の第１の１つ以上の重みおよび第１の１つ以上の入力は、同等なアナログネットワークの第１の演算増幅器への１つ以上の接続を表す（２９３０）。方法は、抵抗行列を生成する（２９３２）前に、（ｉ）第１の１つ以上の重みを第１の値によって修正すること（２９３４）（例えば、第１の１つ以上の重みを第１の値で除算して、重み範囲を低減すること、または第１の１つ以上の重みを第１の値によって乗算して、重み範囲を増加させること）と、（ｉｉ）活性化関数を実行する前に、第１の演算増幅器を、第１の１つ以上の重みおよび第１の１つ以上の入力の線形結合を第１の値によって乗算するように構成すること（２９３６）と、をさらに含む。いくつかの実装態様は、１つ以上の演算増幅器の乗算係数を変更するように重み低減を実行する。いくつかの実装態様では、抵抗値セットは、ある範囲の重みを生成し、この範囲のいくつかの部分では、誤差は、他の部分よりも高くなる。２つの公称値（例えば、１Ωおよび４Ω）のみがある場合、これらの抵抗器は、重み［－３；－０．７５；０；０．７５；３］を生成することができる。ニューラルネットワークの第１の層が｛０，９｝の重みを有し、かつ第２の層が｛０，１｝の重みを有するものとすると、いくつかの実装態様は、第１の層の重みを３によって除算し、第２の層の重みを３によって乗算して、全体的な誤差を低減する。いくつかの実装態様は、結果として生じるネットワークが抵抗器セットに対して大き過ぎる重みを有しないように、損失関数を調整することによって（例えば、ｌ１またはｌ２レギュレータを使用して）、訓練中に重み値を制限することを考慮する。
続いて図２９Ｄを参照すると、方法は、重みを区間に制限することをさらに含む。例えば、方法は、同等なアナログネットワークが同じ入力についての訓練されたニューラルネットワークと同様の出力を生成するように、重みの所定の範囲を取得すること（２９３８）と、重みの所定の範囲に従って重み行列を更新すること（２９４０）と、をさらに含む。
続いて図２９Ｅを参照すると、方法は、ネットワークの重み感度を低下させることをさらに含む。例えば、方法は、訓練されたニューラルネットワークを再訓練して（２９４２）、同等なアナログネットワークに、訓練されたニューラルネットワークと比較して異なる出力を生成させる、重みまたは抵抗値の誤差に対する感度を低下させることをさらに含む。つまり、いくつかの実装態様は、すでに訓練されたニューラルネットワークに小さなランダムに分布する重み誤差に対するより低い感度を与えるために、すでに訓練されたニューラルネットワークの追加の訓練を含む。量子化および抵抗器製造は、小さな重み誤差を生成する。いくつかの実装態様は、結果として得られたネットワークが各特定の重み値に対して感度が低くなるように、ネットワークを変換する。いくつかの実装態様では、このことは、（例えば、ドロップアウト層と同様に）訓練中に層のうちの少なくともいくつかにおける各信号に小さな相対ランダム値を追加することによって実行される。
次に図２９Ｆを参照すると、いくつかの実装態様は、重み分布範囲を低減することを含む。いくつかの実装態様は、所定の閾値よりも大きくその層の平均絶対重みよりも大きい、任意の層における重みを最小化するように、訓練されたニューラルネットワークを再訓練すること（２９４４）を含む。いくつかの実装態様は、再訓練を介してこのステップを実行する。例示的なペナルティ関数は、すべての層（例えば、Ａ＊最大（ａｂｓ（ｗ））／平均値（ａｂｓ（ｗ））にわたる合計を含み、ここで、最大および平均値は、層にわたって計算される。別の例は、上記以上の桁の大きさを含む。いくつかの実装態様では、この関数は、重み量子化およびネットワーク重み感度に影響を与える。例えば、量子化に起因する重みの小さな相対的変化は、高出力誤差を引き起こし得る。例示的な手法は、ネットワークにそのような重み廃棄があるときにネットワークにペナルティを課すいくつかのペナルティ関数を訓練中に導入することを含む。
訓練されたニューラルネットワークのアナログハードウェア実現のための最適化の例示的な方法
図３０Ａ～３０Ｍは、いくつかの実装態様による、ハードウェア設計制約に従ったニューラルネットワークのハードウェア実現（３００２）のための方法３０００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２と、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶するメモリ２１４と、を有するコンピューティングデバイス２００で（例えば、ニューラルネットワーク最適化モジュール２４６を使用して）実行される（３００４）。
方法は、訓練されたニューラルネットワーク（例えば、ネットワーク２２０）のニューラルネットワークトポロジ（例えば、トポロジ２２４）および重み（例えば、重み２２２）を取得すること（３００６）を含む。
方法はまた、（例えば、ニューラルネットワーク変換モジュール２２６を使用して）ニューラルネットワークトポロジを、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントの同等なアナログネットワークに変換すること（３００８）を含む。各演算増幅器は、同等なアナログネットワークのアナログニューロンを表し、各抵抗器は、２つのアナログニューロン間の接続を表す。
次に図３０Ｌを参照すると、いくつかの実装態様では、方法は、訓練されたニューラルネットワークを枝刈りすることをさらに含む。いくつかの実装態様では、方法は、ニューラルネットワークトポロジを変換する前に、同等なアナログネットワークが所定数未満のアナログコンポーネントを含むように、ニューラルネットワークの枝刈り手法を使用して、訓練されたニューラルネットワークを枝刈りして（３０５２）、ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを更新することをさらに含む。いくつかの実装態様では、枝刈りは、訓練されたニューラルネットワークと同等なアナログネットワークとの間の出力の一致の、精度またはレベルを考慮して、反復実行される（３０５４）。
次に図３０Ｍを参照すると、いくつかの実装態様では、方法は、ニューラルネットワークトポロジを同等なアナログネットワークに変換する前に、ネットワーク知識抽出を実行すること（３０５６）をさらに含む。知識抽出は、枝刈りのような確率的／学習とは異なり、枝刈りよりも決定論的である。いくつかの実装態様では、知識抽出は、枝刈りステップとは独立に実行される。いくつかの実装態様では、ニューラルネットワークトポロジを同等なアナログネットワークに変換する前に、接続重みは、知識抽出の方法を通じて、隠れニューロンの入力と出力との間の因果関係の導出によって、所定の最適化基準に従って（他の重みよりも、ゼロ重み、または特定の範囲の重みを好むなど）調整される。概念的には、単一のニューロンまたはニューロンのセットでは、特定のデータセットに対して、入力と出力との間に因果関係があり得、これは、（１）新たな重みセットが、同じネットワーク出力を生成し、かつ（２）新たな重みセットが、抵抗器で実装しやすい（例えば、より均一に分布する値、より多くのゼロ値、または接続なし）ような方法で、重みの再調整を可能にする。例えば、いくつかのニューロン出力がいくつかのデータセットに対して常に１である場合、いくつかの実装態様は、このニューロンの出力接続（およびニューロン全体）を除去し、代わりに、ニューロンに続くニューロンのバイアス重みを調整する。このように、枝刈りはニューロンを除去した後に再学習を必要とし、かつ学習は確率的である一方、知識抽出は決定論的であるため、知識抽出ステップは、枝刈りとは異なる。
図３０Ａを再び参照すると、方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算すること（３０１０）を含む。重み行列の各要素は、それぞれの接続を表す。
次に図３０Ｊを参照すると、いくつかの実装態様では、方法は、バイアス値に基づいてニューロンを除去することまたは変換することをさらに含む。いくつかの実装態様では、方法は、同等なアナログネットワークの各アナログニューロンについて、（ｉ）重み行列を計算しながら、訓練されたニューラルネットワークの重みに基づいて、それぞれのアナログニューロンのそれぞれのバイアス値を計算すること（３０４４）と、（ｉｉ）それぞれのバイアス値が所定の最大バイアス閾値を上回っているという判定に従って、同等なアナログネットワークからそれぞれのアナログニューロンを除去すること（３０４６）と、（ｉｉｉ）それぞれのバイアス値が所定の最小バイアス閾値を下回っているという判定に従って、それぞれのアナログニューロンを同等なアナログネットワーク内の線形接合部で置換すること（３０４８）と、をさらに含む。
次に図３０Ｋを参照すると、いくつかの実装態様では、方法は、ニューロンの数を最小化すること、またはネットワークをコンパクト化することをさらに含む。いくつかの実装態様では、方法は、重み行列を生成する前に、同等なアナログネットワークの１つ以上のアナログニューロンからの接続（入力および出力）の数を増加させることによって、同等なアナログネットワークのニューロンの数を低減すること（３０５０）をさらに含む。
図３０Ａを再び参照すると、方法はまた、重み行列の抵抗行列を生成すること（３０１２）を含む。抵抗行列の各要素は、重み行列のそれぞれの重みに対応する。
方法はまた、同等なアナログネットワークを枝刈りして（３０１４）、抵抗行列に基づいて、複数の演算増幅器または複数の抵抗器の数を低減して、アナログコンポーネントの最適化されたアナログネットワークを取得することを含む。
次に図３０Ｂを参照すると、いくつかの実装態様では、方法は、重要でない抵抗を導体で置き換えることを含む。いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、所定の最小閾値抵抗値を下回る抵抗値を有する抵抗行列の１つ以上の要素に対応する抵抗器を、導体で置き換えること（３０１６）を含む。
次に図３０Ｃを参照すると、いくつかの実装態様では、方法は、非常に高い抵抗を有する接続を除去することをさらに含む。いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、所定の最大閾値抵抗値を上回る抵抗行列の１つ以上の要素に対応する、同等なアナログネットワークの１つ以上の接続を除去すること（３０１８）を含む。
次に図３０Ｄを参照すると、いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、およそゼロである重み行列の１つ以上の要素に対応する、同等なアナログネットワークの１つ以上の接続を除去すること（３０２０）を含む。いくつかの実装態様では、同等なアナログネットワークを枝刈りすることは、いかなる入力接続も有しない、同等なアナログネットワークの１つ以上のアナログニューロンを除去すること（３０２２）をさらに含む。
次に図３０Ｅを参照すると、いくつかの実装態様では、方法は、重要でないニューロンを除去することを含む。いくつかの実装態様では、同等アナログネットワークを枝刈りすることは、（ｉ）１つ以上のデータセットの計算を行うときのアナログニューロンの使用を検出することに基づいて、同等なアナログネットワークのアナログニューロンをランク付けすること（３０２４）を含む。例えば、訓練されたニューラルネットワークを訓練するために使用される訓練データセット、典型的なデータセット、枝刈り手順のために開発されたデータセット。いくつかの実装態様は、訓練データセットに供されると、所与のニューロンまたはニューロンのブロックの使用頻度に基づいて、枝刈りについてのニューロンのランク付けを実行する。例えば、（ａ）試験データセットを使用するときに、所与のニューロンに全く信号がない場合、このニューロンまたはニューロンのブロックは使用されたことがなく、枝刈りされることを意味し、（ｂ）ニューロンの使用頻度が非常に低い場合には、ニューロンは、精度の著しい損失なしに枝刈りされ、（ｃ）ニューロンが常に使用され、その場合、ニューロンは枝刈りされないことが可能であり）、（ｉｉ）ランク付けに基づいて、同等なアナログネットワークの１つ以上のアナログニューロンを選択すること（３０２６）、および（ｉｉｉ）同等なアナログネットワークから１つ以上のアナログニューロンを除去すること（３０２８）。
次に図３０Ｆを参照すると、いくつかの実装態様では、アナログニューロンの使用を検出することは、（ｉ）モデリングソフトウェア（例えば、ＳＰＩＣｅまたは同様のソフトウェア）を使用して同等なアナログネットワークのモデルを確立すること（３０３０）と、（ｉｉ）モデルを使用することによってアナログ信号（電流）の伝播を測定して（３０３２）（特別な訓練セットを使用するときに信号が伝播していないブロックを除去する）、１つ以上のデータセットの計算を生成することと、を含む。
次に図３０Ｇを参照すると、いくつかの実装態様では、アナログニューロンの使用を検出することは、（ｉ）モデリングソフトウェア（例えば、ＳＰＩＣｅまたは同様のソフトウェア）を使用して同等なアナログネットワークのモデルを確立すること（３０３４）と、（ｉｉ）モデルを使用して１つ以上のデータセットの計算を生成することによって、モデルの出力信号（電流または電圧）（例えば、ＳＰＩＣｅモデル内または実回路内のいくつかのブロックまたは増幅器の出力での信号、および訓練セットの出力信号が常にゼロボルトである領域を削除すること）を測定すること（３０３６）と、を含む。
次に図３０Ｈを参照すると、いくつかの実装態様では、アナログニューロンの使用を検出することは、（ｉ）モデリングソフトウェア（例えば、ＳＰＩＣｅまたは同様のソフトウェア）を使用して同等なアナログネットワークのモデルを確立すること（３０３８）と、（ｉｉ）モデルを使用して１つ以上のデータセットの計算を生成することによって、アナログニューロンによって消費される電力（例えば、特定のニューロンまたはニューロンのブロックによって消費される電力、ＳＰＩＣＥモデル内または実回路内のいずれかの演算増幅器によって表され、ニューロンまたはニューロンのブロックを削除すること）を測定すること（３０４０）と、を含む。
次に図３０Ｉを参照すると、いくつかの実装態様では、方法は、同等なアナログネットワークを枝刈りした後、かつ同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成する前に、同等なアナログネットワークの重み行列を再計算すること（３０４２）と、再計算された重み行列に基づいて抵抗行列を更新することと、をさらに含む。
例示的なアナログニューロモルフィック集積回路および作製方法
ニューラルネットワークのためのアナログ集積回路を作製するための例示的な方法
図３１Ａ～３１Ｑは、いくつかの実装態様による、アナログコンポーネントのアナログネットワークを含む集積回路３１０２を作製するための方法３１００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２と、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶するメモリ２１４と、を有するコンピューティングデバイス２００で（例えば、ＩＣ作製モジュール２５８を使用して）実行される。方法は、ニューラルネットワークトポロジ、および訓練されたニューラルネットワークの重みを取得すること（３１０４）を含む。
方法はまた、（例えば、ニューラルネットワーク変換モジュール２２６を使用して）ニューラルネットワークトポロジを、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントの同等なアナログネットワークに変換すること（３１０６）を含む（回帰型ニューラルネットワークについては、信号遅延線、乗算器、Ｔａｎｈアナログブロック、シグモイドアナログブロックも使用する）。各演算増幅器は、それぞれのアナログニューロンを表し、各抵抗器は、それぞれの第１のアナログニューロンとそれぞれの第２のアナログニューロンとの間のそれぞれの接続を表す。
方法はまた、訓練されたニューラルネットワークの重みに基づいて、同等なアナログネットワークの重み行列を計算すること（３１０８）を含む。重み行列の各要素は、それぞれの接続を表す。
方法はまた、重み行列の抵抗行列を生成すること（３１１０）を含み、抵抗行列の各要素は、重み行列のそれぞれの重みに対応する。
方法はまた、抵抗行列に基づいてアナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成すること（３１１２）（例えば、マスク生成モジュール２４８を使用してマスク２５０および／または２５２を生成すること）と、リソグラフィプロセスを使用して、１つ以上のリソグラフィマスクに基づいて回路（例えば、ＩＣ２６２）を作製すること（３１１４）と、を含む。
次に図３１Ｂを参照すると、いくつかの実装態様では、集積回路は、１つ以上のデジタル信号（例えば、１つ以上のＣＣＤ／ＣＭＯＳ画像センサからの信号）に基づいて、アナログコンポーネントの同等なアナログネットワークのアナログ入力を生成するように構成された１つ以上のデジタル対アナログ変換器（３１１６）（例えば、ＤＡＣ変換器２６０）をさらに含む。
次に図３１Ｃを参照すると、いくつかの実装態様では、集積回路は、集積回路の推論の数に基づくサンプリング周波数で一次元または二次元のアナログ入力を処理するように構成されたアナログ信号サンプリングモジュール（３１１８）をさらに含む（ＩＣの推論の数は、製品仕様によって決定され－我々は、ニューラルネットワーク演算からのサンプリングレートおよびチップが解決することを目的とする正確なタスクを知っている）。
次に図３１Ｄを参照すると、いくつかの実装態様では、集積回路は、複数の演算増幅器の動作範囲に適合するようにアナログ信号をスケールダウンするかまたはスケールアップするための電圧変換モジュール（３１２０）をさらに含む。
次に図３１Ｅを参照すると、いくつかの実装態様では、集積回路は、ＣＣＤカメラから取得された１つ以上のフレームを処理するように構成されたタクト信号処理モジュール（３１２２）をさらに含む。
次に図３１Ｆを参照すると、いくつかの実装態様では、訓練されたニューラルネットワークは、長期短期記憶（ＬＳＴＭ）ネットワークであり、集積回路は、信号タクトを同期させ、かつ時系列処理を可能にするための１つ以上のクロックモジュールをさらに含む。
次に図３１Ｇを参照すると、いくつかの実装態様では、集積回路は、アナログコンポーネントの同等なアナログネットワークの出力に基づいてデジタル信号を生成するように構成された１つ以上のアナログ－デジタル変換器（３１２６）（例えば、ＡＤＣ変換器２６０）をさらに含む。
次に図３１Ｈを参照すると、いくつかの実装態様では、集積回路は、エッジアプリケーションから取得された一次元または二次元のアナログ信号を処理するように構成された１つ以上の信号処理モジュール（３１２８）を含む。
次に図３１Ｉを参照すると、訓練されたニューラルネットワークは、検出される所定量のガスを含有するガス混合物中の異なるガスの選択的感知のための、異なるガス混合物に対するガスセンサ（例えば、２～２５個のセンサ）のアレイの信号を含む訓練データセットを使用して訓練されている（３１３０）（つまり、訓練されたチップの演算を使用して、混合物中の他のガスの存在にかかわらず、ガス混合物中のニューラルネットワークガスに既知の各々を個別に判定する）。いくつかの実装態様では、ニューラルネットワークトポロジは、１６個のガスセンサによる測定に基づいて３つの二元ガス成分を検出するために設計された一次元深層畳み込みニューラルネットワーク（１Ｄ－ＤＣＮＮ）であり、１６個のセンサごとの１Ｄ畳み込みブロック、３つの共有または共通の１Ｄ畳み込みブロック、および３つの稠密層を含む（３１３２）。いくつかの実装態様では、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）任意の数の時間ステップによる遅延を生じさせる遅延ブロック、（ｉｉｉ）５の信号制限、（ｉｖ）１５個の層、（ｖ）およそ１００，０００個のアナログニューロン、および（ｖｉ）およそ４，９００，０００個の接続を含む（３１３４）。
次に図３１Ｊを参照すると、訓練されたニューラルネットワークは、ＭＯＳＦＥＴデバイスの残りの耐用年数（ＲＵＬ）を予測するために、異なるＭＯＳＦＥＴ（例えば、４２個の異なるＭＯＳＦＥＴのための熱老化時間シリーズを含むＮＡＳＡ ＭＯＳＦＥＴデータセット。データは、４００ｍｓごとにサンプリングされ、典型的には、各デバイスのための数時間のデータ）のための熱老化時系列データを含む訓練データセットを使用して訓練されている（３１３６）。いくつかの実装態様では、ニューラルネットワークトポロジは、各層に６４個のニューロンを有する４つのＬＳＴＭ層、これに続く、それぞれ６４個のニューロンおよび１つのニューロンを有する２つの稠密層を含む（３１３８）。いくつかの実装態様では、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）１８個の層、（ｉｖ）３，０００～３，２００個のアナログニューロン（例えば、３１３７個のアナログニューロン）、および（ｖ）１２３，０００～１２４，０００個の接続（例えば１２３，２００個の接続）を含む（３１４０）。
次に図３１Ｋを参照すると、訓練されたニューラルネットワークは、異なる市販のリチウムイオン電池（例えば、ＮＡＳＡ電池使用データセット。データセットは、６つ市販のリチウムイオン電池の連続使用のデータを提示し、ネットワーク動作は、電池の放電曲線の分析に基づく）の連続使用中の放電および温度データを含む時系列データを含む訓練データセットを使用して、電池管理システム（ＢＭＳ）で使用するリチウムイオン電池の健康状態（ＳＯＨ）および充電状態（ＳＯＣ）を監視するために訓練されている（３１４２）。いくつかの実装態様では、ニューラルネットワークトポロジは、入力層、各層に６４個のニューロンを有する２つのＬＳＴＭ層、これに続く、ＳＯＣ値およびＳＯＨ値を生成するための２つのニューロンを有する出力稠密層を含む（３１４４）。同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）９つの層、（ｉｖ）１，２００～１，３００個のアナログニューロン（例えば、１２７１個のアナログニューロン）、および（ｖ）５１，０００～５２，０００個の接続（例えば５１，７７６個の接続）を含む（３１４６）。
次に図３１Ｌを参照すると、訓練されたニューラルネットワークは、異なる市販のリチウムイオン電池（例えば、ＮＡＳＡ電池使用データセット。データセットは、６つ市販のリチウムイオン電池の連続使用のデータを提示し、ネットワーク動作は、電池の放電曲線の分析に基づく）の連続使用中の放電および温度データを含む時系列データを含む訓練データセットを使用して、電池管理システム（ＢＭＳ）で使用するリチウムイオン電池の健康状態（ＳＯＨ）を監視するために訓練されている（３１４８）。いくつかの実装態様では、ニューラルネットワークトポロジは、１８個のニューロンを有する入力層、１００個のニューロンを有する単純回帰層、および１つのニューロンを有する稠密層を含む（３１５０）。いくつかの実装態様では、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）４つの層、（ｉｖ）２００～３００個のアナログニューロン（例えば、２０１個のアナログニューロン）、および（ｖ）２，２００～２，４００個の接続（例えば２，３００個の接続）を含む（３１５２）。
次に図３１Ｍを参照すると、訓練されたニューラルネットワークは、発声コマンド（例えば、「はい」、「いいえ」、「上」、「下」、「左」、「右」、「オン」、「オフ」、「ストップ」、「ゴー」を含む１０個の短い話し言葉キーワード）を識別するために、発話コマンドを含む訓練データセット（例えば、Ｇｏｏｇｌｅ Ｓｐｅｅｃｈ Ｃｏｍｍａｎｄｓ Ｄａｔａｓｅｔ）を使用して訓練されている（３１５４）。いくつかの実装態様では、ニューラルネットワークトポロジは、１つのニューロンを有する深さ方向に分離可能な畳み込みニューラルネットワーク（ＤＳ－ＣＮＮ）層である（３１５６）。いくつかの実装態様では、同等なアナログネットワークは、（ｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉ）５の信号制限、（ｉｉｉ）１３個の層、（ｉｖ）およそ７２，０００個のアナログニューロン、および（ｖ）およそ２６０万個の接続を含む（３１５８）。
次に図３１Ｎを参照すると、訓練されたニューラルネットワークは、所定の期間にわたって様々な身体活動を行う異なる個人のために、光電式容積脈波記録法（ＰＰＧ）データ、加速度計データ、温度データ、および電気皮膚応答信号データと、ＥＣＧセンサから取得された基準心拍数データ（例えば、ＰＰＧ－ＤａｌｉａデータセットからのＰＰＧデータ（ＣＨＥＣＫ ＬＩＣＥＮＳＥ）と、を含む訓練データセットを使用して訓練されている（３１６０）。各１～４時間の間に様々な身体活動を行う１５人の個人のデータが、収集されている。手首ベースのセンサデータは、ＰＰＧ、３軸加速度計、４～６４Ｈｚでサンプリングした温度および電気皮膚応答信号、ならびに約２ＨｚのサンプリングでＥＣＧセンサから取得された基準心拍数データを含む。オリジナルのデータを、１０００時間ステップ（約１５秒）のシーケンスに５００時間ステップのシフトで分割し、これにより総計１６５４１個のサンプルを得た。データセットを、ＰＰＧセンサデータおよび３軸加速度計データに基づいて、身体運動（例えば、ジョギング、フィットネス運動、階段登り）中の脈拍を判定するために、１３２３３個の訓練サンプルと３３０８個の試験サンプルとに分割した。ニューラルネットワークトポロジは、時系列畳み込みを行う、各々が１６個のフィルタおよび２０のカーネルを有する２つのＣｏｎｖ１Ｄ層、各々が１６個のニューロンを有する２つのＬＳＴＭ層、ならびにそれぞれ１６個のニューロンおよび１つのニューロンを有する２つの稠密層を含む（３１６２）。いくつかの実装態様では、同等なアナログネットワークは、（ｉ）任意の数の時間ステップを生成するための遅延ブロック、（ｉｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉｉ）５の信号制限、（ｉｖ）１６個の層、（ｖ）７００～８００個のアナログニューロン（例えば、７１３個のアナログニューロン）、および（ｖｉ）１２，０００～１２，５００個の接続（例えば、１２，０７２個の接続）を含む（３１６４）。
次に図３１Ｏを参照すると、訓練されたニューラルネットワークは、パルスドップラレーダ信号に基づいて異なるオブジェクト（例えば、人間、車、サイクリスト、スクータ）を分類するように訓練されており（３１６６）、ニューラルネットワークトポロジは、マルチスケールＬＳＴＭニューラルネットワークを含む（３１６８）。
次に、図３１Ｐを参照すると、訓練されたニューラルネットワークは、慣性センサデータ（例えば、フィットネス追跡デバイス、スマートウォッチ、または携帯電話からの３軸加速度計、磁力計、またはジャイロスコープデータ、最大９６Ｈｚの周波数でサンプリングされた３軸加速度計データ、に基づいて、人間活動のタイプの認識（例えば、歩行、走行、着座、階段登り、運動、活動追跡）を実行するように訓練されている（３１７０）。ネットワークを、「食洗機を開け、その後に閉じる」、「立ち飲みする」、「左手のドアを閉じる」、「ジョギング」、「歩行」、「階段上り」などの３つの異なる一般利用可能なデータセットで訓練した。いくつかの実装態様では、ニューラルネットワークトポロジは、各々が１２個のフィルタおよび６４のカーネル次元の畳み込み層を有し、かつ各々に、最大枝刈り層と、Ｎがクラスの数であるとして、それぞれ、１０２４個のニューロンおよびＮ個のニューロンの２つの共通の稠密層と、が続く、３つのチャネル方向の畳み込みネットワークを含む（３１７２）。いくつかの実装態様では、同等なアナログネットワークは、（ｉ）任意の数の時間ステップを生成するための遅延ブロック、（ｉｉ）アナログニューロン当たり最大１００個の入出力接続、（ｉｉｉ）１０個のアナログニューロンの出力層、（ｉｖ）５の信号制限、（ｖ）１０個の層、（ｖｉ）１，２００～１，３００個のアナログニューロン（例えば、１２９６個のアナログニューロン）、および（ｖｉ）２０，０００～２１，０００個の接続（例えば２０，０２２個の接続）を含む（３１７４）。
次に図３１Ｑを参照すると、訓練されたニューラルネットワークは、畳み込み演算を使用して心拍数データとマージされる加速度計データに基づいて人間活動の異常なパターンを検出するようにさらに訓練されている（３１７６）（てんかんなどの医学的な理由に起因する負傷または誤動作によって引き起こされる突然の異常なパターンの場合に備えて、脳卒中前または心臓発作前の状態または信号を検出するように）。
いくつかの実装態様は、発声認識、ビデオ信号処理、画像感知、温度感知、圧力感知、レーダ処理、ＬＩＤＡＲ処理、電池管理、ＭＯＳＦＥＴ回路電流および電圧、加速度計、ジャイロスコープ、磁気センサ、心拍センサ、ガスセンサ、体積センサ、液体レベルセンサ、ＧＰＳ衛星信号、人体コンダクタンスセンサ、ガス流量センサ、濃度センサ、ｐＨメータ、およびＩＲ視覚センサからなる群から選択される、チップに統合されない（すなわち、これらは、チップに接続された外部要素である）コンポーネントを含む。
上述したプロセスに従って製造されたアナログニューロモルフィック集積回路の例は、いくつかの実装態様に従って、以下のセクションで提供される。
選択的ガス検出のための例示的なアナログニューロモルフィックＩＣ
いくつかの実装態様では、ニューロモルフィックＩＣは、上述したプロセスに従って製造される。ニューロモルフィックＩＣは、検出されるある量のガスを含むガス混合物中の異なるガスの選択的感知のために訓練された深層畳み込みニューラルネットワークに基づく。深層畳み込みニューラルネットワークは、異なるガス混合物に応答するガスセンサのアレイ（例えば、２～２５個のセンサ）の信号を含む、訓練データセットを使用して訓練される。集積回路（または本明細書に記載される手法に従って製造されたチップ）を使用して、混合物中における他のガスの存在にかかわらず、ガス混合物中の１つ以上の既知のガスを判定することができる。
いくつかの実装態様では、訓練されたニューラルネットワークは、混合ガス分類に使用されるマルチラベル１Ｄ－ＤＣＮＮネットワークである。いくつかの実装態様では、ネットワークは、１６個のガスセンサによる測定値に基づいて３つの二元ガス成分を検出するために設計されている。いくつかの実装態様では、１Ｄ－ＤＣＮＮは、センサごとの１Ｄ畳み込みブロック（１６個のそのようなブロック）、３つの共通の１Ｄ畳み込みブロック、および３つの稠密層を含む。いくつかの実装態様では、このタスクに対する１Ｄ－ＤＣＮＮネットワーク性能は、９６．３％である。
いくつかの実装態様では、オリジナルのネットワークは、以下のパラメータを用いてＴ変換される。ニューロン当たりの最大入出力接続数＝１００、遅延ブロックは、任意の数の時間ステップによる遅延を生成し得、５の信号制限。
いくつかの実装態様では、結果として生じるＴネットワークは、以下の特性を有する。１５個の層、およそ１００，０００個のアナログニューロン、およそ４，９００，０００個の接続。
ＭＯＳＦＥＴ故障予測のための例示的なアナログニューロモルフィックＩＣ
熱応力に起因するＭＯＳＦＥＴのオン抵抗劣化は、パワーエレクトロニクスにおいて周知の深刻な問題である。現実のアプリケーションでは、ＭＯＳＦＥＴデバイスの温度は、短期間で頻繁に変化する。この温度掃引は、デバイスの熱劣化を生じさせ、その結果、デバイスは、指数関数的なものを呈し得る。この作用は、典型的には、ＭＯＳＦＥＴ劣化を引き起こす温度勾配を生成するパワーサイクルによって研究されている。
いくつかの実装態様では、ニューロモルフィックＩＣは、上述したプロセスに従って製造される。ニューロモルフィックＩＣは、ＭＯＳＦＥＴデバイスの残存耐用年数（ＲＵＬ）を予測するために、「Ｒｅａｌ－ｔｉｍｅ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ａｔ ｔｈｅ Ｅｄｇｅ ｆｏｒ Ｓｃａｌａｂｌｅ Ｒｅｌｉａｂｉｌｉｔｙ Ｍｏｄｅｌｉｎｇ ｏｆ ＳＩ－ＭＯＳＦＥＴ Ｐｏｗｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｖｅｒｔｅｒｓ」というタイトルの論文で論じられているネットワークに基づいている。ニューラルネットワークを使用して、デバイスの残存有用寿命（ＲＵＬ）を８０％を超える精度で判定することができる。
いくつかの実装態様では、ネットワークは、４２個の異なるＭＯＳＦＥＴの熱老化時系列を含むＮＡＳＡ ＭＯＳＦＥＴデータセットで訓練されている。データは、４００ｍｓごとにサンプリングされ、典型的には、各デバイスの数時間のデータを含む。ネットワークは、各々６４個のニューロンの４つのＬＳＴＭ層を含み、これに、６４個および１つのニューロンの２つの稠密層が続く。
いくつかの実装態様では、ネットワークは、以下のパラメータを用いてＴ変換される。ニューロン当たりの最大入出力接続は１００であり、５の信号制限、結果として生じるＴネットワークは、以下の特性、すなわち、１８個の層、およそ３，０００個のニューロン（例えば、１３７個のニューロン）、およびおよそ１２０，０００個の接続（例えば、１２３，２００個の接続）を有していた。
リチウムイオン電池の健康およびＳｏＣ監視のための例示的なアナログニューロモルフィックＩＣ
いくつかの実装態様では、ニューロモルフィックＩＣは、上述したプロセスに従って製造される。ニューロモルフィックＩＣを、電池管理システム（ＢＭＳ）で使用するリチウムイオン電池の予測分析に使用することができる。ＢＭＳデバイスは、典型的には、過充電および過放電保護、健康状態（ＳＯＨ）および充電状態（ＳＯＣ）の監視、およびいくつかのセルの負荷バランスなどの機能を提示する。ＳＯＨおよびＳＯＣ監視は、通常、デバイスのコストを増加させ、かつ電力を消費するデジタルデータプロセッサを必要とする。いくつかの実装態様では、集積回路を使用して、デバイス上にデジタルデータプロセッサを実装することなく、正確なＳＯＣおよびＳＯＨデータを取得することができる。いくつかの実装態様では、集積回路は、９９％を超える精度でＳＯＣを判定し、９８％を超える精度でＳＯＨを判定する。
いくつかの実装態様では、ネットワーク演算は、電池の放電曲線の分析、ならびに温度に基づき、および／またはデータは、時系列で提示される。いくつかの実装態様は、ＮＡＳＡ電池使用データセットからのデータを使用する。データセットは、６つの市販のリチウムイオン電池の連続使用のデータを提示する。いくつかの実装態様では、ネットワークは、入力層、各々６４個のニューロンの２つのＬＳＴＭ層、および２つのニューロンの出力稠密層（ＳＯＣ値およびＳＯＨ値）を含む。
いくつかの実装態様では、ネットワークは、以下のパラメータ、すなわち、ニューロン当たりの最大入出力接続数＝１００、および５の信号制限を用いてＴ変換される。いくつかの実装態様では、結果として生じるＴ－ネットワークは、以下の特性、すなわち、９つの層、およそ１，２００個のニューロン（例えば、１，２７１個のニューロン）、およびおよそ５０，０００個の接続（例えば、５１，７７６個の接続）を含む。いくつかの実装態様では、ネットワーク演算は、電池の放電曲線の分析、ならびに温度に基づく。ネットワークは、ＮＡＳＡ電池使用データセットからのデータを処理するために設計された「Ｓｔａｔｅ－ｏｆ－Ｈｅａｌｔｈ Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｌｉ－ｉｏｎ Ｂａｔｔｅｒｉｅｓ ｉｎＥｌｅｃｔｒｉｃ Ｖｅｈｉｃｌｅ Ｕｓｉｎｇ ＩｎｄＲＮＮ ｕｎｄｅｒ ＶａｒｉａｂｌｅＬｏａｄ Ｃｏｎｄｉｔｉｏｎ」というタイトルの論文に開示されたＮｅｔｗｏｒｋ ＩｎｄＲｎｎを使用して訓練されている。データセットは、６つの市販のリチウムイオン電池の連続使用のデータを提示する。ＩｎｄＲｎｎネットワークは、１８個のニューロンを有する入力層、１００個のニューロンの単純回帰層、および１つのニューロンの稠密層を含む。
いくつかの実装態様では、ＩｎｄＲｎｎネットワークは、以下のパラメータ、すなわち、ニューロン当たりの最大入出力接続数＝１００、および５の信号制限を用いてＴ変換される。いくつかの実装態様では、結果として生じるＴ－ネットワークは、以下の特性、すなわち、４つの層、およそ２００個のニューロン（例えば、２０１個のニューロン）、およびおよそ２，０００個の接続（例えば、２，３００個の接続）を有していた。いくつかの実装態様は、１．３％の推定誤差でＳＯＨのみを出力する。いくつかの実装態様では、ＳＯＣは、ＳＯＨが取得され方法と同様に取得される。
キーワードスポッティングの例示的なアナログニューロモルフィックＩＣ
いくつかの実装態様では、ニューロモルフィックＩＣは、上述したプロセスに従って製造される。ニューロモルフィックＩＣを、キーワードスポッティングに使用することができる。
入力ネットワークは、２Ｄ畳み込み層および２Ｄ深さ方向畳み込み層を有するニューラルネットワークであり、サイズ４９×１０の入力音声メルスペクトログラムを有する。いくつかの実装態様では、ネットワークは、５つの畳み込み層、４つの深さ方向畳み込み層、平均枝刈り層、および最終的な稠密層を含む。
いくつかの実装態様では、ネットワークは、９４．４％の認識精度で、Ｇｏｏｇｌｅ Ｓｐｅｅｃｈ Ｃｏｍｍａｎｄｓ Ｄａｔａｓｅｔから１０個の短い話し言葉キーワード（「はい」、「いいえ」、「上」、「下」、「左」、「右」、「オン」、「オフ」、「ストップ」、「ゴー」）を認識するように事前に訓練されている。
いくつかの実装態様では、集積回路は、発声コマンド識別のための深さ方向に分離可能な畳み込みニューラルネットワーク（ＤＳ－ＣＮＮ）に基づいて製造される。いくつかの実装態様では、ＤＳ－ＣＮＮネットワークは、以下のパラメータ、すなわち、ニューロン当たりの最大入出力接続数＝１００、および５の信号制限を用いてＴ変換される。いくつかの実装態様では、結果として生じるＴ－ネットワークは、以下の特性、すなわち、１３個の層、およそ７２，０００個のニューロン、およびおよそ２６０万個の接続を有していた。
例示的なＤＳ－ＣＮＮキーワードスポッティングネットワーク
一例では、キーワードスポッティングネットワークは、いくつかの実装態様に従って、Ｔネットワークに変換される。ネットワークは、２Ｄ畳み込み層および２Ｄ深さ方向畳み込み層のニューラルネットワークであり、サイズ４９×１０の入力音声メルスペクトログラムを有する。ネットワークは、５つの畳み込み層、４つの深さ方向畳み込み層、平均枝刈り層、および最終的な稠密層を含む。ネットワークは、Ｇｏｏｇｌｅ Ｓｐｅｅｃｈ Ｃｏｍｍａｎｄｓ Ｄａｔａｓｅｔ ｈｔｔｐｓ：／／ａｉ．ｇｏｏｇｌｅｂｌｏｇ．ｃｏｍ／２０１７／０８／ｌａｕｎｃｈｉｎｇ－ｓｐｅｅｃｈ－ｃｏｍｍａｎｄｓ－ｄａｔａｓｅｔ．ｈｔｍｌから１０の短い話し言葉キーワード（「はい」、「いいえ」、「上」、「下」、「左」、「右」、「オン」、「オフ」、「ストップ」、「ゴー」）を認識するように事前に訓練されている。「沈黙」および「不明」に対応する２つの追加のクラスがある。ネットワーク出力は、長さ１２のソフトマックスである。
（変換に入力された）訓練されたニューラルネットワークは、いくつかの実装態様に従って、９４．４％の認識精度を有していた。ニューラルネットワークトポロジでは、各畳み込み層に、ＢａｔｃｈＮｏｒｍ層およびＲｅＬＵ層が続き、ＲｅＬＵ活性化は非有界であり、約２５０万の積和演算を含んでいた。
変換後、変換されたアナログネットワークを、１０００個のサンプル（１００の各話し言葉コマンド）の試験セットで試験した。すべての試験サンプルはまた、オリジナルのデータセットの試験サンプルとして使用される。オリジナルのＤＳ－ＣＮＮネットワークは、この試験セットに対して５．７％に近い認識誤差を与えた。ネットワークを、自明なニューロンのＴネットワークに変換した。「試験」モードにあるＢａｔｃｈＮｏｒｍａｌｉｚａｔｉｏｎ層は、単純な線形の信号変換を生成するので、重み乗数＋何らかの追加のバイアスとして解釈できる。畳み込み、平均枝刈り、および稠密層は、かなり直截的にＴ変換される。ソフトマックス活性化関数を、Ｔ－ｎｅｔｗｏｒｋには実装せず、Ｔ－ｎｅｔｗｏｒｋ出力に別個に適用して。
結果として生じたＴネットワークは、入力層を含む１２個の層、およそ７２，０００個のニューロン、およびおよそ２５０万個の接続を有していた。
図２６Ａ～２６Ｋは、いくつかの実装態様による、層１～１１の絶対重みの例示的なヒストグラム２６００をそれぞれ示す。（絶対重みの）重み分布ヒストグラムを、各層について計算した。チャートの破線は、それぞれの層の平均絶対重み値に対応する。変換（すなわち、Ｔ変換）後、変換されたネットワーク対元のネットワークの平均出力絶対誤差（試験セットに対して計算される）は、４．１ｅ－９であると計算される。
変換されたネットワークのネットワーク制限を設定するための様々な例が、いくつかの実装態様に従って、本明細書に記載される。信号制限については、ネットワークで使用されるＲｅＬＵ活性化が非有界であるため、いくつかの実装態様は、各層に対して信号制限を使用する。これは、数学的同等性に潜在的に影響を与え得る。このため、いくつかの実装態様は、入力信号範囲に関して５の電源電圧に対応するすべての層に対して５の信号制限を使用する。
重みを量子化するために、いくつかの実装態様は、３０個の抵抗器の公称セット［０．００１、０．００３、０．０１、０．０３、０．１、０．３２４、０．３５３、０．４３６、０．５０８、０．５４２、０．５４４、０．５９６、０．７３、０．７６７、０．９１４、０．９８５、０．９８９、１．０４３、１．１０１、１．１４９、１．１５７、１．２５３、１．３２９、１．４３２、１．５０１、１．５９７、１．８９６、２．２３３、２．５８２、２．８４４］を使用する。
いくつかの実装態様は、各層に対してＲ－およびＲ＋値（上記の説明を参照）を個別に選択する。各層について、いくつかの実装態様は、最良の重み精度を提供する値を選択する。いくつかの実装態様では、続いて、Ｔネットワーク内のすべての重み（バイアスを含む）が量子化される（例えば、入力または選定された抵抗で達成され得る最も近い値に設定される）。
いくつかの実装態様は、出力層を以下のように変換する。出力層は、ＲｅＬＵ活性化を有しない稠密層である。層は、いくつかの実装態様に従って、Ｔ変換で実装されず、かつデジタル部分のために残されたソフトマックス活性化を有する。いくつかの実装態様は、追加の変換を実行しない。
心拍数を取得するための例示的なアナログ神ニューロモルフィックＩＣ
ＰＰＧは、組織の微小血管床における血液量の変化を検出するために使用できる光学的に取得されたプレチスモグラムである。ＰＰＧは、多くの場合、皮膚を照明し、かつ光吸収の変化を測定する、パルスオキシメータを使用することによって取得される。ＰＰＧは、多くの場合、フィットネストラッカなどのデバイスで心拍数を判定するために処理される。ＰＰＧ信号から心拍数（ＨＲ）を導出することは、エッジデバイスコンピューティングにおいて不可欠なタスクである。手首上にあるデバイスから取得されるＰＰＧデータは、通常、デバイスが安定しているときにのみ信頼性を有する心拍数を取得することを可能にする。人が身体運動に関与している場合、ＰＰＧデータから心拍数を取得することは、慣性センサデータと組み合わされない限り、不良な結果を生成する。
いくつかの実装態様では、畳み込みニューラルネットワークとＬＳＴＭ層との組み合わせに基づいて、集積回路を使用して、光電式容積脈波記録法（ＰＰＧ）センサおよび３軸加速度計からのデータをバイアスして、パルスレートを正確に判定することができる。集積回路を使用して、ＰＰＧデータの動きアーチファクトを抑制し、ジョギング、フィットネス運動、および階段昇りなどの身体運動中の脈拍を、９０％を超える精度で判定することができる。
いくつかの実装態様では、入力ネットワークは、ＰＰＧ－ＤａｌｉａデータセットからのＰＰＧデータで訓練されている。所定の持続時間（例えば、各１～４時間）にわたって様々な身体活動を行う１５人の個人のデータが収集されている。手首ベースのセンサデータが含まれた訓練データは、４～６４Ｈｚでサンプリングされた、ＰＰＧ、３軸加速度計、温度、および電気皮膚応答信号、ならびに約２ＨｚでサンプリングするＥＣＧセンサから取得された基準心拍数データを含む。オリジナルのデータを、１０００時間ステップ（約１５秒）のシーケンスに５００時間ステップのシフトで分割し、これにより総計１６５４１個のサンプルを生成した。データセットを１３２３３個の訓練サンプルと３３０８個の試験サンプルとに分割した。
いくつかの実装態様では、入力のネットワークは、時系列畳み込みを実行する各々１６個のフィルタを有する２つのＣｏｎｖ１Ｄ層、各々１６個のニューロンの２つのＬＳＴＭ層、ならびに１６個および１つのニューロンの２つの稠密層を含んでいた。いくつかの実装態様では、ネットワークは、試験セットに対して毎分６拍動未満のＭＳＥ誤差を生成する。
いくつかの実装態様では、ネットワークは、以下のパラメータを用いてＴ変換される。遅延ブロックは、任意の数の時間ステップによる遅延を生成し得、ニューロン当たりの最大入出力接続＝１００、および５の信号制限。いくつかの実装態様では、結果として生じるＴ－ネットワークは、以下の特性、すなわち、１５個の層、およそ７００個のニューロン（例えば、７１３個のニューロン）、およびおよそ１２，０００個の接続（例えば、１２，０７２個の接続）を有していた。
Ｔ変換されたＬＳＴＭネットワークによる例示的なＰＰＧデータの処理
上述したように、回帰ニューロンについて、いくつかの実装態様は、ＧＲＵニューロンおよびＬＳＴＭニューロンの各回帰接続に追加される信号遅延ブロックを使用する。いくつかの実装態様では、遅延ブロックは、一定期間ｄｔで遅延ブロックを活性化する外部サイクルタイマ（例えば、デジタルタイマ）を有する。この活性化は、ｘ（ｔ）が遅延ブロックの入力信号であるとして、ｘ（ｔ－ｄｔ）の出力を生成する。そのような活性化周波数は、例えば、ネットワーク入力信号周波数（例えば、Ｔ変換されたネットワークによって処理されるアナログセンサの出力周波数）に対応し得る。典型的に、すべての遅延ブロックは、同じ活性化信号で同時に活性化される。１つの周波数でいくつかのブロックを同時に活性化することができ、別の周波数で他のブロックを活性化することができる。いくつかの実装態様では、これらの周波数は、共通の乗算器を有し、信号は、同期される。いくつかの実装態様では、１つの信号に対して、加算的な時間シフトを生成する複数の遅延ブロックが使用される。遅延ブロックの例は、図１３Ｂを参照して上述されており、いくつかの実装態様に従って、遅延ブロックの２つの例を示す。
ＰＰＧデータを処理するためのネットワークは、いくつかの実装態様に従って、１つ以上のＬＳＴＭニューロンを使用する。ＬＳＴＭニューロンの実装態様の例は、いくつかの実装態様に従って、図１３Ａを参照して上述されている。
ネットワークはまた、時間座標にわたって実行される畳み込みである、Ｃｏｎｖ１Ｄを使用する。Ｃｏｎｖ１Ｄの実装態様の例は、いくつかの実装態様に従って、図１５Ａおよび１５Ｂを参照して上述されている。
ＰＰＧデータの詳細が、いくつかの実装態様に従って、本明細書に記載される。ＰＰＧは、組織の微小血管床における血液量の変化を検出するために使用できる光学的に取得されたプレチスモグラムである。ＰＰＧは、多くの場合、皮膚を照明し、かつ光吸収の変化を測定する、パルスオキシメータを使用することによって取得される。ＰＰＧは、多くの場合、フィットネストラッカなどのデバイスで心拍数を判定するために処理される。ＰＰＧ信号から心拍数（ＨＲ）を導出することは、エッジデバイスコンピューティングにおいて不可欠なタスクである。
いくつかの実装態様では、Ｃａｐｎｏｂａｓｅ ＰＰＧデータセットからのＰＰＧデータを使用する。データは、毎秒３００個のサンプルをサンプリングした、各々８分の持続時間の４２人の個人の原ＰＰＧ信号と、毎秒１つのサンプルをサンプリングした、ＥＣＧセンサから取得され基準心拍数データと、を含む。訓練および評価のために、いくつかの実装態様は、オリジナルのデータを６０００時間ステップのシーケンスに１０００時間のステップのシフトで分割し、これにより総計５８３８個のサンプルの総セットを取得する。
いくつかの実装態様では、ＮＮベースの、入力の訓練されたニューラルネットワークは、ＰＰＧデータから心拍数（ＨＲ）を取得する際に１～３％の精度を可能にする。
このセクションは、Ｔ変換およびアナログ処理がこのタスクにどのように対処できるかを例証するために、比較的単純なニューラルネットワークについて記載する。この説明は、いくつかの実装態様に従って、例として提供される。
いくつかの実装態様では、データセットは、４，６７０個の訓練サンプルおよび１，１６８個の試験サンプルに分割される。ネットワークは、１６個のフィルタおよび２０のカーネルを有する１つのＣｏｎｖ１Ｄ層、２４個のニューロンを有する２つのＬＳＴＭ層、２つの稠密層（各々２４個および１つのニューロンを有する）を含んでいた。いくつかの実装態様では、このネットワークを２００エポック訓練した後、試験精度は、２．１％であることがわかった。
いくつかの実装態様では、入力のネットワークは、以下のパラメータ、すなわち、１、５および１０時間ステップの期間を有する遅延ブロック、ならびに以下の特性、すなわち、１７個の層、１５，４４８個の接続、および３２９個のニューロン（ＯＰ３ニューロンおよび乗算器ブロック、遅延ブロックをカウントしない）を用いてＴ変換された。
パルスドップラレーダ信号に基づく物体認識のための例示的なアナログニューロモルフィック集積回路
いくつかの実装態様では、マルチスケールＬＳＴＭニューラルネットワークに基づいて、パルスドップラレーダ信号に基づいて物体を分類するために使用できる集積回路が製造される。このＩＣは、ドップラレーダ信号に基づいて、人間、車、サイクリスト、スクータなどの異なる物体を分類するために使用でき、雑音を除去し、ドップラレーダ信号にノイズを提供する。いくつかの実装態様では、マルチスケールＬＳＴＭネットワークを用いた物体の分類の精度は、９０％を超えた。
慣性センサデータに基づく人間活動のタイプの認識のための例示的なアナログニューロモルフィックＩＣ
いくつかの実装態様では、ニューロモーフィック集積回路が、製造され、３軸加速度計、場合によっては磁力計および／またはフィットネス追跡デバイス、スマートウォッチ、または携帯電話のジャイロスコープからの入力信号を有するマルチチャネル畳み込みニューラルネットワークに基づく人間活動のタイプの認識のために使用され得る。マルチチャネル畳み込みニューラルネットワークは、歩行、走行、着座、階段登り、運動などの異なるタイプの人間活動を区別するために使用でき、活動追跡に使用できる。このＩＣは、心拍数データと畳み込みによってマージされる加速度計データに基づいて、人間活動の異常なパターンを検出するために使用できる。そのようなＩＣは、いくつかの実装態様に従って、てんかんなどのような医療上の理由に起因する負傷または誤動作によって引き起こされる突然の異常パターンの場合に備えて、脳卒中前または心臓発作前の状態または信号を検出することができる。
いくつかの実装態様では、このＩＣは、「Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｈｕｍａｎ Ａｃｔｉｖｉｔｙ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｍｏｂｉｌｅ Ｓｅｎｓｏｒｓ．」という論文で論じられているチャネルごとの１Ｄ畳み込みネットワークに基づいている。いくつかの実装態様では、このネットワークは、最大９６Ｈｚの周波数でサンプリングされた３軸加速度計データを入力として受け入れる。いくつかの実装態様では、ネットワークは、「食洗機を開け、その後に閉じる」、「立ち飲みする」、「左手のドアを閉じる」、「ジョギング」、「歩行」、「階段上り」などの活動を提示する、３つの異なる一般利用可能なデータセットで訓練される。いくつかの実装態様では、ネットワークは、１２個のフィルタおよび６４のカーネルのＣｏｎｖ層を有する３つのチャネルごとのＣｏｎｖネットワーク、これらの各々に続くＭａｘＰｏｏｌｉｎｇ（４）層、ならびにＮがクラスの数であるとして、それぞれ１０２４個およびＮ個のニューロンの２つの共通の稠密層を含んでいた。いくつかの実装態様では、活動分類は、低い誤差率（例えば、３．１２％の誤差）で実行された。
いくつかの実装態様では、ネットワークは、以下のパラメータを用いてＴ変換される。遅延ブロックは、任意の数の時間ステップによる遅延を生成し得、ニューロン当たりの最大入出力接続＝１００、１０個のニューロンの出力層、および５の信号制限。いくつかの実装態様では、結果として生じるＴ－ネットワークは、以下の特性、すなわち、１０個の層、およそ１，２００個のニューロン（例えば、１２９６個のニューロン）、およびおよそ２０，０００個の接続（例えば、２０，０２２個の接続）を有していた。
ライブラリを生成するためのモジュールネット構造の例示的な変換
変換されたニューラルネットワークのモジュール構造が、いくつかの実装態様に従って、本明細書に記載される。モジュール型ニューラルネットワークの各モジュールは、１つ以上の訓練されたニューラルネットワーク（の全体または一部）の変換後に取得される。いくつかの実装態様では、１つ以上の訓練されたニューラルネットワークは、部分に細分化されてから、続いて、同等なアナログネットワークに変換される。モジュール構造は、現在使用されているニューラルネットワークのうちのいくつかに典型的であり、ニューラルネットワークのモジュール分割は、ニューラルネットワーク開発の傾向に対応する。各モジュールは、接続されたモジュールの、任意の数の入力、または入力ニューロンから出力ニューロンまでの接続、および後続のモジュールの入力層に接続される任意の数の出力を有することができる。いくつかの実装態様では、各モジュールの製造のためのリソグラフィマスクを含む、予備的な変換されたモジュールのライブラリ（またはシードリスト）が開発される。最終的なチップ設計は、予備的に開発されたモジュールの組み合わせとして（または接続によって）取得される。いくつかの実装態様は、モジュール間でコミュテーションを実行する。いくつかの実装態様では、モジュール内のニューロンおよび接続は、既製モジュール設計テンプレートを使用してチップ設計に変換される。これにより、チップの製造が大幅に簡素化され、対応するモジュールを単に接続することによって成し遂げられる。
いくつかの実装態様は、既成のＴ変換されたニューラルネットワークおよび／またはＴ変換されたモジュールのライブラリを生成する。例えば、ＣＮＮネットワークの層は、モジュール確立ブロックであり、ＬＳＴＭチェーンは、別の確立ブロックである、などである。より大きなニューラルネットワークＮＮはまた、モジュール構造（例えば、ＬＳＴＭモジュールおよびＣＮＮモジュール）を有する。いくつかの実装態様では、ニューラルネットワークのライブラリは、例示的なプロセスの副産物にとどまらず、独立して販売できる。例えば、サードパーティは、（例えば、ケイデンス回路、ファイル、および／またはリソグラフィマスクを使用して）ライブラリ内のアナログ回路、模式図、または設計から始まるニューラルネットワークを製造することができる。いくつかの実装態様は、典型的なニューラルネットワークのＴ変換されたニューラルネットワーク（例えば、ケイデンスまたは同様のソフトウェアに変換可能なネットワーク）を生成し、変換されたニューラルネットワーク（または関連付けられた情報）は、サードパーティに販売される。いくつかの例では、サードパーティは、初期ニューラルネットワークの構造および／または目的を開示しないことを選定するが、いくつかの実装に従って、変換ソフトウェア（例えば、叙述したＳＤＫ）を使用して、初期ネットワークを台形様ネットワークに変換し、変換されたネットワークを、上述したプロセスのうちの１つを使用して取得された重みの行列とともに、変換されたネットワークを作製するための製造業者に渡す。既製ネットワークのライブラリが本明細書に記載されるプロセスに従って生成される別の例として、対応するリソグラフィマスクが生成され、顧客は、自分のタスクのために利用可能なネットワークアーキテクチャの１つを訓練し、可逆変換（Ｔ変換と呼ばれることがある）を実行し、訓練されたニューラルネットワークのためのチップを製造するために、重みを製造業者に提供することができる。
いくつかの実装態様では、モジュール構造概念はまた、マルチチップシステムまたはマルチレベル３Ｄチップの製造において使用され、３Ｄチップの各層は、１つのモジュールを表す。３Ｄチップの場合に接続されたモジュールの入力にモジュールの出力を接続することは、多層３Ｄチップシステムでは、異なる層のオーム性接触を提供する標準的な相互接続によって行われるであろう。いくつかの実装態様では、特定のモジュールのアナログ出力は、層間相互接続を介して、接続されたモジュールのアナログ入力に接続されている。いくつかの実装態様では、モジュール構造を使用して、同様にマルチチッププロセッサシステムを作る。そのようなマルチチップアセンブリの独特の特徴は、異なるチップ間のアナログ信号データ線である。典型的にはいくつかのアナログ信号を１つのデータ線に圧縮すること、および受信チップにおけるアナログ信号の対応するデコミュテーションのための、アナログコミュテーションスキームは、アナログ回路で開発されたアナログ信号コミュテーションおよびデコミュテーションの標準的なスキームを使用して成し遂げられる。
上述した手法に従って製造されたチップの１つの主な利点は、アナログ信号伝播が、アナログデジタルまたはデジタルアナログ変換を必要とせずに、すべての信号相互接続およびデータ線がアナログ信号を伝送する多層チップまたはマルチチップアセンブリに拡張できることである。このようにして、アナログ信号転送および処理を、３Ｄ多層チップまたはマルチチップアセンブリに拡張することができる。
ニューラルネットワークのハードウェア実現のためのライブラリを生成するための例示的な方法
図３２Ａ～３２Ｅは、いくつかの実装態様による、ニューラルネットワークのハードウェア実現のためのライブラリを生成する（３２０２）ための方法３２００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２と、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶するメモリ２１４と、を有するコンピューティングデバイス２００で（例えば、ライブラリ生成モジュール２５４を使用して）実行される（３２０４）。
方法は、複数のニューラルネットワークトポロジ（例えば、トポロジ２２４）を取得すること（３２０６）を含み、各ニューラルネットワークトポロジは、それぞれのニューラルネットワーク（例えば、ニューラルネットワーク２２０）に対応する。
方法はまた、（例えば、ニューラルネットワーク変換モジュール２２６を使用して）各ニューラルネットワークトポロジを、アナログコンポーネントのそれぞれの同等なアナログネットワークに変換すること（３２０８）を含む。
次に図３２Ｄを参照すると、いくつかの実装態様では、それぞれのネットワークトポロジをそれぞれの同等なアナログネットワークに変換すること（３２３０）は、以下を含む。（ｉ）それぞれのネットワークトポロジを複数のサブネットワークトポロジに分解すること（３２３２）。いくつかの実装態様では、それぞれのネットワークトポロジを分解することはそれぞれのネットワークトポロジの１つ以上の層（例えば、ＬＳＴＭ層、全結合層）を複数のサブネットワークトポロジとして識別すること（３２３４）を含み、（ｉｉ）各サブネットワークトポロジをアナログコンポーネントのそれぞれの同等なアナログサブネットワークに変換すること（３２３６）、および（ｉｉｉ）それぞれの同等なアナログネットワークを取得するように、各同等なアナログサブネットワークを構成すること（３２３８）。
図３２Ａを再び参照すると、方法はまた、複数の回路を作製するための複数のリソグラフィマスク（例えば、マスク２５６）を生成すること（３２１０）を含み、各回路は、アナログコンポーネントのそれぞれの同等なアナログネットワークを実装する。
次に図３２Ｅを参照すると、いくつかの実装態様では、各回路は、（ｉ）アナログコンポーネントのそれぞれの同等なアナログネットワークの模式図を生成すること（３２４０）と、（ｉｉ）模式図に基づいて（特別なソフトウェア、例えばケイデンスを使用して）それぞれの回路レイアウト設計を生成すること（３２４２）と、によって取得される。いくつかの実装態様では、方法は、複数の回路を作製するための複数のリソグラフィマスクを生成する前に、１つ以上の回路レイアウト設計を組み合わせること（３２４４）をさらに含む。
次に図３２Ｂを参照すると、いくつかの実装態様では、方法は、以下を含む。（ｉ）新たなニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを取得すること（３２１２）、（ｉｉ）新たなニューラルネットワークトポロジを複数のニューラルネットワークトポロジと比較することに基づいて、複数のリソグラフィマスクから１つ以上のリソグラフィマスクを選択すること（３２１４）。いくつかの実装態様では、新たなニューラルネットワークトポロジは、複数のサブネットワークトポロジを含み、１つ以上のリソグラフィマスクを選択することは、各サブネットワークトポロジを複数のネットワークトポロジの各ネットワークトポロジと比較すること（３２１６）にさらに基づいており、（ｉｉｉ）重みに基づいて新たな同等なアナログネットワークの重み行列を計算すること（３２１８）、（ｉｖ）重み行列のための抵抗行列を生成すること（３２２０）、および（ｖ）抵抗行列および１つ以上のリソグラフィマスクに基づいて新たな同等なアナログネットワークを実装する回路を製造するための新たなリソグラフィマスクを生成すること（３２２２）。
次に図３２Ｃを参照すると、複数のサブネットワークトポロジの１つ以上のサブネットワークトポロジは、複数のネットワークトポロジの任意のネットワークトポロジと比較すること（３２２４）に失敗し、方法は、（ｉ）１つ以上のサブネットワークトポロジの各サブネットワークトポロジを、アナログコンポーネントのそれぞれの同等なアナログサブネットワークに変換すること（３２２６）と、１つ以上の回路を作製するための１つ以上のリソグラフィマスクを生成すること（３２２８）であって、１つ以上の回路の各回路は、アナログコンポーネントのそれぞれの同等なアナログサブネットワークを実装する、生成することと、をさらに含む。
ニューロモルフィックアナログ集積回路のエネルギー効率を最適化するための例示的な方法
図３３Ａ～３３Ｊは、いくつかの実装態様による、アナログニューロモルフィック回路（訓練されたニューラルネットワークをモデル化する）のエネルギー効率を最適化する（３３０２）ための方法３３００のフローチャートを示す。方法は、１つ以上のプロセッサ２０２と、１つ以上のプロセッサ２０２による実行用に構成された１つ以上のプログラムを記憶するメモリ２１４と、を有するコンピューティングデバイス２００で（例えば、エネルギー効率最適化モジュール２６４を使用して）実行される（３２０４）。
方法は、複数の演算増幅器および複数の抵抗器を含むアナログコンポーネントのアナログネットワーク（例えば、変換されたアナログニューラルネットワーク２２８）を実装する集積回路（例えば、ＩＣ２６２）を取得すること（３３０６）を含む。アナログネットワークは、訓練されたニューラルネットワーク（例えば、ニューラルネットワーク２２０）を表し、各演算増幅器は、それぞれのアナログニューロンを表し、各抵抗器は、それぞれの第１のアナログニューロンとそれぞれの第２のアナログニューロンとの間のそれぞれの接続を表す。
方法はまた、アナログネットワークの１つの層から後続の層に信号を同時に転送することを含む複数の試験入力のために、（例えば、推論モジュール２６６を使用して）集積回路を使用して推論を生成すること（３３０８）を含む。いくつかの実装態様では、アナログネットワークは、階層構造を有し、信号は、前の層から次の層に同時に来る。推論プロセス中、信号は、層ごとに回路を通して伝播し、デバイスレベルでのシミュレーション、毎分の時間遅延。
方法はまた、集積回路を使用して推論を生成しながら、複数の演算増幅器の信号出力のレベルが（例えば、信号監視モジュール２６８を使用して）平衡化されているかどうかを判定すること（３３１０）を含む。演算増幅器は、入力を受信した後、過渡期間（例えば、過渡信号から定常信号までの１ミリ秒未満継続する期間）を経て、その後、信号のレベルが平衡化され、変化しない。信号出力のレベルが平衡化されているという判定に従い、方法はまた、以下を含む。（ｉ）信号の伝播のために信号形成に影響を与えるアナログネットワークの活性なセットのアナログニューロンを判定すること（３３１２）。活性なセットのニューロンは、層／複数の層の一部である必要はない。つまり、判定ステップは、アナログネットワークがニューロンの層を含むかどうかにかかわらず機能し、および（ｉｉ）所定の期間、活性なセットのアナログニューロンとは相違する、アナログネットワークの１つ以上のアナログニューロンの電力供給を（例えば、電力最適化モジュール２７０を使用して）オフにすること（３３１４）。例えば、いくつかの実装態様は、（その瞬間に信号が伝播した）活性な層の後ろの層にあり、かつ活性な層による信号形成に影響を与えない演算増幅器の電力供給を、（例えば、電力最適化モジュール２７０を使用して）オフに切り替える。このことは、ＩＣを通した信号伝播のＲＣ遅延に基づいて計算できる。そのため、演算中の層（または活性な層）の後ろにあるすべての層は、電力を節約するためにオフに切り替えられる。そのため、チップを通した信号の伝播は、サーフィンのようであり、信号形成の波は、チップを通して伝播し、信号形成に影響を与えていないすべての層がオフに切り替えられる。いくつかの実装態様では、層ごとのネットワークについて、信号は、層から層へと伝播し、方法は、ニューロンの活性なセットに対応する層の前の消費電力を、その層の前での増幅の必要性がないため、減少させることをさらに含む。
次に図３３Ｂを参照すると、いくつかの実装態様では、いくつかの実装態様では、活性なセットのアナログニューロンを判定することは、アナログネットワークを通した信号伝播の遅延を計算すること（３３１６）に基づく。次に図３３Ｃを参照すると、いくつかの実装態様では、活性なセットのアナログニューロンを判定することは、アナログネットワークを通した信号の伝播を検出すること（３３１８）に基づく。
次に図３３Ｄを参照すると、いくつかの実装態様では、訓練されたニューラルネットワークは、フィードフォワードニューラルネットワークであり、活性なセットのアナログニューロンは、アナログネットワークの活性な層に属し、電力供給をオフにすることは、アナログネットワークの活性な層の前の１つ以上の層の電力供給をオフにすること（３３２０）を含む。
次に図３３Ｅを参照すると、いくつかの実装態様では、所定の期間は、（特別なソフトウェア、例えばケイデンスを使用して）信号遅延を考慮して、アナログネットワークを通した信号の伝播をシミュレートすることに基づいて計算される（３３２２）。
次に図３３Ｆを参照すると、いくつかの実装態様では、訓練されたニューラルネットワークは、回帰型ニューラルネットワーク（ＲＮＮ）であり（３３２４）、アナログネットワークは、複数の演算増幅器以外かつ複数の抵抗器以外の１つ以上のアナログコンポーネントをさらに含む。そのような場合、方法は、信号出力のレベルが平衡化されているという判定に従って、１つ以上のアナログコンポーネントについて、所定の期間電力供給を（例えば、電力最適化モジュール２７０を使用して）オフにすること（３３２６）をさらに含む。
次に図３３Ｇを参照すると、いくつかの実装態様では、方法は、所定の期間の後、アナログネットワークの１つ以上のアナログニューロンの電力供給を（例えば、電力最適化モジュール２７０を使用して）オンにすること（３３２８）をさらに含む。
次に図３３Ｈを参照すると、いくつかの実装態様では、複数の演算増幅器の信号出力のレベルが平衡化されているかどうかを判定することは、アナログネットワークの１つ以上の演算増幅器が所定の閾値信号レベル（例えば、電力、電流、または電圧）を超えて出力しているかどうかを検出すること（３３３０）に基づく。
次に図３３Ｉを参照すると、いくつかの実装態様では、方法は、推論を生成しながら、所定の期間オフにすることと、所定の期間活性なアナログニューロンのセットをオンにすることと、を（例えば、電力最適化モジュール２７０によって）繰り返すこと（３３３２））をさらに含む。
次に図３３Ｊを参照すると、いくつかの実装態様では、方法は、信号出力のレベルが平衡化されているという判定に従って、各推論サイクル（３３３４）について、（ｉ）第１の時間区間の間に、信号の伝播のために信号形成に影響を与えるアナログネットワークの第１の層のアナログニューロンを決定すること（３３３６）と、（ｉｉ）所定の期間、第１の層の前の、アナログネットワークの第１の１つ以上のアナログニューロンの電力供給を（例えば、電力最適化モジュール２７０を使用して）オフにすること（３３３８））、および第１の時間区間に続く第２の時間区間の間に、所定の期間、アナログネットワークの第１の層のアナログニューロンおよび第１の１つ以上のアナログニューロンを含む、第２の１つ以上のアナログニューロンの電力供給を（例えば、電力最適化モジュール２７０を使用して）オフにすること（３３４０））と、をさらに含む。
次に図３３Ｋを参照すると、いくつかの実装態様では、１つ以上のアナログニューロンは、アナログネットワークの第１の１つ以上の層のアナログニューロンからなり（３３４２）、活性なセットのアナログニューロンは、アナログネットワークの第２の層のアナログニューロンからなり、アナログネットワークの第２の層は、第１の１つ以上の層の層とは相違する。
いくつかの実装態様は、結果として生じるハードウェア実装されたニューラルネットワークの層から層への信号伝播を遅延および／または制御するための手段を含む。
ＭｏｂｉｌｅＮｅｔ ｖ．１の例示的な変換
ＭｏｂｉｌｅＮｅｔ ｖ．１の同等なアナログネットワークへの例示的な変換が，いくつかの実装態様に従って、本明細書に記載される。いくつかの実装態様では、単一のアナログニューロンが、生成され、次いで、ＭｏｂｉｌｅＮｅｔから抵抗器値への重みの変換を有するＳＰＩＣＥ模式図に変換される。ＭｏｂｉｌｅＮｅｔ ｖ１アーキテクチャを、図３４に示される表に描示する。表において、第１の列３４０２は、層およびストライドのタイプに対応し、第２の列３４０４は、対応する層のフィルタ形状に対応し、第３の列３４０６は、対応する層の入力サイズに対応する。ＭｏｂｉｌｅＮｅｔ ｖ．１では、各畳み込み層に、バッチ正規化層およびＲｅＬＵ６活性化関数（ｙ＝最大（０，最小（６，ｘ））が続く。ネットワークは、２７個の畳み込み層、１つの稠密層からなり、２２４×２２４×３の入力画像に対して約６億回の乗算累積演算を有する。出力値は、ソフトマックス活性化関数の結果であり、値が範囲［０，１］に分布し、合計が１であることを意味する。いくつかの実装態様は、変換の入力としてＭｏｂｉｌｅＮｅｔ ３２ｘ３２およびアルファ＝１を受け入れる。いくつかの実装態様では、ネットワークは、ＣＩＦＡＲ－１０タスクのために事前に訓練されている（５０，０００個の３２×３２×３画像を１０個の非交差クラスに分割する）。バッチ正規化層は、「試験」モードで演算して、層が重み乗数＋いくつかの追加のバイアスとして解釈されるように、単純な線形信号変換を生成する。畳み込み層、平均枝刈り層、および稠密層は、いくつかの実装態様に従って、上述した手法を使用して変換される。いくつかの実装態様では、ソフトマックス活性化関数は、変換されたネットワークに実装されず、変換されたネットワーク（または同等なアナログネットワーク）の出力に別個に適用される。
いくつかの実装態様では、結果として生じる変換されたネットワークは、入力層を含む３０個の層、およそ１０４，０００個のアナログニューロン、およびおよそ１１００万個の接続を含んでいた。変換後、変換されたネットワーク対ＭｏｂｉｌｅＮｅｔ ｖ．１の平均出力絶対誤差（１００個を超えるランダムなサンプルで計算された）は、４．９ｅ－８であった。
ＭｏｂｉｌｅＮｅｔのあらゆる畳み込み層および他の層は、活性化関数ＲｅＬＵ６を有するため、変換されたネットワークの各層による出力信号はまた、値６によって制限される。変換の一部として、重みは、抵抗器公称セットに従ってもたらされる。各公称セットの下では、異なる重み値が可能である。いくつかの実装態様は、［０．１ － １］メガオームの範囲内で、抵抗器公称セットｅ２４、ｅ４８、およびｅ９６を使用する。各層の重み範囲が変動し、かつほとんどの層の重み値が１～２を超えないとすると、より良い重み精度を達成するために、いくつかの実装態様は、Ｒ－値およびＲ＋値を減少させる。いくつかの実装態様では、Ｒ－値およびＲ＋値は、セット［０．０５，０．１，０．２，０．５，１］メガオームから各層に対して別個に選定される。いくつかの実装態様では、各層について、最も良い重み精度を提供する値が選定される。次いで、変換されたネットワーク内のすべての重み（バイアスを含む）は、「量子化」され、すなわち、使用された抵抗器で達成できる最も近い値に設定される。いくつかの実装態様では、このことは、以下に示される表に従って、変換されたネットワーク精度を、対オリジナルのＭｏｂｉｌｅＮｅｔで低下させた。表は、いくつかの実装態様に従って、異なる抵抗器セットを使用した場合の、変換ネットワークの平均二乗誤差を示す。
本明細書における本発明の記載で使用される用語は、単に特定の実装態様を記載する目的のためであり、本発明を制限することが意図されない。本発明の説明および添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明示的に別様に示さない限り、複数形も含むことが意図される。本明細書で使用される場合、「および／または」という用語は、関連する列挙された項目のうちの１つ以上の任意のおよびすべての可能な組み合わせを指し、包含することも理解されよう。本明細書で使用されるとき、「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、記載された特徴、ステップ、動作、要素、および／またはコンポーネントの存在を指定するが、１つ以上の他の特徴、ステップ、動作、要素、コンポーネント、および／またはそのグループの存在もしくは追加を排除しないことがさらに理解されるであろう。
前述の説明は、説明の目的のために、特定の実装態様を参照して記載されてきた。しかしながら、上記の例示的な議論は、網羅的であること、または本発明を開示された正確な形態に限定することが意図されない。上記の教示を考慮して、多くの修正および変形が可能である。実装態様は、本発明の原理およびその実際の用途を最もよく説明するために選定され、記載され、それにより、当業者は、本発明および企図される特定の用途に適した様々な修正を伴う様々な実装態様を最適に利用することができる。

Claims (18)

  1. ニューラルネットワークのハードウェア実現のための方法であって、
    ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを取得することと、
    前記ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することと、
    前記訓練されたニューラルネットワークの前記重みに基づいて、前記同等なアナログネットワークの重み行列を計算することであって、前記重み行列の各要素が、前記同等なアナログネットワークのアナログコンポーネント間のそれぞれの接続を表す、計算することと、
    前記重み行列に基づいて前記同等なアナログネットワークを実装するための概略モデルを生成することであって、前記実装することが、前記アナログコンポーネントのコンポーネント値を選択することを含む、生成することと、
    前記ニューラルネットワークトポロジの１つ以上の出力層についてデジタルコンポーネントの同等なデジタルネットワークを生成することと、
    前記同等なアナログネットワークの１つ以上の層の出力を、前記デジタルコンポーネントの同等なデジタルネットワークに接続することと、を含む、方法。
  2. 前記概略モデルを生成することが、前記重み行列の抵抗行列を生成することを含み、前記抵抗行列の各要素が、前記重み行列のそれぞれの重みに対応し、抵抗値を表す、請求項１に記載の方法。
  3. 前記訓練されたニューラルネットワークの新たな重みを取得することと、
    前記新たな重みに基づいて、前記同等なアナログネットワークの新たな重み行列を計算することと、
    前記新たな重み行列の新たな抵抗行列を生成することと、をさらに含む、請求項２に記載の方法。
  4. 前記ニューラルネットワークトポロジが、ニューロンの１つ以上の層を含み、ニューロンの各層が、それぞれの数学的関数に基づいてそれぞれの出力を計算し、
    前記ニューラルネットワークトポロジを前記アナログコンポーネントの同等なアナログネットワークに変換することが、
    前記ニューロンの１つ以上の層の各層について、
    前記それぞれの数学的関数に基づいて、前記それぞれの層について１つ以上の関数ブロックを識別することであって、各関数ブロックが、それぞれの数学的関数の出力に適合するブロック出力を有するそれぞれの概略実装態様を有する、識別することと、
    前記１つ以上の関数ブロックを配置することに基づいて、アナログニューロンのそれぞれの多層ネットワークを生成することであって、各アナログニューロンが、前記１つ以上の関数ブロックのそれぞれの関数を実装し、前記多層ネットワークの第１の層の各アナログニューロンが、前記多層ネットワークの第２の層の１つ以上のアナログニューロンに接続されている、生成することと、を含む、請求項１に記載の方法。
  5. 前記１つ以上の関数ブロックが、
    ブロック出力

    を有する加重和ブロックであって、ＲｅＬＵが、整流線形ユニット（ＲｅＬＵ）活性化関数または同様の活性化関数であり、Ｖｉが、ｉ番目の入力を表し、ｗｉが、ｉ番目の入力に対応する重みを表し、バイアスが、バイアス値を表し、Σが、総和演算子である、加重和ブロックと、
    ブロック出力Ｖｏｕｔ＝ｃｏｅｆｆ．Ｖｉ．Ｖｊを有する信号乗算器ブロックであって、Ｖｉが、ｉ番目の入力を表し、Ｖｊが、ｊ番目の入力を表し、ｃｏｅｆｆが、所定の係数である、信号乗算器ブロックと、
    ブロック出力

    を有するシグモイド活性化ブロックであって、Ｖが、入力を表し、ＡおよびＢが、前記シグモイド活性化ブロックの所定の係数値である、シグモイドク活性化ブロックと、
    ブロック出力Ｖｏｕｔ＝Ａ＊ｔａｎｈ（Ｂ＊Ｖｉｎ）を有する双曲線正接活性化ブロックであって、Ｖｉｎが、入力を表し、ＡおよびＢが、所定の係数値である、双曲線正接活性化ブロックと、
    ブロック出力Ｕ（ｔ）＝Ｖ（ｔ－ｄｔ）を有する信号遅延ブロックであって、ｔが、現在の期間を表し、Ｖ（ｔ－１）が、先行する期間ｔ－１の前記信号遅延ブロックの出力を表し、ｄｔが、遅延値である、信号遅延ブロックと、からなる群から選択される１つ以上の基底関数ブロックを含む、請求項４に記載の方法。
  6. 前記１つ以上の関数ブロックを識別することが、前記それぞれの層のタイプに基づいて前記１つ以上の関数ブロックを選択することを含む、請求項４に記載の方法。
  7. ニューラルネットワークのハードウェア実現のための方法であって、
    ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを取得することと、
    前記ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することと、
    前記訓練されたニューラルネットワークの前記重みに基づいて、前記同等なアナログネットワークの重み行列を計算することであって、前記重み行列の各要素が、前記同等なアナログネットワークのアナログコンポーネント間のそれぞれの接続を表す、計算することと、
    前記重み行列に基づいて前記同等なアナログネットワークを実装するための概略モデルを生成することであって、前記実装することが、前記アナログコンポーネントのコンポーネント値を選択することを含む、生成することと、を含み、
    前記ニューラルネットワークトポロジが、ニューロンの１つ以上の層を含み、ニューロンの各層が、それぞれの数学的関数に基づいてそれぞれの出力を計算し、前記ニューラルネットワークトポロジを前記アナログコンポーネントの同等なアナログネットワークに変換することが、
    前記ニューラルネットワークトポロジの第１の層を複数のサブ層に分解することであって、前記第１の層に対応する数学的関数を分解して、１つ以上の中間数学的関数を取得することを含み、各サブ層が、中間数学的関数を実装する、分解することと、
    前記ニューラルネットワークトポロジの前記第１の層の各サブ層について、
    それぞれの中間数学的関数に基づいて、前記それぞれのサブ層に対する１つ以上のサブ関数ブロックを選択することと、
    前記１つ以上のサブ関数ブロックを配置することに基づいて、アナログニューロンのそれぞれの多層アナログサブネットワークを生成することであって、各アナログニューロンが、前記１つ以上のサブ関数ブロックのそれぞれの関数を実装し、前記多層アナログサブネットワークの第１の層の各アナログニューロンが、前記多層アナログサブネットワークの第２の層の１つ以上のアナログニューロンに接続されている、生成することと、を含む、方法。
  8. 前記第１の層に対応する前記数学的関数が、１つ以上の重みを含み、前記数学的関数を分解することが、前記１つ以上の中間関数を組み合わせることが前記数学的関数をもたらすように前記１つ以上の重みを調整することを含む、請求項７に記載の方法。
  9. 前記アナログコンポーネントが、複数の演算増幅器および複数の抵抗器を含み、各演算増幅器が、前記同等なアナログネットワークのアナログニューロンを表し、各抵抗器が、２つのアナログニューロン間の接続を表す、請求項１に記載の方法。
  10. 前記アナログコンポーネントのコンポーネント値を選択することが、勾配降下方法を実行して、前記複数の抵抗器の可能な抵抗値を識別することを含む、請求項９に記載の方法。
  11. ニューラルネットワークのハードウェア実現のための方法であって、
    ニューラルネットワークトポロジおよび訓練されたニューラルネットワークの重みを取得することと、
    前記ニューラルネットワークトポロジをアナログコンポーネントの同等なアナログネットワークに変換することと、
    前記訓練されたニューラルネットワークの前記重みに基づいて、前記同等なアナログネットワークの重み行列を計算することであって、前記重み行列の各要素が、前記同等なアナログネットワークのアナログコンポーネント間のそれぞれの接続を表す、計算することと、
    前記重み行列に基づいて前記同等なアナログネットワークを実装するための概略モデルを生成することであって、前記実装することが、前記アナログコンポーネントのコンポーネント値を選択することを含む、生成することと、を含み、
    前記ニューラルネットワークトポロジが、１つ以上のＧＲＵニューロンまたはＬＳＴＭニューロンを含み、前記ニューラルネットワークトポロジを変換することが、前記１つ以上のＧＲＵニューロンまたはＬＳＴＭニューロンの各回帰接続のための１つ以上の信号遅延ブロックを生成することを含む、方法。
  12. 前記１つ以上の信号遅延ブロックが、前記ニューラルネットワークトポロジに対する所定の入力信号周波数と一致する周波数で活性化される、請求項１１に記載の方法。
  13. 前記ニューラルネットワークトポロジが、制限されない活性化関数を実行するニューロンの１つ以上の層を含み、前記ニューラルネットワークトポロジを変換することが、
    前記制限されない活性化関数を制限された活性化で置換することと、
    所定の１つ以上の入力に対して、前記訓練されたニューラルネットワークと前記同等なアナログネットワークとの間の出力の差が最小化されるように、前記同等なアナログネットワークの接続または重みを調整することと、からなる群から選択される１つ以上の変換を適用することを含む、請求項１に記載の方法。
  14. 前記抵抗行列に基づいて、前記アナログコンポーネントの同等なアナログネットワークを実装する回路を作製するための１つ以上のリソグラフィマスクを生成することをさらに含む、請求項２に記載の方法。
  15. 前記訓練されたニューラルネットワークの新たな重みを取得することと、
    前記新たな重みに基づいて、前記同等なアナログネットワークの新たな重み行列を計算することと、
    前記新たな重み行列の新たな抵抗行列を生成することと、
    前記新たな抵抗行列に基づいて、前記アナログコンポーネントの同等なアナログネットワークを実装する前記回路を作製するための新たなリソグラフィマスクを生成することと、をさらに含む、請求項１４に記載の方法。
  16. 前記訓練されたニューラルネットワークが、前記重みを生成するためのソフトウェアシミュレーションを使用して訓練されている、請求項１に記載の方法。
  17. ニューラルネットワークのハードウェア実現のためのシステムであって、
    １つ以上のプロセッサと、
    メモリと、を含み、
    前記メモリが、前記１つ以上のプロセッサによる実行用に構成された１つ以上のプログラムを記憶し、前記１つ以上のプログラムが、請求項１～１６のいずれか一項に記載の方法を実行するための命令を含む、システム。
  18. １つ以上のプロセッサを有するコンピュータシステムによる実行用に構成された１つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、請求項１～１６のいずれか一項に記載の方法を実行するための命令を含む、非一時的コンピュータ可読記憶媒体。
JP2022515539A 2020-06-25 2020-06-25 ニューラルネットワークのアナログハードウェア実現 Active JP7371235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023179328A JP2024001230A (ja) 2020-06-25 2023-10-18 ニューラルネットワークのアナログハードウェア実現

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2020/000306 WO2021262023A1 (en) 2020-06-25 2020-06-25 Analog hardware realization of neural networks

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023179328A Division JP2024001230A (ja) 2020-06-25 2023-10-18 ニューラルネットワークのアナログハードウェア実現

Publications (2)

Publication Number Publication Date
JP2022548547A JP2022548547A (ja) 2022-11-21
JP7371235B2 true JP7371235B2 (ja) 2023-10-30

Family

ID=74844972

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022515539A Active JP7371235B2 (ja) 2020-06-25 2020-06-25 ニューラルネットワークのアナログハードウェア実現
JP2023179328A Pending JP2024001230A (ja) 2020-06-25 2023-10-18 ニューラルネットワークのアナログハードウェア実現

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023179328A Pending JP2024001230A (ja) 2020-06-25 2023-10-18 ニューラルネットワークのアナログハードウェア実現

Country Status (5)

Country Link
EP (1) EP3963514A1 (ja)
JP (2) JP7371235B2 (ja)
KR (1) KR20220088845A (ja)
CN (1) CN114424213A (ja)
WO (1) WO2021262023A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023167607A1 (en) * 2022-03-04 2023-09-07 PolyN Technology Limited Systems and methods for human activity recognition
WO2023220437A1 (en) * 2022-05-13 2023-11-16 PolyN Technology Limited Systems and methods for human activity recognition using analog neuromorphic computing hardware
WO2024076165A1 (ko) * 2022-10-06 2024-04-11 오픈엣지테크놀로지 주식회사 신경망 연산을 위한 명령어 세트 생성방법과 이를 위한 컴퓨팅 장치
KR102627460B1 (ko) * 2022-10-28 2024-01-23 주식회사 페블스퀘어 뉴럴 네트워크를 구현하는 뉴로모픽 장치 및 그 동작 방법
CN115708668A (zh) * 2022-11-15 2023-02-24 广东技术师范大学 光感忆阻传感设备以及电子设备
CN116432726B (zh) * 2023-06-14 2023-08-25 之江实验室 一种光电混合的深度神经网络运算装置和运算方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154822A1 (en) 2006-10-30 2008-06-26 Techguard Security Llc Systems and methods for creating an artificial neural network
JP2019003546A (ja) 2017-06-19 2019-01-10 株式会社デンソー 多層ニューラルネットワークのニューロンの出力レベル調整方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02178758A (ja) * 1988-12-29 1990-07-11 Fujitsu Ltd ニューラルネット構成情報処理装置
FR2644264B1 (fr) * 1989-03-10 1991-05-10 Thomson Csf Reseau neuronal analogique programmable
FR2688080B1 (fr) * 1992-02-28 1994-04-15 Air Liquide Reseau neuronal analogique.
US9619749B2 (en) * 2014-03-06 2017-04-11 Progress, Inc. Neural network and method of neural network training
FR3089663B1 (fr) * 2018-12-07 2021-09-17 Commissariat Energie Atomique Neurone artificiel pour puce neuromorphique à synapses résistives

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080154822A1 (en) 2006-10-30 2008-06-26 Techguard Security Llc Systems and methods for creating an artificial neural network
JP2019003546A (ja) 2017-06-19 2019-01-10 株式会社デンソー 多層ニューラルネットワークのニューロンの出力レベル調整方法

Also Published As

Publication number Publication date
JP2024001230A (ja) 2024-01-09
EP3963514A1 (en) 2022-03-09
KR20220088845A (ko) 2022-06-28
JP2022548547A (ja) 2022-11-21
WO2021262023A1 (en) 2021-12-30
CN114424213A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
JP7371235B2 (ja) ニューラルネットワークのアナログハードウェア実現
TWI796257B (zh) 神經網路的模擬硬體實現
Azghadi et al. Hardware implementation of deep network accelerators towards healthcare and biomedical applications
Gaikwad et al. Efficient FPGA implementation of multilayer perceptron for real-time human activity classification
KR20240021743A (ko) 음성 명료도를 위한 훈련된 신경망의 아날로그 하드웨어 구현
US20220280072A1 (en) Systems and Methods for Human Activity Recognition Using Analog Neuromorphic Computing Hardware
US20230081715A1 (en) Neuromorphic Analog Signal Processor for Predictive Maintenance of Machines
WO2021259482A1 (en) Analog hardware realization of neural networks
Hasler et al. Finding a roadmap to achieve large neuromorphic hardware systems
TWI634488B (zh) 人造神經網路之簡化裝置和簡化方法以及應用於簡化人造神經網路之非暫態電腦可讀取儲存媒體
WO2024049998A1 (en) Neuromorphic analog signal processor for predictive maintenance of machines
WO2023167607A1 (en) Systems and methods for human activity recognition
US20220268229A1 (en) Systems and Methods for Detonation Control in Spark Ignition Engines Using Analog Neuromorphic Computing Hardware
US20210406662A1 (en) Analog hardware realization of trained neural networks for voice clarity
WO2023220437A1 (en) Systems and methods for human activity recognition using analog neuromorphic computing hardware
Nambiar et al. Optimization of structure and system latency in evolvable block-based neural networks using genetic algorithm
RU2796649C2 (ru) Аналоговая аппаратная реализация нейронных сетей
US20240005140A1 (en) Quantization Algorithms for Analog Hardware Realization of Neural Networks
US11823037B1 (en) Optocoupler-based flexible weights in neuromorphic analog signal processors
US20230147781A1 (en) Sound Signal Processing Using A Neuromorphic Analog Signal Processor
Abdel-Aty-Zohdy et al. A recurrent dynamic neural network approach and implementation, for noise-contaminated signal representation
Datta et al. HDBinaryCore: A 28nm 2048-bit Hyper-Dimensional biosignal classifier achieving 25 nJ/prediction for EMG hand-gesture recognition
Yildirim Development of conic section function neural networks in software and analogue hardware
Lammie Simulation and implementation of novel deep learning hardware architectures for resource constrained devices
Girau et al. FPGA-Targeted Neural Architecture for Embedded Alertness Detection.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230313

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231018

R150 Certificate of patent or registration of utility model

Ref document number: 7371235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150