JPH05507168A - ニューラルネットで使用される重み付け加算用容量性構造 - Google Patents

ニューラルネットで使用される重み付け加算用容量性構造

Info

Publication number
JPH05507168A
JPH05507168A JP91508680A JP50868091A JPH05507168A JP H05507168 A JPH05507168 A JP H05507168A JP 91508680 A JP91508680 A JP 91508680A JP 50868091 A JP50868091 A JP 50868091A JP H05507168 A JPH05507168 A JP H05507168A
Authority
JP
Japan
Prior art keywords
weighting
capacitors
capacitance
pair
capacitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP91508680A
Other languages
English (en)
Inventor
エンゲラー,ウイリアム アーネスト
Original Assignee
ゼネラル・エレクトリック・カンパニイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US07/526,470 external-priority patent/US5039871A/en
Priority claimed from US07/525,931 external-priority patent/US5039870A/en
Application filed by ゼネラル・エレクトリック・カンパニイ filed Critical ゼネラル・エレクトリック・カンパニイ
Publication of JPH05507168A publication Critical patent/JPH05507168A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/80Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C27/00Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/02Sample-and-hold arrangements
    • G11C27/024Sample-and-hold arrangements using a capacitive memory element

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Analogue/Digital Conversion (AREA)
  • Networks Using Active Elements (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 本発明は、相補型金属酸化物半導体(CMO3)技術を使用して実現されるよう な容量性構造に関し、重み付は加算手順を実現できるとともにニューラルネット に有用な容量性構造に関する。
発明の背景 脳の神経ネットワーク化能力は、形式的なプログラミングを必要としないて計算 および理由付は機能を提供できる「ニューラルネットワーク」あるいは「ニュー ラルネットJと呼ばれる、高度に相互接続されたプロセッサのセットを形成する ためのモデルとしての機能を果たしている。ニューラルネットは正しい(コレク ト)手順を行うためにプログラムされるよりも経験によって正しい手順を学習す ることができる。ニューラルネットに関する技術の状態についての背景のために 、読者は、IEEE ASSP マガジン(0740−7467/871040 0−0004/10.00ドル、1987年、IEEE)の1987年4月号の 4−21ページに表われ、参照によってここに組み入れられる「ニューラルネッ トによる計算の入門」というR,P、リップマンの記事か参照される。
ニューラルネットは複数のニューロンモデル(neuron models)  、プロセッサより構成され、それぞれのプロセッサは複数の「シナプス(syn apse) J入力信号に応答して「アクマン(axon)J出力信号を表わす 。[バーセプトロン(perceptron)jとよばれるニューラルネットの 型において、これらのプロセッサのそれぞれは正あるいは負の値を育するそれぞ れの重み付は値によって重み付けられるその「シナプス」入力信号の重み付は和 を計算し、 「アクマン」出力信号を発生するために重み付けられた和に非直線 的に応答する。この関係は、以下の数学的符号によって記述される。
ここで、】は積分数Mを有するパーセブトロンの入力信号を表わし、jは積分数 Nを有する出力信号を表わし、Wllは関数f(ΣWi、jXi)がほぼ線形で ある低入力信号レベルにおいてj番目の出力信号を作るときの1番目の入力信号 もっと複雑な人工的なニューラルネットは複数のバーセブトロンを階層的に配置 し、それぞれ早期の層の出力信号は次に続く層の入力信号を提供する。最後の出 力信号を提供する出力層に先行するこれらの1は「ヒドン(hidden)4  層と呼ばれる。
全説明された処理は、普通は、抽出されたデータのアナログ信号であり、従来の ニューラルネットは重み付けと加算の手順のために抵抗的に相互接続された素子 を有する演算増幅器を採用している。抵抗性素子はオームの法則に基づいて行わ れる重み付は加算を実施する。そのようなプロセッサの速度はプロセッサの各部 のコンデンサによって制限され、計算は合理的に大きなニューラルネットの電力 消費が合理的な範囲に保持されるときは遅い。即ち、速度はプロセッサにおける RC時定数を減らすために抵抗値を減少することによって増加するが、抵抗値か 減少するとV2/Rの電力消費を増やす(R,CおよびVは抵抗、静電容量およ び電圧である)。クーロンの法則に基づいて重み付は加算を行うためにコンデン サを使用すると、オームの法則に基づいて重み付けを行うために抵抗を使用する プロセッサよりも電力消費か少なく、ある速度で動作するあるサイズのニューラ ルネットを提供する。
ニューラルネット層で重み付は加算を行うためにコンデンサを使用しようとする ときに発生する問題は、漂遊容量に関連するものであり、その問題は金属酸化物 半導体(MOS)集積回路技術を使用して構成されるニューラルネット層におい て軽視できないものになる傾向がある。動作ライン間の漂遊容量の問題は容量性 電圧加算ネットワークにおいて重みを提供するために使用する容量性素子か組み 込まれるモノリンツク集積回路の基板に対して漂遊容量を有するという事実によ って複雑なものになり、モノリシンク集積回路では完全な2端子コンデンサは現 実には利用されない。プログラム可能な静電容量を有する容量性素子か使用され る場合、静電容量は、エキサイトリ(exci tory)あるいは正の重みと 同様に、インヒビトリ(1nhibi tory)あるいは負の重みを持てるこ とかしばしば望ましいニューラルネットにおいて、通常、f(セロ)値にプログ ラムできない。前述の問題を避けるか、解決するために、発明者は容量性加算ネ ットワークで重みを決めるために2つの容量性素子間で静電容量の差を使用する ことに頼っている。
ここで記述されたものに基づいてコンデンサを採用するニューラルネットはバ、 り・プロパゲーシヨン トレーニング アルゴリズム(back−propag ation traning algorithm)を実施するために必要とな る試算の一部を実施するときに使用される。バンク・プロパゲーション トレー ニング アルゴリズムは多層フィート・フォワード(feed−forward )ニューラルネットの現実の出力と希望する出力間の平均2乗誤差を最小にする ために設計された繰り返しの傾き(勾配、勾配スペクトル、グラジェント)アル ゴリズムである。出力ノードで開始し、最初のヒドン層に戻って作用する反復ア ルゴリズムは繰り返し的に使用されて、以下の公式によって重みを調整する。
Wl、+ (t+1)=W、(t)−ηδ+ XI −−(2)この式において 、W+、+ (t)は時間tにおけるヒドンノード!から(あるいは、最初のヒ ドン層の場合、入力ノードから)ノードjへの重みであり、xlはノード】の出 力(あるいは、最初のヒドン層の場合、入力信号)であり、ηはバーセプション の現実の出力と望ましい出力間の平均2乗誤差を最小にするために使用される。
フィードバック手順で安定度を維持するために導入される利得条件であり、δ1 は誤差の導関数(微分係数)である。δ1の一般的定義はその出力ノードjを供 給するために使用される入力信号の重み付は加算の変化に基づくニューラルネッ ト層の出力ノードjからの誤差エネルギーの変化である。
リップマンは特定のC字状(S字状)の論理計算的非線形性か使用されると仮定 している。プロセッサの応答の非線形性がリップマンか行ったような制限的なも のとしないて定義されると仮定すると、δ1は、ノードjか出力ノードてあれば 、式(2)において、あるいは、ノードjが内部上トンノードであれば、式(3 )においてもっとも特定的に定義される得る。
式(3)において、d、とy、は出力層からの出力応答の希望および現実の値で あり、’I+° は出力層における非線形性、即ち、その非線形性の伝達関数の 傾斜(スロープ)に対するylの微分応答である。式(4)において、kは考慮 中のヒドンノードjに続くニューラルネット層の全体のノードであり、Wjkは ノードjとその各ノートにの間の重みである。その項y1° は式(3)と同じ 方法て定義される。
C字状の論理計算的非線形性j二関連する’/r′の特定の値によって置換され る一般的な条件(項)よりも、式(3)および(4)において表れる71′の項 の一般的定義は、ここで説明されるトレーニング アルゴリズムとリップマンに よって説明されるものとの主たる差である。更に、リップマンは式(+)、(3 )および(4)と反対の極性でδjを定義する。
ニューラルネットのトレーニング中、入力信号の決められたパターンは時系列的 に繰り返し適用され、入力信号のそのパターンのために対応する決められたパタ ーンの既知の出力信号か存在する。入力信号の決められた各パターンに応答して ニューラルネットによって発生させられる出力信号のパターンは、出力信号の決 められたパターンと比較され、入力信号のパターンが数回繰り返されると、ある いは誤差信号か無視てきる値として検出されるまで式(2)による重みを調整す るために使用される誤差信号を発生させる。次に、時系列的に次の組のパターン によりトレーニングが行われる。集中トレーニング中、パターンの流れは再循環 させられても良い。
発明の概要 本発明は、例えば、ニューラルで採用されるクーロンの法則に基づいて重み付は 加算を行うためにコンデンサを使用する重み付は加算ネットワークで有用である 。本発明は、複数、0番より(P−1)番の連続する順序数によって区別される 3より大なる数のPの容量性素子が2群の並列接続された容量性素子に分けられ て2つの静電容量を提供し、その2つの静電容量の和は一定であり、その差は第 1の容量性素子の静電容量値の倍数であり、その倍数はセンスにおいて正あるい は負である。0番と1番の容量性素子はそれぞれ同じ静電容量を有し、他の容量 性素子のそれぞれよりも小さい。2番より(P−1)番の他の容量性素子は第1 の容量性素子に対して2進整数比で目盛られたそれぞれの静電容量を有する。
本発明は、特に、コンデンサによって与えられる重みかトレーニングあるいは学 習手順を実施するためにプログラム符号語に基づいて変化させられる場合、コン デンサを使用する重み付は加算ネットワークにおいて有用である。
図面の簡単な説明 図1は米国特許願第366.838号「入力ラインと差動感知出力ラインの対を 接続する容量性構造を使用するニューラルネットワーク」においてダブりニー・ イー・エンゲラ−によって説明され、そのニューラルネットかアクラン(axo n)応答信号を発生するために順次感知され、非線形的に増幅されるシナプス( synapse )信号の重み付は加算を行うようにコンデンサを使用するニュ ーラルネットの概念図である。 、 図2Aおよび2Bはシナプス信号の重み付は加算を行うときに使用されるコンデ ンサのプログラム可能な重み付けを本発明の他の特徴に基づいて提供するために 多様化される図1のニューラルネットの変形の概念図である図2を形成する。
図3は米国特許願第366.839号F出カラインと差動駆動入力ラインの対を 接続する容量性構造を使用するニューラルネットワーク」においてダブリュー・ イー・エンゲラ−によって説明され、そのニューラルネットがアクラン応答信号 を発生するために順次感知され、非線形的に増幅されるシナプス信号の重み付は 加算を行うようにコンデンサを使用するニューラルネットの概念図である。
図4Aおよび4Bはシナプス信号の重み付は加算を行うときに使用されるコンデ ンサのプログラム可能な重み付けを本発明の他の特徴に基ついて提供するために 多様化される図3のニューラルネットの変形の概念図である図4を形成する。
図5は図2に関して多様的に変形される図3のニューラルネット層で使用される 非線形出力トライバ増幅器をパルス化する一例を示す概念図である。
図6A、図6Bおよび図60は米国特許願第366.838号でダブリュー・イ ー・エンゲラ−によって説明された池のニューラルネットを示し、カッド(星形 )形状で接続され、全ブリッジで動作するコンデンサを重み付けすることによっ て差動感知出力ラインへ接続するためにバランス入力信号によって駆動される入 力ラインの対を使用するそのニューラルネットの概念図である図6を形成する。
図7は米国特許願第366.838号および第366.839号においてダブリ ュー・イー・エンゲラ−によって説明され、図2に関して多様的に変形された図 1のニューラルネット層、図5に関して多様的に変形される図3のニューラルネ ット層により、図1のニューラルネット層によって使用されるトレーニング装置 の概念図である。
図8は、米国特許願第366.838号及び米国特許願第366.839におい て、ダブりニー・イー・エングラ−によって説明されたシステムであり、そのシ ステムは図2に関して修正された図1に基づいて、図5に関して修正された図3 に基づいて、あるいは図6に関して修正された図1に基づいて構成された複数の ニューラルネット層を有するシステムの概念図である。
図9は、一定値に加算し、2の補数計算において、重み付は係数を符号化するデ ィジタルワードに応答してプログラム可能な静電容量を育するコンデンサの対で あり、その対のコンデンサによって本発明を実施する概念図である。
図10は、2の補数計算において、重み付は係数を符号化するディジタルワード によって決められる図9の対の要素としての容量正素子の配置を示すデープルで ある。
図11は、一定値に加算し、1の補数の計算において、重み付は係数を符号化す るディジタルワードに応答してプログラム可能な静電容量を育するコンデンサの 対であり、その対のコンデンサによって本発明を実施する概念図である。
図12は、1の補数計算において、重み付は係数を符号化するディジタルワード によって決められる図]、1のコンデンサの要素としての容量性素子の配置を示 すテーブルである。
図13は、図9あるいは図11の対のコンデンサで使用されるスイッチされる容 量性素子の1つの電気接続をより詳しく示す概念図である。
図14は、回路素子の位置を示すための標示を有しており、2つのスイッチされ る容量性素子と、それぞれの制御ビットを記憶するために単一ビットの記憶素子 を有したモノリンツク集積回路の上面の1部の図である。この図は、対応するコ ーナ整合キーを重ねることによって、全て整合された図15.16.17.18 .19.20.21.22及び23のマスクを再生する異なった色の積み重ねさ れた透明画を使用するモノリシック集積回路の設計者の通常の手順に基づいて解 析される。図15.16.17.18.19.20.2122及び23のマスク は、従来の相補型金属酸化物半導体(CMOS)処理に基づいて重み付はワード に相補的な方法で調節でき、その重み付はワードを記憶するためにワード記憶素 子のために調節できる各対のコンデンサを構成するために使用されるものである 。
図15は、P型ソリコンダイにおけるn−ウェル領域の拡張を定義するマスクで あり、そのn−ウェル領域は、図14の二重スイッチコンデンサ構造の部分の基 礎を成す。
図16は、図14の二重スイッチコンデンサ構造におけるnおよびpチャンネル 装置の双方の電極部を定義するマスクである。相関的な薄いゲート酸化物によっ て被われるこれらの電極部は長方形の箱および包含するソース、ドレインおよび チャンネル部を内蔵する。これらの活性領域面積のそれぞれを取り囲む領域は、 比較的厚いフィールドの酸化物領域である。
図17は、nおよびpチャンネルの電界効果形トランジスタにおいてゲート電極 としての図14のスイッチされるコンデンサ構造において使用され、かつショー トラン(Shor t−run)導体用の多結晶シリコン導体の形状を定義する マスクである。
図18は、図14の二重スイッチコンデンサ構造において、pチャンネル電界効 果形トランジスタのソースおよびトレインを確立するためおよびpタイプシリコ ン基板への接触のために使用される挿入するp+の拡張を定義するマスクである 。
図19は、図14の二重スイッチコンデンサ構造において、nチャンネル電界効 果形トランジスタのn−ウェルへのn十接触およびn+ソースおよびトレイン部 の拡張を定義するマスクである。
図20は、図14の二重スイッチコンデンサ構造において、第1の金属化層およ び図17によって定義される多結晶シリコン導体の、pチャンネル電界効果形ト ランジスタのp+ソースおよびドレイン部およびnチャンネル電界効果形トラン ジスタのn+ソースおよびドレイン部との間のコンタクト孔の位置を示すマスク 位置である。
図21は、図14の二重スイッチコンデンサ構造において、第1の金属化層のパ ターンを定義するマスクである。
図22は、図14の二重スイッチコンデンサ構造において、第1の金属化層およ び第2の金属化層の間のコンタクト孔の位置であるマスク配置である。
図23は、図14の二重スイッチコンデンサ構造において、第2の金属化層のパ ターンを定義するマスクである。
図24は、4つのコンデンサのカッド接続の概念図であり、本発明に基づいて構 成され、その静電容量はデジタルワードの2の補数計算において重みづけ係数の 符号化に応答してプログラム可能である。
図25は、4つのコンデンサのカッド接続の概念図であり、本発明に基づいて構 成され、その静電容量はデジタルワードの1の補数計算において重みづけ係数の 符号化に応答してプログラム可能である。
図26.27および28のそれぞれは、本発明に基づくより高いビット分解能に よる重みづけかコンデンサのサイズを重みづける範囲を広くしないで提供される ニューラルネット層の概念図である。
図29および30のそれぞれは、図26.27あるいは28に関するニューラル ネット層において、より高いビット分解能を有する重みづけを実施するために本 発明に基づいて構成されるコンデンサのカッドの概念図である。
詳細な説明 図1は、複数Nの非線形増幅器OD+ 、OD2 、・・・OD、□、、 、O D、を含むニューラルネットを示す。 「シナプス」信号として、供給される複 数Mの入力電圧信号X+ 、X2−XtM−n 、)’l ’アクラン(axo n) J応答)’l 、Yt ”’)’ u+−+、、YNを発生する非線形電 圧増幅器Do、 、OD、 、・・・○D、、−、、、ODNの入力電圧を提供 するために重み付けられる。この重み付けは、この明細書で更に詳しく説明され るように、本発明に基づく静電容量性構造を使用して行われる。
Mは、図1のニューラルネットへの入力シナプス信号の数を表す正の複数の整数 であり、Nは、図1のネットが発生することができる出力アクラン信号の数を表 す正の複数の整数である。図1のニューラルネットの動作を説明するために必要 な説明資料を減らすために、重複する素子を使用する動作は、一般的な用語を使 用して説明される。すなわち、列の入力信号X1、X2・・・Xn+−+ls  XMに関するものとして動作及び装置を説明するために、1からMのすへての値 の範囲の添え字1か使用され、行の出力信号yl、Y2・・・V、N−+1−. 3’+iを表すものとして動作及び装置を説明するために、lからNの範囲の添 え字jが使用される。i及びJは、ニューラルネットの特定の部分を説明するた めに使用される行及び列の数字である。
入力電圧信号X1は、入力ラインIL1に電圧応答を順に加える電圧増幅器であ る入力ドライバ増幅器ID、の入力ボートに加えられるそれぞれの出力ラインO L、及びOL I I +Nl は、出力トライバ増幅器○D、の非反転入力ポ ートと、反転入力ボートに接続される。非線形出力ドライバ増幅器○D1は、差 動入力非線形電圧増幅器であるとして簡単に図1で示されており、出力ライン○ L、及びOL U+)II を経て、(+)及び(=)の入力信号端子に加えら れる直流電位は、直流電流回復回路DCR,を使用して選択された回数において 希望するバイアス電圧にクランプすることによって調節される。(直流回復回路 DCR,は、図示のために図1の左側に、示されているか、普通は、出力トライ バ増幅器○D、の入力ボートに関係つけられる。)出力ドライバ増幅器OD、は 、その出力ボートにおいて、各対の出力ラインOL、及びCL N。、上の電荷 の蓄積変化に応答する非線形電圧を出力ボートにおいて発生する。
それぞれのコンデンサC1,は、それぞれの入力ラインTL、をそれぞれの出力 ラインOL、に接続し、それぞれのコンデンサC1(1+TIl、それぞれの入 力ラインIL、をそれぞれの出力ライン0Lf14N+ に接続する。その出力 端子において、出力トライハ増幅器○D、は、反転なしにコンデンサC11を経 て、非反転(+)入力端子に加えられるX、入力信号電圧に応答し、かつ、コン デンサC1,1や、を経て、反転(−)入力端子に加えられるX+入力信号電圧 に、反転により応答する。電気的に専任な回路は、C1,の静電容量からCII *N+の静電容量を減算したものに等しい静電容量を有するコンデンサによって 、信号出力ラインOL、に加えられるx1信号電圧である。この差動的に感知さ れる対の出力ラインに対する単一の出力信号ドライブの技術によりスイッチされ る静電容量の技術の必要性をなくすることにより、励起(あるいは正)の重み付 けと同じように、禁止(あるいは負)の重み付けを得ることかできる。このよう にして、この技術は、希望されれば、ある時間に渡って連続するアナログ信号に よりニューラルネットを容易に動作させる。
図1は、それぞれの入力ラインIL、を示しており、負荷コンデンサCL、を有 しており、他の入力ドライバ増幅器の各出力ボートに対するのと実質的に同じよ うに入力ドライバ増幅器ID、の出力ボートに、容量性負荷をもたらす。これは 、入力信号X、に応答する望ましくない差動遅れを防ぐために望ましい。実質的 に等しい容量性負荷は、コンデンサC1,Iの合計静電容量に比較して、入力ラ イン負荷コンデンサCL、の静電容量を非常に大きくすることによって実現され る。しかし、この結果は、入力ラインの負荷容量の静電容量を他のコンデンサの 組み合わせた値に相補させることにより実現されることが好ましい。出力ライン OL、及びOL、、や7、上に表れる電圧は、図1に示される非線形出力ドライ ノく増幅器○D1・・・OD、によって直接感知される場合、この手順は、各入 力電圧のXl・・・Xlの電圧分割比を他の入力電圧の電圧分割比から独立させ る。
図1は、負荷コンデンサCL、、。6.を有する出力ラインOL、と、負荷コン デンサCL fM*N+11 を有する出力ラインOL+++*oを示す。各出 力ラインの合計静電容量は、実質的に他の出力ラインの静電容量と同じになるよ うに行われる。これは、CLfMll か、出力ラインOL、に対する他の静電 容量よりもずっと大になるように選択することにより、また、CL、□や9.1 .が、出力ラインOL ui+、。
に対する他の静電容量よりもずっと大きくなるように選択することにより行われ る。以上の方法に代えて、これは、CL、、。4.及びCL 、、、、。、lが 、同し出力ラインを接続する他の静電容量の組み合わせた値を相補するように、 選択することにより行われる。出力トライハ増幅器OD、に対する入力電圧は、 クーロンの法則に基ついて以下の値V、を有する。
電圧V、の発生は、実効静電容量(C++、n C:++*s+)と出力ライン の合計静電容量CIとの間の複数の容量性分割の重ね合わせとして示されている 。すなわち、C1は、出カラインOL、上の合計静電容量あるいは出力ライン○ L〜。、。
上の合計静電容量てあり、その静電容量は相互に等しくさせられ、かつ、値にお いて固定されるー\きである。図1のニューラルネット層における各非線形出力 トライハ増幅器OD、は、非線形電圧増幅器回路によって追従される線形電圧増 幅器回路を使用することにより実現される。各出力ドライブ増幅器は、次に続く 非線形増幅器に加えるために、出力信号電圧を単一終了形状に変換するためのカ レントミラー増幅器負荷を有する長尾の対接続されたトランジスタを含む。長尾 の対接続されたトランジスタは、そのソース電極か互いに、かつ、低電流発生器 に差動モードで接続される場合、差動増幅器の接続である。米国特許願第366 838号及び第366839号に記載されるように、カスケード接続された2つ のソースフロアトランジスタを有し、1つは、NチャネルMOSFETであり、 他の1つは、PチャネルMO3FETであって、それぞれ適当な値を有する低電 流発生器のソース負荷を有する。(1)ゲート電極電位の正の方向に向かうエク スカーションのNチャネルMOSFETのソースフロア動作は、ソース電位がド レイン電位にVlllに近づくにつれて制限されるので、また、(2)ゲート電 極電位の負に向かうエクスカーションのPチャネルMO3FETのソースフロア 動作は、ソース電位がドレイン電位VLOに近づくにつれて制限されるので、そ のようなカスケード接続の応答は非線形になる。カスケード接続の出力のソース フロアのソース電極において、カスケード接続の入力ツースフロアのゲート電極 に加えられる線形ランプ電位に応答するC字状あるいはS字状の応答か生じる。
その代わりに、出力ラインOL、及び0L11゜N、上に表れる電荷の変化は、 出力トライバ増幅器における非線形電圧増幅器に先行する差動電荷感知増幅器に よって感知される。そのような場合、電荷感知増幅器からの出力信号は、基準V BIl電位を参照してバランスされる。この変更は、図2に関して説明される。
特定の1及びJの値にとって、入力トライバ増幅器[1,、コンデンサC1I及 びC1F+Nl及び非線形出力トライバ増幅器○D1によって、ニューロンモデ ルの挙動かとのように行われるかを検討する。もし、コンデンサC1,Iの静電 容量か、これらの特定の1及びJの値にとってコンデンサCi L +や9.の 静電容量よりも大きければ、そのJの出力電圧yIは、入力電圧x1に応答して 、 「エキサイトリ 励起(excitory)Jを表す。もし、これらの1及 びjの値にとって、CLI及びC++I*Nlの静電容量か、等しければ、その jにとっての出力電圧y、は、入力電圧y1に応答を示さない。もし、コンデン サCLIの静電容量か、これら1及びjの値にとって、コンデンサClflや9 .の静電容量より小さければ、そのjにとっての出力電圧y1は、入力電圧Xロ 二対する「インヒビトリ 禁止(inhibit。
ry) Jの応答を表す。
シナプス信号を重み付けするためのコンデンサを使用するニューラルネ・ソトに おいて、すべての1及びjにとってのコンデンサC1,I及びCl114N+は 、固定された値のコンデンサであり、i=1.・−・Mの場合、入力電圧X、の 重み付けにおいて、変更は生じない。しかし、そのようなニューラルネットは、 ニューラル応答によって基準を変更するように適応させられる容量を欠いている 。その適応は、例えば、自己学習のために、接続されようとするニューラルネツ トワークにおlvlて必要であり、ある用途において、それぞれの対のi及びJ の値と関連する各対のコンデンサC−及びC1+Nlの静電容量を変えるために 設けることか望ましい。この変更は、相補の方法において、実現されようとする ものであり、C1,1及びCI tl*Nlの静電容量は、C3に等しい。本発 明によると、要素である1組のコンデンサは、2つのパワーに基づいて関係付け られる静電容量を有し、コンデンサC1,I及びC13,ヤNlの対の1つのあ るいは他の要素になるように選択され、その選択は、伝送ゲートとして動作させ られる電界効果トランジスタによって行われる。
要素である図2A及び2Bを含む図2は、シナプス入力信号X、を差動的に重み 付けすることにより、受ける入力ラインIL、を有する出力ラインOL、及びC L (1,0の交点に近い図1のニューラルネットに対して行われる修正された 表示を示している。そのような修正は、訓練され得るニューラルネットを形成す る。
図1のニューラルネットの各コンデンサ対C11及びC1゜。0は、一対のディ ジタルコンデンサDC,,,及びDC1+++s+によって提供される。DCl 及びDC13,□、の静電容量は、ディジタルコンデンサの行間に位置するアレ イ状の素子のワード記憶素子WSE、、、に記憶され、メモリを形成するように 接続されたディジタル用語によって説明される重み付は係数及びその補数によっ て、相補の方法において制御される。このメモリは、例えば、ランダムアクセス メモリ(RAM)で良く、各ワード記憶素子WSE、、、は、アドレスレコーダ によって制御される行及び列のアドレスラインによって選択的にアドレスされる 。あるいは他の例として、このメモリは、複数の静的シフトレジスタで良く、各 行jに1つ設けられる。各静的シフトレジスタは、ディジタルコンデンサDC, ,,及びDC,、、やN、の各対の静電容量を制御するワードを記憶するための 段WS E 、、 、を有する。
ワード記憶素子WSE、、、に記憶されたワードは、ディジタルコンデンサDC 11*M1.J及びDCn+M+ 。4N+の他の対の静電容量を制御しても良 い。コンデンサD C+ + 1−Ml 、 J及びDCu+x+、u*+n  は、acグランドと出力ラインOL、及びOL+++N+の間に接続され、負荷 コンデンサCLfM411の対を形成する。DC,。
やtM、 Jl及びDC,、、の静電容量は相互に類似しており、それぞれの値 において、相互にトラック(tra+J)を変更する。D CN4M、 u++ n及びDC+、 u+s、の静電容量は相互に類似しそれぞれの値において相互 にトラックを変更する。4つのディジタルコンデンサDC,,,、DC,、、□ 1、DCn+M+、J及びD C、:h*M+、 l+□、は、入力ラインIL 、及びaCグランドから接続する入力端子を育し、出力ラインOL、及びOL  ++□、に接続する出力端子を存するカントあるいはブリッジの形状で接続され ている。この形状は、電圧利得に関する限り、静電容量ネットワークを横関係に するのを助けることによって、バンク(back)伝搬プログラムと関連付けら れる計算を容易にする。その代わりに、バック伝搬プログラムの計算か、計算手 順においてニューラルネットを使用しない計算機によって行われる場合、ニュー ラルネットは、ディジタルコンデンサDC,,□1.J及びDC,、工I I+ □。
を含むことを必要としない。
図2のニューラルネットか正常に動作させらるとき、以下のプログラム、モード 制御ラインMCLに加えられるφp倍信号、論理ゼロ(ZERO)である。モー ド制御ラインMCL上のこのゼロは、それぞれの関連する全差動増幅器DA、の 反転入力端子に出力ラインOL、を選択するために、N一番号の複数の出力ライ ンマルチプレクサOLM、を条件付ける。モード制御ラインMCL上のこのゼロ は更に、出力ラインOL、にとっても、電荷感知動作を行なうそれぞれの電荷感 知増幅器QS、に含まれるそれぞれの関連した全差動増幅器DA、の非反転入力 端子に出力ラインOL+1−0を選択するために、各出力ラインのマルチプレク サOLM、、、M+を条件付ける。j=1. 2.・・・Nにとりての全差動増 幅器DA、のいずれか1つにとって、機能するMo5t界効果トランジスタより 構成される全差動増幅器は、ニューヨーク、チチェスター、ブリスベーン、トロ ント及びシンカポールのジョン、ウィリー&サンズ、Incによって出版され、 1986年の著作権による著作者R,グレゴナン及びG、C,テムズによる著書 (信号処理用アナログMOS集積回路の255−257ページに記載されている 。)この電荷感知動作において、伝送ゲートTGIは、増幅器DA、の(+)出 力及び(−)入力端子の間に積分コンデンサCI、を接続するためにリセットパ ルスQ、の欠如に応答し、伝送ゲー)TGu*ss+は、増幅器DA+の(=) 出力及び(+)入力端子の間に積分コンデンサC1,、□、を接続するために、 リセットパルスφRの欠如に応答する。そのように接続された積分コンデンサC I、及びcr、、、。により、増幅器DA、は、差動電荷増幅器として機能する 。モード制御ラインMCL上のφp倍信号ゼロであるとき、入力信号x1は、そ れぞれの静電容量の差に比例して、コンデンサDC,,,及びDC,、、□、上 に電荷の合計差動変化を誘起する。その結果生じ、差動増幅器DA、の入力端子 を実質的に電位において等しく保つために必要とされる偏移電流は、以下に定義 するように、差動電圧v1をコンデンサにかけて位置させるようにこれらの充電 コンデンサを差動的に充電する積分コンデンサCI、及びCI0□、からの対応 する偏移電流か生しることを要求する。
v、 −(CL +CI+++s+ )−’X” (C+ +十C+1.w+  +)x、・ (6)増幅器DA、の非反転出力端子からの半分V、倍信号、前に 説明したPチャネル及びNチャネルのソースフロア電界効果トランジスタのカス ケード接続を使用する非線形電圧増幅器回路である非線形電圧増幅器回路NL、 に供給される。非線形電圧増幅器回路NL、アクラン出力応答yIを発生するた めに応答する。この非線形電圧電圧増幅器NL+は、その回路によってもたらさ れる入力インピーダンスに比較して比較的低いソースインピーダンスにおいて、 y、を供給し、ylは、例えば、続くニューラルネット層における人力ライン上 に供給される。もしそうてあれば、続くニューラルネット層において図1にしめ される入力ドライハ増幅器TD、を間に入れる必要はない。これによって、横方 向の関係にある連続するニューラルネット層の間の相互の接続を容易にする。出 力ラインマルチプレクサ○LM、は、示された素子か隠れた層にあれば続くニュ ーラルネット層の入力ラインにy、を加えるために、セロであるモード制御ライ ンMCL上に表れるφp倍信号応答する。図2に示される素子か、出力ニューラ ルネット層にあれば、出力ラインマルチプレクサOLM、は、ニューラルネット の出力端子にylを加えるためにセロであるモード制御ライン上のφp倍信号応 答する。
ニューラルネットの正常な動作はときとき妨害され、モしてdc−回復を実施す るためにリセットパルスφRか電荷感知増幅器QS、に供給される。il+に応 答して、φRかハイになるときリセットパルスφRの論理補数は、ロウになって 伝送ゲートTGI及びTG、、。sN、はもはや導電性ではなくなって積分コン デンサCL及びCI : fl+Nlを差動増幅器DA、の出力端子から接続す る。その代わり、伝送ゲートTG、、、、、及びTG、、や4N+がハイになる φRに応答して、これらの出力端子から接続されるコンデンサCI、及びCI  、、。NlのプレートにVBIASを接続し、VBIAsは、V、、= Ovo ltと差動増幅器DA、の動作電圧であるVoo= 5 v。
1、tの間の中間電位である2、5vo1.tである。他の伝送ゲートTG、、 や2N+及びTGfl+ll+11は、ハイになるφRに応答して差動増幅器D A、からその入力端子へ直接結合の減衰したフィードバックを加え、出力端子に おける電圧を、出力ラインOL、及びOL、、。。から反転入力端子に供給され る電圧にする。dc−回復中、全てのXlは、 「セロ値Jである。積分コンデ ンサCI、及びC1,、□、上の電荷は、調節されて差動増幅器DA、の出力端 子まての回路において生じる差動直接電圧の誤差を補償する。dc−回復は、す へての差動増幅器DA、にとって同時に行われる(すなわち、lからNの範囲の jの値にとって)。
トレーニング中、モード制御ラインMCLに加えられるφp倍信号、論理1(O NE)であり、出力ラインマルチプレクサOLM、か、出力ラインOL、及びO L fl+N+ を差動増幅器DA、の(+)及び(−)の入力端子から接続を 断つ出力ラインOL、及び0Lil+N+ をδ、及び=61の誤差の項を受け るために接続する。二〇らの61及び−61の誤差の項は、信号Δ1と出力ライ ンOL、の電圧の単位変化にとって、非線形増幅器NL、の出力電圧yIの変化 である信号y。
に応答するアナログ乗算器AM、のバランスした積の出力信号として発生させら れる。出力のニューラルネット層の項Δ1は、yIの実際値とその希望値d、の 間の差である誤差信号である。隠れたニューラルネット層の項Δ、は、この明細 書において、更に詳細に説明される性質の誤差信号である。
微分器DC,は、■、。に重ねられた出カラインOL、上の電圧のylの変化の 傾斜を表す導関数である信号y、を発生する。yIの導関数を決めるために、小 さな振幅の負に向かう。
微分器DC,let、 V、、Asに重ねられた出カラインOL、上の電圧のy 、の変化の傾斜を表す導関数である信号y、を発生する。y、の導関数を決める ために、小さな振幅の負に向かうパルスによって、直ちにその後に続けられる小 さな正に向かうパルスのダブレットが、微分増幅器DA、の反転入力端子におい て、通常の値より僅かに低い第1の低い値y1に向かい(あるいは等価的に反対 極性のダブレットパルスか微分増幅器DA、の非反転入力端子において)そして 、通常の値よりも僅かに大きくなる。通常の値よりも僅かに小さい所から、通常 の値より僅かに大きくなるyIのこの遷移は、微分コンデンサCD、を経て微分 器DF。
に加えられる。
微分器DF、は、差動増幅器DA、、や。と、積分コンデンサCL、、□、を含 む電荷感知増幅器を含む。通常の値より僅かに小さな時間y、の間、リセットパ ルスTSは、伝送ゲーhTG、、、、N、及びTG 、、。6N+に加えられて 、それらを導電性にする。これは、DA、、や。入力オフセット電圧誤差を補償 するために必要とされる電荷を除いて、積分コンデンサCL I I 4N1  からドレインへ充電することにより行われる。リセットパルスφSか終わると、 伝送ゲートTGB、、。4N+及びTG、、。5NIIよ、もはや導電性でなく なり、相補信号φSがハイになって伝送ゲートTG tl+1111を導電性に し、出力と差動増幅器DA、、。N、の反転入力端子の間で積分コンデンサCL  I+*Nl を接続する。
素子DA++−s+ 及びCL +I+Nl を含む電荷感知増幅器により通常 の値から小さな下の方に向かうylのパルスか断続して、通常の値から小さな上 の方に向かうパルスが発生する。2つの異常なy、の状態間の遷移か、微分コン デンサCD。
を経て静電誘導によって電荷感知増幅器に加えられる。微分増幅器DA、、。8 .の出力電圧は、リセット中と考えられるVBIA3値から量Y’ rだけ変化 する。導関数y Iを決めるために、単一のパルスのエツジよりもむしろ2つの パルスのダブレットの間の遷移を使用することにより、導関数を使って行なう処 理をエキサイトリイとインヒビトリイの同じ振幅に対する応答により類似させる 。ダブレットパルスは、ニューラルネット層に直接電位のオフセットの誤差を持 ち込まない。
パルスφTに応答して、微分器DF、からの値V’ r +VBIASか抽出さ れ、列抽出保持回路RSH,によって抽出保持され、入力信号としてアナログ乗 算器AM、に加えられる。この抽出保持手順はy、を通常の値に戻し、その通常 の値は、出力層において計算(yI −cll )のためにyIを提供するのを 容易にするために有用である。抽出保持回路R3H,は、例えば、直列腕伝送ゲ ート抽出スイ・yカ端子POUT及びPOUTにおいて、平衡した形で積の出力 信号を供給する。
Y’ + +VBIASとVBIAS電圧の間の差は、差動入力信号としてアナ ログ乗算器AM、に加えられ、そのアナログ乗算器は、VBl、L3の項の共通 モードの拒否を表す。
米国特許願第366.838号及び第366.839号、発明の名称「入力ライ ンと差動感知出力ラインの対を接続する容量性構造を使用したニューラルネ・ノ ド」及び[出力ラインと差動駆動入力ラインの対を接続する容量性構造を使用し たニューラルネット」において、4つのカット状のアナログ乗算器AM、が、説 明されており、K、ブルト及びHoつすリンゲスによる報告書であり、参照する こによってこの明細書に合体させられる1986年6月TEEE JOURNA L OF 5OLID 5TATE CIRCITS、vol、5C−21巻3 号の430−435ページに掲載されているrA CMOS Four−qua drant Analog Multiplier」によって説明されるシング ルエンデツド出力アナログ乗算器を修正することによって構成されるプッシュプ ル出力アナログ乗算器である。
トレーニング中、モード制御ラインMCLに加えられるφP倍信号、前記したよ うに論理1である。図2の素子が出力層にあるとき、モード制御ラインMCL上 の位置は、出力マルチプレクサOM、を条件付けて非線形増幅器NL、から出力 端子へのy1信号の印加を断つ。代わりに出力マルチプレクサ○M、は、出力端 子を電荷感知増幅器QS、に接続する。電荷感知増幅器QS、は、差動増幅器D A+ 1.2N+と積分コンデンサC1,、。2)11を含み、リセットパルス φUに応答して周期的にリセットされる。リセットパルスφUは、例えば、リセ ットパルスφSと同時に発生し得る。電荷感知増幅器QS、からの出力信号Δ1 は、出力層においては使用されない。アナログ乗算器AM、は、出力層において 差動入力信号としてΔI + V 81 A 8及びvslA!を使用せず、そ の代わりに(yI −cL )が使用される。
図2の素子が隠れたニューラルネット層にあるとき、lであるモード割部うイン MCL上のφP倍信号、出力マルチプレクサOM、を条件付けて次のニューラル ネット層の入力ラインIL、への非線形増幅器NL1からのy、信号の印加を断 つ。代わりに、出力マルチプレクサOM、は、入力ライン■L、を電荷感知増幅 器QS、に接続する。電荷感知増幅器QS、は、トレーニング中の入カラインI L、上の電荷の変化を感知してV m l A sの直接電位上に重ねられるΔ 4の誤差信号を進展させる。ΔI + V B I A S及びV B l A  8電圧の間の差は、アナログ乗算器AM、への差動入力として使用され、その 乗算器は、VBIA$の項の共通モードの拒否を表す。
電荷感知増幅器QS、は、差動入力増幅器DA、、。2N+と積分コンデンサC 1,。
ャ21.を採用する。伝送ゲートTGII09Nl、TG +i+lON+ 及 びTGIi*1lNl は協力してリセットパルスφUに応答することにより、 積分コンデンサCI !++2Nl上の充電条件を時間的にリセットする。
図3は、入力トライハ増幅器ID、、入力電圧信号X1に応答して(+)出カポ −トから入力ラインTL、へ非反転電圧応答を加えるばかりでなく、(−)出力 ポートから人力ラインIL、、。□冒こ反転電圧応答を加える。(+)出力端子 から(−)入力端子へのそれぞれの衰退フィードバンク接続は、図3のニューラ ルネットにおける入力ドライバ増幅器TD、のそれぞれを条件付けて、(+)入 力端子に加えら0るx1信号にすして、(+)出力端子においてX1電圧フオロ ア応答を提供し、かつ、(−)出力端子において、反転されたーX1応答を提供 する。それぞnの信号出力ラインOL、は、それぞれの出カラインOL、上に蓄 積された電荷に応答する非線形電圧を出力ポートにおいて覧生する出力ドライノ \増幅器○D、の入力ボートに接続する。
非線形トライバ増幅器OD、は図3に示されており、それぞれの直流回復回路D CR,を使用して、選択された時間において希望のバイアス電工にクラシブする ことによって調節される出力ラインOL、を経て、入力信号端子に加えられる休 止(零)直接電位を有する非線形電圧増幅器である。それぞれのコンデンサC1 、は、入力ラインIL、のそれぞれを、出力ラインOL、のそれぞれに接続し、 それぞれのコンデンサCfi*M1. Iは、II7.により対にされる入力ラ インIL、。
(−Ml の1つを出力ラインOL、のそれぞれに接続する。対にされたIL、 とIL、1゜9、の入力ラインは、xl及び−x、の信号電圧により駆動される ので、電気的に等価な回路は、CLIの静電容量からC1l+M1.Iを差し引 いた値に等しい静電容量を有するコンデンサによって、出力ラインOL、に加え られるXlの信号電圧である。対にされた入力ラインに対するこの)くランスし た入力信号に対する駆動技術は、スイッチされる静電容量の技術の必要性をなく し、エキサイトリイの重み付けと同様にインヒビトリイを得ることかでき、もし 、希望すれば、持続する周期にわたって連続するアナログ信号によりニューラル ネ・ソトの動作を容易にする。
図3は、入力ラインIL、あるいはI L 、、、□、のそれぞれを示し、それ ぞれの負荷コンデンサCL、あるいはCL、、、M、を設けることにより、池の 入力トライハ増幅器のそれぞれの出力ポートと実質的に同しように、入力ドライ バ増幅器ID、の出力端子のそれぞれに静電容量を負荷する。これは、入力信号 x1に応答して、望ましくない差動遅れを避けるために望ましい。実質的に等し い静電容量の負荷は、コンデンサC11あるいはC1,。Ml、Iの合計静電容 量に比較して入力ラインの負荷コ〉・デンサCL、からCL2.まてのそれぞれ の静電容量を非常に大きくすることによって実現される。しかし、この結果は、 他の静電容量の組み合わされた値に対して、入力ラインの負荷コンデンサのそれ ぞれの静電容量を相補にすることによって実現されることか好ましい。この手順 は、必要とされるラインの負荷静電容量の量を減少する。出力ライン上に表れる 電圧か図3に示されるように、非線形出力トライバ増幅器○D1・・・ODNに よって、直接感知される場合、この好ましい手順は、それぞれの入力電圧X1・ ・・XMの電圧分割比を他の入力電工の電圧分割比から独立させる。出力ライン 上に表れる電荷が、非線形出力トライハ増幅器に先行する電荷感知増幅器によっ て感知される場合、図4に関してこの明細書において後で説明されるように、こ の後者の配慮は重要ではない。
図3はまた、それぞれの負荷コンデンサCL +2M1lにより、負荷される出 力ラインOL、のそれぞれを示しており、そのライン上の合計静電容量により、 他の出力ラインのそれぞれと実質的に同しようにさせる。再び、これは、CL  、、、。1゜を出力ラインOL、に対する他の静電容量よりもずっと大きくなる ように選択することにより、あるいはCL +2M+11を他の静電容量の組み 合わされた値に相補させるように選択することによって行なうことかできる。出 力ドライlく増幅器○D、に対する入力電圧は、クーロンの法則に基づいて以下 の値V、を有する(近似)。
二こで、C4は、出カラインOL、上の合計静電容量である。電圧v1の発生は 、入力電圧か、出力ラインOL、に対して有する実効静電容量(C(1,+、C tl。
□1.)と、出力ラインの合計静電容量CIの間の複数の容量性分割の重ね合わ せとして見られる。
ニューラルモデルの挙動が、入力ドライバ増幅器ID、、コンデンサC1及びC 1,、。Ml、I及び非線形出力ドライバ増幅器OD、によって、とのように示 されるかを考察する。電圧応答入力ドライバ増幅器ID、+よ、0−volt  Vssと+5v。
It Vddの電源電圧の間の中間のバイアス電圧vmlAIと、通常は同じで あることか望ましい。共通モード電圧として言及される振幅について同じである か、極性について異なる電圧を入力ラインIL、及びI L + l OM+  に加える。コンデンサC11の静電容量が、特定値1及びjにとって、コンデン サC++lIM1.Iの静電容量より大きければそのjにとっての出力電圧y、 は、入力電圧X+の応答して「エキサイトリイ」を表す。C11及びC+++M 1.+の静電容量か、これらのi及びjにとって等しければ、そのjにとっての 出力電圧3’+lよ、入力電圧y、に応答しない。もし、コンデンサCI+の静 電容量か、それらの1及びj値のとってコンデンサCN*M1. Iの静電容量 よりも小さければ、そのJにとっての出力電圧y、は、入力電圧X冒こ応答して 、「インヒビトリイ」を表す。
本発明によって構成されるニューラルネットにおいて、すへてのi及びjにとっ てのコンデンサC1,I及びCN4M1.Iは、固定静電容量値のコンデンサで よく、入力電圧XIの重み付けにおいて変更はない(i=1.・・・M)。しか し、そのようなニューラルネットは、ニューラル応答の基準の変更に適応する能 力を欠き、その適応は、例えば、自己学習のために接続されるニューラルネット ワークにおいて必要である。ある用途においては、i及びjの値のそれぞれの対 と関連性のあるコンデンサC1,、及びC+14M1.Iの各対の静電容量を変 えるために提供することか望ましい。この変更は、相補の方法において実現され るものてあり、C11及びCt+□、4の静電容量の和はC1に等しい。本発明 によると、2のパワーに基づいて、関連付けられる静電容量を有する要素コンデ ンサの組みか、1つあるいは他の対のコンデンサC1,I及びC0゜11の要素 として選択され、その選択は、伝送ゲートとして動作する電界効果トランジスタ によって行われる。 図4A及び4Bを含む図4は、シナプス入力信号XIの反 対感知によって駆動される入力ラインIL、及びI L 、、、□、と出力ライ ンOL、の交点の各組の近くにおける図3のニューラルネットに対して行われる 修正を示している。そのような悠正は、ニューラルネットを訓練か可能なように する。図3のニューラルネットの各コンデンサ対C1,1及びC(1□9.は、 一対のディジタルコンデンサDC1及びDC+l+M1. Iによって提供され る。DC,、、及びDC,、、。、の静電容量は、メモリを形成するために接続 され、ディジタルコンデンサの列の間に位置するそれらの素子もアレイにおける それぞれのワード記憶素子WSE、、、から引き出されるディジタルワードによ って相補の方法において制御される。このメモリは、例えば、ランダムアクセス メモリ(RAM)でよく、各ワード記憶素子WSE。
、は、アドレスレコーダによって制御される列及び行のアドレスラインによって 選択的にアドレス可能である。あるいは、他の例の方法によって、このメモリは 複数の静的ソフトレジスタで良く、1つは各列jによって設けられる。それぞれ の静的シフトレジスタは、各対のディジタルコンデンサDC,,,及びDCLl 、M。
、の静電容量を制御するワードを記憶するためのそれぞれの段WSE、、、を有 する。
ワード記憶素子WSE、、、に記憶されるワードは、更に他の対のディジタルコ ンデンサDC+、 、rno及びDC,、やMl、11□、の静電容量を制御し ても良い。コンデンサDC,,,□、及びDC,、、ユ 。□、は、raCグラ ンド」と入力ラインIL、及びIL、、。4の間を接続し、負荷コンデンサCL 、及びCL、、□、の部分を形成する。DCn+1.l+、++s+及びDCl の静電容量は相互に類似しており、それぞれの値において、相互にトラックを変 更する。4つのディジタルコンデンサDC,,,、DC,、□1. I 、De lf1□、及びDC,、□、、1□、は、入力ラインIL、及び■LLl+M、 がそれぞれ接続する入力端子を有し、かつ、出力ラインOL。
とaCグランドに、それぞれ接続する接続端子を育するカッドあるいはブリッジ の形状において接続されている。DC++r+N、及びDC,、□、Iの静電容 量は、相互に類似しており、それぞれの値において相互にトラックを変更する。
この形状が、電圧利得に関する限り、静電容量のネットワークを横関係にするの を助けることによって、バック−伝搬プログラムに関連した計算を容易にする。
その代わりにバック−伝搬プログラムの計算が、計算手順において、ニューラル ネットを使用しない計算機によって行われる場合、そのニューラルネットは、デ ィジタルコンデンサDC,,,,,、、及びDC,、やMl、 N*N+ を含 む必要はない。これらのディジタルコンデンサDC,,,,い、及びDC+l* bu 。□、は、非常に大きな負荷コンデンサか出力ラインOL、に設けられる 場合には必要ではないか、この変更は望ましくはないか出力トライハ増幅器○D 、の感度を減する。
図4のニューラルネットか、プログラムに続いて通常通り動作させられるとき、 モート制御ラインMCLに加えられるφP倍信号、論理上口(ZERO)である 。このセロは、入力ラインIL、に各入力ドライバ増幅器1.において、非反転 出力ボートを接続するために、それぞれの入力ラインマルチプレクサILM、を 条件付ける。また、セロであるモート制御ラインMCL上のφP倍信号、それぞ れの入力ラインマルチプレクサILM、、、、、を条件付けて入力ラインIL、 、、、、に各入力ドライハ増幅器ID、の反転出力ボートを接続する。
モート制御ラインMCL上のゼロは、n一番号の複数の各出力ラインマルチプレ クサ○LM、を条件付けて、出力ラインOL、にとって電荷感知動作を行なうそ れぞれの電荷感知増幅器QS、に含まれるそれぞれの関係する差動入力増幅器D A、の反転入力端子に出力ラインOL、を選択する。更に、この電荷感知動作に おいて伝送ゲートTG、は、リセットパルスQ、の欠如に応答して差動入力増幅 器DA、の出力と反転入力端子の間に積分コンデンサCI、を接続する。増幅器 DA +は、従来の電圧増幅器堅の演算増幅器でよく、あるいは演算トランスコ ンダクタンス増幅器で良い。そのように接続された積分コンデンサCI、により 、増幅器DA、は電荷増幅器として機能する。モード制御ラインMCL上のφP 倍信号ゼロであるとき、入力信号X1は、それぞれの静電容量の差に比例してコ ンデンサDC,,,及びDC,、□、I上の電荷の全変化を誘起する。差動入力 増幅器DA、の反転入力端子からのその結果生じた偏移の電流は、下記に定義さ れる電圧v1をその上に課するために、そのコンデンサを充電する積分コンデン サCI、からの対応する偏移の電流が生じることを要求する。
二の電圧V、は、非線形電圧増幅器回路NL、に供給さ渋その非線形電圧増幅器 回路は、アクラン出力応答yIを発生するために応答する。
ニューラルネットの通常の動作か時折中断され、dc−回復を実現するためにリ セットパルスφRか、各電荷感知増幅器QS、に供給される。ローになるリセッ トパルスφRの相補である論理φRに応答して、1マかハイになるとき伝送ゲー トTG、は、もはや導電性ではなくなり、積分コンデンサCI、を差動増幅器D A、の出力端子から接続する。その代わりに伝送ゲートTG1.Nは、ハイにな るφRi:応答してVBIAaにその出力端子から通常接続されているコンデン サC5の対を接続し、vBIAsは、Vss= Ovoltと、差動増幅器DA 、の動作電圧であるV oo= 5 vol tの間の中間電位である2、5v oltである。他の伝送ゲートTG、、や。
N、は、ハイになるφRに応答して、差動増幅器DA、の出力端子からの直接結 合フィードバックをその反転入力端子に加え、その出力端子における電圧を出力 ラインOL、から、反転入力端子に供給される電圧にする。dc−回復中、X、 は、「ゼロ値」である。積分コンデンサCI、上の電荷は、調節されて差動増幅 器DAIの出力端子までの回路で生じる直流電圧の誤差を補償する。dc−回復 は、全ての差動増幅器DA、にとって、同時に行われる(すなわち、Iからnに またがる1僅にとって)。
トレーニング中、モード制御ラインMCLに加えられうφP倍信号、論理1であ り、それによって出力ラインマルチプレクサOLM、は、差動増幅器QA、の反 転入力端子から出力ラインOL、の接続を断つとともに、出力ラインOL、をδ 1の誤差の項を受けるために接続する。このδ、の誤差の項は、信号Δ1に応答 するとともに、出カラインOL、上の電圧の単位変化にとって、非線形増幅器N L、の出力電圧y、の変化である信号3” +に応答してアナログ乗算器AMr の積の出力信号として発生されられる。項Δ1は、出力ニューラルネット層にと って、y、の現実値とその希望値d、の間の差である。項Δ1は、隠された二ニ ー・ラルネット層にとって、バック伝搬手続き中、連続するニューラルネット層 のΔ1の出力である。
微分器DF、は、VBIAa上に重ねられた出カラインOL、上の電圧のy、の 変化の傾斜を表す導関数である信号y’ +を発生する。y゛、の導関数を決め るため、類似した振幅の負に向かうパルスによって後続される小さな正に向かう パルスを含むパルスダブレットは、差動増幅器DA、の反転入力端子において( あるいは、等価的に反対極性のダブレットパルスは、差動増幅器DA、の非反転 入力端子において)、通常値より、わずかに小さな第1のロー値y、にされ、そ れから通常値よりわずかに大きい値に上げられる。通常値よりわずかに小さな値 より、通常値よりわずかに大きな値へのy、のこの遷移は、部分コンデンサCD 、を経て、微分器DF、へ加えられる。
微分器DF、は、微分増幅器DA、、、と、積分コンデンサC1,、。N、を含 む電荷感知増幅器を含んでいる。y、か通f値よりわずかに小さい時間中、リセ ットパルスφSは、伝送ゲートTGIヤ、N及びTG、。、7に加えられて、そ れらを導電性にする。これは、DA(14N+ の入力オフセット電圧誤差を補 償するために必要とされる電荷を除いて、積分コンデンサCL、Nから電荷をド レインするために行われる。リセットパルスφSか終了し、伝送ゲートTG、、 。4N+及びTC’fllN)かもはや導電性でなくなり、相補信号7Sかハイ になって、伝送ゲー)TG、、。3N+か導電性になり、差動増幅器DA+1+ IN+の出力と反転入力端子の間に積分コンデンサCI 、、□、を接続する。
素子DAu+s+ 及びCI +l4Nl を含む電荷感知増幅器かりセットす ると、通常の値から、小さく下の方向に向かうパルスyIか断続して、通常の値 から小さく上の方へ向かうパルスy、か生じる。yIの2つの異常状態の間の遷 移や、微分コンデンサCD、を経て、静電誘導によって、電荷感知増幅器に加え られる。差動増幅器DA+++s+ の出力電圧は、リセット中に取られるVB IA8筐からjty″ 1だけ変化する。導関数y′1を決めるため、単一パル スのエツジよりもむしろダブレットの2つのパルスの間の遷移を使用することに より、導関数を使用するプロセスの取り扱いを同じ撮幅のエキサイトリイ(励起 )とインヒビティング(禁止)の応答により類似させることかできる。ダブレッ トパルスは、直流電位のオフセント誤差をニューラルネット層に持ち込まない。
パルスφTに応答して、微分器DF、からの値Y’ h +Ve+Asは、入力 信号としてアナログ乗算器AM、に加えるため、(列)抽出保持回路RSH,に よって、抽出保持される。この抽出保持手順により、y、が通常値に戻り、(y I −d+)を計算するために、ylの提供を容易にするために出力層において 、有用である。抽出保持回路R3H,は、例えば、単に、直列腕の伝送ゲートの 抽出スイッチと、分岐脚の保持コンデンサを有するし一セクションを含んでも良 い。yI+vBIAsとVslASの電圧間の差は、v、IAsの項にとって共 通モードの拒否を表すアナログ乗算器AM、への差動入力信号として使用される 。
トレーニング中、モード制御ラインMCLに加えられるφP倍信号、前述したよ うに1であり、これによって入力ラインマルチプレクサILM、およびILM1 1□、か、入力ラインIL、およびI L (1401の 入力ドライバー増幅 器ID。
の出力端子からの接続を断ち、代わりにそれらを差動電荷感知増幅器BDQS。
の非反転および反転入力端子に接続する。電圧δ1はδI (C1,I CU+ □、。
、)に比例して入力IL、およびIL、、。M、の間の電荷の差動変化を誘起し 、その差動変化は差動電荷感知増幅器BDQS、を使用して感知される。
差動電荷感知増幅器BDQS、は、その出力端子のそれぞれからその入力端子の それぞれへの衰退フィードバック接続において、積分コンデンサIC,およびI C,、。。を設けられた全差動増幅器を含む。差動電荷感知増幅器BDQS、の リセットは、ひとつの積分コンデンサIC,よりもむしろ二つの積分コンデンサ IC,およびIC,、。4を使用するのを除けば、QS、のようなシングル−エ ンド増幅器のリセットと類似している。差動電荷感知増幅器BDQS、のリセッ トはパルスφUに応答して行われ、そのパルスは入力ラインマルチプレクサIL M1およびTLM、、□、を条件づけて入力ラインIL、およびIL(lやIl l を差動電荷感知増幅器BDQS、に接続する位置がモード制御ラインMCL にあるときに生しる。モード制御ラインMCLに加えられるφP倍信号0から1 への遷移が表れたすぐあとにリセットか通常行われるが、他のときに行われても よい。この手順はリセット手順に続くバック−伝搬計算中に入力ラインIL、お よびILo。
。、上の容量性不平衡を訂正する。これらの計算において、電圧+Δ1+V、I A。
および−Δ、 十V、、Asは差動電荷感知増幅装置BDQS、において含まれ る全差動増幅器の(+)および(−)の出力端子で発生する。電圧+Δl +V BIA3は、先行するニューラルネット層が存在すれは、バック−伝搬トレーニ ング手順中に先行するニューラルネット層によって使用される。シングルエンド の+Δ1および↓Δ1の駆動の使用か図4Aに示されており、ニューラルネット 層か分離したモノリシック集積回路内に集積されていると仮定されており、また 、出力ピンの数の制限に限定かあると仮定されている。複数のニューラルネット 層が同しモノリシック集積回路内に集積される場合、あるいは、最大出力ピンの カウントが制限的設計要因でない場合、平衡したΔ信号がひとつのニューラルネ ット層から先行するニューラルネット層に加えられてもよい。そこで、また、非 線形電圧増幅器NL、か正しい形のものであれば、(例えば、長屋の追接続のト ランジスタ)Y+ +VBIASおよび一3’ + + V s l A sの 平衡した出力信号が次のニューラルネット層に供給されてもよい。実際、アナロ グ乗算器AM、に加えられる3” +信号か微分器DF、および抽出保持回路S 田を平衡した回路により置換して平衡した形で発生させられてもよい。
図5は、j=1.、、、Nであるとき、図2あるいは図4の各出力ラインOL、 かy 、の項の計算中にとのようにしてパルス化されるかを示している。各出力 ラインOL、はそれぞれのコンデンサC○1によってダブレットパルスを発生す るパルス発生器PGの出力端子に接続される。図5は、そのライン上の電荷を感 知する電荷感知増幅器QS、における関係のある差動増幅器DA、の端子から離 れた各出力ラインOL、の端部に加えられるダブレットパルスを示す。パルス発 生器PGに接続するプレートから離れているコンデンサco+のプレートのそれ ぞれのプレートをこれらの端子に接続することによって、これらの端子にもっと 直接にダブレットパルスを加えることも可能である。
各出力ラインOL、iよ、それと基準電位の屯との間に接続されたそれぞれのコ ンデンサCO,を有し、各出カラインOL、、□口よ、それと基準電位との間に 接続されたそれぞれのコンデンサCO(14Nl を有し、そのコンデンサは図 面に示されていない。コンデンサCO4およびCO,、+Nlのそれぞれの静電 容量は、全て同し値であり、それによってバッター伝搬アルゴリズムは、これら のコンデンサの存在によって影響されない。非線形増幅器NL、に加える前に、 ■、にダブレットパルスを加えるための構成か、図5の構成を使用するのに代え て使用され得る。図6Aおよび6Bおよび6Cを含む図6は、図3のニューラル ネットの図4における修正に対してさらに他の修正を加えた構成を示す。図6八 に示されるこの修正は、一対の人力ラインIL、およびIL、、。ユを提供し、 シングルエンドよりむしろカット形状のデジタルコンデンサDC,,,,DC, 、、、。。、DCくパ帽・ JおよびD C+ 1 +%Il・ (」◆Nl  のプッシュプルを駆動する。シングルエンド駆動よりむしろブソノユブルは、差 動電荷感知増幅器FDQS、に対して提供され、その出力応答電圧を2倍にする プッシュプル駆動により、さらに差動電荷感知増幅器FDQS、か希望されれば 、出力信号の共通モードの抑止をもたらさない差動入力増幅器によって実現され る。図6Aは、符号検出器C3D、およびC3H,が、あとでさらに検討される 図60に表れるように再配置されるようには示されていないという点において、 図4Aと相違する。
図6Bは、一対の入力ライン上に表れる電荷の差を検出するために適当であるシ ングルエンドの電荷感知増幅器QS、か示されていないという点において、図4 Bと相違する。その代わりに、ΔH+ V s + a sか後続するニューラ ルネット層において発生し、モート制御ラインMCL上のΦp倍信号lであると き、出力マルチプレクサOM、を経てアナログ乗算器AM、ヘフィードバックさ れる。
図60は、通常の動作中、一対の入力ライ〉IL、およびI L LIthMI  に平衡した入力信号の駆動を提供し、バック−伝搬計算中にこれらの入力ライ ン上の電荷を差動的に検知するために、各ニューラルネット層において使用され る回路を示す。単一の全差動増幅器IDlは、多重化されて図60に示されるダ ブレックス回路DPX、における両機能をする。代わりに、その機能は別の装置 により実現されてもよい。
通常の動作中、モード制御ラインMCLに表れるδpの信号は、入力マルチプレ クサIM、を条件付けて、差動増幅器ID、を非反転(十)入力端子にXI倍信 号加え、入力ラインマルチプレクサILM、およびILM、、。M、を条件付け て入力ライン1.およびI L (14111に差動増幅器ID、の非反転(+ )および反転(−)出力端子を接続する。信号&pは、通常の動作中1であり、 差動増幅器[D、の非反転(+)出力端子およびその反転(=)入力端子の間の 伝送ゲートに加えられるφTJ十〇pは制御信号に表れ、伝送ゲートを導電性に してそれらの端子間に直接結合フィードバックを提供する。このd−cフィード バックは、差動増幅器TD、を条件付けて、その(+)および(−)出力端子に おいて(=)入力端子に加えられるX、信号に対するXIおよび−X1の応答を 提供する。ダブレックス回路DP1.内の他の伝送ゲートは通常の動作中、非導 通状態に条件付けられる。
バック−伝搬計算中、モード制御ラインMCLに表れるφp倍信号【てあり、入 力マルチプレクサIM、を条件付けて差動増幅器ID、の非反転(+)出力端子 から、もしあれば先行するニューラルネット層へΔ、の信号を加え、入力ライン マルチプレクサrLM、およびrLM、1+−+ を条件付けて、入力ライン【 LlおよびIL、、□、を差動増幅器ID1の非反転(+)および(−)入力端 子のそれぞれに接続する。バック−伝搬計算中に、マU、″7fp信号によって 制御されるダブレックス回路DP1.の伝送ゲートがゼロを受けるとき、積分コ ンデンサIC,とI CB 4M+は、差動増幅器ID、の(+)および(−) 出力端子から、その(−)および(+)入力端子に接続する。バック−伝搬計算 中、φUかlに対するパルスを出したとき、積分コンデンサ■C1およびTC+ I+jl+ の電荷条件かリセットされる。これは瞬間的に1であるφUに応答 して、4を性にさせられるφUおよびφU+φp制御信号を受けるダブレックス 回路DP1.における伝送ゲートに応答して生し、一方、7U#1@信号を受け るダブレックス回路DPX。
における伝送ゲートは非導電性にさせられる。
行符号検出器CSD、および行抽出保持回路CSH,は、図60に表れている。
行符号検出器は、その人力信号として直接差動増幅器ID、から出力信号を受け 、差動増幅器ID、からのxlおよび−X、の出力信号にとって電圧比較器にな る。
図7は、図2に関して修正された図1のニューラルネット、図4に関して修正さ れた図3のニューラルネット、あるいは、図6に関して修正された図1のニュー ラルネットとともに使用されるバック−伝搬計算を完成するための装置を示す。
メモリーアレイIMAにおける各ワード記憶素子WSE、、、における重みつけ は1行のアドレスと、3列のアドレスか行毎に一度に一列に走査されるときに調 整される。アドレス走査発生器ASGは、メモリーアレイIMAに適用されるよ うに示されているこの走査の1およびjのアドレスを発生し、そのメモリーはラ ンダムアクセスメモリーと仮定される。列アドレスjは、乗算器MULTのひと つの入力にδJを選択する。行マルチプレクサRMに適用され、列アドレス1は 乗算器MULTの池の入力にxlを選択する列マルチプレクサCMに適用される 。
乗算器MULTは、アナログ入力信号の積に応答してデンタル出力を提供する形 のものである。乗算器MULTは、掛は算を行うアナログ対デジタル変換器で良 (、あるいは、それはアナログ対デジタルコンバーターによって続けられるアナ ログ乗算器を含んでも良く、あるいは、その入力信号のそれぞれに対するアナロ グ対デジタコンバーターの変換された信号を掛は算するためのデジタル乗算器を 含んでも良い。乗算器MULTは、メモリーアレイIMAにおいて現在アドレス されているワード記憶素子WSE、、、に記憶されている重みに対する増減を表 す計数低減率ηによって低減される積X、δ1を発生する。ワード記憶素子WS E、、、に記憶された重みの前者の値は、メモリーアレイIMAから、一時的記 憶素子あるいはラッチTSへ読み出される。この前者の重みの値は乗算器MUL Tから減数ηXI δ1として受けるデジタル減算器SUBへ被減数として供給 される。その結果生じる差は、前者の重みづけ値を置換するためにメモリーアレ イrMAのワード記憶素子WSE、、、へ書き込まれる最新の重みづけ値である 。
図8は、訓練されるニューラルネットl1iL、、L、およびり、か訓練される システムで、どのように接続されているかを示す。L6は、ylの出力信号を発 生する出力ニューラルネット層であり、図1および2、図3および4、あるいは 図6に関して説明されたものと類似し、さらに、Loのメモリーアレイに記憶さ れた重みを最新化するために、図2.4あるいは6に示されたものと類似する。
L、は、そのX、入力信号として出力ニューラルネット層に供給されるyI出力 信号を発生する第4の隠れたニューラルネット層である。これらのylの出力信 号は、xh入力信号の重みづけられた和に対する非線型の応答として、層L1に よって発生させられる。この第」の隠れたニューラルネット層り、は、BPP、 に類似するバッター伝搬プロセッサBPP、を有する。L2は、第2の隠れたニ ューラルネット層であり、xh入力信号として第」の隠れたニューラルネット層 に供給されるyh出力信号を発生する。これらのyh出力信号は、xg入力信号 の重みづけられた加算に対する非線型応答として、層L2によって発生させられ る。
この第2の隠れた層は、BPP、およびBPP、に類似するバック−伝搬プロセ ッサーを有する。
図8は、それぞれのニューラルネット@L6.L、およびL2のそれぞれの格子 状のメモリーアレイIMAは、図2.4あるいは6に示された分離した読み出し 入力および書込み入力のハスの代わりに組み合わされた読み出し書込みハスを有 する。図8は、’I+、V:およびyh倍信号とっての前方と供給通路から離れ た通路にフィードバックされるΔ8.Δ、およびΔhの信号を示し、その分離さ れた通路は読者によってニューラルネットの概念を単純化するために示されてい る。現実には、図2.4あるいは6に示されるように、信号通路は前方方向にy lを、逆方向にΔ、を伝送するために使用されても良い。ハック−伝搬プロセッ サーBPP、は、ηX3δ、の量だけニューラルネット層り。の格子状メモリー アレイにおけるワード記憶素子から読み出される重みづけを修正し、訓練手順中 に読み一修正一書込サイクルの順序でワード記憶素子にそれらを戻して畜き込む 。
バック−伝搬プロセッサーBPP、は、ηxhδIの量だけニューラルネット層 L1の格子状メモリーアレイにおけるワード記憶素子から読み出された重みっけ を修正し、トレーニング手順中に読み一修正一書込サイクルの順序でワード記憶 素子にそれらを書き込む。バック−伝搬ブ0セッサーBPP2は、ηxgδhの 量だけニューラルネット層L2の格子状メモリーアレイにおけるワード記憶素子 から読み出された重みづけを修正し、トレーニング手順中に読み一修正一書込サ イクルの順序でワード記憶素子にそれらを書き込む。
今まで説明されたニューラルネットは、コンデンサの対の範囲の広い使用を行う ものであり、各対のコンデンサの静電容量はデジタルワードに応答して決められ 、所定の一定値に加算し、シナプス入力信号に加えられる重みっけを決めるよう に相違させられている。前述した明細書は、二対のコンデンサのニューラルネッ トにおける有用さを説明しており 各対のコンデンサの静電容量は、同じデジタ ルワードに応答して決められる。全てのiおよびjにとってのコンデンサC1゜ 1およびC5+ (1*+il は、ある例において固定した値のコンデンサで あり、1=1、Mの場合に入力電圧x+K 重みづけにおいて変更はなく、その ようなニューラルネットはニューラルネット応答の基準を変更する場合の適応す る能力を欠く。そのような適用は、例えば、自己学習のために接続されるニュー ラルネットワークにおいて必要である。
そのため、それぞれ対のiおよびjの値を有する図1あるいは2のニューラルネ ットにおいて関係かある各対のコンデンサC1,1およびC11゜□79.の静 電容量を変更することか望ましい。この変更は相補の方法において実現され、C 1゜、およびCi*++ヤニの静電容量の和はCkに等しく留まっている。図2 のニューラルネットにおいて、相補の方法において各対のコンデンサCi *  +i+N+ およびC11□l 、fl*Nl の#電容量を変更することか望 ましく、それらの静電容量の和はCkに等しく留まっている。
類似して、それぞれの対の1およびJの値を有する図3あるいは4のにおいて関 連する各対のコンデンサC11,およびCI++1゜0の静電容量を変更するこ とか望ましい。この方法は相補の方法において実施されCI+ IおよびC++ +1+Nl の静電容量の和はCkに等しく留まっている。図4のニューラルネ ットにおいて、各対のコンデンサCい、l9.およびC0□7.。。。の静電容 量は、相補の方法において変更することか望ましく、Cf1□1,1およびCN +Ml + f+□。
の静電容量の和はCkに等しく留まっている。各対のコンデンサの静電容量の変 更は、特に、1975年6月178に発行され、ゼネラル・エレクトリックカン パニーに譲渡された米国特許第3,890,635号、発明の名称「可変静電容 量半導体装置」の図」1に関連して説明された制御信号として使用される2進数 に比例して制御される静電容量を有する「デジタル」コンデンサに関して、W。
E、エンゲラ−の開示に沿って実現される。各対のコンデンサは、これらコンデ ンサの類似する2つのものであり、それらの静電容量はぞれぞれの制御信号によ って制御され、そのひとつは他の1つの相補型のものである。その対のコンデン サを実現する他の方法は、デジタル対アナログ変換によって発生するアナログ信 号により一対の類似したサイズの金属酸化物半導体(MOS)コンデンサの反転 表面電位を制御することである。
一対のコンデンサのこのような方法は、それぞれのコンデンサに分離した容量性 素子構造を使用し、容量性素子構造の部分は重みづけ量か低く選択されたときに は使用されない。好ましからざるは、容量性素子構造を必要とする以上に集積回 路ダイ上のエリアのほぼ2倍以上に取り上げようとすることである。そのことが ここに示される。
本発明に基づいて一対のコンデンサを構成する方法において、ふたつの電力に関 係した静電容量を有するコンデンサの要素のセットのそれぞれは、一対のコンデ ンサの一つあるいは他の要素となるように選択され、この選択は伝送ゲートとし て操作される電界効果トランジスタ(FETs)によって行われる。この最小限 のコンデンサのサイズを要求する方法は、最小限の重みづけできるだけ大きく関 連づけられる静電容量の半分の静電容量を提供し、それらのライン間の異なる静 電容量の計測の正確さに影響する平衡な入力端子および出方端子上の平衡でない 漂遊静電容量に大いに関係する容量性重みづけの24 :1の範囲で容易に供給 される。今田こおいて3ミクロン平方の最小面積コンデンサを支配し、24ミク ロンの平方のエリアを有する8倍のコンデンサを形成するデザインは実行可能で ある。この方法においては、容量性素子構造の未使用部分か存在する。
図9は、本発明に基づいて半ブリッジとして動作させられるようにデザインされ たデジタル的に静電容量をプログラム可能な一対のコンデンサの概念図であり。
ふたつのコンデンサは、C0MM0N L INE (共通のライン)として分 類された第1のプレートに配分され、そしてPOSITIVE LTNE(正の ライン)およびNEGATIVE LTNE(負のライン)のそれぞれの第2の プレートを有する容量性素子要素Co、C1,C2,C3およびC4の選択的な 接続によって提供される。図1から図2Aあるいは図6Aに示されるように、C 0MM0N LINEはシングルエンドの入力端子IL、に応答し、そしてPO 3ITIVE LTNEおよびNEGATXVE LINEは平衡サレタ出力端 子○L、およびOL、、□、にそれぞれ応答する。図3から図4Aに示されるよ うに、C0MM0N LINEはシングルエンドの出力端子OL、に応答し、そ してPO3IIVE LINEおよびNEGATIvE LINEは平衡された 入力端子IL、およびI L (i *M+ にそれぞれ応答する図9の容量性 素子要素CO,C1,C2,C3およびC4は、一対のコンデンサは、2° 2 ° 2’ 、22.23の比におけるそれぞれの容量性重みっけを有し、各々か C0MM0N LINEに接続されるそれぞれの第1のプレートと、そMt−L O)POSITIVE LINEおよびNEGATIVE LINEへの単極複 投入電子スイッチSWI、SW2.SW2およびSW4のひとつとそれぞれ接続 されるそれぞれの第2のプレートを有する。単極複投入電子スイッチSW1、S W2.SW2およびSW4は、重みづけワードのぞれぞれのビットによって決定 されるようにPOSITIVE LINEあるいはNEGATIVE LINE をぞれぞれ接続し、そのワードはワード記憶素子WSE、、、に記憶されている 。重みづけワードの重要な最小のビットはビットストアBSI、そして連続する さらに重要なビットはビットストアBS2.BS3およびBS4に記憶されてい る。図9は、ワード記憶素子WSE、、、を表現する長方形の箱の中のぞれぞれ の四角い箱としてビットストアBS1.BS2.BS3およびBS4を示す。
4ビツトの重みづけワードに応答させることかできる様々な接続の表か図1Oに 示され、本発明に基づく一対のコンデンサの構成方法によって可能となる肯定お よび否定の量の双方の範囲を越える重みの増加の継続的なセットを充分に示す。
4ビツトの重みづけワードの最も重要なビットは、電子スイッチSW4によって 電子スイッチあるいはマルチプレクサSWI、SW2およびSW3によって、P OSTTIVE LINEへの容量性素子C1,C2およびC3あるいはNEG ATIVE LINEの接続を司どる重みづけワードの重要ではないビットの反 対方向にPOSITIVE LINEあるい1iNEGATIVE LTNEへ の容量性素子C4の接続を司とる。なぜ、このことか行われるか(2の補数の使 用を収容する)そして、なぜバイアス容量性素子coか設けられているかは、図 10の表の検討から得ることができる。
NEGATrVE LINEの、あルイハ、4. 2. Iオヨヒ2分(7)1 ノ重みを有するPOSITIVE LINE容量性素子のいずれかによって決定 される(COMMON LINEへの)POSITIVE LINE:7ンデン サオヨヒNEGATIVE LINEI:おける第1.第2.第3および第4の 要素(7)項ハスイッチされ、左から右へ読込むように最も重要なビット、第2 に重要なビット、第3に重要なビットおよび4ビツトの重みづけワードの重要性 の最も小なビットにそれぞれ応答する。
NEGATIVE LINEコンデンサにおける第5の項は、図9のバイアス容 量性素子COに応じたバイアス容量性素子のコンデンサである。この第5の項は 、その適用において一定であり、重みづけワードあるいはそのいずれかのビット に応答してスイッチされない。
図11は、本発明に基ついて半ブリツノとして動作させられるようにデザインさ れた、デンタル的に静電容■をプログラム可能な他の一対のコンデンサであり、 容量性素子要素C20,C21,C22,C23およびC24より構成されてい る。容量性素子C20,C2]、C22,C23およびC24は、2° 2゜2 1 22 21の比でそれぞれ容量性重みっけされ、C0MM0N LINEへ 各々接続されるそれぞれの第1のプレートを有し、そして、それぞれのPOSI TIVE LINEおよびNEGATIVE LINEへのそれぞれ単極複投入 電子スイッチ5W20.SW2]、5W22,5W23および5W24のひとつ とそれぞれ接続されるそれぞれの第2のプレートを有し、単極複投入電子スイッ チ5W20.SW2+、5W22,5W23および5W24はそれぞれのワード 記憶素子WSE、、、において記憶されている重みっけワードのそれぞれのビッ トによって決められるPOSITIVE LINEあるいはNEGATIVEL INEに対する接続を提供する。図11は、ワード記憶素子WSE、、、を表す 長方形の箱の中に左から右へ並へられた正方形の箱としてビットストアB514 、B5l0.BS+3.BS+2およびBSIIを示す。左から右へのこの配置 は、数字の符号かその数字の各ビットを、そのビットの補数によって置換するこ とによって単純に反転させることかできるので、lの補数システムとして知られ ている2進の減少された根の数字システムのビットオーダーに基づいている。
■の補数システムは、算術のゼロを2つの方法において符号化する。図1に示さ れるビットの配置により、従来のデジタル加算器か便宜的な循環けた北げを介し て1の補数計算において符号加算のたぬに使用され、複数ビットの和の一番左端 のビット位置を発生する単一ビットの加算器からのけた上げか、複数ビットの和 の一番右端のビット位置を発生する単一ビットの加算器へのけた上げとして戻さ れる。この明細書の残りにおいて、lの補数計算のために使用されると考えられ るのはこのビットの配置である。ビットストアB514.B5l0.B513゜ B512およびBSIIにおけるビットは電子スイッチ5W24,5W20,5 W23.5W22およびSW21をそれぞれ制御する。5ビツトの重みづけワー ドの一番左端のビットは、右側の重みつけワードのビットか電子スイッチあるい はマルチプレクサ5W20,5W23,5W22およびSW21によって、PO SITIVE LINEあるいはNEGATIVE LINEI:対T/)容量 性素子C20,C23,C22およびC21の接続を制御する逆感知において、 電子スイッチ5W24によってPOSITIVE LINEあるいはNEGAT fVE LINEに対する容量性素子C24の接続を制御する。
デンタル的にプログラムできるコンデンサの図」1の対における重みつけワード として使用される各種の1の補数にとって、C0MM0N LINEとPOSI TIVE LINEおよびNEGATIVE LINEのそれぞれ間のコンデン サの接続を表にし、1の補数の使用をとの様にして調節するかの疑問を提供する 図12の表を検討する。NEGATIVE LINEおよびPO3ITIVEL rNEの:+ンデン”j (COMMON LINEI:対スル)ニおIf’+ 第1.第2、 第3.第4および第5の要素である項は、左から右に読み出され る5ビツトの重みつけワードのそれぞれのビットに応答して、4. 2. lお よび05の重みっけを有するNEGATTVE LINEおよびPOSITIV E LINEの容量性素子かスイッチされることによって決められる。
図11のC0MM0N LINE対1こおいて使用される重みづけワードの組に とっての1の補数システムの計算は2つのoooooの「正の」ゼロおよび11 111の「負の」ゼロを有する。格子状メモリーアレイrMAか図7に示される 乗算器MULTから2の補数形式において供給されるインクレメント(増加)η X1δ、によって修正される内容を存するとき、この二重ゼロの計算のニューラ ルネットのトレーニング上の効果は循環けた上げを使用する形の減算器SUBに よって抑制される。その代わりに二重のゼロ計算の効果は減算器SUBによりて 抑制されなくても良く、エキサイドリーとインヒビトリーの間の変化の傾斜を小 さくする。
図11のコンデンサの対は、エキサイドリーの重みづけの範囲は、トレーニング において使用される少し複雑な計算と、特別のビットの記憶に関する欠点に設計 上透型な負担を与えるインヒビトリーの重みづけの範囲と同じ広さである半ブリ ツジ動作の利点を有する。エキサイドリーとインヒビトリーの重みづけの範囲に おける対称性は、素子C22,5W22.C23,5W23.C24,5W24 、B5I2.BS+3およびBS+4か省略されても良い図11のコンデンサ対 の変形において−1,0および+1のような利用できる重みづけも範囲か非常に 制限される場合、特に重要な設計上の配慮である。図9のコンデンサ対に比較し て、図11のコンデンサ対の方か特別のビット記憶を有するけれとも、重みづけ コンデンサ対の構成に大きな規則性があり、全ての要素であるMOSコンデンサ かスイッチされる。
モノリシック集積回路におけるMOSコンデンサは、基盤に隣接する二つのプレ ートのひとつから、基板グランドに対する実質的な漂遊静電容量を育する。不平 衡な形で他の素子よりもPO3ITIVE LrNEおJ:びNEGATEVE LINEのひとつに表れるそのような漂遊静電容量を防ぐために第9図の要素で ある容量性素子CO,CI、C2,C3およびC4か極化され、その漂遊静電容 量をC0MM0N LINEの基板に置く。類似するように、図1において要素 しある容量性素子C20,C21,C22,C23およびC24は、漂遊静電容 量をC0MM0N LINE上の基板に置くように極化される。漂遊静電容量の このバランス化は、図24および25のコンデンサのカッドにおいても行われる 。
この明細書において説明されている回路の各種の部分で採用されているマルチプ レクサは、第9図のSWI、SW2.SW3およびSW4のスイッチ素子と、図 11のSW21,5W22,5W23および5W24のスイッチ素子に類似する 単極スイッチ素子より慣例的に構成される。これらの単極スイッチ素子のそれぞ れは慣例的にCMO3設計においてひとつ以上の電界効果トランジスタのいわゆ る「伝送ゲート」接続の対である。適当な伝送ゲートは並列チャンネルの選択導 電性を制御するために、それぞれのゲート電極に加えられる反対方向に揺動する 制t、iot圧を有するPチャンネルFETと、NチャンネルFETの並列チャ ンネルによって提供される。
図9は、SWI、SW2およびSW3のスイッチ素子からPO8■TIvELI NEおよびNEGATIVE LINEi:反対方向に接続されたSW4のスイ ッチ素子を示し、図11は、SWI、SW2およびSW3のスイッチ素子からP O3rTIVE LINEおよびNEGATIVE LINEI:反対方向に接 続された5W24のスイッチ素子を示す。各種のワード記憶素子に対して行われ るよりも図9のコンデンサ対の現実の集積回路のレイアウトにおいて、ビットラ インはビットラインかビットストアBSI、BS2およびBS3を提供するフリ ップフロップに書き込むビットストアBS4を提供するフリップフロップの反対 側の半分に書き込む。各種のワード記憶素子にとって行われるよりも図11のコ ンデンサ対の現実の集積回路のレイアウトにおいてビットラインはビットライン かビットストアB521.B522およびB523を提供するフリップフロップ に書き込むビットストアB524を提供するフリップフロップの反対方向の半分 に書き込む。
図13は、図9のスイッチされる容量性素子CI、C2,C3およびC4のひと つである容量性素子CXの対応するメモリー素子MEXに対する電気的接続を詳 細に示す。メモリー素子MEXは、エンハンスメント−モード電界効果トランジ スタ(FET)Ql、Q2.Q3およびQ4のフリップフロップ接続であり、比 較的正の動作電源電圧V0゜と比較的負の動作電源電圧v0を供給される。容量 性素子CXのひとつのプレートは、C0MM0N LINEに固定接続されるよ うに示されている。容量性素子CXの他のプレートを選択的にPOS ITIV ELINEあるいはNEGATIVE LINEに接続するために使用されるス イッチ素子SWXはエンハンスメント−モードFETQ5.Q6.Q7およびQ 8を含む。エンハンスメント−モードNチャンネルFETQI O,QI Iは 、スイッチ素子SWXにメモリー素子MEXの相補出力QおよびQBAR上のビ ット状態りおよびDBARを課するため、ゲート電極に加えられるWRITE( 書き込み)コマンドによって選択的に導電性にさせられる。
もし、Dかハイで(例えば、V、I、)DBARがロー(例えば、■3.)であ ればWRITEコマンドはQIOおよびQI2のゲート電極に対してもはや加え られないとき、DBARはロー状態になって、Qlは導電性になるとともに02 は非導電性になることによりQをVDDの電位においてハイに維持し、Dかハイ 状態になるとQ3か非導電性になってQ4が導電性になることにより、QBAR をVssにおいてローに維持する。スイッチ素子SWXにおいて、Qがハイ状態 になるとPチャンネルFETQ5は非導電性であり、NチャンネルFETQ6は 導電性であり、QBARかロー状態になるとPチャンネルFETQ7は導電性て あり、NチャンネルFETQ8は非導電性である。NEGATIVE LINE は導電性に条件付けられたFETQ6およびQIによって容量性素子CXに接続 され、P○5ITIVE LINEは非導電性に条件付けられたFETQ5およ びQ8によって容量性素子CXから接続を絶たれる。
Dかロー(例えば、■8.)であり、DBARかハイ(例えば、Voo)であれ ば、QIOおよびQI2のゲート電極に対してWRITEコマンドがもはや加え られなくなるとき、DBARかハイ状態になるとQlか非導電性になって、Q2 か導電性になることにより、QをV3g電位においてローに維持し、Dかロー状 態になると03か導電性になって04か非導電性になることにより、QBARを V。、を位においてハイに維持する。スイッチ素子SWXにおいて、Qかロー状 態になるとPチャンネルFETQ5か導電性になり、NチャンネルFETQ6か 非導電性になり、QBARかハイ状態になるとPチャンネルFETQ7か非導電 性になり、NチャンネルFETQ8か導電性i:r、i、ル。PO3ITIVE  LINEは、導電性に条件付けられるFETQ5およびQ8によって、容量性 素子CXに接続され、NEGATIVE LINEは、非導電性に条件付けられ たFETQ6δよびQIによって容量性素子CXから接続を絶たれる。
図14から23は、ふたつの基本的なモノリシック構造のセルを示しており、こ れらの図の左側のものとこれらの図の右側のものは相互に鏡による複写物として 配置されている。基本的なモノリシック構造のセルは、スイッチされる容量性素 子から構成される一対の重みづけコンデンサを形成するために少ない回数にわた ってレプリカとなり得る。お互いに鏡像化する隣接した列構造を育する基本的な モノリシック構造のセルの行および列のアレイによって形成される重みづけコン デンサの対より成るネットワークは、本発明に基づいて重みづけ加算回路を構成 するときに使用される。もっとも小さいスイッチされる容量性素子は、ひとつの 基本的なモノリシック構造のセルより構成され、それより大きなスイッチされる 容量性素子は、電気的な並列接続を有する複数の基本的なモノリシック構造のセ ルの組み合わせである。ビット記憶素子は単一のビット記憶素子か、その組み合 わせの電子スイッチの両方のセットを制御するために使用されれば複製される必 要はないか、その冗長ビット記憶素子を不要にするモノリシック回路のレイアウ トの修正か可能である。スイッチされる容量性素子より構成される重みづけコン デンサのカットか単純に二対の重みづけコンデンサを含み、各対は今説明された スイッチされる容量性素子より構成されるか、再び冗長ピントの記憶素子か存在 する。レイアウトの修正は可能であり、それはこれらの冗長なビット記憶素子を 除去することかでき、モノリシックダイを節約するためのレイアウトの再構成か 可能である。同しビット記憶素子によって制御される第1および第2のスイッチ される容量性素子か相互に隣接する場合、再構成はT状あるいはL状の基本的な モノリンツク構造のセルに発生する。−行のT状あるいはL状の基本的なモノリ ンツク構造のセルか、その行のひとつのエツジに沿って歯を表すT状あるいはL 状の数行の基本的なモノリシック構造のセルか存在する場合、モノリシックダイ の面積を節約する技術か行の軸の周りに交互の行のセルをフリップし、それらの 歯は噛み合わせられる。図14から23に示されるモノリシック構造のセルは、 2ビツトのデジタルワードが1の補数計算において重みづけ係数を符号化する場 合、複数対の重みづけコンデンサのネットワークを実施するときに使用される。
その対における各重みづけコンデンサは、0.5の実効重みづけを有する。
入力ラインと差動的に感知される出力ラインの対を接続する容量性構造を使用す る形のニューラルネット層において、0あるいはlである基本的なモノリシック 構造のふたつのビット記憶素子に記憶されるデジタルワードのビットにより重み つけコンデンサの対か差動的に感知される出力ラインの対の反対側のそれぞれに 接続され、それによって0の実効重みづけかコンデンサ対によって提供される。
01であるふたつのビット記憶素子に記憶されたデジタルワードにより、両重み づけコンデンサか正の出力ラインに接続され、それによってコンデンサ対は+1 の実効重みづけを提供する。10であるデジタルワードにより、両重みづけコン デンサか負の出力ラインに接続され、それによってコンデンサ対か−1の実効重 みづけを提供する。
出力ラインと差動的に駆動される入力ラインの対を接続する容量性構造を使用す る形のニューラルネット層において、00および11であるふたつのビット記憶 素子に記憶されたデジタルワードによりふたつの重みづけコンデンサが一対の差 動的に駆動される入力ラインの反対側のそれぞれに接続され、それによって、0 の実効重みづけかコンデンサ対によって提供される。ふたつのビット記憶素子に 記憶された01のデジタルワードにより両重みづけコンデンサか正の入力ライン に接続され、それによってコンデンサ対は+1の実効重みづけを提供する。10 であるふたつのビット記憶素子に記憶されたデジタルワードにより両重みづけコ ンデンサが負の入力ラインに接続され、それによってコンデンサ対は−1の実効 重みづけを提供する。
図24は、2の補数の重みづけ係数ワードによってデジタル的に制御される静電 容量を育する4つのコンデンサのカッド接続がどのようにして本発明により構成 されるかを示す概念図である。図24のラインLINEI、LINE2.LIN E3およびLINE4は、図9(7)POS[TIVE LINE、NEGAT IVE LINE、C0MM0N LINEおよびacグランドに対応すると考 えられる。カッドにおける一対の4つのコンデンサは、要素である容量性素子C O2C1,C2,C3およびC4をラインLINE1およびLINE2に選択的 に接続することによって提供される。容量性素子CO,CI、C2,C3および C4は、2° 2° 21 .21 :22の比において重みづけられるそれぞ れの静電容量を存し、LINE3にそれぞれか接続されるそれぞれの第1のプレ ートを有し、単極複枚入電子スイッチSWI、SW2.SW3およびSW4のそ れぞれによってLINElあるいはLINE2に接続される第2のプレートを有 する。単極複枚入電子スイッチSWI、SW2.SW3およびSW4は、それぞ れのワード記憶素子WSE、、、に記憶される重みづけワードのそれぞれのビッ トによって決められるLINEIあるいはLINE2に対する接続を提供する。
カッドにおける他の対の4つのコンデンサは、要素である容量性素子CIO,C 11,C12、C13およびC14の選択的接続によって提供される。容量性素 子CIO。
C11,CI2.C13およびCI4は、2° :2° ・21 22 23の 比において重みづけられるそれぞれの静電容量を有し、LINE4に接続される 第1のプレートを有し、L INElあるいはLINE2に単極複枚入電子スイ ッチSWI 1.SWI 2.SWl、3および5W14のそれぞれよって接続 される第2のプレートを有する。要素である容量性素子CIO,C1l、C12 ,C1,3およびCI4は、それぞれ要素である容量性素子CO,CI、C2, C3およびC4のそれぞれの静電容量にそれぞれ対応するそれぞれの静電容量を 有する。単極復投入電子スイッチSWI 1.SWI 2.SWI 3およびS Wl4は、それぞれのワード記憶素子WSE、、、において記憶される重みづけ ワードのそれぞれのビットによって決められるように電子スイッチSWI、SW 2.SW3およびSW4か行う方法と相補の方法においてLINElあるいはL INE2に対する接続を提供する。
図24のラインIjNE1.LINE2.LINE3およびLINE4は、今ま テノよう(ニーPO3ITIVE LINE、NEGATIVE LINE、C 0MM0N LINEおよびaCグランドに対応すると考えられる。そのような 場合、他の素子よりもPOSITIVE LINEおよびNEGATIVE L INEすなわちラインLINE1およびLINE2のひとつに不平衡な形で表れ る基板グランドに対する漂遊静電容量を防ぐため、要素である容量性素子CO, C1、C2,C3およびC4はLINE3.C0MM0N IjNE上に基板に 対する漂遊静電容量を置くように極化される。要素である容量性素子C10,C 11、CI2.C13およびC14は、LINE4に対しそれから基板グランド に接続するように極化され、基板に対する漂遊性静電容量は充電および放電され るのを防ぐ。
その代わりに図24のラインLINEI、LINE2.LINE3およびLIN E4は、C0MM0N LINE、acグランド、POITIVE LINEお よびNEGATIVE LINEにそれぞれ対応するものと考えることかできる 。そのような場合能の素子よりもPOSITIVE LINEおよびNEGAT IVE LINEのひとつに不平衡な形で表れる基板グランドに対する漂遊静電 容量を防ぐため、要素である容量性素子CO,C1,C2,C3およびC4はP OSTTIVE LINE、LINE3上に基板に対する漂遊静電容量を置くよ うに極化され、要素である容量性素子CIO,C11,CI2.C13およびC 14は、NEGATIVE LINE、LINEI上に基板に対する漂遊静電容 量を置くように極化される。しかし、POSITIVE IjNEおよびNEG ATIVE LINEの上に表れる基板に対する不平衡の漂遊静電容量を防ぐ方 法はPOSITIVE LINEとNEGATIVE LTNEの基板に対する 漂遊静電容量か差動増幅器iD+からの比較的低いノースインピーダンスのバラ ンスしたドライブによって分流されなければ、要素である容量性素子C09CI 、C2,C3およびC4の漂遊静電容量と要素である容量性素子C10,C11 、CI2.CI3およびCI4の漂遊静電容量の間のマツチングに依存する。
そのため、少なくともこれらのラインか出力ドライバー増幅器○DJによって差 動的に感知サレル場合、POSITIVE LINEおよびNEGATIVEL INEの1に表れる基板に対する不平衡な漂遊静電容量を防ぐ、前者の方法は後 者の方法に比へて好ましい。
図6の形のニューラルネットは、カットの形状において接続され、全ブリッジと して動作する重みつけコンデンサによって差動的に感知される出力ラインの対に 接続するためのバランスした入力信号によって駆動される入力ラインの対を使用 する。図6の形のニューラルネットにおいて、図24のラインIjNE3および LINE4かバランスした入力信号によって駆動される入力LINEの対のひと つに対応するように選択され、また、LINEIおよびLINE2には差動的に 感知される出力ラインの対のひとつに対応すると考えることができる。この選択 は、差動増幅器iD1からの比較的低いソースインピーダンスをl(ランスした 駆動によってLINE3およびLINE4の上に表れる基板に対する不平衡の漂 遊静電容量か分流される構成にする。
図25は、1の補数の重みづけ係数ワードによってデジタル的に制御される静電 容量を有する4つのコンデンサのカッド接続かとのようにして本発明により構成 されるかを示す概念図である。一対の4つのコンデンサは、要素である容量性素 子C20,C21,C22,C23およびC24を選択的に接続することによっ て提供される。容量性素子C20,C21,C22,C23およびC24は、2 ° 2° 2+ ・2”+2’の比において重みづけられるそれぞれの静電容量 を有し、LINE3にそれぞれか接続されるそれぞれの第1のプレートを有し、 単極複枚入電子スイッチ5W20,5W21,5W22,5W23および5W2 4のそれぞれによってLINEIあるいはLINE2に接続される第2のプレー トを有する。単極複枚入電子スイッチ5W20、SW21. SW22. SW 23および5W24は、それぞれのワード記憶素子WSE、、、のビットストア B514、B5l0.B513.B512およびBSl、1に記憶される連続す る重みつけワードのビ、・トによって決められるLINElあるいはLINE2 に対する接続を提供する。他の対の4つのコ〉デンサは、要素である容量性素子 C30゜C31,C32,C33およびC34の選択的接続によって提供される 。容量性素子C30,C31,C32,C33およびC34は、2° −2°  =21 2223の比において重みづけられるそれぞれの静電容量を有し、LI NE4にそれぞれか接続されるそれぞれの第1のプレートを育し、単極複枚入電 子スイッチ5W30.5W31,5W32,5W33および5W34のそれぞれ によってLINEIあるいはLINE2に接続される第2のプレートを有する。
容量性素子C30,C31,C32,C33およびC34は、それぞれ要素であ る容量性素子C20,C21,C22,C23およびC24のそれぞれの静電容 量にそれぞれ対応するそれぞれの静電容量を育する。単極複枚入電子スイッチ5 W34.5W30,5W33,5W32およびSW31は、それぞれのワード記 憶素子WSE、、、のビットストアBS1.4.B5l0.B513.B512 およびB511に記憶される重みづけワードの連続するビットによって決められ るように電子スイッチ5W24,5W20,5W23.5W22およびSW21 か行う方法と相補の方法においてLINEIあるいはLINE2に対する接続を 提供する。
図25におけるコンデンサのカッド接続において、図24におけるコンデンサの カッド接続のように、ラインLINEI、IjNE2.LINE3およびLIN E4はPOSITIVE LINE、NEGATIVE LINE、C0MM0 N LINEおよびaCグランドにそれぞれ対応できる考えられ、代案的にC0 MM0N LTNE、acグランド、POSITIVE LINEおよびNEG ATIVE LINEにそれぞれ対応できると考えられる。図6のニューラルネ ットのタイプにおいて、図25のラインL INElおよびLINE2は、平衡 した入力信号によって駆動される一対の入力ラインのひとつに対応できると考え られ、そしてラインLINE3およびLINE4は、一対の反対方向の出力ライ ンのひとつに対応できると考えられる。ある場合において、要素である容量性素 子C20,C2+、C22,C23およびC24は、LINE3に基板に対する 漂遊静電容量を置くように極化され、要素である容量性素子C30,C31,C 32、C33およびC34は、LINE4に基板に対する漂遊静電容量を置くよ うに極北される。この理由はコンデンサの図24のカッド接続に関して提案され たものと同しである。
図26は、重みづけにおいてより大きな分解能を提供するためにデジタルコンデ ンサDC:、 + + DC+14m1. I + DC+、 fl+slおよ びDC[i*m1. +I*slを含ム単−重みづけコンデンサに変えてニュー ラルネット層の全ての1.」の交点において複数の類似した重みづけコンデンサ のカッドがどのようにして採用されるかを示している。図26においてひとつの 重みづけコンデンサのカットMSWCi、jが格子状メモリーアレイのワード記 憶素子WSE、、、に記憶された8ビットの重みづけワードの一番左側の(一般 により上位の)ビットに応答して重みづけを提供するために使用され、他の重み づけコンデンサのカットLSWCi、jは格子状メモリーアレイのワード記憶素 子WSE、、Iに記憶された重みづけワードの一番右側の(一般に下位の)ビッ トに応答して重みっけを提供するために使用される。重みづけコンデンサのカッ ドMSWCi、jによっておよび他の重みづけコンデンサのカッドLSWCi、 jによって提供される重みづけの相対的な意味は規定された比に基づく。
前述したように、重みづけコンデンサのカッドMSWCi、jかXlの入力信号 に対する応答を電荷感知増幅器FDQS、に供給する。電荷感知増幅器FDQS J以外の他の電荷感知増幅器FDQS、、や、は、ニューラルネット層のl、J の交点において信号の前方伝搬のために使用され、かっ、重みづけコンデンサの カッドLSWCi、jを経てXlの入力信号に対する他の重みづけされた応答を 供給される。アナログ乗算器AM、の出力ボートはアナログスケーリング増幅器 ASA、の入力ボートにアナログ信号を供給し、アナログスケーリング増幅器A SA。
は、重みづけコンデンサのカッドMSWCi、jおよび他の重みづけコンデンサ のカットLSWCijによって提供される重みづけの相対的な意味の比に等しい 係数によって入力ボートにおけるアナログ信号から小さめに目盛られる出力ボー トにおけるアナログ信号に応答する。電荷感知増幅器FDQS、、、、、の入力 ボートとアナログスケーリング増幅器ASA、の出力ボートは、マルチプレクサ OLM、、。2.および○LM、、や31、によって出力ラインOL il+1 □および0LfiffN+を経て重みうけコンデンサのカッドLSWCi、jに 多重化される。差動入力電荷感知増幅器FDQS、およびFDQS、、□、は線 型電荷感知増幅器であり、重みづけおよび加算回路FW&S、においてそれらの 出力応答か重みうけコンデンサのカットMSWCi、j重みづけ他の重みつけコ ンデンサのカッドLSWC4,jによって提供される重みっけの相対的な意味の 比に基ついて目盛られた後加えられる。
重みうけ加算回路FW&S、は、それによって非線型増幅器NLi、jの入力信 号を発生する。例えば、4ビツトか重みづけコンデンサのカットMSWCi、j によって提供される重みづけを制御し、残りの4ビツトか重みつけコンデンサの カッドLSWCi、jによって提供される重みづけを制御する2の補数計算にお ける重みづけを説明する8ビツトかワード記憶素子WSE、、、に記憶されると 仮定する。それて、電荷感知増幅器FDQS、およびFDQS、、、N、からの 出力信号か非線型増幅器NLi、jの入力信号を発生するために重みつけ加算回 路FW&S。
において加算される前に16:1の比で重みつけられる。
図27は、図2Aおよび2Bに関してシングルエンド入力ラインからの平衡した 出力ラインの対の駆動を提供するためにニューラルネット層の図26の一部の修 正を示している。
図28は、図4Aおよび4Bに関して平衡した入力ラインの対からシングルエン ドの出力ラインの駆動を提供するためにニューラルネット層の図26の一部の修 正を示している。図26は、ニューラルネット層の一部を示し、重みづけ静電容 量のネットワークからの入力ラインあるいは出力ラインはシングルエンドにはさ れていない。図27および28に関する修正は、重みづけの異なった大きさかス イッチされるコンデンサ素子の類似したグループにより実現される方法には影響 を与えない。
図26.27および28は、それぞれスイッチされるコンデンサ素子のふたつの ランク、そのひとつは格子状メモリーアレイに記憶された重みづけワードのより 上位のビットに応答し、他のひとつは格子状メモリーアレイに記憶された重みつ けワードのより下位のビットに応答する方法を示しているか、その代わりに、本 発明に基づいてスイッチされるコンデンサ素子の3つ以上のランクかあっても良 い。その代わりに、重みづけ係数のビットスライス(bi t−s I ic  ing)は、重みつけ係数の単一のビットスライスに関連するニューラルネット 層のそれぞれの部分か重みつけ係数の池のヒツトスライスと関連するニューラル ネット層の池の部分と類似し、かつ、その単−設計かもっとも小さいサイズのデ ジタル的に制御されるコンデンサを全体に使うことかできるという事実によって 、ニューラルネット層の構造を好ましいものにする。
図29は、2の補数計算によってワード記憶素子WSE、、、か8ビツトの重み っけを記憶するとき重みづけコンデンサのカッドMSWCi、jおよびLSWC l、」においてコンデンサのふたつの対応する性質をより詳細に示している。カ ットにおけるコンデンサのひとつの対は、重みつけコンデンサのカッドLSWC i。
JにおけるPOSITIVE LS LTNEおよびNEGATTVE LSL INEからC0MM0N LINEに対する差動静電容量を決定する容量性素子 Co、CI、C2,C3およびC4から形成され、重みつけコンデンサのカッド MSWCi、 j f:おけるPOSTTIVE MS LINEおよびNEG ATIVE MS LINEからC0MM0N LINEに対する差動静電容量 を決定する容量性素子C5,C6,C7およびC8から形成される。重みづけコ ンデンサのカットMSWCi、jにおける容量性素子C5,C6,C7およびC 8は、重みづけコンデンサのカッドLSWCi、jにおける容量性素子CI、C 2,C3およびC4の静電容量にそれぞれ類似する静電容量を有する。カッドに おける他の対は、重みつけコンデンサのカッドLSWCi、jにおけるPOSI TIVE LS LINEおよびNEGATIVE LS LINEからの信号 グランドに対する差動静電容Iを決める容量性素子CIO,C11,CI2.C 13およびC14から形成され、重みつけコンデンサのカッドMSWCi、jに おけるPO3ITIVE MS LINEおよびNEGATIVE MS LI NEから信号グランドに対する差動静電容量を決める容量性素子C15,C16 ,C17およびC18から形成される。重みつけコンデンサのカッドMSWCi 、jにおける容量性素子C15,C16,C17およびC18は、重みつけコン デンサのカッドLSWCi、jにおける容量性素子CIl、CI2.C]3およ びC14の静電容量にそれぞれ類似する静電容量を有する。それらの呼び出しに おいて、同じ最後の数字を有するコンデンサカッドの容量性素子はお互いに類似 する静電容量を有する。
図29は、ワード記憶素子WSE、、、を表す長方形の箱の中で左から右に並へ られたそれぞれの長方形の箱として重みつけワードの下位のビットを記憶するヒ ツトストアBS8.BS7.BS6.BS5.BS4.BS3.BS2.B52 1を示している。8ビツトの重みづけワードの最上位ピントは、8ビットの重み づけワードの3つの次の最上位ビットか電子スイッチSW7.SW6およびSW 5によってPOSITIVE MS LINEあるいはNEGATIVE MS  LINEに対する容量性素子C7,C6およびC5の接続を制御し、重みつけ ワードの4つの最下位ビットは電子スイッチSWI、SW2、SW3および5W 4i:J:ってPOSITIVE LS LINEあるいはNEGATIVE  L。
S LINFに対する容量性素子CI、C2,C3およびC4の接続を制御する という反転感知において電子スイッチSW8によってPOSITIVE MSL INEあるいはNEGATIVE MS L rNEI:対する容量性素子C3 (7)接続を制御する。8ビツトの重みづけワードの4つの最上位ビットは、そ れか電子スイッチSW8.SW7.SW6およびSW5によってPOSITIV E MS LINEあるいはNEGATIVE MS LINEに対する容l性 素子C8、C7,C6およびC5の接続を制御するという反転感知において電子 スイッチsWI 8.SWI 7.SWI 6および5W15によってPo5I TIvE MS LINEあるいはNEGATIVE MS LINEに対する 容量性素子018、C17,C1,6およびCI5の接続を制御する。8ビツト の重みづけワードの4つの最下位ビットは、それか電子スイッチSW4.SW3 .SW2および5WI(:J:ってPOSITIVE LS LINEあるL” はNEGATIVELSに対する容量性素子C4,C3,C2およびC1の接続 を制御する反転感知において電子スイッチSWI 4.SWI 3.SWi 2 および5WIIによってPOSITIVE T、S LINEあ6いはNEGA TIVE LS LINEI:対する容量性素子C14,C13,CI2および C1lの接続を制御する。
図29に関するコンデンサカットを使用する図26のニューラルネット層におい て、それぞれのコンデンサ素子C8およびC18か重みづけコンデンサのカッド MSWCi、jにおいてコンデンサの各カッドに含まれるとき、これらのそれぞ れの容量性素子C8およびC18は重みづけ値に関して2の補数計算を行うため コンデンサのそのカッドにおいて池の全ての容量性素子からの反転感知において スイッチされる。それぞれのスイッチされないCOおよびCIOの最小重みづけ の容量性素子は、重みづけコンデンサのカッドLSWCi、jにおけるそれぞれ のコンデンサのカッドに含まれており、格子状メモリーアレイのワード記憶素子 WSE、、、に記憶され得る2の補数の全てのゼロ状態に対応するようにゼロ− 静電容量状態をバイアスする。しかし、重みづけコンデンサのカッドMSWCi jはスイッチされない最小の重みうけ容量性素子を含んでいない。
図30は、ワード記憶素子WSE、、、がビットストアBSI O,BSI l 。
B512.B513.B514.B515.B516.B517およびB518 において1の補数の形て9ビヅトの重みづけを記憶するとき、重みつげ静電容量 のネットワークMSWCi、jおよびLSWCi、jにおいてカットのコンデン サの性質をそれぞれ詳細に示している。カッドにおけるコンデンサのひとつの対 は重みづけコンデンサのカッドLSWCi、jにおけるPOSITIVE LS  LINEおよびNEGATIVE LS LINEからC0MM0N LIN Eに対する差動静電容量を決定する容量性素子C20,C21,C22,C23 およびC24から形成され、重みづけコンデンサのカッドMSWCi、jにおけ るPOSITIVE MS LINEおよびNEGATIVE MS L IN EからC0MM0N LINEに対する差動静電容量を決定する容量性素子C2 5,C26゜C27およびC28から形成される。重みづけコンデンサのカッド MSWCijにおける容量性素子C25,C26,C27およびC28は、重み づけコンデンサのカッドLSWCi、jにおける容量性素子C21,C22,C 23およびC24の静電容量にそれぞれ類似する静電容Iを有する。カッドにお ける静電容量の他の対は、重みづけコンデンサのカッドLSWCi、jにおける PO3ITIVELS LINEおよびNEGATTVE LS LINEから 信号グランドに対する差動静電容量を決定する容量性素子C30,C31,C3 2,C33およびC34から形成され、重みづけコンデンサのカットMSWCi 、jにおけるPOSITIVE MS LTNEおよびNEGA、TIVE M S LTNEかう信号グランドに対する差動静電容Iを決定する容量性素子C3 5,C36,C37およびC38から形成される。重みづけコンデンサのカッド MSWCijにおける容量性素子C35,C36,C37およびC38は、重み づけコンデンサのカッドLSWCi、jにおける容量性素子C31,C32,C 33およびC34の静電容量にそれぞれ類似する静電容量を有する。それらの呼 び出しにおいて最後の同し数字を有するコンデンサカットにおける容量性素子は 、お互いに類似する静電容量を存する。重みづけコンデンサのカットMSWC4 jは、重みづけコンデンサのカッドLSWCi、jにおける容量性素子C20あ るいはC30に対応する容量性素子を育していない。
図30は、ワード記憶素子WSE、、lを表す長方形の箱の中に左から右−1並 へられた正方形の箱としてlの補数計算において9ビツトの重みづけの連続する ビットをそれぞれ記憶するビットストアB518.B517.B516.B5l 5、B514.B513.BSI2およびB511を示している。ピントストア BS+8に記憶される9ビツトの重みつけワードの一番左側のビットはそのビッ トか1あるいはOであるかに依存して、電子スイッチ5W28によってpos  rTIVE MS LINEあるいl;!NEGATIVE MS LINE+ :対する容量性素子C28の接続を制御し、その一番左側のビットはさらにその ビットが0あるいはlであるかに依存して電子スイッチ5W38によってPOS ITIVE MS LINEあるいはNEGATIVE MS LINEに対す る容量性素子C38の接続を制御する。ビットストアB5l0に記憶された9ビ ツトの重みつけワードの一番左側の対のビットは、そのビットが1あるいは0で あるかに依存して電子スイッチ5W20によ一、t”POsITIVE LS  LINEあ6いはNEGATIVE LS LINEに対する容量性素子C20 の接続を制置し、一番左側のその次のそのビットはさらにそのビットか0あるい は1であるかに依存して電子スイッチ5W30によってPOSITIVE LS  LINEあるいはNEGATIVE LS LINEに対する容量性素子C3 0の接続を制御する。ビットストアB517.B516およびB515に記憶さ れた9ビツトストアの重みづけワードの3つの次の最上位ビットはそれらのビッ トかそれぞれ1あるいはOであるかに依存して電子スイッチSW27.5W26 および5W25によってPOSITIVE MS LINEあるいはNEGAT IVE MSLINEに対する容量性素子C27、C26およびC25の接続を 制御しする。
ビットストアB517.B5l6およびBSI5に記憶されたビットは、さらに それらのビットかそれぞれ1あるいは0であるかに依存して電子スイッチ5W3 7.5W36および5W35によってPOSITIVE MS LINEあるい はNEGATIVE MS LTNEに対する容量性素子C37,C36および C35の接続を制御する。ビットストアB5l1.B512.BSI3およびB 514に記憶された4つの一番左のビットは、それらのビットかそれぞれlある いは0であるかに依存して電子スイッチSW2+、5W22,5W23および5 W24によってPOSITIVE LS LINEあるいはNEGATIVEL S LINEに対する容量性素子C21,C22,C23およびC24の接続を 制御する。ビットストアB5l1.B512.B513およびB514に記憶さ れたその4つのビットはそれらのビットかそれぞれ0あるいはlであるかに依存 して電子スイッチ5W3f、5W32.5W33および5W34iこよってPO SITIVE LS IjNEあるいi;!NEGATIVE LS LINE i:対する容量性素子C31,C32,C33およびC34の接続を制御する。
特表平5−507168 (17) 図9のコンデンサカッドの静電容量 0111 0+O+0+O,O+0.5 4+2+1 +0.50110 0+ O+0÷0.5+0.5 4+2+1 +0.00101 0+0+1+O,O +0.5 4÷2+O+0.50100 0+O+1+0.5÷0.5 4+2 +0+0.00011 0+2十〇+O,O+0.5 4+0+1÷0.500 10 0+2+0+0.5+0.5 4+0+1+0.00001 0+2+1  +O,O+0.5 4+0÷O+0.50000 0+2+1 +0.5+0 .5 4+0+0+0.01111 4+0+0+0.0+0.5 0÷2+1 +0.51110 4+O+O+0.5+0.5 0+2+1+0.01t01  4+O+1+0.0÷0.5 0+2+0+0.51100 4+0+1+0 .5+0.5 0+2+O+0.01011 4+2+O+O,O+0.5 0 +O+1+0.51010 4+2+0+0.5+0.5 0+O+1+0.0 1001 4+2+1+0.0+0.5 0+O+0+0.51000 4+2 ÷t +0.5+0.5 0+0+O÷00FIG、10 図11のコンデンサカッドの静電容量 重み付け 負ライン 正うイン ワ − ド 静電容量 静電容量 01000 0+O,O+O+O+0.0 4+0.5+2+1+0.5001 11 0+0.5+O+O+0.0 4+O,O+2+1+0.500? 10  (:ho、5+O+0+0.5 4+0.0+2÷1+0.000101 0 +0.5+O+4+0.0 4+O,O+2+O◆0500100 0+0.5 +O+1+0.5 4+O,O+2+O÷0.000011 0+0.5+2+ O+0.0 4+O,O+O+1 +0.500010 0+0.5+2+O+ 0.5 4+O,O+O+1+0.000001 0+0.5+2+1+0.0  4+0.0+O+0+0.500000 0+0.5+2+1+0.5 4+ O,O+O+O+0.011111 4+O,O+O+O+O,OO+0.5+ 2÷1 +0.51 t 110 4+O,O+O+O+0.5 0+0.5+ 2+ + +0.011101 4+O,O+O+ 1 +O,OO+0.5+ 2+O+0.511100 4+O,O+0+4 +0.5 0÷0.5+2+ O+0.011011 4+O,O+2+O+0.OO+0.5+O+ 1+0 .511010 4+O,O+2十〇+0.5 0+0.5+O+I+0.01 1001 4+O,O+2+t+O,OO+0.5+O+O+0.51 +00 0 4+O,O+2++ +0.5 0+0.5+O+(bo、01(H114 +0.5+2+ l+0.5 0+O,O+O+O+0.0FIG、12 FIG、13 書き込み FIG、−74 FIG、15 FIG、16 FIG、17 FIG、78 FIG、19 FIG、 20 FIG、 21 FIG、22 FIG、23 FIG、 24 (j4.、、C4,C13=C3,C12,C2,C11−cl、clomc。
FIG、25 C24:C23: C22:C21:C20,: : 23: 22:2’:1  : +C34= C24,C331m C23,C32輸C22,C31=  C21、C30w C20要約書 差動静電容量は変化する場合でもニューラルネットに関連する場合でも、一対の コンデンサの静電容量は値において相補的になるように配置され、それによって 静電容量の和は一定値Ckに等しくなるように止められる。2の指数に基づいて 関係付けられる静電容量を有する要素であるコンデンサの各組み合わせはコンデ ンサのその対の1つあるいは他のものの要素になるように選択さね、その選択は 伝送ゲートとして動作する電界効果トランジスタ(FET)によって行われる。
FETのゲート信号は、半導体メモリのワード記憶素子に記憶される2進数のビ ットのそれぞれである。
国際調査報告 111.、、−、A1.1.PCT/US91102855、、、、−1c、、 、、、N、PCT/US 91702855国際調査報告

Claims (12)

    【特許請求の範囲】
  1. 1.各重みづけは第1および第2の重みづけコンデンサのそれぞれの対のそれぞ れの静電容量における差によって決められ、第1および第2の重みづけコンデン サの各対は: 連続する1番からP番までの序数によって表される複数の容量性素子(C1,C 2,C3,C4,C21,C22,C23,C24)であって、それぞれの前記 容量性素子第1および第2のプレートの間にそれぞれの静電容量を有し、各容量 性素子の静電容量は、kが前記容量性素子の序数に対応する場合、前記第1の容 量性素子の静電容量に対して2(k−1)の比を有する複数の容量性素子;デジ タルの形で選択信号を記憶するための電子メモリーにおけるそれぞれの記憶位置 (WSE1,■);および 同じ重みづけコンデンサの要素として選択される前記1番からP番までの容量性 素子の他のものと並列に接続され、前記それぞれの対の重みづけコンデンサの第 1あるいは第2の素子として前記1番からP番までの容量性素子のそれぞれを選 択するため、前記電子メモリーにおいてそれぞれの記憶位置にデジタルの形で記 憶される前記選択信号に応答する伝送ゲート(SW1,SW2,SW3,SW4 ,SW21,SW22,SW23,SW24)より構成されるそれぞれの電子選 択スイッチ回路; を含むことを特徴とする複数の入力信号に応答する複数の重みづけ加算信号を発 生する装置。
  2. 2.第1および第2の重みづけコンデンサのそれぞれの前記対は、類似する構造 の第3重みづけ第4の重みづけコンデンサのそれぞれの他の対とブリッジで接続 され、 前記電子メモリーにおいてそれぞれの記憶位置(WSE1,■)を有し;それぞ れ複数の他の容量性素子(C11,C12,C13,C14,C31,C32, C33,C34)を含み; それぞれの前記ブリッジ接続内において、第1および第3の重みづけコンデンサ の静電容量の和は標準値に等しく、第2および第4の重みづけコンデンサの静電 容量の和は、前記標準値に等しくなるように同じ重みづけコンデンサの要素とし て選択される前記他の容量性素子の他のものと並列に接続されるように重みづけ コンデンサの前記他の対の第3あるいは第4の重みづけコンデンサの素子として 前記他の容量性素子のそれぞれを選択するため、前記電子メモリーの前記それぞ れの記憶位置にデジタルの形で記憶される前記選択信号に応答する他の伝送ゲー ト(SW11,SW12,SW13,SW14,SW31,SW32,SW33 ,SW34)より構成されるそれぞれの電子選択スイッチ回路を含むことを特徴 とする請求項1に記載された複数の重みづけ加算信号を発生する装置。
  3. 3.前記ブリッジ接続のひとつにおいて、第1および第2の重みづけコンデンサ の各対の中においてそれぞれ0番の容量性素子(C0)は、前記第1の容量性素 子のそれぞれ1番と2番のプレートの間の静電容量に等しいそれぞれの静電容量 をそれぞれ第1と第2のプレートの間に有し、前記0番の容量性素子は同じ重み づけコンデンサの要素として選択される前記1番からP番までの容量性素子の他 のものと並列に接続される重みづけコンデンサの対の1番のものに含まれ、重み づけコンデンサのその対の第2のものは、重みづけコンデンサのその対のそれぞ れの電子選択スイッチ回路が重みづけコンデンサのその対の第1の素子として前 記1番からP番までの容量性素子の全ての素子を選択するとき、本質的に0値で あり; 前記ブリッジ接続のひとつにおいて、第3および第4の重みづけコンデンサの各 対内において、さらに他の容量性素子(C10)はそれぞれ第1および第2のプ レートの間に有する前記0番の容量性素子の静電容量に等しいそれぞれの静電容 量をそれぞれの第1および第2のプレートの間に有し、前記さらに他の容量性素 子は同じ重みづけコンデンサの要素として選択される前記他の素子の他のものと 並列に接続される重みづけコンデンサのその対の4番目のものに含まれ、その対 の重みづけコンデンサの第3のものは、重みづけコンデンサのその対のそれぞれ の電子選択スイッチ回路がその対の重みづけコンデンサの4番目の要素として前 記他の容量性素子の全てを選択するとき、本質的に0値であることを特徴とする 請求項2に記載された複数の重みづけ加算信号を発生する装置。
  4. 4.第1および第2の重みづけコンデンサの各対は、それぞれ第1重みづけ第2 のプレートの間に、前記第1の容量性素子のそれぞれの第1および第2のプレー トの間の静電容量に等しいそれぞれの静電容量をそれぞれ第1および第2のプレ ートの間に有するそれぞれ0番の容量性素子(C20)を更に含み、前記それぞ れの電子選択スイッチ回路はその前記対の第1あるいは第2の容量性素子の要素 として前記0番の容量性素子を選択するため、前記電子メモリーの前記それぞれ の記憶位置に記憶される前記選択信号のそれぞれの他のビットに応答する伝送ゲ ート(SW20)を含む前記それぞれの0番の容量性素子とともに前記容量性素 子のそれぞれの前記対内に含まれることを特徴とする請求項1に記載された複数 の重みづけ加算信号を発生する装置。
  5. 5.第1および第2の重みづけコンデンサのそれぞれの前記対は、ブリッジ接続 において類似する構造の第3および第4の重みづけコンデンサのそれぞれの他の 対と接続され: 前記電子メモリーにおいて、それぞれの記憶位置(WSE1,■)を有し;それ ぞれ複数の他の容量性素子(C31,C32,C33,C34,C30)を含み ; それぞれの前記ブリッジ接続内において、第1および第3の重みづけコンデンサ を静電容量の和は標準値と等しくなり、第3および第4の重みづけコンデンサの 静電容量の和は前記標準値と等しくなるように同じ重みづけコンデンサの要素と して選択される前記他の容量性素子の他のものと並列に接続される重みづけコン デンサの前記他の対の第3あるいは第4の重みづけコンデンサの要素として前記 他の容量性素子のそれぞれを選択するため、前記電子メモリーの前記それぞれの 記憶位置にデジタルの形で記憶される前記選択信号に応答する他の伝送ゲート( SW31,SW32,SW33,SW34,SW30)より構成されるそれぞれ の電子選択スイッチ回路を含むことを特徴とする請求項4に記載された複数の重 みづけの加算信号を発生する装置。
  6. 6.第1および第2の重みづけコンデンサの各対は、さらに前記第1の容量性素 子のそれぞれの第1および第2のプレートの間の静電容量に等しいそれぞれの静 電容量のそれぞれの第1および第2のプレートの間に有する0番の容量性素子( C0)を含み、前記0番の容量性素子は同じ重みづけコンデンサの要素として選 択される1番からP番までの容量性素子の他のものと並列に接続される重みづけ コンデンサのその対の1番のものに含まれ、重みづけコンデンサのその対の2番 目のものは、重みづけコンデンサのその対のそれぞれの電子選択スイッチ回路が 重みづけコンデンサのその対の1番目のものの要素として前記1番からP番まで の容量性素子の全てを選択するとき、本質的に0値になることを特徴とする請求 項1に記載された複数の重みづけ加算信号を発生する装置。
  7. 7.前記重みづけ加算信号のそれぞれに対するそれぞれC字状あるいはS字状の 応答を発生するため、非線型増幅器回路(OD;NL)と一緒にニューラルネッ トワークの層に含まれることを特徴とする請求項1から6のいずれかに記載され た複数の重みづけ加算信号を発生する装置。
  8. 8.希望するニューラルネットワークの応答が既知である入力信号のパターンを 加えることにより、前記ニューラルネットワークが訓練されている時間間隔の間 、バッター伝搬トレーニング回路の動作において必要とされる重みづけ加算を発 生するときに重みづけコンデンサの前記対のそれぞれの静電容量の差を使用する 前記バッター伝搬トレーニング回路内で選択的に接続されている重みづけコンデ ンサの前記対による、さらにそれぞれの前記電子メモリーにおける記憶位置にデ ジタルの形で記憶される選択信号を修正するために接続される前記バックー伝搬 トレーニング回路により前記ニューラルネットワークが訓練されているときの前 記時間間隔において使用されるバッター伝搬トレーニング回路を前記ニューラル ネットワークが含むことを特徴とする請求項7に記載された非線型増幅器回路と ともにニューラルネットワークの層に含まれる複数の重みづけ加算信号を発生す る装置。
  9. 9.その装置のそれぞれが部分的加算信号として識別できる重みづけ加算信号の それぞれのセットを発生するように応答する同じ複数の入力信号を供給される複 数の重みづけ加算信号を発生するための請求項1に記載された装置;および部分 的加算信号として識別できる重みづけ加算信号の前記それぞれのセットの適当な 重みづけ対応信号と組み合わせることにより、それぞれの最後の重みづけ加算信 号を発生するための複数のさらに他の装置;との組み合わせにおいて含まれるこ とを特徴とする請求項1,4および6のいずれかに記載された複数の重みづけ加 算信号を発生する装置。
  10. 10.その装置のそれぞれが部分的加算信号として識別できる重みづけ加算信号 のそれぞれのセットを発生するように応答する同じ複数の入力信号を供給される 複数の重みづけ加算信号を発生するための請求項2に記載された装置;および部 分的加算信号として識別できる重みづけ加算信号の前記それぞれのセットの適当 な重みづけ対応信号と組み合わせることにより、それぞれの最後の重みづけ加算 信号を発生するための複数のさらに他の装置;との組み合わせにおいて含まれる ことを特徴とする請求項2,3および5のいずれかに記載された複数の重みづけ 加算信号を発生する装置。
  11. 11.前記重みづけ加算信号のそれぞれに対するそれぞれのC字状あるいはS字 状の応答を発生するための非線型増幅器回路(OD;NL)と一緒にニューラル ネットの層に含まれることを特徴とする請求項8あるいは9に記載される複数の 重みづけ加算信号を発生する装置。
  12. 12.希望するニューラルネットワークの応答が既知である入力信号のパターン を加えることにより、前記ニューラルネットワークが訓練されている時間間隔の 間、バッター伝搬トレーニング回路の動作において必要とされる重みづけ加算を 発生するときに重みづけコンデンサの前記対のそれぞれの静電容量の差を使用す る前記バックー伝搬トレーニング回路内で選択的に接続されている重みづけコン デンサの前記対による、さらにそれぞれの前記電子メモリーにおける記憶位置に デジタルの形で記憶される選択信号を修正するために接続される前記バッター伝 搬トレーニング回路により前記ニューラルネットワークが訓練されているときの 前記時間間隔において使用されるバッター伝搬トレーニング回路を前記ニューラ ルネットワークが含むことを特徴とする請求項11に記載された非線型増幅器回 路とともにニューラルネットワークの層に含まれる複数の重みづけ加算信号を発 生する装置。
JP91508680A 1990-05-21 1991-04-25 ニューラルネットで使用される重み付け加算用容量性構造 Pending JPH05507168A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US525,931 1990-05-21
US07/526,470 US5039871A (en) 1990-05-21 1990-05-21 Capacitive structures for weighted summation as used in neural nets
US526,470 1990-05-21
US07/525,931 US5039870A (en) 1990-05-21 1990-05-21 Weighted summation circuits having different-weight ranks of capacitive structures
PCT/US1991/002855 WO1991018360A1 (en) 1990-05-21 1991-04-25 Capacitive structures for weighted summation, as used in neural nets

Publications (1)

Publication Number Publication Date
JPH05507168A true JPH05507168A (ja) 1993-10-14

Family

ID=27061954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP91508680A Pending JPH05507168A (ja) 1990-05-21 1991-04-25 ニューラルネットで使用される重み付け加算用容量性構造

Country Status (5)

Country Link
EP (1) EP0530237B1 (ja)
JP (1) JPH05507168A (ja)
KR (1) KR0183406B1 (ja)
DE (1) DE69105129T2 (ja)
WO (1) WO1991018360A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120433A (ja) * 2017-01-25 2018-08-02 株式会社東芝 積和演算器、ネットワークユニットおよびネットワーク装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3383152B2 (ja) * 1995-06-28 2003-03-04 シャープ株式会社 符号化装置
KR102505695B1 (ko) * 2016-03-18 2023-03-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 이를 사용한 시스템
KR102309013B1 (ko) * 2019-02-18 2021-10-07 광운대학교 산학협력단 효율적인 음수 가중치 구현이 가능한 뉴로모픽 회로 시스템
DE102019008095A1 (de) 2019-11-21 2021-05-27 Aron Kirschen Kapazitive Matrixvorrichtung mit einer Schicht zur Speichung von Ladungen und Verfahren zu dessen Ansteuerung
KR102525212B1 (ko) 2020-12-03 2023-04-21 광운대학교 산학협력단 정전용량을 이용한 가중치 메모리 시스템 및 이의 동작방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3691400A (en) * 1967-12-13 1972-09-12 Ltv Aerospace Corp Unijunction transistor artificial neuron
US4156284A (en) * 1977-11-21 1979-05-22 General Electric Company Signal processing apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018120433A (ja) * 2017-01-25 2018-08-02 株式会社東芝 積和演算器、ネットワークユニットおよびネットワーク装置

Also Published As

Publication number Publication date
KR930700921A (ko) 1993-03-16
EP0530237B1 (en) 1994-11-09
DE69105129D1 (de) 1994-12-15
KR0183406B1 (ko) 1999-05-15
DE69105129T2 (de) 1995-06-22
WO1991018360A1 (en) 1991-11-28
EP0530237A1 (en) 1993-03-10

Similar Documents

Publication Publication Date Title
Shima et al. Neuro chips with on-chip back-propagation and/or Hebbian learning
US7043466B2 (en) Neural network processing system using semiconductor memories
US5167008A (en) Digital circuitry for approximating sigmoidal response in a neural network layer
Van der Spiegel et al. An analog neural computer with modular architecture for real-time dynamic computations
US5187680A (en) Neural net using capacitive structures connecting input lines and differentially sensed output line pairs
CN110945535A (zh) 用于从具有变化显著性的带符号模拟电导对构建用于人工神经网络的突触权重的系统和方法
US5039870A (en) Weighted summation circuits having different-weight ranks of capacitive structures
US5039871A (en) Capacitive structures for weighted summation as used in neural nets
US5140531A (en) Analog neural nets supplied digital synapse signals on a bit-slice basis
US5146542A (en) Neural net using capacitive structures connecting output lines and differentially driven input line pairs
JPH05507168A (ja) ニューラルネットで使用される重み付け加算用容量性構造
US5115492A (en) Digital correlators incorporating analog neural network structures operated on a bit-sliced basis
US5479578A (en) Weighted summation circuitry with digitally controlled capacitive structures
EP0469885B1 (en) System for performing weighted summations
MORIE et al. Analog VLSI implementation of adaptive algorithms by an extended Hebbian synapse circuit
EP0428716B1 (en) Neural net using differential capacitively coupled input and output lines
JPH05165987A (ja) 信号処理装置
Del Corso Hardware implementations of artificial neural networks
McGinnity et al. Novel architecture and synapse design for hardware implementations of neural networks
Maundy et al. Feedforward associative memory switched-capacitor artificial neural networks
Alhalabi et al. A Scalable Hybrid Neural Accelerator
JP3095798B2 (ja) アナログ逆伝搬学習回路とその駆動方法
Mundie Hardware design, training optimization, and performance simulation of an analog VLSI neural network
JPH03121581A (ja) 文字読取装置
JPH04235663A (ja) 信号処理方法及びその装置