JPH04500424A - 入力又は出力線及び差別的な感知又は被動出力又は入力線の対を接続する容量性構造を用いた神経網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 入力又は出力線及び差別的な感知又は被動出力又は入力線の対を接続する容量性 構造を用いた神経網この発明は、頭脳の一部分の働きを模倣するコンピュータ構 造、更に具体的に云えば、相補形金属−酸化物一半導体（０ＭＯ８）技術を用い て実現することが出来る様なコンピュータ構造に関する。

発明の背景 フォノ・ノイマン形のアーキテクチュアを持つコンピュータは、１個のプロセッ サの通信に制約がある為に、計算速度が限られている。こう云う制約は、計算に 複数個のプロセッサを利用し、少なくとも部分的に並列に動作させれば、解決す ることが出来るかも知れない。然し、この様な別のアーキテクチュアは、プログ ラミングの複雑さに伴う困難を一般的に招く。従って、これはよい解決策でない 場合が多い。最近、プログラミングを必要としない全く異なる代案に将来性があ ることが判った。頭脳のニューロン（神経細胞）の回路網としての能力が、形式 的なプログラミングを必要とせずに、計算及び推論機能を発揮し得る「神経回路 網」又は「神経網」と呼ばれる高度に相互接続された１組のプロセッサを形成す る為のモデルとして役立っている。正しい手順を実行する様にプ）グラムする代 りに、神経網は経験によって正しい手順を学習することが出来る。神経網に関す る従来技術については、ＩＥＥＥ　Ａｓ５ｐマガジン誌１９８７年４月号（０７ ４０−７４６７／８７１０４００−０００４／＄１０．００　１９８７ＩＥＥＥ ）の第４頁乃至第２１頁所載のＲ，Ｐ、ＩＪツブマンの論文「神経網を用いた計 算の序論」を引用するので、参照されたい。

神経網は、複数個の「シナプス」入力信号に対する「アクソン」出力信号応答を 夫々持つ複数個のニューロン・モデル・プロセッサで構成される。「パーセプト ロン」と呼ばれる形式の神経網では、各々のプロセッサがその「シナプス」入力 信号の加重和を計算する。これらの入力信号は、夫々正又は負の値であってよい 夫々の加重値によって加重される。更にプロセッサが加重和に対して非線形に応 答して、「アクソンＪ出力応答を発生する。この関係は式（１）こ＼でｉはバー セプトロンの入力信号の指数であり、それが整数個Ｍだけあり、ｊはその出力信 号の指数であり、これが整数個Ｎだけある。Ｗｌ、が、低入力信号レベルでｌ ｊ番目の出力信号を構成する時の１番目の入力信号の加重その引数の絶対値が大 きくなると、 Ｍ Σ　Ｗ　Ｘ　に対する応答が低下する。

１．１　１ １＝１ 更に複雑な人口的な神経回路は階層形の層として複数個のバーセプトロンを配置 しており、その前の各々の層の出力信号が次に続く層に対する入力信号になる。

最終的な出力信号を発生する出力層に先行する層は「隠れた」層と呼ばれる。

今述べた処理は標本化データ・アナログ信号を用いるのが普通であり、従来の神 経網は、加重及び加算手順の為の抵抗形相互接続素子を持つ演算増幅器を用いて いた。抵抗素子が、オームの法則に従って加重加算を実施する。このプロセッサ の速度は、プロセッサの種々の部分にある静電容量によって制限され、かなり大 形の神経網の消費電力を妥当な限界内に抑えようとすれば、計算は遅かった。即 ち、プロセッサのＲＣ時定数を減少する為に抵抗値を減少することによって、速 度は上昇するが、抵抗値が減少するとＶ２．／Ｈの消費電力が増加する（Ｒ，Ｃ 及び■は、夫々抵ｔＡ′値、容を値乃び當庄である）っクーロンの法目１ｊ　ｌ ご従って加重加算を行なう為にキャパシタを使うと、オームの法則に従って加重 加算を行なう為に抵抗を用いたプロセッサよりも、消費電力を少なくして、所定 の動作で動作する所定の規模の神経網が得られる。

エレクトロニクス・レターズ誌、１９８７年８月２７日号、第２３巻第１８号の 第９５８．９５９頁（ＩＥＥ）で、Ｙ、Ｐ、ツヴイディス及びり、アナスタシオ ンは、クーロンの法則に従って加重加算を行なう１つの方法を述べている。その 方法は、切換えキャパシタ方法であるが、アナログの標本化データの神経網シス テムに役立つ。然し、静電容量を切換えることに頼らないで、クーロンの法則に 従って加重加算を実施する方法が非常に望ましく、それをこ＼で述べる。これは 、キャパシタ切換え素子並びに関連した制御線の複雑さが避けられる。更に、こ うすると、持続的な期間にわたって連続的なアナログ信号を用いて、並びに標本 化データのアナログ信号を用いて、神経網を動作させることが可能になる。

神経網の層で加重加算を行なう為にキャパシタを用いようとする時に出会う１つ の問題は、入力及び出力線の間の漂遊静電容量である。これは、金属−酸化物一 半導体（ＭＯＳ）集積回路技術を用いて構成された神経網の層ではかなりの規模 になる傾向がある。入力及び出力線は、複数個の層のメタライズを用いて、重な り合う行及び列の母線として敷設されるのが普通である。列の母線が１つのメタ ライズ層内にあり、行の母線が、中間の絶縁酸化物層によって他方の層から隔て られた別のメタライズ層にある。この酸化物層は薄く、その為、１つの母線が別 の母線と交差する所では、どこでもかなりの静電容量がある。行及び列の母線が 相異なる平面にあることは、その間の漂遊静電容量を増加する傾向がある。行及 び列の両方の母線が同じメタライズ層内にあるが、１組の母線を周期的にその自 己接続を遮断して、他方の組の母線を通すようにすると共に、その自己接続を完 成する為に交差接続を設ける場合にも、漂遊静電容量の問題がある。この漂遊静 電容量の問題は、容量性電圧加算回路で加重を行なう為に使われる容量素子が、 その中でそれらを用いるモノリシック集積回路の基板に対する漂遊静電容量を持 つ事実により、更に複雑になる。モノリシック集積回路では、完全な２端子静電 容量を実際に利用することは出来ない。プログラム可能な静電容量を持つ容量素 子を使う場合、静電容量をゼロの値にプログラムすることが出来ないのが普通で ある。

漂遊静電容量の問題が、この発明のある実施例では、出力線の対を使い、多対の 出力線の電荷状態を差別的に感知して、漂遊静電容量の影響が互いに相殺する様 にすることによって解決される。出力線の対は、励振及び抑制形の加重・・・・ ・・即ち、正及び負の極性の両方の加重（Ｗ、、）を、１．１ 負の静電容量を達成する為のキャパシタの切換えに頼らずに、事実上達成するこ とが出来る様にする。

漂遊静電容量に伴う上に述べた問題が、この発明の別の実施例では、平衡入力線 の対を用い、各々の出力線からの漂遊静電容量の影響が互いに相殺される傾向を 持つ様にすることによって解決される。対の入力線を平衡入力信号を用いて駆動 することにより、負の静電容量を達成する為にキャパシタの切換えに頼らずに、 励振及び抑制形の加重・・・することが出来る。Ｗ、、ｘ、項が、加重したＸ、 及び−１，３１ Ｘ　の平衡入力信号を加算することによって得られる。

この発明に従ってキャパシタを用いる神経網は、逆向き伝搬訓練アルゴリズムを 実施するのに必要な計算の一部分を実施する為に使うことが出来る。逆向き伝搬 訓練アルゴリズムは、多層順送り神経網の実際の出力と所望の出力の間の平均自 乗誤差を最小にする様に設計された反復形勾配アルゴリズムである。これは連続 的な区別し得る非直線性を必要とする。出力節から出発し、最初の隠れた層に戻 る様に作用する帰納形アルゴリズムを反復的に用いて、式（２）に従って加重を 調節する。

Ｗ、、Ｎ＋］）＝Ｗ、−（＋）−７７δｊ　ｘｊｌ、ｌ　ｌ、１ この式で、Ｗ、、ｔは、時刻ｔに隠れた節ｉ　（又は最初の１．１ 隠れた層の場合は、入力節）から節ｊへの加重である。Ｘは節ｉの出力（又は最 初の隠れた層の場合は、入力信号）である。ηは、パーセプトロンの実際の出力 と所望の出力の間の平均自乗誤差を最小にする為に使われたフィードバック手順 に安定性を持たせる為に導入される利得積である。

古　は誤差の微分である。このδ　の一般的な定義は、その出力節ｊに供給する 為に使われる入力信号の加重和の変化に伴う神経網の層の出力節ｊからの誤差エ ネルギの変化である。

リップマンは、特定のシグモイド形のロジスティック非直線性が使われることを 想定している。プロセッサの応答の非直線性が、リップマンの様に制限的に定義 されないと仮定すれば、δ、は、節ｊが出力節であれば、次の式（２）の様に又 は節ｊが内部の隠れた節であれば、次の式（３）の様に更に具体的に定義するこ とが出来る。

δ　＝ｙ　’（ｄ、−ｙ　）　’　（３）ＩＩ　１１ δ　＝ｙ　’　Σ　δｋＷ、ｋ　（４）」　ｊ 式（３）で、ｄ　及びｙ　が、出力層からの出力応答の所望の値及び実際の値で あり、ｙ′　が出力層の非直線性に」 対するｙ　の微分応答、即ちその非直線性の伝達関数の勾配である。式（４）で は、ｋは考えている隠れた節ｊの後に続く神経網の層内の全ての節にか＼す、Ｗ 、ｋが節ｊとこの様な各々の節にの間の加重である。項ｙ′　は式（３）と同様 に定義される。

シグモイド形のロジスティック非直線性に伴うｙ　′の特定な値に一般項を置換 える代りに、式（３）及び（４）に現れる項ｙ　′の一般的な定義は、こ＼で説 明する訓練アルゴリズムとりツブマンが記述するものとの間の主な違いである。

更１：　ＩＩ　、ソプフ゛／け、古　を上に挙げｆ−（，１）。

（３）及び（４）を反対の極性に定義している。

神経網の訓練の間、入力信号の所定のパターンが逐次的に反復的に印加され、そ の入力信号のパターンに対して、出力信号の対応する所定のパターンが判ってい る。入力信号の各々の所定のパターンに応答して、神経網によって発生される出 力信号のパターンを出力信号の所定のパターンと比較して、誤差信号を発生し、 それを使って、入力信号のパターンが何回も繰返される時、又は誤差信号の値が 無視し得ると検出されるまで、式（２）に従って加重を調節する為に使う。その 後、訓練が、順序内の次の１組のパターンを用いて行なわれる。大が＼りな訓練 の間、パターンの順序を再循環することが出来る。

発明の要約 漂遊静電容量の問題並びに切換えキャパシタを使わないで負及び正の両方の加重 を発生すると云う問題が、この発明では、各々のニューロン・モデルに、１組の 加重キャパシタの代りに、２組の加重キャパシタを使うことによって解決される 。

この発明の１実施例では、各々のプロセッサが複数個の（Ｍ個）の入力線を持っ ていて、Ｍ個の入力電圧信号の夫々を受取る。各々のプロセッサは第１及び第２ の出力線を持っている。夫々の容量素子が各々の入力信号線を第１及び第２の出 力線の各々に接続する。出力線から夫々の周囲まで略同じ静電容量を保つ手段を 設ける。差動入力非線形増幅器が反転及び非反転入力ポートを持ち、それに第１ 及び第２の出力線が接続されている。この増幅器の出力ポートが、Ｍ個の入力信 号電圧に対するニューロン形の応答を供給する。各々の対の出力線の電荷状態を 差別的に感知することが、漂遊静電容量の影響を互いに相殺する傾向を持つ。こ う云う出力線の対は、負の静電容量を達成する為にキャパシタの切換えに頼らず に、励振及び抑制形の加重、・・・・・・即ち、正及び負の極性のＷｌ、・・・ ・・・を事実上達成する１、Ｊ ことを容易にする。

この発明の別の実施例では、各々のプロセッサが出力線を持ち、それに入力信号 電圧の加重和が現れると共に、この加重和に対するニューロン形の応答を発生す る非線形増幅器を有する。複数個（２Ｍ個）の入力線が、その出力線と交差して 、それに対して漂遊静電容量を持つが、夫々の容量素子を介して、この出力線に 接続される。各々の入力線及びそれを出力線に接続する容量素子は、Ｍを正の整 数として、１番目から２Ｍ番目までの相次ぐ序数の夫々１つによって同定される 。Ｍ個の入力信号電圧を平衡した形で、序数がＭだけ隔たる夫々１対の入力線に 印加する手段を設ける。各々の対の入力線から出力線に接続する容量素子の静電 容量の違いが、出力線に入力信号の加重和として現れる時の、その対の入力線に 平衡した形で印加された入力信号の重みを決定する。従って、入力信号の加重和 に於ける漂遊静電容量の影響が減少する。

図面の簡単な説明 箪１図はこの発明を実施した神経網の層の略図で、その後、線形に組合せ且つ非 線形に増幅して、アクソン応答信号を発生する為に、シナプス信号の加重加算を 実施する為にキャパシタを用いている。

第２図はこの発明に従って神経網を構成するのに役立つ、相補形金属−酸化物一 半導体ＣＭ、　ＯＳ電界効果トランジスタを用いて構成された従来の完全な差動 形の増幅器及びその為のバイアス回路の回路図である。

第３図はこの発明の神経網を構成するのに役立つ非線形電圧増幅器の回路図であ る。

第４Ａ図及び第４Ｂ図は合せて第４図を構成し、これは、シナプス信号の加重加 算を実施するのに使われる静電容量のプログラム可能な加重の為に、この発明の 別の一面に従って、何倍にもすることが出来る様な第１図の神経網の変形の回路 図である。

第５図は第４図に従って何倍にも変更した第１図の神経網の層内にある非線形出 力駆動増幅器をパルス駆動する１つの方法を示す回路図である。

第６図は、第４図及び第９図に示す第１図の神経網の変更に役立つ平衡出力信号 を発生する様に変更された従来のアナログ掛算器の回路図である。

第７図は第４図に従って何倍にも変更された第１図の神経網の層（又は第１４図 に従って、何倍にも変更された第１３図の神経網の層）に使われる訓練装置の回 路図である。

第８図は第４図に従って何倍にも変更された第１図（又け；１．４図に従−・τ 何倍にも変更さねｆ：箪１３図）に従って夫々構成された複数個の神経網の層を 持つシステムの回路図である。

第９Ａ図及び第９Ｂ図は合ゼで第９図を構成し、これはこの発明の別の一面に従 って、シナプス信号の加重加算を行なうのに使われる静電容量のプログラム可能 な加重を訓練の間に行なう様に何倍にも変更することが出来るようにする第１図 の神経網の別の変形の回路図である。

第１０図は第９図に従って変更した第１図の神経網の各々のカウンタにある段の 配置を示す回路図である。

第１１図は各々のカウンタ段にある論理素子の回路図である。

第１２　Ａ図、第１２Ｂ図及び第１２Ｃ図は合せて第１２図を構成し、これは、 平衡入力信号によって駆動され、ブリッジ形式に接続された加重キャパシタによ って差別的に感知される出力線の対に接続される対の入力線を用いた、神経網の 別の変形の回路図である。

第１３図はこの発明を実施した神経網の別の層の回路図で、アクソン応答信号を 発生する為にこの後で非線形増幅を受けるシナプス信号の加重加算を行なう為に キャパシタを用いている。

第１４Ａ図及び第１４Ｂ図は合せて第１４図を構成し、これは、第１３図の神経 網の変形の回路図であって、これを何倍にも変更し、て、この発明の別の一面に 従って、シナプス信号の加重加算を行なうのに使われる静電容量のプログ７２％ 可能な加重を行なうことが出来る。

第１５図は、第１４図に従って多重に変更した第１３図の神経網の層内にある非 線形出力駆動増幅器をパルス駆動する第５図の装置の代りに使うことが出来る装 置の回路図である。

第１６Ａ図及び第１６Ｂ図は合せて第１６図を構成し、これは、この発明の別の 一面に従って、訓練の間、シナプス信号の加重加算を行なうのに使われる静電容 量のプログラム可能な加重を行なう様に何倍にも変更することの出来る、第１図 の神経網の別の変形の回路図である。

詳しい説明 第１図は複数個（Ｎ個）の非線形増幅器ＯＤ、ＯＤ２゜・・・・・・ＯＤ　（Ｎ −１）　、ＯＤ　Ｎで構成された神経網を示す。複数個（Ｍ個）の電圧信号Ｘ　 、Ｘ　２　、　・”・・・Ｘ　（Ｍ−１）　、Ｘ　Ｍが「シナプス」信号として 供給され、それを加重して、非線形電圧増幅器ＯＤ、ＯＤ、、・・・・・・０Ｄ （Ｎ−１）、ＯＤＮに対する夫々の入力電圧とし、これらの増幅器が夫々の「ア クソン」応答Ｖ＝Ｖ２．・・・・・・”　（Ｎ−１）　”　＋１を発生する。

Ｍは正の複数の整数であって、第１図（又は第１３図）の回路網に対する入力シ ナプス信号の数を示し、Ｎは正の複数の整数であって、神経網が発生し得る出力 アクソン信号の数を表わす。第１図（又は第１３図）の神経網の動作を記述する のに必要な説明を簡単にする為、同じ様に繰返される素子を使った動作は一般的 に説明する。（列）入力信号Ｘ　、Ｘ２．・・・・・・ｘ（Ｍ−１）’　ＸＭに 関係する動作及び、１ 装置を説明する為に、１からＭまでの全ての値にわたって添字ｉを使う。（行） 出力信号Ｖ、３’２．・・・・・・ｙ（Ｎ、−１）、シ・、に関係する動作及び 装置を記述するのに、１乃至Ｎにわたる全ての値に対して添字ｊを使う。即ち、 ｌ及びｊは、神経網の特定の部分を記述するのに使われる列及び行の番号である 。

第１図で、入力電圧信号Ｘ　が入力駆動増幅器ＩＤ　のにカボートに印加される 。これは電圧増幅器であって、それがその電圧応答を入力線ＩＬ　に印加する。

夫々の出力線ＯＬ　及びＯＬ　（、＋Ｎ）が出力駆動増幅器ＯＤ　の非反転Ｊ　 」 入力ボート及びその反転入力ボートに接続される。出力部線ＯＬ、及び０Ｌ（ｊ ＋Ｎ）の電荷の累積的な差に対する非線」 形の電圧応答を発生する。

非線形出力駆動増幅器ＯＤ　が、第１図では、差動入力を持つ非線形電圧増幅器 として単純に示されており、出力線０１、　及びＯＬ　を介して（＋）及び（− ）入力信＋　（ｉ＋旧 号端子に印加される休止状態の直流電圧が１．夫々の直流復元回路ＤＣＲを用い て、選ばれた時刻に所望のバイアス電圧にクランプすることによって調節される 。出力線ＯＬ、のその周囲に対する合計の静電容量、並びに出力線ＯＬ（ｉ”、 Ｎ）のその周囲に対する合計の静電容量は、後で更に述べろが、略同じになる様 にする。夫々のキャパシタＣ１，１ が各々の入力線ＩＬ　を各々出力線ＯＬ、に接続し、夫々のキャパシタＣ１，（ ｊ＋Ｎ）が各々の入力線ＩＬ、を各々出力線ＯＬ　に接続する。出力駆動増幅器 ＯＤ　は、その（ｊ＋Ｎ）　、１ 出力端子で、キャパシタＣ、を介してその非反転（＋）１　ｊ 入力端子に印加されたＸ　入力信号電圧に対して反転なし？ に応答すると共に、キャパシタＣｉ、　（ｉ＋Ｎ）を介してその反転（−）入力 端子に印加されたＸ　入力信号電圧に対して反転して応答するから、電気的な等 価回路は、Ｃ６，の静１．１ 電容量からＣｉ、　（ｊ＋Ｎ）の静電容量を差引いた値に等しい静電容量を持つ キャパシタによって、１本の出力線ＯＬ、にＸ　信号電圧が印加されたことに等 しい。この様に差別的に感知する対の出力線に対して、シングルエンデツド形の 出力信号で駆動する方式は、励振（又は正の）形の加重と共に抑制形（又は負の ）加重を得る為の切換え静電容量方式の必要性を省く。この為、この方式は、希 望すれば、持続的な期間にわたって連続的なアナログ信号を用いて、神経網を動 作させるのを容易にする。

第１図は各々の入力線ＩＩ、　が夫々の負荷キャパシタＣＬ　を持っていて、入 力駆動増幅器ＩＤ　の出力ポートに対する容量性負荷が、他の入力駆動増幅器の 各々の出力ポートに対するものと略同じになる様にしであることを示している。

これは、入力信号χ　に対する応答に望ましくない差別的な遅延を避ける為に望 ましい。各々の入力線負荷キャパシタＣＬ　−ＣＬ、Ａの静電容量を、それに接 続されま たキャパシタＣの合計静電容量に較べて非常に大きく１．１ することにより、容量性負荷を略同しにすることが出来る。

然し、これは、各々の入力線負荷キャパシタの静電容量が、それに接続された他 の静電容量の合計の値の補いになる様にすることによって達成することが好まし い。この方式により、必要な線負荷静電容量の大きさが減少する。出力線ＯＬ、 及び０Ｌ（ｊ＋Ｎ）に現れる電圧が、第１図に示す様に、非線形出力駆動増幅器 ＯＤ　、・・・・・・ＯＤＮによって直接的に感知される場合、この手順により 、各々の入力電圧Ｘ　。

・・・・・・ＸＭに対する分圧比は、他の入力電圧の分圧比と無関係になる。

第１図は各々の出力線ＯＬ　に対して夫々の負荷キャパシタＣ”　（Ｍ＋ｉ）が 負荷となり、各々の出力線ＯＬ（、Ｉ＋Ｉ）に夫々の負荷キャパシ・りＣＬ（Ｍ ＋Ｎ＋ｊ）が負荷になることを示している。こうするのは、各々の出力線の合計 の静電容量が、他の各々の出力線と略同じになる様にする為である。

これは、ＯＬ（Ｍ＋ｉ）を出力線ＯＬ　に対する他の静電容量よりずっと大きく 選ぶと共に、ＣＬ（Ｍ’、Ｎ＋７）を出力線０Ｌ（Ｎ＋ｉ）に対する他の静電容 量よりもずっとと大きく選ぶことによって達成することが出来る。この代りに、 ＣＬ（Ｍ＋ｊ）及び０Ｌ（ｌＩＩ＋Ｎ＋ｊ）が、同し出力線に接続される他の静 電容量の合計の値の補いになる様に選ぶことによって、達成してもよい。出力駆 動増幅器ＯＤ、に対する入力電圧は（よい近似で）クーロンの法則に従って、式 （５）で示す値Ｖ　を有する。

電圧Ｖ　の発生は、一方では、各々の入力電圧が出力線ＯＬ　に対して持つ実効 静電容量（Ｃ”　’ｉ、（ｉ＋Ｎ）　）１　１．１ と、出力線がその周囲に対して持つ合計の静電容量Ｃと」 の間の複数個の容量分圧の重畳と見なすことが出来る。即ち、Ｃは出力線ＯＬ　 の合計の静電容量又は出力線ＯＬｊ　） （Ｎ＋ｊ）の合計の静電容量であり、こう云う静電容量は互いに等しく、値を一 定にすべきである。出力線ＯＬ　及びＯＬ（ｉ＋ｌｌ）に現れる電荷の差が、後 で第４図について述べる様に、出力駆動増幅器内にある非線形電圧増幅器に先行 する完全に差動形の電荷感知増幅器によって感知される場合、電荷感知増幅器か らの出力信号は基準電位Ｖ　を基準とＢ１八Ｓ して平衡をとる。

第２図は、ｊ＝１．２・・・・・Ｎとして、完全に差動形の増幅器ＤＡ　の内の 任意の１つとして役立つ様なＭＯＳ電界効果トランジスタＱ　−Ｑ、３で構成さ れた完全に差動形の増幅器を示す。更に、この完全に差動形の増幅器及び同種の 他の増幅器に印加する為の直流バイアス電圧を発生する、ＭＯ３電界効果トラン ジスタＱ１４　’＋９で構成されたバイアス回路も示されている。この回路は、 ジョン・ワイリイ・アンド・サンズ・インコーホレーテッド社によって１９８６ 年に出版されたＲ、グレゴリアン及びＴ、Ｃ，ティームの著書「信号処理用のア ナログＭＯ３集積回路」の第２５５頁乃至第２５７頁に更に詳しく記載されてい る。

完全に差動形の増幅器が、ｎチャンネル形ＭＯＳＦＥＴＱ　及びＱ２のロングテ ール形の対の接続を持ち、これは夫々のゲート電極の（＋）及び（−）入力端子 に印加された入力電圧ＩＮ及びＩＮの共通モード排除を行なう。ｎチャンネル形 ＭＯ８ＦＥＴ　Ｑｌ３は、Ｑ、及びＱＬのソース電極の間の相互接続部からのテ ール電流に対する定電流シンクとして接続されている。Ｑｌ及びＱ２はｐチャン ネル形ＭＯＳＦＥＴ　Ｑ７及びＱｇと夫々折返しカスコード接続になっている。

夫々Ｑ７及びＱｇのドレイン電極に接続された（＋）及び（−）出力端子に現れ る出力電圧ＯＵＴ及びＯＵＴの共通モード排除も行なわれるが、これがＱ−Ｑ　 で構成された差動増幅器が［完全にＪ差動形と呼ばれる理由である。この共通モ ード排除は、ｐチャンネル形ＭＯ３ＦＥＴ　Ｑ　及びＱ４の（−）及び（±）出 力端子からゲート電極への共通モード再生フィートノくツク接続によって行なわ れ、これらのトランジスタの並列書こした・ノース・ドレイン通路が、電流分割 器として動作するｐチャンネル形ＭＯ３ＦＥＴ　Ｑ　及びＱ６の結合したソース 電極に対して電流を供給する。Ｑ　のドレイン電流がＱ１及びＱ　の折返しカス コード接続をノくイアスし、Ｑ６のドレフ イン電流がＱ　及びＱｇの折返しカスコード接続をｌくイアスする。ｎチャンネ ル形ＭＯ３ＦＥＴ　Ｑｇ及びＱｌｌ力（、Ｑ７に対するドレイン負荷として高イ ンピーダンス定電流シンクとなる様にバイアスされたカスコード接続になってお り、ｎチャンネル形ＭＯ８ＦＥＴ　Ｑ、ｏ及びＱｌ２が、Ｑｇに対するドレイン 負荷として高インピーダンス定電流シンクとなる様にバイアスされたカスコード 接続になっている。

（＋）及び（−）出力端子は、Ｑ、Ｑ、Ｑ７及びＱｌ２ ８が同じ振幅の休止状態チャンネル電流を持つと仮定して、ＭＯＳＦＥＴ　Ｑ　 −Ｑ、８が下記の式（６）乃至式（１０）に示す幅対長さ比を持つ様にすること により、ＭＯＳ　Ｆ　ＥＴ　Ｑｌ４のゲート電極に印加されるのと同じ電圧（＋ ２゜５ｖ）にバイアスすることが出来る。

（ＩＩＬ）　、、　：　（ＩＩＬ）、２：　（ＩＩＬ）　、３：　＜”ＩＩＬ） 、８：　：２・２１：１．　（６）（ＩＩＬ）　：　（ＩＩＬ）　４・（Ｗ／ｌ ）、４：＋ｌ：ｌ　（７）（ＩＩＬ）　：　（ＩＩＬ）　：　（ＩＩＬ）　ｉｓ 　・＋Ｉ＋１（８）（ＩＩＬ）　：　（ＩＩＬ）　８：　（Ｗ／い、６：：２＋ ２：ｌ　（９）（ＩＩＬ）　：（ＩＩＬ）、ｏ：（ＩＩＬ）、７：：２：２：Ｉ 　（１０）ＭＯＳＦＥＴ　Ｑ　の幅対長さ比は、Ｑｌ４のドレイン電流需要に応 答して、Ｑｌ９のチャンネルの両端に、端子ＯＵＴ及びＯＵＴの信号に十分な動 作電圧範囲が得られる様な電圧降下を発生する様に選ばれる。

第３図は第１図の神経網の層内にある各々の非線形出力駆動増幅器ＯＤ、を構成 する為に、線形電圧増幅器回路の後に使うことの出来る非線形電圧増幅器回路を 示す。第３図の非線形電圧増幅器は２つのソース・フォロワ形トランンスタのカ スコード接続であり、その一方（Ｑ　）がｎ２１１Ａ チャンネル形Ｍ　ＯＳ　Ｆ　Ｅ　Ｔであり、他方（Ｑ　）がｐチ０Ｂ ヤンネル形ＭＯ８ＦＥＴである。Ｑ　に対して、ＤチャＯＡ ンネル形ＭＯ３ＦＥＴ　Ｑ２１が定電流発生源負荷となる。

、−のトうン・ンス々は、ダ１ツインｈ１らゲートへの７ノー１バツクによって 自己バイアスされたｎチャンネル形ＭＯ８ＦＥＴ　Ｑ２２をマスタ又は入力トラ ンジスタと（、て含む電流ミラー増幅器のスレーブ又は出力トランジスタである 。Ｑ２Ｈに対してｐチャンネル形ＭＯ３ＦＥＴ　Ｑ２３が定電流発生源負荷とな る。このトランジスタは、ドレインからゲートへのフィードバックによって自己 バイアスされるｐチャンネル形ＭＯ８ＦＥＴ　Ｑ２４をマスタ又は入力トランジ スタとする電流ミラー増幅器のスレーブ又は出力トランジスタである。Ｑ２２及 びＱ２４は、夫々のドレインからゲートへのフィードバック接続によってダイオ ード接続になっており、これらのダイオードが、■、Ｓ及び■ＤＤ電位の間に、 別のダイオード接続のｎチャンネル形ＭＯ３ＦＥＴ　Ｑ２５及び別のダイオード 接続のｐチャンネル形ＭＯ３ＦＥＴＱ２６と直列に接続されて、バイアス回路を 構成している。

このバイアス回路では、休止状態の入力電流が、Ｑ２３．Ｑ２４で構成された電 流ミラー増幅器の入力ボートから、Ｑ２１゜Ｑ２２で構成された電流ミラー増幅 器の入力ボートへ流れる。

Ｑ　及びＱ２３のドレイン電流の流れは、電流ミラー増幅器の作用によって、同 じ値になる。

全てのｎチャンネル形ＭＯ８ＦＥＴ　Ｑ　、Ｑ　、Ｑ２０＾　２１ ２２及びＱ２５は同じチャンネル幅及び長さを持ち、同様な動作特性を持つ。全 てのｐチャンネル形ＭＯＳＦＥＴ　Ｑ、、。

、Ｑ　、Ｑ　及びＱ２６は同様なチャンネル幅及び長さを持ち、ｎチャンネル形 ＭＯ８ＦＥＴに対して相補形の同様な動作特性を持つ。バフフッ回路のＭＱ９ｐ ＥＴ　Ｉ”１．、。

′１Ｚ Ｑ２４”２５及びＱ２６は、ハードウェアを節約すると共に動作電力を節約する 為に、複数個の第３図の非線形電圧増幅器回路が共有するものであってよい。

第３図の電圧増幅器に於ける応答の非直線性は、（１）Ｑ　のソース・フォロワ 作用が、そのゲート電極の電位０Ａ の正に向う行程に対しては、ソース電位がドレイン電位■Ｈ１に近付くにつれて 制限される為、並びに（２）そのゲート電極の電位の負に向う行程に対するＱ、 ２ｏのソース・フすロワ作用が、そのソース電位がそのドレイン電位ＶＬｏに近 付く時に制限される為に生ずる。ソース・フォロワＱ２ＯＢのソース電極では、 ソース・フォロワＱ　のゲート電極０Ａ に印加された線形傾斜電位に対してシグモイド形の応答がある。電圧Ｖ　及びＭ ＨＩは、第３図の非線形増幅器のこのＯ 様な制限作用を制御する様にプログラムすることが出来、電圧Ｖ　及びＭＨＩは 、応答の対称性又は非対称性が得られＯ る様に選ぶことが出来る。第３図は＋２．５ボルトに対して略対称的な応答を発 生する様なりＨｌ及びＶ、。に対する代表的な値を示している。

出力駆動増幅器ＯＤ　は、第３図に示すのとは異なる非！ 線形電圧増幅器回路を使うことが出来る。例えば、ソース・フォロワＱ　及びＱ 　はカスケード接続の順序を逆０Ａ２０Ｂ にすることが出来る。この別の回路又は第３図の回路の前に、線形電圧増幅器で はなく、電荷感知増幅器を置いて、第４図、第９図、第１４図及び第１６図の神 経網に使われる形式の出力駆動増幅器を実現することが出来る。第１図及び第１ ３図の神経網では、第３図の回路又は前に述べた別の回路を使わずに、出力駆動 増幅器を実現することが出来る。例えば、各々の出力駆動増幅器は、その出力信 号電圧をシングルエンデツド形に変換する為の電流ミラー増幅器を負荷として持 つロングテール形の１対のトランジスタの接続で構成することが出来る。トラン ジスタのロングテール形の１対の接続は、そのソース電極が互いに並びに定電流 発生器に対して差動モード接続部を持つ差動増幅器接続である。

次に第１図で、ｉ及びｊの夫々特定の値に対し、入力駆動増幅器ＩＤ　、キャパ シタＣ４及びＣｉ、　（ｊ＋ｌｌ）及び非１　１、Ｊ 線形出力駆動増幅器ＯＤ、かどのようにしてニューロン・モデルの挙動を示すか を考える。キャパシタＣの静電１、」 容量が、ｉ及びｊの特定の値に対し、キャパシタＣｉ、　（ｉ＋Ｎ）の静電容量 より大きければ、このｊに対する出力電圧ｙは入力電圧ｘ１に対して「励振形」 の応答を示す。こう】 云うｉ及びｊの値に対し、Ｃ４及びＣ１，（ｊ＋Ｎ）の静電容１・　」 量が等しければ、そのｊに対する出力電圧ｙ　は、入力電圧ｙ、に対して何の応 答も示さない。こう云うｉ及びｊの値に対して、キャパシタＣの静電容量がキャ パシタＣ１，１ ｉ　、　（ｊ　＋　ｌｌ　）の静電容量より小さければ、このｊに対する出力電 圧ｙ　は入力電圧Ｘ　に対して「抑制形」の応答を示す。

この発明に従って構成されたある神経網では、全てのｉ及びｊに対するキャパシ タＣ及びＣＨ，（ｉ＋Ｎ）は一定の１．１ 値のキャパシタであってよく、ｉ＝１．・・・・・・Ｍとして、入力電圧Ｘ　の 加重に決して変更がない。然し、この様な神経網は、神経応答の変化する判断基 準に適応する能力が欠ける。この適応は、例えば独習用に接続される神経回路で 必要なことである。ある用途では、ｉ及びｊの夫々１対の値に伴う多対のキャパ シタＣ７，及びＣｉ、　（ｊ＋Ｎ）の静電容１．１ 量を変更することが望ましい。この変更は相補形で行なうべきであって、Ｃ１及 びＣｉ、　（ｊ＋Ｎ）の静電容量の和がＣ１，１ ｋに等しいま＼である様にする。これは例えば、発明者が１９７５年６月１７日 に付与され、ゼネラル・エレクトリック・カンバニイに譲渡された発明の名称「 可変静電容量半導体装置」と云う米国特許第３，８９０．６３５号の第１１図に ついて前に開示した様に、制御信号として使われる２進数に比例して制御される 静電容量を持つ「ディジタル形」キャパシタに関する発明者の前の提案に沿って 構成することが出来る。その時、多対のキャパシタＣ９及び１、Ｊ Ｃｉ、　（ｉ＋ｌＩｌ　は同様な２つのキャパシタであり、その静電容量が夫々 の制御信号によって制御されるが、その一方は１に対する他方の補数である。

この代りに、対のキャパシタＣ及びＣｉ、　（ｉ＋Ｎｌ　は、＋□　１ 対のキャパシタＣ０及びＣｉ、　（ｉ＋Ｎ）の一方又は他方の成１．１ 分となる様に２のべき数の関係を持つ静電容量を有する１組の成分キャパシタの 各々を選択することによって形成することが出来る。この選択は、伝送ゲートと して電界効果トランジスタ（ＦＥＴ）を動作することによって行なわれる。対の キャパシタＣ及びＣ：　１１．．１１１　を実現する別の方法は、ディジタル・ アナログ変換によって発生された夫々のアナログ信号を用いて、同様な寸法を持 つ１対の金属−酸化物一半導体（ＭＯＳ）キャパシタの反転表面電位を制御する ことである。

第４図は第４Ａ図及び第４Ｂ図で構成されるが、第１図の神経網で、出力線ＯＬ 　及びＯＬ、。）と、それらが差盪 別的な加重によってシナプス入力信号Ｘ　をそこから受取す る入力線ＩＮ、との夫々１組の交点の近くに加えることが出来る代表的な変更を 示す。この変更を合せると、神経網は訓練することが出来る様になる。第１図の 神経網の各々の対のキャパシタＣ及びＣｉ、　（ｊＥＮ）に１対のディジタ１１ 　］ ル・キャパシタＤＣ及びＤＣｉ、　（ｊＥＮ）を加える。（例１、」 えば各々キャパシタＤＣ及びＤＣｉ、　（ｊＥＮ）は米国特許！、」 第３，８９０．６３５号の第１１図に示されるものであってよい。）ＤＣ及びＤ Ｃｉ、　（ｊＥＮ）の静電容量は、ディト　Ｊ ジタル・キャパシタの行の間に割込む様に配置され、メモリを形成する様に接続 されたこう云う素子の配列内にある夫々のワード記憶素子ＷＳＥ　から取出した ディジタル１、ト ワード及び１に対するその補数によって、相補的に制御される。このメモリは、 例えばランダムアクセス・メモリ（ＲＡＭ）であってよく、各々のワード記憶素 子ＷＳＥ、ｊは、アドレス復号器によって制御される行及び列アドレス線によっ て選択的にアドレス可能である。或いは別の例として云うと、このメモリは、列 ｊ毎に１つずつある複数個の静止形２ノ７ト１ノジス々であ−てよい、その時１ 、各りの静止形シフトレジスタは、ディジタル・キャパシタＤＣ１゜ 及びＤＣｉ、　（ｊＥＮ）の対の静電容量を制御するワードを記憶する夫々の段 Ｗ　Ｓ　Ｅ　を持つ。

１、１ ワード記憶素子ＷＳＥ　に記憶されたワードが、夫々１．１ 別の１対のディジタル・キャパシタＤＣ（ｉ＋Ｍ）、ｉ及びＤＣい＋＆Ｉ）、　 （ｊＥＮ）の静電容量をも制御することが出来る。キ十′ゞ′りＤＣ（ｉ＋Ｍ） 、　」及びＤＣ（ｉ＋Ｍ）、　（ｊＥＮ）が「交流接地」及び出力線ＯＬ、及び ＯＬ　（ｊＥＮ）の間に夫々接続され、負荷キャパシタＯＬ（Ｍ＋Ｉ）ノ一部分 を形成する。ＤＣ（ｉ＋２Ｍｌ。

ｊ及びＤ　Ｃ：、　、の静電容量は互いに同様であって、その値が夫々相手を追 跡する様に変化する。ＤＣ（ｉ＋Ｍ）、　（ｊＥＮ）及びＤＣｉ、　（ｊＥＮ） の静電容量は互いに同様であって、夫々の値は互いに相手を追跡する様に変化す る。４つのディジタル−キ’ｒパシ９ＤＣ，、ＤＣ，（ｊＥＮ）　、ＤＣ（ｉ＋ Ｍ）、ｉ　及１、１ びＤＣｆｉｋ＋＆ｌ）、　（ｊＥＮ）がブリッジ形式に接続され、この入力端子 は入力線ＩＬ、及び交流接地に夫々接続され、出力端子が夫々出力線ＯＬ　及び ＯＬ　（、＋＋１１　に接続される。この」 ブリッジ形式は、電圧利得に関する限り、静電容量回路を両方向にするのを助け ることにより、逆向き伝搬プログラミングに伴う計算を容易にする。この代りに 、逆向き伝搬プログラミングに対する計算が、計算手順の中に神経網を持たない コンピュータによって行なわれる場合、神経網はディジタル−キャパシタＤＣ（ ｉ＋Ｍ）、ｉ及びＤＣ（ｉ＋Ｍ）、　（ｊＥＮ）を含む必要がない。

第４図の神経網の層をプログラミングに従って普通に動作させる場合、モード制 御線ＭＣＬに印加される信号φ。

は論理０である。このモード制御線ＭＣＬの０が、複数個（Ｎ個）ある各々の出 力線マルチプレクサＯＬＭ　が、夫」 々関連する完全に差動形の増幅器ＤＡ　の反転入力端子に対して出力線ＯＬ、を 選択する様に条件づける。更にモード制弾線ＭＣＬの０は、各々の出力線マルチ プレクサＯＬＭｆｊ＋Ｎ）に、夫々関連する完全に差動形の増幅器ＤＡ、の」 非反転入力端子に対する出力線ＯＮ　を選択させる様！ｉ十Ｎ） に条件づける。差動増幅器ＤＡ　は、第２図に示す形式であってよいが、それが 、出力線ＯＬ、に対する電荷感知動」 作を行なう夫々の電荷感知増幅器ＱＳ、内に入っている。

更にこの電荷感知動作では、伝送ゲートＴＧ、がリセット・パルスＱＲの不在に 応答して、積分キャパシタＣＩ、を増幅器ＤＡ　の（＋）出力及び（−）入力端 子の間に接続する。伝送ゲートＴＧ（ｉ＋５Ｎ）かリセット・パルスφＲの不在 に応答して、積分キャパシタＣＩ　を増幅器ＤＡ（ｊＥＮ）　） の（−）出力及び（＋）入力端子の間に接続する。積分キャパシタＣＩ　及びＣ Ｉ　（Ｈ＋Ｎ）がこの様に接続されると、」 増幅器ＤＡ、は差動電荷増幅器として作用する。モード制」 弾線ＭＣＬの信号φ、が０である時、入力信号ｘ、が、キャパシタＤＣ及びＤＣ ｉ、　（ｉ＋ＮＪ　の電荷に、夫々の静電１・　ｊ 容量の差に比例した合計の差別的な変化を誘起する。作動増幅器ＤＡ　の入力端 子を略等しい電位に保つ為に必要な、」 その結果生ずる変位電流の流れの為には、積分キャパシタＣＩ　及びＣＩ（ｊＥ Ｎ）からの対応する変位電流が流れて、これらの充電キャパシタを差別的に充電 して、その両端に次の式（１１）で示す差電圧Ｖ　を発生することが必要である 。

増幅器ＤＡ　の非反転（＋）出力端子からのＶ、の半分Ｊ　」 の信号が非線形電圧増幅器回路ＮＬ、に供給される。これは第３図の非線形電圧 増幅器回路であってもよいし、あるいは前に述べた別の回路であってよい。非線 形電圧増幅器回路ＮＬ　がそれに応答してアクソン出力応答ｙ６を発生」　よ する。この非線形電圧増幅器ＮＬ　が、ｙ、を供給する、」　ｊ 例えば、神経網の次の層にある入力線に供給する回路の入力インピーダンスに較 べて、比較的低いソース・インピーダンスでｙ、を供給すると仮定する。そうな れば、神経網の次の層では、図１に示す入力駆動増幅器ＩＤ　を介在配置 置する必要がない。これは神経網の次々の層の間の相互接続を双方向にするのを 容易にする。出力線マルチプレクサＯＬＭ、が、モード制御線ＭＣＬに現れる信 号φ、がＯであることに応答して、第４図に示す素子が隠れた層にある場合、神 経網の次に続く層の入力線にｙ　を印加する。第」 ４図に示す素子が神経網の出力層にある場合、出力線マルチプレクサＯＬ　Ｍ　 がモード制御線の信号φ、が０であることに応答して、神経網の出力端子に■　 を印加する。

神経網の正常な動作が時々中断する。直流復元を行なう為、リセット・パルスφ Ｒが電荷感知増幅器ＱＳ、に供給される。φＲが高になる時、リセット・パルス φＲの論理的な補数であるφ２が低になることに応答して、伝送ゲー）ＴＧ　及 びＴＧ（ｉ＋ｓＭ）がもはや導電させられて、差幅器幅器ＤＡ　の出力端子から の積分キャパシタＣＩ　及びＣノｊ ■（ｊ□）を接続しなくなる。その代りに、伝送ゲートＴＧ！ｉ＋Ｎ）及びＴＧ （ｉ＋４Ｎｌがφ１が高になることに応答して、通常こう云う出力端子に接続さ れたキャパシタＣＩ　及びＣＩ　（７＋Ｎ）の極板をＶ　に接続する。■　は差 動増幅ＢＩＡＳ　ＢＩＡＳ 器ＤＡ、の■５ｓ＝０ボルト及びＶＤＤ＝５ボルトの動作電圧の中間の電位であ る２、５ボルトである。他の伝送ゲート”　Ｇ（ｉ＋２Ｎ）及びＴＧ（ｉ＋３Ｎ ）がφ８が高になることに応答して、差動増幅器ＤＡ　の出力端子から入力端子 −＼の直結再生フィードバックを行ない、出力端子の電圧を、出力線０１−２　 及びＯＬ、　からその反転入力端子に供給される電ｒ　（ｉ＋Ｎ） 圧にする。直流復元の間、全てのＸ　は「ゼロの値」にされる。従って、積分キ ャパシタＣＩ　及びＣＩ　、の電ｒ　（ｉｔＮ） 荷は、差動増幅器ＤＡ　の出力端子までの回路で起る差別」 的な直流電圧誤差があれば、それを補償する様に調節される。直流復元は、全て の差動増幅器ＤＡ　に対しく即ち、１からＮまでの範囲の」の値に対し）同時に 行なわれる。

訓練の間、モード制御線ＭＣＬに印加される信号φ、は論理１であり、これによ って出力線マルチプレクサＯＬＭｒＺ　ｐ力線ｒｉＢ心ｒドＯ１，、、、、、、 Ｇ７３動増幅器ＤＡ　の］ノｔｊＴ１１ノ （＋）及び（−）入力端子から切離すと共に、出力線ＯＬ及びＯＬ　を＋δ　及 び−δ、誤差項を受取る様に］　（ｉ十Ｎ）　＋　＋ 接続する。これらの＋６　及び−δ　誤差項は、信号Δ７１　１　＋ と、出力線ＯＬ　の電圧の単位の変化に対して非線形増幅」 器ＮＬ　の出力電圧ｙ　に起る変化である信号ｙ′　とに応答して、アナログ掛 算器Ａ　Ｍ　の平衡積出力信号として」 発生される。神経網の出力層に対する項Δ　は、実際の値ｙ　と所望の値ｄ　の 間の差である誤差信号である。神経Ｊ　］ 網の隠れた層に対する項Δ　も誤差信号であるが、その性質は後で更に詳しく説 明する。

微分器ＤＦ、が信号ｙ′　を発生する。これは、ＶＢＩＡＳｊ　１ に重畳した、出力線ＯＬ　の電圧のｙ、の変化の勾配を表わす微分である。微分 ｙ′　を決定する為、正に向う小さ」 なパルスに同じ振幅の負に向うパルスが直ぐ続く様なパルス二重子が差動増幅器 ＤＡ　の反転入力端子に導入され（又はそれと同等であるが、反対の極性の二重 子パルスが差動増幅器ＤＡ　の非反転入力端子に導入され）、最初は」 ｙ　を通常の値よりも若干低く下げ、その後通常の値より若干高く上昇させる。

ｙ　の通常の値より若干低い値から通常の値より若干高い値への変化が、微分キ ャパシタＣＤ、を介して微分器ＤＦ　に印加される。

」 微分器ＤＦ　が、差動増幅器Ｄ　Ａ　（ｊ□及び積分キャパシタＣＩ（ｉ＋Ｎ） を含む電荷感知増幅器を含む。ｙ　が通常の値より若干低い時間の間、リセット ・パルスφＳが伝送ゲートＴＧｆｉ＋４Ｎ）及びＴＧ（、＋５Ｎ）に印加されて 、それらを導電させる。こうするのは、Ｄ　Ａに＋Ｎｌ　の入力オフセット電圧 誤差を補償するのに必要な電荷を除いて、積分キャパシタＣＩ　（ｊ＋Ｎ）から 電荷を放出する為である。リセット・パルスφＳが終り、伝送ゲートＴＧ（ｉ＋ ４Ｎ）及びＴＧ（ｉ＋５Ｎ）をもはや導電させなくし、相補形の信号φ３が高に なって、伝送ゲートＴＧ（ｊ、３Ｎ）を導電させ、積分キャパシタＣＩに＋Ｎ） を差動増幅器ＤＡ　の出力及び反転入力端子の間（ｉ＋Ｎ） に接続する。

素子１）　Ａ　及びＣＩ　で構成される電荷感知増（ｉ＋Ｎ）　（ｉ＋Ｎ） 幅器がリセットされた状態で、ｙ、の通常の値からの若干の下向きのパルス駆動 を終らせ、ｙ　の通常の値からの小さな上向きのパルス駆動を行なう。ｙ、０２ つの異常な状態の間の変化が、微分キャパシタＣＤ　を介しての静電誘導により 、電荷感知増幅器に印加される。差動増幅器ＤＡ（ｉ＋Ｎ）の出力電圧が、リセ ット中の値Ｖ　から、ｉｉ　ｙ　’ＩＡＳ たけ変化する。１個のパルスの縁ではなく、二重子の２つのパルスの間の変化を 使って、微分ｙ゛　を決定するこ」 とにより、微分をめる過程は、同じ振幅を持つ励振及び抑制形の応答の間の扱い が一層同様になる。二重子パルスは神経網の層に、直流電位のオフセット誤差を 導入しない。

パルスφ丁に応答して、微分器ＤＦ　からの値ｙ′、＋」　ｊ ＶＢＩＡＳが行サンプルホールド回路Ｒ３Ｈによって標本化」 されて保持され、入力信号としてアナログ掛算器ＡＮ　に印加される。このサン プルホールド手順により、ｙ　はそ」 の通常の値に戻ることが出来るが、これは（ｙ、−ｄ、）Ｊ　」 を計算する為のｙ、を供給し易くする点で、出力層で役立っ。サンプルホールド 回路Ｒ８Ｈは例えば、直列アームの伝送ゲート・サンプル・スイッチ及び分路の 保持キャパシタを有するＬ字形部分で単純に構成することが出来る。

アナログ掛算器ＡＭ　は、後で第６図について詳しく説明する様に、差動入力信 号を受取る形式である。ｙ’　、　＋ＶＢＩＡＳと”　ＢＩＡＳの電圧の間の差 が、アナログ掛算器ＡＭ、に対する差動入力信号として使われ、これは項Ｖ　の 共通８１人Ｓ モード排除を行なう。

訓練の間、モード制御線ＭＣＬに印加される信号φ、は前に述べた様に論理１で ある。第４図の素子が出力層にある時、モード制御線Ｍ　ＣＬの１によって、出 力マルチプレクサＯＬ　は、非線形増幅器ＮＬ　からの信号ｙ、を出力端子に印 加するのを止める。その代りに、出力マルチプレクサＯＬ　は出力端子を電荷感 知増幅器ＱＳ、に接続する。

電荷感知増幅器ＱＳ　が差動増幅器ＤＡ（ｊ４２Ｎ）及び積分キ」 ヤパシタＣＩ（ｉ＋２Ｎ）を含んでいて、リセット・パルスφυに応答して周期 的にリセットされる。リセット・パルスφＵは、例えばリセット・パルスφＳと 同時に発生してよい。

電荷感知増幅器ＱＳ　からの出力信号Δ　は、然し出力層Ｊ　」 では使わない。アナログ掛算器ＡＭ　は、出力層では作動Ｊ 入力信号としてΔ　＋Ｖ　及び■　を使わず、その代ｌ　ＢＩＡＳ　ＢＩＡＳ りに（ｙ、−ｄ、）を使う。

」　Ｊ 第４図の素子が神経網の隠れた層にある時、モード制御線Ｍ　ＣＬの信号φＰが １である。：士により、出力マルチプレクサＯＬ、は、非線形増幅器ＮＬ、から の信号ｙ、を神経網の次の層の入力線ＩＮ　に印加することを止める様に条件づ けられる。その代りに、出力マルチプレクサＯＬ。

は、入力線ＩＮ　を電荷感知増幅器ＱＳ　に接続する。電＋　１ 荷感知増幅器ＱＳ　が、訓練の間の入力線ＩＬ　の電荷の＋　１ 変化を感知して、直流電位Ｖ　に重畳したΔ　誤差信号ＢＩＡＳ　Ｉ を発生する。Δ　＋Ｖ　とＶ　の間の電圧の差が、アｌ　ＢＩＡＳ　Ｂ１Ｂｓ ナログ掛算器ＡＭ　に対する差動入力信号として使われ、この掛算器は項■　の 共通モード排除を行なう。

ＢＩＡＳ 電荷感知増幅器ＱＳ　が差動入力増幅器ＤＡ（、＋２Ｎ）及び積分キャパシタＣ Ｉ（ｉ＋２Ｎ）を用いている。伝送ゲートＴＧ（ｉ＋９Ｎ）’　（ｉ＋１ＯＮ） 及びＴＧ（ｉ＋ｌ１Ｎｌ　力３協働して゛　１ノセＧ ット毎のパルスφＵに応答して、積分キャパシタＣＩ（ｊ＋２旧の電荷状態の、 ときたまのリセット作用を行なう。

第５図は、項ｙ′　の計算の間、Ｊ＝１．・・・・・Ｎとして、」 各々の出力線ＯＬ　がどの様にパルス駆動されるかを示す。

品々の出力線ＯＬ、が夫々のキャパシタＣＯによって、＋　に 重子パルスを発生するパルス発生器ＰＧの出力端子に接続される。第５図は、二 重子パルスが、各々の出力線ＯＬの内、その線の電荷を感知する電荷感知増幅器 ＱＳ　にＪ ある関連する差動増幅器ＤＡ　の端子とは遠い方の端に印加されることを示して いる。パルス発生器ＰＧに接続される極板とは反対のキャパシタＣＯの夫々の極 板をこれら〕 の端子に接続することにより、二重子パルスをこれらの端子に直接的に口前する ことも可能である。

各々の出力線Ｏ■１．には、それと基準電位点の間に夫々のキャパシタＣＯが接 続されており、各々の出力線ＯＬ（ｊ□Ｎ）には、それと基準電位点の間に夫々 のキャパシタＣ０（ｉ＋Ｎ）が接続されているが、これらのキャパシタは図面に 示してない。キャパシタＣＯ及びＣ０（ｉ＋Ｎ）の静電容量は全て同じ値であり 、この為、これらのキャパシタが存在することによって、逆向き伝搬アルゴリズ ムは影響を受けない。非線形増幅器ＮＬ　に印加する前に、Ｖ　に二重子パルス を追加する配置を、第５図の配置を使う代りに利用することが出来る。

第６図はその出力端子ＰＯＵＴ及びＰＯＵＴに平衡した形の積出力信号を供給す る４象限形アナログ掛算器を示す。

これは、ＩＥＥＥジャーナル・オブ・ソリッド・ステー１・・サーキッッ誌、５ Ｃ−２１巻第３号（１９８６年６月号）の第４３０頁乃至第４３５頁所載のに、 バルト及びＨ，ワリンガーの論文ｒｃＭｏＳ　４象限形アナログ掛算器」に記載 されているシングルエンプツト出力アナログ掛算器の変形である。第６図のアナ ログ掛算器は、入力端子ＩＮＩ及びＩＮＩの間に第１のプッシュプル入力信号を 受取り、端受取る。

バルト及びワリンガーの論文に記載されている様に、４つの成分アナログ掛算器 がある。即ち、第１の掛算器はｎチャンネル形ＭＯＳ　Ｆ　Ｅ　Ｔ　Ｑ２ｏＱ２ ｇで構成され、第２はの掛算器はｎチャンネル形ＭＯ８ＦＥＴ　Ｑ３０　Ｑ３２ で構成され、第３の掛算器はｎチャンネル形ＭＯ８ＦＥＴＱ３３　’３５で構成 され、第４の掛算器はｎチャンネル形ＭＯ８ＦＥＴ　Ｑ３６−Ｑ３ｇで構成され る。成分アナログ掛算器は２次項及びオフセット項を抑圧する為に、交差結合の 対として配置されている。定電流発生器ＩＧＩが入カ端子ナログ掛算器のプッシ ュプル出力が、夫々電流ミラー増幅器のマスク又は入力トランジスタであるダイ オード接続のｐチャンネル形Ｍ　ＯＳ　Ｆ　Ｅ　Ｔ　Ｑ　３　ｇ及びＱ１０に供 給される。

Ｑ３９及びＱ４０には、夫々の電流ミラー増幅器のｐチャンネルＭＯ８のスレー ブ又は出力トランジスタＱ　、Ｑ　が付設されており、バルト及びワリンガーの アナログ掛算器に於ける様に、Ｑ　及びＱ４２のドレイン電流のプッシュプル変 化が、ｎチャンネル形ＭＯ８ＦＥＴ　Ｑ４３及びＱ４４の電流ミラー増幅器接続 を利用して、出力端子ＰＯＵＴに於けるシングルエンデツド形式に変換される。

第６図では、更にＱ　、Ｑ　には、夫々の電流ミラー増幅器内で別のｐチヤンネ ル形ＭＯＳＦＥＴのスレーブ又は出力トランジスタＱ４５−　Ｑ４６が付設され ており、これは単一出方ではなく二重出力の性格を持つ。ＱＱ　のドレイン電流 のプツシ４５’　４６ ユブル変化が、ｎチャンネル形ＭＯ３ＦＥＴ　Ｑ　、Ｑの電流ミラー増幅器接続 を利用して、端子ｐ　ｏ　ｕ−ｒに於けるシングルエンデツド形式に変換される 。Ｑ４３及びＱ４７の電流ミラー増幅器としての接続がプッシュプルで駆動され るから、出力端子ＰＯＵＴ及びＰＯＵＴに於ける出力信号は、反対向きの振れと しての変化を持つ。

第７図は、第４図に従って多重に変更することの出来る第１図の神経網に使うこ との出来る様な、逆向き伝搬計算を完成する装置を示す。列アドレスｉ及び行ア ドレスｊが、一度に１列ずつ、行毎に走査される時、間隙メモリ配列ＩＭＡ内の 各々のワード記憶素子ＷＳＥ、、の重みを調節す１、す る。アドレス走査発生器ＡＳＧが、ランダムアクセス・メそりと想定して、この 間隙メモリ配列ＩＭＡに印加すると示したｉ及びｊアドレスのこの走査を発生す る。行アドレスｊが行マルチプレクサＲＭに印加され、これが掛算器ＭＵＬＴの 一方の入力に対するδ、を選択し、列アドレスｉが列マルチプレクサをＣＭに印 加され、これが掛算器ＭＵＬＴの別の入力に対するＸ　を選択する。

掛算器ＭＵＬＴは、そのアナログ入力信号の積に応答してディジタル出力を発生 する形式である。掛算器ＭＵＬＴは掛算形アナログ・ディジタル変換器であって もよいし、或いはアナログ掛算器にアナログ・ディジタル変換器が築くもので構 成してもよいし、或いは各々の入力信号に対するアナログ・ディジタル変換器と 、変換された信号の掛算を行なうディジタル掛算器で構成してもよい。掛算器Ｍ ＵＩ、ＴがＷｘ　δ　を倍率ηだけ減したものを発生する。こ＋１ れは、メモリ配列ＩＭＡにある現在アドレスされたワード記憶素子ＷＳＦ　に記 憶されている重みに対する増分又１、　ｊ は減分７″もろ、Ｉ′７−に紀情晋子ＷｑＦ　Ｉ″′′記憶てい星、　Ｊ る重みの前の値をメモリ配列Ｉ　Ｍ　Ａから一時記憶素子又はラッチＴＳに読出 す。重みのこの前の値が被減数としてディジタル減算器ＳＯＢに供給され、これ は掛算器ＭＵＬＴから減数ηＸ　δ　を受取る。その結果得られる差が更新ｊ （７た重みの値であり、それが前の重みの値に置換わる為に、！モ１１配列ＩＭ Ａにあるロード記憶素子Ｗ　Ｓ　Ｅ　に書込１・　Ｊ まれる。

第８図は、訓練することが出来るシステム内で、神経網の訓練される層り、Ｌ、 、Ｌ２がどの様に接続されるかを示す。Ｉ、。は、出力信号ｙ、を発生する神経 網の出力層であり、第４図及び第５図について説明したものと同様であり、Ｉ− ａの間隙メモリ配列に記憶されている重みを更新する為に、第７図に示すのと同 様な素子を持つ逆向き伝搬プロセッサＢＰＰ　を備えている。、Ｌｌは神経網の 一番目の曙れだ層であって、これはＸ　入力信号として、神経網の出力層に供給 される出力信号ｙ　を発生する。これらの出力信号ｙ　は、Ｘｌ、入力信号の加 重和に対する非線形の■ 応答として、層り、によって発生される。神経網の一番目の隠れた層Ｉ２　は、 ＢＰＰｏと同様な逆向き伝搬プロセラすＢＰＰ　を備えている。Ｌ２が神経網の ２番目の隠れた層であり、これは、Ｘｈ入力信号として、神経網の一番目の隠れ た層に供給される出力信号ｙｈを発生する。出力信号ｙｂは、Ｘ、入力信号に対 する加重和に対する非線形の応答として、層Ｌ　７によって発生される。この２ 番目の隠れた腎は　Ｂｐｐ　及−ＦＢＰＰ、と同様な逆向き伝搬ゴロセッサを備 えている。

第８図では、第７図に示す別々の読取入力及び書込み出力母線の代りに、各々の 神経網の層り、Ｌ、Ｌ２の夫ロー 々の間隙メモリ配列ＩＭＡが組合せの読取／書込み母線を有すると仮定している 。第８図は、信号Δ、、Δ１及びΔ、が、信号ｙ、ｙ　及びｙ、に対する順送り 通路とは別個の通路を介してフィードバックされることを示している。

この別個の通路が、神経網の考えを浮かび易くする為に図面に示されている。実 際には、第４図及び第９図示す様に、ｙ　を順方向に伝達し、Δ、を逆方向に伝 達する為等に、１個の通路を使うことが出来る。逆向き伝搬プロセッサＢＰＰ　 が、神経網の層ＬＯの間隙メモリ配列にあるワード記憶素子から読取った重みを 量ηｘ１δｊだけ変更し、訓練手順の間、読取−変更−書込みサイクルと云う順 序で、それらをワード記憶素子に戻す様に書込む。逆向き伝搬プロセッサＢＰＰ 　は、神経網の層Ｌ１の間隙メモリ配列にあるワード記憶素子から読取った重み を量ηＸ、δ、だけ変更し、訓練手順の間、読取−変更−書込みサイクルの順序 で、それらをワード記憶素子に戻す様に書込む。逆向き伝搬プロセッサＢＰＰ　 が、神経網の層Ｌ２の間隙メモリ配列にあるワード記憶素子から読取った重みを 量ηＸ　δ５だけ変更し、訓練手順の間、読取−変更−書込みサイクルの順序で 、それらをワード記憶素子に戻す様に書込む。

第９図は第９Ａ図及び第９Ｂ図で構成されているが、第１図の神経網の層に多重 に加えて、それに訓練能力を持たせることの出来る別の変形を示している。この 別の変形は、訓練を実施出来る様にする為に、逆向き伝搬計算の間、複雑なアド レス動作と分解能の高い掛算器ＭｔＪＮＴの必要を避けようとするものである。

各々のワード記憶素子Ｗ　Ｓ　Ｅの代りに、夫々アップ／ダウン・カウンタＵＤ Ｃ，。

１．１ を使う。カウンタＵＤＣに記憶されるワードの補正は１．１ 一度に１カウント行なわれる。カウンタは、ディジタル・キャパシタＤＣ”　’ 　ＤＣ（ｉ＋Ｍ）、ｉ　’　ＤＣｉ、（ｉ＋Ｎ）及びＤｌ、」 Ｃ（ｉ＋Ｍ）、　（ｊ＋１ｉ１　、の静電容量を制御する為に使われるもの＼他 に、分解能が更に高い少なくとも１つの段を持つことが好ましい。各々のアップ ／ダウン・カウンタＵＤＣに１、」 は夫々のカウンタ制御回路ＣＯＮ　が付設されている。

１・　Ｊ 第９Ａ図に示す様に、各々のカウンタ制御回路ＣＯＮ　：、　。

は、単に排他的オア・ゲートＸＯＲ，、で構成することが１．１ 出来、これは後で詳しく説明する。

行符号検出器Ｒ３Ｄ　は、δ　の極性が正であるか負であるか、即ち一般的に１ 行の重みを減数すべきであるか増数すべきであるかを検出すると共に、その検出 結果を行符号線Ｒ３Ｌ　を介して、この行符号検出器Ｒ８Ｄ、に関連する行ｊに ある全てのカウンタ制御回路（ｉ＝１．・・・・・・Ｍとして）ＣＯＮ　に伝え る。逆向き伝搬を行なう前、夫１．１ 々の列符号検出器Ｃ５Ｄｉが、更新すべき行に沿った各々の列位置に対し、Ｘ　 の極性が正であるか負であるかを検出して、関連する重みが減数される可能性が あるか或いは増数される可能性があるかを表示する。この表示が（列）サンプル ホールド回路Ｃ３Ｈ，に一時的に記憶される。各！ 々の列サンプルホールド回路Ｃ８Ｈ，が、列符号線Ｃ８Ｌを介して、このサンプ ルホールド回路ＣＳ　Ｈ、に関連しま た列ｉにある全てのカウンタ制御回路（ｊ＝１．・・・・・・Ｎとして、ＣＯＮ 、、）にその推定値を伝える様に接続されて１．１ いる。符号検出器Ｃ３Ｄ　及びＲＳＤ、からのこれらの表遷 示に応答して、各々のカウンタ制御回路ＣＯＮ、、が、そ１．１ 節する為に、アップ／ダウン・カウンタＵ　Ｄ　Ｃｉ、　、がどちら向きに計数 するかを決定する。

カウンタ制御回路ＣＯＮ、、は、＋δ、の符号が正であ１．１　１ って、応答Ｖ　も正であるべきであることを示すことに応答して、正である信号 ｘ１又は−ｘ１に関連する出力線０■、　に対する静電容量を減少すると共に、 負である信号−Ｘ　又はＸ　に関連した出力線ＯＬ、に対する静電容量を増加す べきである。これは１の各々の値に対してそうすべきである。カウンタ制御回路 ＣＯＮ、、は、＋δ　の符号１、Ｉ　Ｊ が負であって、応答Ｖも負であるべきことを示すことに応答して、負である信号 −ｘｌ又はｘｌに関連した出力線ＯＬ　に対する静電容量を増加すると共に、正 である信号Ｘ」 又は−Ｘ　に関連する出力線ＯＬ　に対する静電容量を１　１　」 減少すべきである。従って、カウンタ制御回路Ｃ０Ｎ１．１ は、次に述べる仮定が成立すれば、第９Ａ図に示す様に、単に夫々排他的オア・ ゲー）ＸＯＲで構成することが１．１ 庁来ろ。

各々のディジタル・キャパシタＤＣ及びＤ　Ｃ（１＋Ｍ）。

１．１ ｆｉ＋Ｎ］　は、夫々Ｄ　を増減する時、その静電容量を増減１．１ すると仮定する。各々のディジタル・キャパシタＤＣ（ｉ＋Ｍ）１１及びＤＣｉ 、　（ｊ＋Ｎ）は、Ｄ、　を夫々増減する時、その１．１ 静電容量を増減すると仮定する。アップ／ダウン・カウンターＪＤｃ　に対する アップ／ダウン信号とし５てＯが印加１．１ されたことは、Ｄ　では下向きの計数、そしてり、　で１、ｌ　Ｉ、１ は上向き計数を行なわせるものと仮定する。アップ／ダウン・カウンタＵＤＣに 対するアップ／ダウン信号とし１．１ て１が印加されたことは、Ｄ　では上向き計数、それか１．１ らＤ　では下向き計数を行なわせるものと仮定する。列１、ｊ 符号検出器ＣＳＤ　の出力表示は、Ｘ　が負でない時は０、Ｘ　が負である時は １であると仮定する。行符号検出器ＲＳＤ　の出力表示は、δ　が負でない時は ０、δ　が負である時は１であると仮定する。Ｘ　又はδ　がＯの値である状態 は、０の値の数が正として扱われ、実際には必要ではない虚偽の補正を強制的に 行なわせ、この為普通は逆向き伝搬訓練の次のサイクルで反対の補正の必要を作 り出すから、補正ループにディザがある。然し、各々のアップ／ダウン・カウン タＵＤＣに於ける分解能の余分の段１・　」 １つ又は複数）が、ＤＣ”　’　ＤＣ（ｉ＋ｌＡ）、ｊ　’　ＤＣｉ、（ｉ＋Ｎ １．１ ）及びＤＣ（ｉ＋Ｍ）、　（ｉ＋Ｎ）の静電容量に影響を与えるフィードバック 補正ループの高分解能のディザを防止する。

アナログ掛算器ＡＭ　が平衡入信号十δ４及び−δ、を＋　１　１ 発生１．　こねは行符号検出器Ｒ８ｒ）　として作用する雪圧オ 比較器に供給することが出来る。この代りに、微分ｙ′は常に同じ符号（普通は 正の符号）を持つから、電圧比較器を使って、アナログ掛算器ＡＭ、の入力端子 の内、ｙ′、十Ｖ　及びＶ　を受取る以外の入力端子に供給されｌ　ＢＩＡＳ　 ＢＩＡＳ る電圧を比較して、行符号検出器Ｒ８Ｄ、にその入力信号を供給することが出来 る。

第１０図はカウンターＪＤｃ　の構成が、複数個の２進１．１ カウンタ段ＢＣ８、ＢＣ３、ＢＣ３３を持つ構成であの次第に上位のビットにな る。第１１図は従来普通のＭＯ８回路を用いて構成された各々の２進カウンタ段 内の論理回路を示す。第１０図及び第１１図から、Ｄ１９．及びＤの反対の計数 方向は、図示の様に、Ｄ　をフリップ＋、　４　１．１ フロツプの百出力から取出し、五　をそのＱ出力から取１、」 出すか、或いはＤ　をフリップフロップのＱ出力から取１．１ 出し、丁　、をそのす出力から取出すかに応じて、２通り１．１ の方法で、０又は１のアップ／ダウン制御信号に応答して制御することが出来る 。後の方を選んだ場合、各々のカウンタ制御回路ＣＯＮ、、は夫々の排他的ノア 回路で構成し１．１ なければならないか、或いはＣ３Ｄ　及びＲ８Ｄ　符号検Ｊ 吊器は、同じ論理形式ではなく、反対の論理形式にしなげればならない。

第１２図は第１２Ａ図、第１２Ｂ図、第１２Ｃ図で構成されていて、第１図の神 経網に対する第９図の変形に対して更に加えることの出来る変形を示している。

第１２Ａ図に示す様に、この変形は、ディジタル・キャパシタＤＣ１゜ 、　Ｄ　Ｃｉ、　（ｊ＋Ｎ）　ＤＣ（ｉ＋Ｍ）、　ｉ及びＤＣ（ｉ＋Ｍ）、　（ ｉ＋Ｎ）の」 各々のブリッジ形式をシングルエンデツドではなく、プッシュプルで駆動する為 の１対の入力線ＩＮ、及びＩＮ（ｉ＋Ｍ）を持っている。差動電荷感知増幅器Ｄ ＱＳ　に対してシングルエンデツドではなく、プッシュプル形の駆動が加えられ 、その出力応答電圧を２倍にする。プッシュプル駆動により、差動電荷感知増幅 器ＤＳＱ　は、希望する場合、その出力信号の共通モードを抑圧しない差動入力 増幅器を用いて実現することが出来る。第１２Ａ図は符号検出器Ｃ８Ｄ　及びＣ ３Ｈが現れない点で、第９Ａ図と異なってＩ おり、これは後で説明する様に、第１２Ｃ図に現れる様に場所が変えられている 。

第１２Ｂ図は、シングルエンデツド形電荷感知増幅器ＱＳ　が現れない点で第９ Ｂ図と異なる。これは１対の入力線に現れる電荷の差を感知するのに不適切であ る。その代りに、Δ、＋ｖ　が神経網の次の層で発生され、モードＩ　ＢＩＡＳ 制御＠ＭＣＬの信号φ、が１である時、出力マルチプレクサＯＭ　を介してアナ ログマルチプレクサＡＭ、にフィー】 ドパツクされる。

第１２Ｃ図は、通常の動作の間、１．対の入力線ＩＬ、及び■Ｌ（ｉ＋Ｍ）に対 して平衡入力信号を供給すると共に、逆向き伝搬計算の間、これらの入力線の電 荷を差別的に感知する為に、神経網の各々の層で使うことが出来る回路を示して いる。１個の完全に差動形の増幅器ＩＤ、は、例えば第２図に示す形式であって よいが、第１２Ｃ図に示す二重回路ＤＰＩ　で両方の作用を実施する為に多重化 される。

この代りに、別々の装置を用いてこれらの作用を構成してもよい。

通常の動作の間、モード制御線ＭＣＬに現れる信号δ。

はＯであって、信号ｘｉを差動増幅器ＩＤ、の非反転（＋）入力端子に印加する 様に入力マルチプレクサＩＮ　を条件づけると共に、差動増幅器ＩＤ　の非反転 （＋）及び反転（−）入力端子を夫々入力線ＩＬ、及びＩ　Ｌ　（１＋Ｎｌ　に 接続する様に入力線マルチプレクサＩ　ＬＭ、及びＩ　Ｌ　Ｍ　（ｉ＋Ｍ）に現 れ、この伝送ゲートを導電させて、これらの端子の間の直結フィードバックを行 なう。この直結フィード／（ツクが、差動増幅器ＩＤ　を条件づけて、その（＋ ）及び（−）出力端子のＸ　及び−Ｘ　応答をその（−）入力端子に印＋１ 加されるＸ　信号に供給する。二重回路ＤＰＩ、内のこの他の伝送ゲートは、通 常の動作中、非導電状態に条件づけられる。

後向き伝搬計算の間、モード制御線ＭＣＬに現れる信号φＰが１であって、差動 増幅器ＩＤ、の非反転（＋）出力端子からのΔ　信号を、それがあれば、神経網 の前の層に印加する様に、入力マルチプレクサＩＭ、を条件づけると共に、入力 線ＩＬ、及び■Ｌ（１４Ｍ）を差動増幅器ＩＤ　の非反転（＋）及び反転（−） 入力端子に夫々接続する様に入力線マルチプレクサＩＬＭ　及びＩＬＭ（１４Ｍ ）を条件づける。二重回路ＤＰＸ　にあって、信号φ　・φＰによっＩし て制御される伝送ゲートが、逆向き伝搬計算の間、０を受取る時、積分キャパシ タＩＣ及びＩ　Ｃ（Ｈ＋Ｍ）が差動増幅器ＩＤ　の（＋）及び（−）出力端子か ら、その（＝）及■ び（＋）入力端子に接続する。逆向き伝搬計算の間、φ。

がときたま１にパルス駆動される時、積分キャパシタＩＣ及びＩＣ（１＋！Ｉｌ ）の電荷状態がリセットされる。これは、■ 二重回路ＤＰＸ　にあって、制御信号φ５及びφ、＋φ。

を受取る伝送ゲートが、φとが一時的に１であることに応答して導電させられ、 二重回路ＤＰＸ　にあって制御信号７、を受取る伝送ゲートが非導電にされるこ とに応答して行なわれる。

列符号検出器Ｃ３Ｄ　及び列サンプルホールド回路Ｃ８ｆ（が第１２Ｃ図に示さ れている。列符号検出器が、差動！ 増幅器ＩＤ　からの出力信号を直接的に入力信号として受取り、差動増幅器ＩＤ 　からのＸ　及び−Ｘ　出力信号に対する単なる電圧比較器であってよい。

第１３図は、１９７９年５月２２日に付与され、ゼネラル・エレクトリック・カ ンバニイに譲渡された発明の名称「信号処理装置」と云う米国特許第４．１．５ ６．２８４号で、発明者が提案した行列乗算装置から、夫々の入力電圧Ａ＜　供 綺六わる複数個の（Ｎ個）の非線形増幅器ＯＤ、、ＯＤ　、・・・・・・０Ｄ（ Ｎ−１）、ｏＤＮで構成される神経網を示す。

行列乗算装置が、非線形電圧増幅器ＯＤ、ＯＤ２．・・・・・・０Ｄ（Ｎ−１１ ”　ＤＮに対する夫々の入力電圧を供給する為の「シナプス」信号として供給さ れる複数個（Ｍ個）の入力電圧信号ＸＩ、Ｘ２．・・・・・・Ｘ（Ｍ−］）　、 ｘＭの各々に加重する。電圧増幅器が夫々の「アクソン」応答ｙ　、ｙ２゜１゛ ”　（Ｎ−１）　’　”Ｎを発生する０入力端子信号Ｘ　が入力駆動増幅器ＩＤ 　の入力ポートに印加される。第１３図では、この増幅器がその（＋）出力ポー トからの非反転電圧応答を入力線ＩＬ　に印加し、！ その（−）出力ポートからの反転電圧応答を入力線Ｉ　Ｌ　（１＋Ｍ）に印加す る。夫々の出力線ＯＬ　が出力駆動増幅器ＯＤ　の入力ポートに接続され、この 増幅器がその出力ボートに、その出力線ＯＬ　の累算電荷に対する非線形電圧窓 答を発生する。

非線形出力駆動増幅器ＯＤ　が第１３図では単に非線形」 電圧増幅器として示されており、休止状態の直流電位が出力線ＯＬ　を介してそ の入力信号端子に印加されるが、こ」 の電位は、夫々の直流復元回路ＤＣＲを使って、選ばれた時刻に所望のバイアス 電圧にクランプすることによって調節される。復元回路ＤＣＲが第１３図の非線 形出力部」 幅器ＯＤ　からは図を見易くする為に分離して示されてい」 るが、普通は直流復元の常套手段に従って、出力駆動器ＯＤ　と更に密接に関係 している。夫々のキャパシタＣ１、１，１ が各々の入力線ＩＬ　を各々の出力線ＯＬ、に接続し、夫ｊ 々のキャパシタＣ（１４Ｍ）、　！が各々の出力線ＯＬ、に、線Ｉ」 Ｌ　と対をなす入力線ＩＬ　の１つを接続する。対の１　（１４Ｍ） 入力線ＩＬ　及びＩ　Ｌ　（ｌ＋Ｍ）が夫々信号電圧Ｘ　及び−Ｘによって駆動 されるので、電気的な等価回路としては、Ｃ、の静電容量からＣ（１４Ｍ）、　 ｊの静電容量を差引いた静１．１ 電容量を持つキャパシタによって、信号電圧Ｘ　が出力線ＯＬ　に印加されるの と同じである。対の入力線に対するこの平衡入力信号駆動方式は、励振並びに抑 制形の重みを得る為に、静電容量を切替える方式の必要性を省くものであり、こ の為、希望によっては、持続的な期間にわたって連続的であるアナログ信号を用 いて、神経網を動作させることを容易にする。

第１３図は、各々の入力線ＩＬ、又は”　（１４Ｍ）が夫々の負荷キャパシタＣ Ｌ　又はＣＬ（１４Ｍ）を備えていて、入力駆動増幅器ＩＤ　の各々の出力端子 に対する容量性負荷を、他の入力駆動増幅器の各々の出力ポートに対するものと 略同じにすることを示している。これは、入力信号Ｘに対する応答の望ましくな い差別的な遅延を避ける点で望ましい。各々の入力線負荷キャパシタＣＬ、−Ｃ Ｌ２．の静電容量を、それに接続されたキャパシタＣ又はＣ（ｉ＋Ｍ１．１ ）１．の合計の静電容量に較べて非常に大きくすることにより、略同じ容量性負 荷を達成することが出来る。然し、こう云う結果は、各々の入力線負荷キャパシ タの静電容量が、それに接続される他の静電容量の合計の値の補いとなる様にす ることによって達成することが好ましい。この手順は、必要な線負荷静電容量の 量を少なくする。出力線に現れる電圧が、第１３図に示す様に、非線形出力駆動 増幅器ＯＤ１、・・・・・・ｏＤＮによって直接的に感知される場合、この好ま しい手順により、各々の入力電圧ｘ、、・・・・・・ＸＭに対す！ る分圧比が、他の入力電圧に対する分圧比に無関係になる。

出力線に現れる電荷を、後で第１４図について説明する様に、非線形出力駆動増 幅器に先行する電荷感知増幅器によって感知する場合、今述べた後の方の点はそ れ程重要ではない。

第１３図は各々の出力線ＯＬ、が夫々の負荷キャパシタ」 ＣＬ（２Ｍ＋ｉ）が負荷となって、その線の合計の静電容量が、他の各々の出力 線と略同じになる様にしていることを示している。これも、ＣＬ（２Ｍ＋ｉ）を 出力線ＯＬ、に対する他の静電容量よりずっと大きくすることにより、又はＣＬ （２Ｍ＋、）がそれに接続された他の静電容量の合計の値の補いになる様にする ことによって、達成することが出来る。出力駆動増幅器ＯＤ、に対する入力電圧 は（よい近似で）クーロンの法則に従って下記の式の値Ｖ　を持つ。

」 ｖ＝（Ｃ’）Σ　（Ｃ”　Ｃｆｉ＋Ｍ）、、ｊ）Ｘｌ　１　１．、ｌ　１ して持つ実効静１ｇ量（Ｃ−Ｃｊｉ＋Ｍ）、ｉ　）と、そして１．１ して、その間の複数個の容量分割の重畳と堅なすことが出来る。

次に、ｌ及びｊの特定の夫々の値に灯し、入力駆動増幅器ＩＤ　１キヤパシタＣ 及びＣ（ｉ＋Ｍｉ、　ｊ　’及び非線形１　１．１ 出力駆幅器幅器ＯＤ　がどんなニューロン・モデルの挙動を示すかを考える。入 力駆動増幅器ＩＤ　が入力線ＩＬ及び”　（ｉ４Ｍ）に対し７て加える電圧応答 は、振幅が同しであるが、共通モード電圧に対して相反する極性である。この電 圧は、Ｏボルトのｖｓｓ及びプラス５ボルトのＶ［ｌ［＋電源電圧の中間のバイ アス電圧Ｖ　と公称同じである様に設ＩＡＳ 計されている。キャパシタＣの静電容量が、１及びｊｌ、　］ の特定の値に対し、キャパシタＣ１の静電容量よりＬｌ＋Ｍ＋、　１ 大きい場合、その」に対する出力電圧ｙ　は、入力電圧Ｘ」 １に対し、て「励振形」の応答を示す。こう云うｌ及び」の値に対し、Ｃ及びＣ ての静電容量が等しければ、＋、　）　（ｉ＋Ｍ） そのｊに対する出力電圧ｙ　は入力電圧ｙ　に対して何等応答を示さない筈であ る。キャパシタＣの静電容量が、１．１ こう云う１及びｊの値に対し、キャパシタＣ（ｉ＋１．ｌ）、　ｉの静電容量よ り小さい場合、そのｊに対する出力電圧ｙ　は、」 入力電圧Ｘ　に対１．て「抑制形」の応答を示す。

この発明に従って構成されたある神経網で、全ての！及−２」に暑１−て　−＋ −ユーペ゛ノ々Ｃ亙りびｒ　１１、は一定の１１　１　１１　ｉ閉フ、　ｊ 値のキャパシタであ−）でよく、ソの場合Ｉ：１．・・・・・・Ｍとして、入力 電圧Ｘ　の加重には決して変化がない。然し、こう云う神経網は、神経応答の変 化する判断基準に適応する能力を欠くつこう云う適応は、例えば自習用に接続す べき神経回路にとって必要である。ある用途では、その場合、ｉ及びｊの夫々１ 対の値に関連する多対のキャパシタＣ！。

及びＣｆｉ＋ｕ）、　Ｈの静電容量を変更出来る様にすることが」 望ましい。この変更は相補形で実行して、Ｃ、及びＣ（１１，１ ４Ｍ）、ｊの静電容量の和がＣｋに等しいよ＼である様にずべきである。

第１４図は第１４Ａ図及び第１４Ｂ図で構成されるが、第１３図の神経網で、出 力線ＯＬ　と、シナプス入力信号Ｘ　とは反対の符号を持つものによって駆動さ れる入力線！ ＩＬ　及びＩ　Ｌ　との夫々１組の交点の近くで加える＋　（ｉ＋Ｍ） ことが出来る代表的な変更を示す。この変更により、神経網は訓練することが出 来る様になる。第１３図の神経網の多対のキャパシタＣ及びＣｔｉ□）、、は、 １対のディジ１．１ タル・キャパシタＤＣ及びＤＣ（ｉ＋Ｍ）、ｊにすべきであ１・　Ｊ る。（例えばこの各々のキャパシタＤＣ及びＤＣ（Ｉ＋Ｍ１．１ ｊ、ｊは米国特許第３．８９０．６３５号の第１１図に示す様にすることが出来 る。）ＤＣ及びＤＣ（ｉ＋Ｍ）、ｊの静１．１ 電容量は、ディジタル・キャパシタの行の間の間隙に配置されていて、メモリを 形成する様に接続された当該素子の配列内にある夫々のワード記憶素子Ｗ　Ｓ　 Ｅ　、から取出し＋７　） たディジタル・ワード及び１に対するその補数により、相補形に制御される。

ワード記憶素子Ｗ　Ｓ　Ｅ　に記憶されたワードは、別の１・　ｊ １対のディジタル・キャパシタＤＣｉ、　（ｊ＋Ｎ）及びＤＣ（ｉ＋Ｍ）、いＮ ）の静電容量をも制御することが出来る。キャパシタＤＣｉ、　（ｊ＋Ｎ）及び ＤＣ（ｉ＋Ｍ）、　（ｉ＋Ｎ）は「交流接地」と夫々入力線ＩＬ　及びＩＩ、　 の間に接続され、夫々負荷＋　（ｉ＋Ｍ） キャパシタＣＬ　及びＣＬ　の一部分を形成する。Ｄ＋　（ｉ＋１１１ Ｃｆｉ＋ｌｌ）、　ｆｉ＋Ｎ）及びＤＣの静電容量は互いに同様であ１．１ って、その値の変化は互いに相手を追いかける。４つのディジタル・キャパシタ ＤＣ１ＤＣ（１＋ｙ）、、、ＤＣＨ，（７１，１ ＋Ｎ）及びＤＣ（ｉ＋Ｍ）、　（ｊ＋）ｌ）がブリッジ形式に接続され、その入 力端子に入力線ＩＬ　及びＩＬ　が夫々接続され、＋　（ｉ＋Ｍ） 出力端子が出力線ＯＬ、及び交流接地に夫々接続される。

】 Ｄ　ＣＨ，（ｊ＋Ｎ）及びＤＣ（ｉ＋Ｍ）、ｉの静電容量は互いに同様であり、 その値は互いに相手を追跡する。このブリッジ形式は、電圧利得に関する限り、 静電容量回路を双方向にするこさにより、逆向き伝搬プログラミングに伴う計算 を容易にする。この代りに、逆向き伝搬プログラミングの為の計算が、計算手順 に神経網を使わないコンピュータによって行なわれる場合、神経網はディンタル ・キャパシタＤＣ。

（ｉ＋Ｎ）及びＤＣ（ｉ＋Ｍ）、　（ｉ＋Ｎ）を含む必要がない。こう云うディ ジタル・キャパシタＤＣ、及びＤＣ（ｉ＋Ｍ）、　（ｉ＋Ｎ＋、（ｊ、Ｎ） 、は、出力線ＯＬ　に非常に大きい負荷キャパシタが入っ」 ていない場合には、何れにしても必要ではないが、この代案は出力駆動増幅器Ｏ Ｄ　の感度を望ましくない程低下させる。

第１４図の神経網の層を普通にプログラミングに従って動作させる時、モード制 御線ＭＣＬに印加される信号φ。

は論理０である。このＯが、各々の入力駆動増幅器ＪＤの非反転出力ボートを入 力線ＩＬ、に接続する様に夫々の人力線マルチプレクサＩＬＭ　を条件づける。

モード制御線の信号φ、がＯであることにより、各々の入力駆動増幅器ＩＤ　の 反転出力ポートを入力線ＩＬ　に接続する＋　（ｉ＋Ｍ） 様に、夫々の入力線マルチプレクサＩＬＭ　を条件づ（ｉ　４Ｍ） ける。

モード制御線Ｍ　ＣＬの０は、出力線ＯＬ　に対する電荷感知動作を行なう夫々 の電荷感知増幅器ＱＳ、に入っている夫々の関連した差動入力増幅器ＤＡ、の反 転入力端子に対して出力線Ｏ■、　を選択する様に、複数個（Ｎ個）ある」 出力線マルチプレクサＯＬＭ　の各々を条件づける。この」 電荷感知動作を行なう時、伝送ゲー＋−Ｔ　Ｇ　がリセット・パルスＱＲの不在 に応答して、積分キャパシタＣＪを差動入力増幅器ＤＡ　の出力及び反転入力端 子の間に接続する。増幅器ＤＡ　は普通の電圧増幅器形の演算増幅器であってよ いし、或いはトランスコンダクタンス演算増幅器であってもよい。積分コンデン サＣＩ　がこの様に接続され」 ると、増幅器ＤＡｊは電荷増幅器として作用する。モード制御線Ｍ　ＣＬの信号 φＰがＯである時、入力信号ｘ１が。

キャパシタＤＣ及びＤＣ（ｉ＋Ｎ）、ｉの電荷に、夫々の静１．１ 主容量の差に比例する合計の変化を誘起する。その結果差動入力増幅器ＤＡ　の 反転入力端子から変位電流が流れる」 為には、積分キャパシタＣＩ　からの対応する変位電流の流れがあって、そのキ ャパシタに次の式で示す電圧Ｖ　が生ずることが必要である。

１：１ 電圧Ｖ　が非線形電圧増幅器回路ＮＬ　に供給され、こｊ　」 れは第３図の非線形電圧増幅器回路であってもよいし、・或いは前に述べた別の 回路であってもよい。非線形電圧増幅器回路がアクソン出力応答ｙ　を発生する 様に応答する。

時々、神経網の通常の動作か中断され、直流復元の為、リセット・パルスφＲが 各々の電荷感知増幅器ＱＳ、に供給される。φ　が高になる時、リセット・パル スφＲの論理的な補数であるφＲが低になることに応答して、伝送ゲートＴＧ　 はもはや導電して、積分キャパシタＣＩ　を差動増幅器ＤＡ　の出力端子に接続 しなくなる。その代りに、伝送ゲートＴＧ　がφＲが高になることに応答して、 （ｉ＋Ｎ１ 通常その出力端子に接続されているキャパシタＣの極板を■　に接続する。■　 は、差動増幅器ＤＡ　の■、。

ＢＩＡＳ　ＢＩＡＳ　」 ＝０ボルト及び■ＤＤ”５ボルトの動作電圧の中間の２．５ボルトの電圧である 。別の伝送ゲート”　Ｇ（ｉ＋２Ｎ）がφ、が高になることに応答して、差動増 幅器ＤＡ　の出力端子が」 らの直結フィードバックを反転入力端子に印加し、出力端子の電圧を、出力線Ｏ Ｌ　から反転入力端子に供給される電圧にする。直流復元の間、全てのＸ　は「 ０の値」であ■ る。従って、積分キャパシタＣＩ　の電荷は、差動増幅器ＤＡ、の出力端子まで の回路に起る直流電圧誤差があれば、それを補償する様に調節される。直流復元 は、全ての差動増幅器ＤＡ、（即ち、１からＮまでの範囲のｊの値に対し）」 同時に行なわれる。

訓練の間、モード制御線ＭＣＬに印加される信号φ、が論理１であり、これによ って出力線マルチプレクサＯＬＭは出力ＯＬ　を差動増幅器ＤＡ　の反転入力端 子から切１１＋ 離すと共に、出力線ＯＬ　を誤差項δ　を受取る様に接続」　ｊ するように条件づけられる。この誤差項δ　は、信号Δ３　」 と、出力線ＯＬ　の電圧の単位変化に対する非線形増幅器ＮＬ　の出力電圧ｙ　 の変化である信号ｙ′　とに応答し７て、アナログ掛算器ＡＭ　の積出力信号と して発生される。

」 項△　は、神経網の出力層では、実際の値ｙ　と所望の値ｄ　の間の差である。

神経網の隠れた層では、項Δ　は、逆向き伝搬手順の間、神経網の次に続く層の Δ　出力であ」 る。

第４図の神経網の層の場合と同しく、第１４図の神経網の層では、微分器ＤＦ　 が信号ｙ′　を発生する。これは、」　ｊ 出力線ＯＬ　の電圧の変化ｙ　の勾配を表わす微分であり、それがＶ　に重畳さ れている。微分ｙ′　を決定する為、ＢＩＡＳ　ｒ 正に向う小さいパルスに、同じ振幅を持つ負に向うパルスが直ぐに続くパルス二 重子が差動増幅器ＤＡ　の反転入力」 端子に導入され（又はこれと同等であるが、反対の極性を持つ二重子パルスが差 動増幅器ＤＡ　の非反転入力端子に」 導入され）、最初にｙ　を通常の値より若干低くし、その後通常の値より若干高 くする。ｙ　が通常の値より若干小さい値から通常の値より若干高い値へ変化す ることが、微分キャパシタＣＤ、を介して微分器ＤＦ、に印加される。

」　Ｊ 訓練の間、モード制御線ＭＣＬに印加される信号φ、が前述の様に１であり、こ れによって入力線マルチプレクサＩＬＭ　及びＩ　Ｌ　Ｍ　（ｉ＋Ｍ）は入力線 ＩＬ　及びＩＬ（ｉ＋Ｍ）！＋ を入力駆動増幅器ＩＤ　の出力端子から切離すと共に、そ寮 の代りに、それらを差動電荷感知増幅器ＤＱＳ　の非反転及び反転入力端子に接 続するように条件づけられる。電圧δ　が、δ　（Ｃ９−Ｃ（１＋Ｍ）１．）に 比例して、入力線１　１　１．１ １Ｌ　及びＩ　Ｌ　に＋Ｍ）の間に電荷の微分的な変化を誘起する。この電荷の 微分的な変化を差動電荷感知増幅器ＤＱＳを使って感知する。

■ 差動電荷感知増幅器ＤＱＳ　は完全に差動形の増幅器（例えば第２図に示す様な ）を含み、これはその各々の出力端子からその各々の入力端子への夫々の再生フ ィードバッタ接続部に積分キャパシタＩＣ及びＩＣ（ｉ＋Ｍ）を持つている。差 動電荷感知増幅器ＤＱＳ　のリセット動作は、１個の積分キャパシタＣＩ　では なく、２つの積分キャパシタＩＣ及びＩＣが関与することを別とすると、１（童 ÷１１１） ＱＳ　の様なシングルエンデツド増幅器のリセット動作と同様である。差動電荷 感知増幅器ＤＱＳ　のリセット動作は、パルスφＵに応答して行なわれる。この パルスは、モード制御線ＭＣＬが１であって、入力線マルチプレクサＩＬＭ　及 びＩＬＭ　を条件づけ、入力線ＩＬ　及びＩ＋　（ｉ＋Ｍ）　＋ Ｌ１　を差動電荷感知増幅器ＤＱＳ　に接続する時間の１＋＋Ｍ）　＋ 間に発生する。通常、このリセット動作は、モード制御線Ｍ　ＣＬに印加される 信号φ、に０から１への変化が現れた少し後に行なわれるが、他の時に行なって もよい。この手順は、リセット動作に続く逆向き伝搬計算の間、入力線ＩＬ　及 びＩＬ　に容量の不平衡があっても、それを是＋　（ｉ＋Ｍ） 正する。こう云う計算では、差動電荷感知増幅器ＤＱＳに入っている完全に差動 形の増幅器の（＋）及び（−）出力端子に、電圧＋Δ　＋■　及び−Δ、＋ｖ　 が発生＋　ＢＩＡＳ　＋　ＢＩＡＳ される。電圧＋Δ、＋ｖ　は、逆向き伝搬訓練手順の間、ｌ　ＢＩＡＳ 神経網の先行層があれば、その層によって使われる。シングルエンデツド形の＋ Δ　及び＋Δ　の駆動が第１−４図に！　」 示されているが、これは神経網の層が別々のモノリシック集積回路と集積される と仮定しており、且つ出力ビンの数に対する制約が制限的であると仮定している 。神経網の複数個の層が同じモノリシック集積回路の中に集積される場合、又は 出力ビンの最大数が設計上の制限因子でない場合、神経網の１−フの層からその 前の層へ、平衡したΔ信号を印加することが出来る。その場合も、非線形電圧増 幅器ＮＬの対の接続）であれば、神経網の次の鴨に、ｙ”　”　ＢＩＡＳ１７− び−３＋　、　−ｔ−Ｖ−、、、の工衡出力信号を供給することが出来Ｉ　１１ １Ａ５ る。実際、アナログ掛算器ＡＭ　に印加される信号ｙ′ｊ　ノ は、微分器ＤＦ　及びサンプルホールド回路ＳＨを平衡」　」 回路に置換えることにより、平衡形で発生することが出来る。

第５図は、ｙ′　項の計算の間、ｊ−１，・・・・・・Ｎに対し、各々の出力線 ＯＬ　をどの様にパルス駆動するかを示している。各々の出力線ＯＬ　が夫々の キャパシタＣＯによ＋　１ ってパルス発生器ＰＧの出力端子に接続される。このパルス発生器が二重子パル スを発生する。第５図は、二重子パルスが、各々の出力線ＯＬ　の内、その線の 電荷を感知す」 る電荷感知増幅器ＱＳ　にある関連した差動増幅器１）　Ａの端子から遠い方の 端に印加されることを示している。二重子パルスを（−）端子に更に直接的に印 加することも、パルス発生器ＰＧに接続された極板から遠い方のキャパシタＣＯ の極板をこれらの端子に接続すれば、可能である。

」 第１５図は、出力線ＯＬ　のパルス駆動ではなく、項ｙ′　の計算の間、各々の 差動増幅器ＤＡ　の非反転（＋）入力端子をパルス駆動することが出来ることを 示している。

ＶＢ＋、いは、各々の差動増幅器ＤＡ　の非反転入力端子に直接的に印加される 代りに、バイアス演算増幅器ＢＯＡの出力端子から印加される。演算増幅器ＢＯ Ａの非反転端子が■ＢＯＡＳを受取る様に接続され、再生フィードバックがその 出力端子から抵抗Ｒ１を介して反転入力端子に接続されている。この再生７１− ドパ・２りが、演算増幅器ピ０．Ａ、の出力端子の休止レベルを■　に保つ。パ ルス発生器ＰＧが、ＩＡＳ ある抵抗値を持ち抵抗Ｒ２及び直流阻止キャパシタＣＢの直列接続を介して、演 算増幅器ＢＯＡの反転入力端子に二重子パルスを印加する。抵抗Ｒ１及びＲ２の 抵抗値を夫々Ｒ及びＲ２とすると、パルス発生器ＰＧから供給された二重子パル スの振幅を−Ｒ／Ｒ２倍した二重子パルスが、】 演算増幅器ＤＢＡの出力端子から差動増幅器ＤＡＪの非反転入力端子に印加され る。直流電圧成分を持たないこの二重子パルスは、ＢＯＡの反転入力接続部への 再生フィードバック接続により、演算増幅器ＢＯＡの出力端子に保たれる直流成 分■　を変更しない。

ＩＡＳ 第５図又は第１５図の構成を使う代りに、非線形増幅器Ｎ　Ｌ　に印加する前に 、■　に二重子パルスを付加える構＋　１ 成を用いることが出来る。

逆向き伝搬計算を完了する為の第７図の装置は、第１４図に従って多重に変更し た第１３図の神経網の層にも用いることが出来る。第８図では、この代りに、第 １４図に従って多重に変更した第１３図の神経網の層を用いて、訓練される神経 網の層Ｌ　、Ｌ　及びＬ２を構成することが出来る。

第１６図は、第１６Ａ図及び第１６Ｂ図で構成されているが、訓練能力を持たせ る為に、第１３図の神経網の層に多重に加えることが出来る別の変形を示してい る。この別の変形は、訓練を実現出来る様にする為に、逆向き伝搬計算の間、分 解能の高い掛算器ＭＵ　Ｌ　Ｔ及び複雑なアドレス動作の必要を避けようきする ものである。各々のワード記憶素子ＷＳＥ　の代りに、夫々のアップ７′ダウン ・カラ１．１ ンタＵＤＣが使われる。カウンタＵＤＣに記憶さ１、ｌ　ｌ、１ れるワードの補正は一度に１カウントだけ行なわれる。カウンタは、ディジタル ・キャパシタＤＣ１ＤＣ（ｌ＋Ｍ）１１．１ ・ＤＣｊ、　（ｉ＋Ｎ）及びＤＣ（ｉ＋Ｍ）、　（ｊ＋Ｎ）の静電容量を制ｊ御 」 するのに使うもの＼他に、分解能が更に高い少なくとも１段を持つことが好まし い。各々のアップ７′ダウン・カウンタＵＤＣには夫々のカウンタ制御回路ＣＯ Ｎ、、が付１、」１・　ｊ 設されている。第１６Ａに示す様に、又は後で詳しく説明する様に、各々のカウ ンタ制御回路ＣＯＮ、、は排他的第１、」 ア・ゲートＸＯＲで単純に構成することが出来る。

１．１ 行符号検出器Ｒ８Ｄ　が、δ　の極性が正であるか負で＋　１ あるか、即ち１行の重みを一般的に減数すべきであるか増数ずべきであるかを検 出し、その検出結果を行符号線Ｒ９Ｌ　を介して、この行符号検出器Ｒ３Ｄ、に 関連した行Ｊにある全てのカウンタ制御回路（ＣＯＮ　ｌ＝１．　・・１、」 ・・・Ｍ）に伝える。逆向き伝搬計算を行なう前に、夫々の列符号検出器Ｃ３Ｄ 　が、Ｘ　の極性が、更新すべき行に沿った各々の列位置で正であるか負である かを検出して、関連する重みを減数すべきである可能性があるか或いは増数すべ きである可能性があるかの表示を発生する。この表示が（列）サンプルホールド 回路Ｃ８Ｈに一時的に記憶される。各々の列サンプルホールド回路Ｃ８Ｈは、こ のすンプルホールド回路Ｃ３Ｈに関連する列１にある全てのカウンタ制御回路（ ＣＯＮ−−ｊ＝１．・・・・・・Ｎ）に、そ１．１ の推定値を列符号線Ｃ８Ｌ　を介して伝える。符号検出器ＣＳＤ　及びＲ８Ｄ　 からのこう云う表示に応答して、各１　」 々のカウンタ制御回路ＣＯＮ　は、その中に記憶されて１．１ ／′ダウン・カウンタＵＤＣ，，がどちらの向きに計数する１、ｊ かを決定する。

カウンタ制御回路ＣＯＮ、、は、＋δ、の符号が正であ１、」ｊ って、応答Ｖ　が正であり過ぎることを示すことに応答し」 て、正である信号Ｘ、又は−Ｘ、に関連する出力線ＯＬ。

＋１ に対する静電容量を減少すると共に、負である信号−ｘｌ又はＸ　に関連する出 力線ＯＬ、に対する静電容量を増加ｊ すべきである。これはｉの各々に対して云えることである。

カウンタ制御回路ＣＯＮ　は、＋δ　の符号が負であ、つ１、１　」 て、応答Ｖが負であり過ぎることを示すことに応答して、負である信号−Ｘ　又 はＸ　に関連する出力線ＯＬ　に対＋　１　１ する静電容量を増加すると共に、正である信号Ｘ、又は−Ｘ　に関連する出力線 ＯＬ　に対する静電容量を減少すべＪ きである。従って、カウンタ制御回路ＣＯＮ、、は、次に１．１ 述べる仮定が成立すれば、第１６Ａ図に示す様に、夫々排他的オア・ゲートＸＯ Ｒで単純に構成することが出来■・　」 る。

各々のディジタル・キャパシタＤＣ及びＤＣに＋Ｍ）。

１．１ （ｉ＋Ｎ）は、Ｄ　ｌ、　、を夫々増減した時、その静電容量を増減静電容量を 増減すると仮定する。アップ・ダウン・カウンタＵＤＣにアップ／ダウン信号と して０が印加される１、１ に対しては上向き計数を行なわせると仮定する。アップ・ダウン・カウンタＵＤ Ｃ，，にアップ／ダウン信号として１．１ １が印加されたことは、Ｄ　、に対しては上向き計数、そ１、す る。列符号検出器Ｃ８Ｄ　の出力表示は、Ｘ　が負でない時は０、Ｘ　が負であ る時は１と仮定する。行符号検出器Ｒ８Ｄ　の出力表示は、δ　が負でない時は ０、δ　が負」 」　」 である時は１と仮定する。Ｘ　又はδ　が０の値である状ｊ 態は、０の値を持つ数が正として扱われ、実際には必要ではない虚偽の補正を強 制させ、こうして逆向き伝搬訓練の次のサイクルでカウンタを補正する必要性を 作り出すのが普通であるから、補正ループにはディザがある。然し、各々のアッ プ／′ダウン・カウンタＵＤＣに余分の分解能１．１ の段（１つ又は複数）があると、ＤＣ１ＤＣ（１＋Ｍ）１４．１、」 ＤＣｉ、（ｉ＋Ｎ）及びＤＣ（ｉ＋Ｍ）、　（ｉ＋Ｎ）の静電容量に影響を与え るフィードバック補正ループの分解能の高いディザが防止される。

アナログ掛算器ＡＭ　は、その積出力を平衡形で発生ずる様に変更するのは容易 である。前に引用したバルト及びヮリンガーのアナログ掛算器は、最初にその積 を平衡形で発生し、その後、電流ミラー掛算器を用いて、プ・・ｌシ、プルから シングルエンデツドへの変換器を接続する。別の平衡形からシングルエンデツド 形への変換器が、プッシュプルの積を反対の符号を持つ出力信号に変換すること が出来る。アナログ掛算器が平衡形積信号を発生する場合、＋δ及び−６１項は 、行符号検出器Ｒ８Ｄ　として作用するＩ　Ｊ　１ 電圧比較器に供給することが出来る。この代りに、微分ｙ′　は常に同じ符号（ 普通は正）を持つから、電圧比較器」 を使って、アナログ掛算器ＡＭ　の星印及び二重の星印の入力端子に供給される 電圧を比較し、行符号検出器Ｒ３Ｄとすることが出来る。

」 第１６図に従って変更された第１３図の神経網の層に、第１２ｃに従って更に変 更を加えることが出来る。入力駆動増幅器ＩＤ、は、二重回路ＤＰＩ　で時分割 で多重化され、第１゜６Ａの差動電荷感知増幅器ＤＱＳの作用を行なう。

φ　が０である前向き伝搬の間、ｘ、　＋Ｖ　信号を神経Ｐ　ｌ８ｉＡＳ 網の層に通す為、並びにφ、が１である逆向き伝搬の間、Δ　＋ＶＢＩＡＳ信号 をその神経網の層から通す為、神経網の層の間に１組の相互接続線しか使わない 。モード制御線ＭＣＬの信号であるφ、によって制御される入力マルチプレクサ Ｉ　Ｍ　は、入力駆動増幅器ＩＤ　を含む神経網の層に対する時分割多重化を行 なう。モード制御線ＭＣＬの信号φＰによって制御される神経網のその前の層に 対する出力マルチプレクサＯＭ、が、φＰが０である時の前向き伝搬の間、層の 間の相互接続線に対してｙ、＋Ｖ　を選択し、＋　ＢＩＡＳ φ、が１である逆向き伝搬の間、相互接続線からのΔ１＋■　を選択する。

ＢＩＡＳ 第１４図に従って変更された第１３図の神経網の層に対して、同様なこの他の変 更を加えることが出来る。この場合、列符号検出器Ｃ８Ｄ、、列サンプルホール ド回路Ｃ８Ｈ及び列符号線Ｃ８Ｌ　は勿論使わない。

人力駆動増幅器ＩＤ　を時分割多重化で使うことにより、集積回路のダイスの面 積が節約される。神経網の相次ぐ層の間の相互接続線を節約することは非常に重 要である。これは、その中に神経網の異なる層を持つ相互接続された集積回路に 於ける出力ビンの制約が、神経網の層の寸法をそれ程制限しなくなるからである 。所定の出力ピンの制約を持つ集積回路の中に、２倍も多くの入力及び出力を持 つ神経網の層を構成することが出来る。

上に述べた回路の種々の部分で用いられたマルチプレクサは、単極スイッチ素子 で構成するのが普通であり、各々の単極スイッチ素子は普通はＣＭＯ８設計では １つ又は更に多くの電界効果トランジスタの所謂「伝送ゲート」接続である。夫 々のゲート電極に反対向きに変化する制御電圧を印加して、並列のチャンネルの 選択的な導電を制御する様にしたｐチャンネル形ＦＥＴ及びｎチャンネル形ＦＥ Ｔの並列チャンネルによって適当な伝送ゲートが構成される。

■綿刊ｔｔ、　を丘７；ｒロワ　バ４アＸＯシト〕 怨療 χｉ　＋Δ。

Ｙ　−−−＋−７＋−一上一一一一一一一＊　′ ＼ノ　＼ノ　ｔ１＋＋ 国際調査報告 １＋＋＊、、ｒｍ、＋　ＡＩＦ、＋ｊｌＪ□、ＰＣτ／ＵＳ　９０１０３４３６ ”

Claims (9)

【特許請求の範囲】
1. １．１番目乃至Ｍ番目の相次ぐ序数によって夫々同定される複数個（Ｍ個）の入 力電圧信号に対するニューロン形応答を発生するプロセッサに於て、１番目乃至 Ｍ番目の相次ぐ序数によって同定され、対応する序数で同定される入力信号電圧 に応答して夫々充電される第１の複数個（Ｍ個）の加重静電容量素子と、前記１ 番目乃至Ｍ番目の加重静電容量素子の合計の電荷を感知して加重和応答を発生す る電荷感知回路と、該加重和応答に応答して前記ニューロン形応答を発生する様 に接続された非線形増幅器と、相次ぐ序数（Ｍ＋１）番目乃至２Ｍ番目によって 同定され、Ｍだけ低い序数によって同定される入力信号電圧、又は該入力信号電 圧に負の符号を付したものに応答して夫々充電される第２の複数個（Ｍ個）の加 重静電容量素子とを有し、前記電荷感知回路は、前記１番目乃至Ｍ番目の加重静 電容量素子の合計の電荷と共に前記（Ｍ＋１）番目乃至２Ｍ番目の加重静電容量 素子の合計の電荷を感知して加重和応答を発生する様に接続されており、前記（ Ｍ＋１）番目乃至２Ｍ番目の加重静電容量素子の合計の電荷並びに前記１番目乃 至Ｍ番目の加重静電容量素子の合計の電荷の感知が、前記（Ｍ＋１）番目乃至２ Ｍ番目の加重静電容量素子が前記入力信号電圧に負の符号をつけたものによって 充電される時は差別的に行なわれ、前記（Ｍ＋１）番目乃至２Ｍ番目の加重静電 容量素子が負の符号をつけたものではなく、入力信号電圧によって充電される場 合は相補形に行なわれるプロセッサ。
2. ２．前記プロセッサが、１番目乃至Ｎ番目の相次ぐ序数によって夫々同定される 複数個（Ｎ個）のプロセッサの内の１つであって、該プロセッサは同じ１組の入 力信号を受取り、こうして１番目乃至Ｎ番目のプロセッサを含む神経網の層を形 成する請求項１記載のプロセッサ。
3. ３．神経網の別の層から同じ１組の入力信号を受取る神経網の層に設けられた請 求項２記載のプロセッサ。
4. ４．神経網の別の層に対する１組の入力信号として、Ｍ個のニューロン形応答を 供給する神経網の層に入っている請求項２記載のプロセッサ。
5. ５．各々の加重静電容量素子が他と同じ形式のディジタル・キャパシタであって 、各々のディジタル・キャパシタの静電容量が夫々の２進数のプログラミング信 号によってプログラムされる請求項１、２、３又は４記載のプロセッサ。
6. ６．夫々の序数がＭだけ異なる前記加重静電容量素子となる各対のディジタル・ キャパシタに対して夫々２進カウンタが設けられ、夫々の２進カウンタは対応す るディジタル・キャパシタに２進数のプログラミング信号を供給し、更に各々の ２進カウンタのカウントを選択的に増数又は減数する回路を有する請求項５記載 のプロセッサ。
7. ７．夫々の序数がＭだけ異なる前記加重静電容量素子となる各対のディジタル・ キャパシタに対する夫々のワード記憶素子を有する２進数用メモリ配列を有し、 夫々のワード記憶素子はそれに対応するディジタル・キャパシタに２進数のプロ グラミング信号を供給する請求項５記載のプロセッサ。
8. ８．各々の加重静電容量素子が互いに同じ形式のディジタル・キャパシタであっ て、各々のディジタル・キャパシタの静電容量が夫々の２進数のプログラミング 信号によってプログラムされ、夫々の序数がＭだけ異なる前記加重静電容量素子 となる各対のディジタル・キャパシタに対して夫々２進カウンタが設けられ、夫 々の２進カウンタはそれに対応するディジタル・キャパシタに２進数のプログラ ミング信号を供給し、更に、アナログ計算を実施する為に、前記第１及び第２の 複数個の加重静電容量素子を用いて、逆向き伝搬計算に従って各々の２進カウン タのカウントを選択的に増数又は減数する回路を有する請求項３又は４記載のプ ロセッサ。
9. ９．各々の加重静電容量素子が互いに同じ形式のディジタル・キャパシタであっ て、各々のディジタル・キャパシタの静電容量が夫々２進数のプログラミング信 号によってプログラムされ、その序数がＭだけ異なる前記加重静電容量素子とな る各対のディジタル・キャパシタに対する夫々のワード記憶素子を持つ２進数用 メモリ配列を有し、該ワード記憶素子はそれに対応するディジタル・キャパシタ に２進数のプログラミング信号を供給し、更に、アナログ計算を実施する為、前 記第１及び第２の複数個の加重静電容量素子を使って、逆向き伝搬計算に従って 、各々のワード記憶素子に記憶されている２進数を選択的に増数又は減数する回 路を有する請求項３又は４記載のプロセッサ。