JPH02226492A - ニユーラル・ネツトワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ、産業上の利用分野 本発明は情報処理のネットワーク、特に半導体装置技術
で実現されるニューラル・ネットワークに関する。

Ｂ、従来の技術 情報処理のニューラル・ネットワークの分野に最近大き
な関心が集まっている。ニューラル・ネットワークは生
きている生物に備わったニューロンの構造及び機能によ
く似ているある形態の電子ネットワークである。究極の
目標は生物的システムの効果的な機能の全部又は一部を
表示することができる人ニジステムを構築することであ
る。

ニューラル・ネットワークの領域で行なわれている研究
の範囲はかなり広い、ひとつの従来の技術では、有機体
のニューロンのシステムの重要な特性が、これらと同じ
生物学的特性のより深い理解を得るように電子ネットワ
ークを設計する際に用いられている［Ｈｏｆ゛ｄ−”− Δ　　　ｏｃ　ｅｄ’　　　ａｔ’ｏｎａｌ　　ｃａｄ
　ｍ　　Ｓｃ’ｅｎｃｅ９４９８　　　　］が、別のシ
ステムはニューロンの複雑な細部の機能の模倣を試みて
いるＯｎ　　ｅ　　ｅｎＣＯＮｅｕｒａ　　　　ｎ　　
ｔｗｏｒｋ　　　　　　　　９８７　　　　　　　　　
　　］。

ネットワークの中にはスピーチ生成［３烏」ＩはＦＥＣ
５−８６０９６コ、又は映像［ｈ■Ｅｔ邊−Ｎｔｕ　　
　３０６　　　　９８３　　　　　］のような極めて特
定の問題を解決するためにモデル化され（又は）構築さ
れているものがある。他のネットワークは領域がより一
般的であることを要求し、全ての種類の問題の解決方法
を明確にすることを期待している。

米国特許第４６６０１６６号に詳細に記述されているｔ
ｌｏｐｆｉｅｌｄネットワークは、スピングラスの作用
を模倣する非線形スイッチの相互接続の複合ネットワー
クである。　Ｉ（ｏ　ｐ　ｆ　ｉ　ｅ　ｌ　ｄネットワ
ークは出力導体及び入力導体のマトリックスである（出
力導体は複数の”ニューロン”を形成する）、ネットワ
ークの各ニューロンは、学習によって又はプログラムに
よってネットワークに入れられるパラメータを掛けられ
る一連の入力と単一のしきいスイッチとから成る。そし
て入力の積は合計され、もし合計が一定のしきい値を越
えれば、ニューロンの出力は”オン”状態にセットされ
、さもなければ”オフ”状態になる。各ニューロンの出
力はネットワーク内のあらゆるニューロンの入力に結合
され、それによってすべて相互接続されたネットワーク
を形成する。ネットワークに組込まれる欠くことのでき
ない”メモリ”はニューロンの入力に印加される乗法パ
ラメータに含まれる１乗法パラメータは各しきいスイッ
チに結合された抵抗器によって供給される。

１１ｏｐｆｉｅｌｄタイプのネットワークは、少なくと
も生物学的なニューラル・ネットワークの機能を思い出
させるかなり多数の望ましい特性を発揮することが明ら
かにされている０例えば、ネットワークはパターン認識
の問題を並列モードで解決することができる。更に、ネ
ットワークはメモリの中の、入カバターンに最も近い突
合せパターンをたとえ人力ビットの多くに誤りや欠落が
あっても見つけることができる。該ネットワークは内容
アドレス可能メモリとみなされる。このメモリはネット
ワーク全体に分布されており、ネットワークのどこか１
つの物理部分に含まれているのではない。

よって、ネットワークはその一部分が消されたり変更さ
れたりしてもうまく動作することができる。

このタイプのネットワークには幾つかの制約がある。即
ち、ネットワークは常に指定された入力に応答して、所
望のパターンではないかも知れないパターンを戻す、更
に、それは突合せが入力から離れ過ぎている（従って、
その結果は戻すべきではない）かどうかを判定する能力
を内蔵していない。

Ｃ０発明が解決しようとする課題 Ｈｏｐｆｉｅｌｄタイプのネットワークはコンピュータ
・シミュレーションで作動するように示されているが、
ハードウェア装置でネットワークを実現するのは困難で
ある。特に、メモリ素子を抵抗器によって組込み且つ能
動素子に複合トランジスタ回路を用いる非常に規模の大
きいネットワークを構築することは実際的ではない、米
国特許第４７６０４３７号はメモリゾ゛子として光導電
体を利用し、その入射光のレベルの制御により所望のイ
ンピーダンスを設定する１ｌｏｐｆｉｅｌｄニユーラル
・ネットワークの１つの実施例を開示している。もう１
つの従来技術の実際のネットワークの製作の例はＮｅｔ
ｗｏｒｋｓ　　４６１　９８７　　　　コによって示さ
れている。この例ではトランジスタ増幅器のアレイを相
互接続する抵抗結合素子のＨｏｐｆｉｅｌｄマトリック
スを実現するＣＭＯＳアソシアティブ・メモリ・チップ
が開示されている。　　Ｉ（ｏｐｆｉｅｌｄネットワー
クと対照的に、ネットワークによって記憶されたデータ
はマトリックス内に局所的に示され、それによって所要
の相互接続の数が減らされる。

０２課題を解決するための手段 本発明は、ネットワークの欠くことのできないパラメー
タとして、従来技術のシステムによって用いられた抵抗
性素子とは対照的にＭＯＳＦＥＴのような半導体装置の
しきい値を利用するｌ＋ｏｐｆｉｅｌｄタイプのニュー
ラル・ネットワークに関する。ネットワークは相互接続
され、個々のＭＯＳＦＥＴのしきい値を調整することに
より入力データの局所的な学習を可能にする。　　ＭＯ
ＳＦＥＴは本質的にしきいタイプの装置であり、その出
力応答はそのしきい電圧−装置の電流が流れ始める電圧
−を変えることにより変更することができる。特定のＭ
ＯＳＦＥＴのしきい電圧はトランジスタの絶縁体に蓄積
される電荷量を変えることにより簡単に変更することが
できる。更に、ＭＯＳＦＥＴによって運ばれる電流は装
置のしきい電圧よりも高いバイアス電圧の線形関数であ
る。各ネットワークの交差部分での学習パラメータとし
てＭＯＳＦＥＴのしきい値を用いることにより、該ネッ
トワークは乗法的ではなくなり、その結果、ずっと容易
にハードウェアで実現される。

本発明のニューラル・ネットワークは複数のニューロン
−その各々は本来多くの人力を有するしきい値スイッチ
である−を含む、このスイッチは入力関数を合計し次に
それがオン状態であるかどうかを判定する。各ニューロ
ンの出力を、選択された数の隣接したニューロンの入力
に結合させることにより、ネットワークは”局所の”学
習を可能にする。入力機能は従来技術のシステムにおけ
るように乗法的ではなく、むしろ各入力での入力信号と
個々の学習されたしきい値との差を表わす０本発明の実
施例では、ニューロンの各入力はｎチャネルＭＯ３ＦＥ
Ｔ及びｐチャネルＭＯ５ＦＥＴを含む対のＭＯＳ　）−
ランジスタから成る。各々のＭＯＳＦＥＴ対はニューロ
ンの”シナプス”を表わす、相補形ＭＯ５ＦＥＴの対は
、該）４０ＳＦＥＴのしきい値のまわりで単調に増加し
ている対称性の出力応答を供給するために必要である。

出力応答の対称性の重要性は後で詳細に説明する。多数
のこれらの対は出力導体に並列に結合され、電流が総計
されることを保証する。その結果得られる出力はニュー
ロンのしきいスイッチに供給される。出力導体はニュー
ロンの樹状突起を表わす、　ＭＯＳＦＥＴの各相補対は
ネットワークの個々の学習素子を含み、学習された情報
は該ＭＯ５ＦＥＴの個々のしきい値としてネットワーク
に記憶される。

本発明の良好な実施例では、ソース及びドレーンが並列
に結合される多重ゲートｎチャネルＭＯ５ＦＥＴ及び多
重ゲートＰチャネルＭＯ３ＦＥＴによってニューロンが
提供される。相補形多重ゲートの対応するゲートの対が
互いに結合され、種々の入力をニューロンに供給する。

出力しきい装置は単一のＭＯＳＦＥＴによって提供され
る。

局所学習は多重ゲートのゲート絶縁体における電荷捕捉
によって行なわれる０個々の各入力トランジスタの絶縁
体における電荷捕捉は、各トランジスタがネットワーク
の現在の状態を補強するのに役立つように、入力端子及
び出力電圧の双方に対応して各トランジスタのしきい値
を自動的に調整する。各トランジスタは学習するにつれ
てその出力を拡張又は抑止するように局所的に学習し、
もし入カバターンが一定時間を越えて連続してネットワ
ークに提示されれば、各トランジスタはそれが出会う条
件に関して単純な平均値を学習する。

従って、ネットワークは前例によって学習する。

本発明のネットワークは２つのモード−学習モード及び
アソシアティブ・メモリ・モードで動作することができ
る。学習モードでは、入カバターンがネットワークに印
加され、該入カバターンが学習されるまで入力トランジ
スタのしきい値が絶えず調整される。パターンを順次に
ネットワークに提示することにより、該ネットワークは
複数のパターンを学習することができる。アソシアティ
ブ・メモリ・モードでは、しきい値は一定に保持され、
検査入力がネットワークに印加される。そして学習素子
の出力電圧が安定した状態に達し、それによって検査パ
ターンに最も類似した学習されたパターンが出力として
供給される。

Ｅ、実施例 第１図は本発明によるニューラル・ネットワークの一部
分の概要図である。第１図に示すネットワーク　１０は
複数の出力電極１２及び複数の入力電極１４を含む、ネ
ットワーク　１０は出力電極１２及び入力電極１４を相
互に結合する複数の電子学習素子１６も含む、該ネット
ワーク内の出力電極及び入力電極の数は設計アプリケー
ションによって異なるが、例示のため、第１図では３Ｘ
３のマトリックスを示す０表示記号として、出力電極１
２は１（ｉ＝１〜Ｍ）で表わされ、入力電極１４はｊ　
（ｊ＝１〜Ｎ）で表わされる１Ｍ及びＮは０よりも大き
い任意の整数である０Ｍは出力電極の合計数に等しく、
Ｎは入力電極の合計数に等しい。

第１図では１Ｍ及びＮはどちらも３に等しい、各出力電
極１２はＶ、と呼ばれる出力電圧を有する出力増幅器１
８を含む、各出力電極１２にある学習素子１６の各々は
しきい電圧Ｔ、、を有し、且つＪ それぞれが入力電圧Ｖ、を有する。学習電極１７は各出
力増幅器１８に結合され、ネットワーク１０によって学
習される状態、電圧■、Ｌを入力する。

第１図の３ｘ３のマトリックスで、出力電極１２はｉ　
＝１．２．３と指定され、入力電極１４はＪ＝１゜２．
３と指定される。学習素子１６の各々は交差する出力及
び入力電極に対応してしきい値Ｔ１．をＪ 有する。出力電極ｉ＝１では、学習素子１６はしきい値
Ｔ１，１、１，２、Ｔ１，３を有し、該素子の各々の入
力はｖｌ、ｖｌ、ｖ３である。残りの学習素子も同様に
図示のように指定される。

第２図は学習素子１６の１つの詳細を示す、素子１６の
各々は並列に接続されたｎチャネルＭＯ５ＦＥＴ２０及
びＰチャネルＭＯ５ＦＥＴ２２を含む、　ＭＯ５ＦＥＴ
２０及び２２は１図示のように、双方のドレーン、ソー
ス及びゲートをそれぞれ互いに結合することにより並列
に接続される。ソースはロード抵抗器ＲＬＩを介してア
ースのような一定の電位並びに出力増幅器１８（たぶん
ＭＯＳＦＥＴである）のゲートに接続される。ドレーン
は出力ＭＯ３ＦＥＴ１８のソース及び電源電圧ｖ８に結
合される。ゲートは互いに結合され且つ適切なｊ電極に
接続される。出力ＭＯ５ＦＥＴ１．８のドレーンは出力
電圧Ｖ、を供給するとともに抵抗器ＲＬ２を介してアー
スに結合される。

第１図で、各出力■、は１つのｊ入力電極１４にフィー
ドバックされる。■、は１番目の電極１２で１つの学習
素子１６に、そして２つの隣接した電極１２でそれぞれ
の学習素子に接続される。第１図のネットワークは単に
説明のためのものであり、出力が接続される隣接の電極
１２の数はネットワークの出力及び入力電極の合計数に
よって決まる０図示のように、■はノード２４でＪｌに
接続され、■はノード２６でＪに接続され、そして■３
はノノード２８でＪに接続される。よって、■１の出力
型圧はノードｖ１，１、■１，２、■１，３で３つのｉ
電極に入力される。　Ｖ２の電圧はノードｖ２，１、■
２，２、ｖｌ、３で３つのｉ電極に入力される。同様に
、Ｖ３の出力電圧は図示のように入力される。

各学習素子１６は、良好な線形近似によって、その入力
での入力ゲート電圧としきい電圧の間の差の絶対値に比
例する電流を運ぶ、よって、各ニューロンの出力電圧は
各学習素子の出力の和に比例し、下式によって与えられ
る： 上式で、ａは学習素子１６の利得によって決定されるＯ
よりも大きい定数である。

式（１）は各出力列の電極における各学習素子１６の出
力の合計である。これは各トランジスタが適切に結合さ
れたしきい値を有し且つ線形区間で動作されるとき入力
ＭＯ３ＦＥＴの対を良好に表示する。

このように動作するとき５どの１つの時点をとっても電
流はトランジスタの１つを通ってだけ流れている。不可
欠な出力応答の対称性が絶対値関数で捕らえられる。こ
の関数の正確な形式は重要ではなく、下式も同様にうま
く適合する：Ｌ−ａ　Σｊ：Ｎ（Ｖ−Ｔ、−）２（２）
１Ｊ：Ｉ　　　　Ｊ　　　　ＩＪ ａｇ。

式（２）も必要な対称性を与える０式（１）の例のｖＬ
＝　ａｒ：、ｉ：１７１　ｖｊ−Ｔ、　＋　　　　（１
）”ｌ■ｌ−”１，１１　”　ａｌ　Ｖ２−　Ｖｘ、２
１　”　ａ　　Ｖ３−　Ｔｂ３ａｇ。

の合計に等しい。

第３図はネットワークの各入力ＭＯ５ＦＥＴの関数表現
形式を示す、第３図は対称的なＶ″の形を示す学習素子
１６の出力関数対入力関数を表わす。

異なるしきい値の関数の位置を図示する３つのカーブが
示されている。カーブＩ、■及び■はそれぞれ０．５ボ
ルト、０．８ボルト及び約０．２ボルトのしきい値Ｔ６
．を持つＦＥＴに関するものである０式（２）のカーブ
は図示されていないが、同様な関数の結果を与えるＵ″
の形を表わす。

局所学習アルゴリズムを組込む動的学習ネットワークを
設けるためには、極めて特殊な方法でデータを表示しな
ければならない、学習パラメータは与えられた入力に基
づいて特定の出力を局所的に拡張するか又は抑止しなけ
ればならない、２進表示では、拡張は、もしノードへの
入力が１ならば出力は１になり、ノードへの入力がＯな
らば出力はＯになることを意味する。同様に、抑止は、
１の入力がＯの出力を生じ、０の入力が１の出力を生じ
ることを意味する。これは、ノードは１の入力が１の出
力を生じることを習得すると、０の入力がＯの出力を生
じることも習得していることを意味する。他のどんなメ
モリの内部表示も所望の結果は生じない、従って、構造
及び該構造の関数を表わす式における対称性が要求され
る。

前述のように、相補形ＭＯ５ＦＥＴの対は所望の対称性
を生じる出力対入力関数を生じる０局所学習アルゴリズ
ムも、ＭＯＳＦＥＴのしきい値が出力を拡張するか抑止
するかを同様の方法で調整するように一定の対称性を所
有しなければならない、学習モードでは、しきいＴ１．
はＶ、及び■、が同じときＩＪ　　　　　　Ｉ　　　　
　　　　　Ｊは必ず低い方の値に押し下げ（拡張し）な
ければならない、同様に、Ｔ１．はＶ、と■、が異なる
とＩＪ　　　　　　　Ｉ　　　　　　　Ｊきは必ず大き
い方の値に押し上げ（抑止し）なければならない、１つ
の適切な学習方式は下式で４えられる： Ｔ＝、　＝　Ｔ１．＋ａ　　（ｌ　Ｖ−Ｖ−ｌ−β）（
３）ＩＪ　　　　　　ＩＪ　　　　　　　　　　　　Ｊ
　　　　　１上式で、■、、は新しいしきい値、Ｔ１．
は前のしＩＪ　　　　　　　　　　　　　　　　　　　
　　　　　　ＩＪきい値であり、α及びβは定数である
。αは一般に小さな数であり、学習率即ちしきいが調整
する相対的な量を規定する。βはＶの関連を仮定して名
目上のしきい位置を規定し、相対的に同じ大きさだけＴ
１．を押し上げ又は押し下げることによりＩＪ 対称性を保証する。第３図のようにＶ及びＴが０から＋
１の範囲にわたる本発明の実施例では１名目上のしきい
値は０．５に設定される。−例として、■、が■、に等
しい場合に、０．５に設定されたβにＩＪ よって、しきいは０．５αの量だけ下方に押し下げられ
、■、が１、Ｖ、がＯとなる極端な場合には、しきいは
０．５αだけ上方に押し上げられる。

学習はＭＯＳＦＥＴのゲート絶縁体に捕捉されている電
荷によって行なわれる。電圧差が絶縁体を横切って印加
されると小さな電流が流れるように個々のトランジスタ
が設計されなければならない。

この電流のあるパーセントが絶縁体に捕捉され、その結
果、しきいのシフトが生じる。もし負の電圧が印加され
れば、電子は捕捉され、しきいをより正の電圧レベルに
すると仮定する。同様に、もし正の電圧が印加されても
、電子は捕捉され、しきいをもっと正のレベルにする。

更に、トランジスタ設計パラメータは、絶縁体を横切っ
て電圧差が存在しないとき、捕捉された電荷が絶縁体か
ら漏れるように選択されなければならない、捕捉率と漏
れ率を等しくするように調整することは有利である０式
（３）の項で、捕捉率は定数α（ｌ−β）により与えら
れ、漏れ率はαβによって与えられる。この場合、ゲー
ト印加電圧Ｖ６＝　（Ｖｊ−Ｖρは１に等しい、この方
式を用いて５個々のゲート領域のしきいは、時間を超過
した各ゲートで見つかった平均状態を局所学習アルゴリ
ズムに反映させるようにそれ自身を調整する。その結果
、ネットワークの全体の関数はニューラル・ネットワー
クの関数となる。

式（３）によるしきいの調整はネットワークの現在の状
態を強化する傾向がある。もし特定のトランジスタのゲ
ートが高い状態であって該トランジスタが導電している
ならば、しきいは該トランジスタがもっと導電するよう
に調整される。従って。

第３図に示すように、カーブ！及びＨのしきい値は０．
０に向かって低い方の値にシフト′する。もしゲートが
高い状態であってトランジスタが他の並列トランジスタ
のために導電していないならば。

しきいは該トランジスタが導電する見込みが少なくなる
ように調整する。この場合、第３図で、しきい値は１．
０に向かってシフトする。これは本質的に簡単なヘビア
ン学習規則（Ｈｅｂｂｉａｎ　ｌｅａｒｎｉｎｇす、実
現するのにどん′な追加の回路も必要としない本ネット
ワークの特性である。この学習規則は、局所的に各トラ
ンジスタが学習するにつれて、その入力が拡張又は抑止
されるようになっている。

更に５もし時間を超過した複数の状態が見つかるならば
、各トランジスタはそれが出会う状態全体の単純平均を
学習する。

本発明のネットワークは事例により学習し学習した状態
を後で呼戻すことができる。それは時間を超過した古い
状態を忘れることができる特性も持っているにれらの概
念は２つのモードのどちらかで実現することができる。

学習モードでは、学習電極に印加された入力／出力のセ
ット、ｖｉはネットワークに提示され、ネットワークが
所望の出力状態を学習するまで、しきいは式（３）に従
って調整し続ける。検査モードでは、しきいが調整しな
くなるように学習パラメータαをＯにセットすることに
より学習が抑止される。これは、電荷捕捉がそれ以上は
起きないように、学習電極を介して学習素子に印加され
た電圧を落とすことにより行なうことができる。温度低
下等のような電荷捕捉を阻止する他のどんな手段も用い
ることができる。そして入力Ｖ、のセットは自動的にネ
ットワークに提示され、各々の学習素子の出力は式（１
）又は（２）に従って変化し、学習された出力に最もよ
く一致するネットワーク出力を供給する。よって、メモ
リはアソシアティブ・メモリの全ての所望の特性を有す
るスタティック・アソシアティブ・メモリとして作用す
る。動的学習モードでは。

学習パラメータは決してＯにはセットされない。

学習及びアソシアティブ・メモリ機能は作用し続ける。

これはシステムに提示された新しい状態が時間を超過し
て学習されることを意味する。同時に、アクセスされる
全ての学習された状態は絶えず強化される。廃止される
古いメモリはシステムによって徐々に忘れられてゆく。

本発明のニューラル・ネットワークの特定の実施例は多
重ゲートＭＯ５ＦＥＴを用いる第４図及び第５図に示す
０Ｍ０５ＦＥＴはシリコン並びに他の技術、例えばＧａ
Ａｓで実現することができる。第４図はネットワーク・
アレイの一部分の概要レイアウトを示し、第５図は該ア
レイの学習素子を含む個々の多重ゲートＭＯ５ＦＥＴ対
の詳細を示す、一般に。

第４図のネットワーク・アレイはソース及びドレーン領
域３１によって形成されるニューロン３０、並びにＮチ
ャネル・ゲート・ライン３２及びＰチャネル・ゲート・
ライン３４によって形成される入力電極を示す、第４図
に示す実施例では、相補形ＦＥＴ毎に５本のゲート・ラ
インが示されており。

それによって、各ニューロンに５個の学習素子を提供す
る。相補形ＦＥＴの相互接続はニューロン毎に接続ノー
ド３６によって示されている。

第５図は１つのセル３０の多重ゲートＦＥＴの相互接続
をより詳細に示す、ｎチャネルＦＥＴはｎ領域４４によ
り分離されたソースｎ＋領域４０及びドレーンｎ　領域
４２を含む、５本のゲート・ライン３２はｎｐｎ領域を
横切って配置され、対応する絶縁体（図示せず）はゲー
トと５個のｎチャネルＭＯ３ＦＥＴを形成するＰ形半導
体との間に配置される。同様に、ＰチャネルＦＥＴはｎ
領域５０によって分離されたｐ＋導電型を有するソース
領域４６及びドレーン領域４８を含む、５本のライン３
４はｐｎｐ領域を横切って配置され、対応する絶縁体（
図示せず）は５個のｐチャネルＭＯ５ＦＥＴを形成する
ようにゲートとｎ形半導体の間に配置される。

出力ＦＥＴ　５２はｎ＋領域５４及び５６並びにｎ領域
５８によって形成され、ゲート領域６０はゲ−ト絶縁体
（図示せず）上に配置されＭＯＳＦＥＴ　５２を形成す
る。ゲート６０はゲート・ライン６１を介してソース領
域４６に結合される。　ＦＥＴ　５２の出力Ｖ、は電極
６３に供給され、図示のように接続部６２及び６４によ
りそれぞれゲート・ライン３２及び３４の対応する対に
接続される相互接続部６５によって１つの特定の相補形
ＭＯ３ＦＥＴの対にフィードバックされる。学習される
状態Ｖ←は電極６７を介して出力ＦＥＴ　５２に入力さ
れる。ソース領域４０及び４６は相互接続部６６によっ
て互いに直接結合され且つロード抵抗器６８によってア
ースに接続される。同様に、ドレーン領域４２及び４８
は相互接続部７０により互いに結合され、ドレーン領域
４８及びソース領域５４は相互接続部７２により結合さ
れる。ドレーン５６はロード抵抗器７４を介してアース
に接続される。

出力ＦＥＴ　５２は高利得しきい値スイッチとして使用
される。第５図に示す実施例で、ＦＥＴ　５２は非反転
である。しかしながら、このステージは反転又は非反転
のどちらにもすることができる。これはデータの内部表
示にのみ影響を及ぼし、ニューロン３０の機能に強い影
響は与えない８反転ケースでは、シナプス回路はそれに
応じて調整する必要がある。どんな大きな複合システム
でも、出力ＦＥＴはネットワークの適切な機能を保証す
るとともに信号レベルを妥当なレベルに復元する非線形
入力対出力特性を持たなければならない、もし利得が十
分に高くはないならばシステムの学習機能は低下するか
ら、前記スイッチの一定の利得はシステムにとって重要
な実際的な条件である。

電荷捕捉を可能にする絶縁体構造を実現するために多く
の装置が用いられる。単純な酸化物、即Ｅｄ−４ｏ　　
　　ａ　　９７７に示すように利用することができる。

更に、二重電子注入構造を利用して絶縁体での電荷捕捉
を高めることができる。また、絶縁体で電荷を捕捉する
層として介在させるため伝導性のある小さな粒子の層が
用いられる。

これら及び他の装置は在来の半導体メモリ機構とともに
用いて学習素子を形成することができる。

印加される電圧の極性がどちらであっても電荷注入を同
じにすることは都合がよい。

本発明のネットワークは従来技術のｔｌｏｐｆｉｅｌｄ
ネットワークに幾つかの利点を提供する１本ネットワー
クはその動作で基礎となる半導体装置技術ＶＬＳＩの製
作を容易にするとともにネットワークの全体の大きさを
小さくする−の動作特性を利用する。装置のしきいをメ
モリ素子として使用することにより１本発明のネットワ
ークは局所学習アルゴリズムを用いて事例による学習を
することができる。このアルゴリズムは線形であり且つ
ネットワーク・ノードを構成する装置の組込み特性であ
る。学習サイクル中のしきい値を調整することにより、
ネットワークは所与の入カバターンの所望の出力を学習
する。もしパターンの複合性が表示されれば、各ノード
は一定期間にわたって観察されるパターンの単純平均を
学習する。それにもかかわらず、ネットワークは全体と
してネットワークが観察する個々のパターンを学習する
。

機能が種々のパラメータの量的変化に対して感度が適度
に低いという点でこのネットワークは粗である。学習パ
ラメータの変化、しきいに許容される飽和の程度、しき
いスイッチの利得及びネットワークの機能的な形態はネ
ットワークの機能に不利な影響を与えない、ネットワー
クが入カバターンを学習した後は、検査入カバターンが
入力され、式（１）又は（２）の制御によってネットワ
ークは平衡状態になることができる。しきい値は一定に
保持され、ネットワークの出力は人カバターンによって
トリガーされたネットワークの最終的な安定状態のメモ
リを表わす。

Ｆ１発明の効果 本発明によれば、しきい値を利用して局所的学習を行な
うニューラル・ネットワークをハードウェアで簡単に実
現できる。

【図面の簡単な説明】

第１図は本発明の二′ユーラル・ネットワークの概要図
である。 第２図は第１図のニューラル・ネットワークの１つのノ
ードの概要図である。 第３図はネットワーク・ノードの入力電圧及び出力電圧
の間の関係を表わす図表である。 第４図は本発明のニューラル・ネットワークの多重ゲー
トＦＥＴのインプリメンテーションの概要図である。 第５図は第４図の多重ゲートＦＥＴの１つのニューロン
の概要図である。 １０・・・・ネットワーク、１２・・・・出力電極、１
４・・・・入力電極、１６・・・・学習素子、１７・・
・・学習電極、１８・・・・出力増幅器、２０・・・・
ｎチャネルＭＯ５ＦＥＴ、２２・・・・ｐチャネルＭＯ
５ＦＥＴ、３０・・・・ニューロン、３１・・・・ソー
ス及びドレーン領域、３２・・・・Ｎチャネル・ゲート
・ライン、３４・・・・Ｐチャネル・ゲート・ライン、
３６・・・・接続ノード、５２・・・・出力ＦＥＴ。 ＦＩＧ、３

Claims (1)

1. 【特許請求の範囲】 交差領域で複数の入力電極と交差する複数の出力電極、
   及び前記交差領域で前記出力電極を前記入力電極に結合
   する複数の電子素子のマトリックスと、 入力信号が前記電子素子によって絶えず処理されるよう
   に前記電子素子を相互接続する手段とを含み、 前記電子素子の各々はその出力電圧がその入力電圧の関
   数としてしきい値電圧から正及び負の両方向にほぼ対称
   的に増加するしきい値装置を含むニューラル・ネットワ
   ーク。