JPH0620076A

JPH0620076A - 相関学習アルゴリズムに関わる並列シナプス重み調整に適応する神経回路網

Info

Publication number: JPH0620076A
Application number: JP5075077A
Authority: JP
Inventors: Hernan A Castro; ハーナン・エイ・カストロ
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 1992-03-12
Filing date: 1993-03-10
Publication date: 1994-01-28
Also published as: US5237210A

Abstract

(57)【要約】【目的】広範囲にわたる学習アルゴリズムにおいて重
み調整を並列して実現する回路に結合するシナプスセル
で相関学習を実行する神経回路網を提供する。【構成】その回路はシナプス動作の学習部分を実行
し、セルの接続重みを記憶する共通フローティングゲー
ト部材を共有する一対のフローティングゲートデバイス
を含んでいる。並列重み調整は、新規なデバイアス技法
を利用して、所定数のサイクルの中で実行される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は人工神経回路網の分野に
関し、特に、複数の異なる神経学習アルゴリズムを実現
する回路及び方法に関する。

【０００２】

【従来の技術】人工神経回路網は、音声認識及び画像認
識の分野で単純な計算素子の密な相互接続を介して人間
に類似する性能を実行することを試みる１種の電子回路
である。神経回路網構造と電子回路は回路網中の計算素
子から構成され、それぞれ、現在の我々の生物神経系に
関する理解に基づいている。神経回路網の有望さは、命
令のプログラムを順次実行する従来のノイマン型コンピ
ュータの性能をはるかに越えて、情報を速い計算速度で
並列処理する能力にある。

【０００３】一般に、神経回路網は１組の水平線路から
構成されるマトリクスの形態をとり、それらの水平線路
は１組の垂直線路と交差し、垂直線路に結合している。
水平線路の脳の皮質の軸索突起の機能をシミュレート
し、回路網に入力を供給する。垂直線路は樹状突起の機
能をシミュレートする。垂直の樹状突起線の末端は、神
経細胞体として知られている体細胞の機能を模す合計装
置に至る。そのような回路網の例は米国特許第４，９５
０，９１７号、第４，９０６，８６５号及び第４，９０
１，８８１号で見られる。

【０００４】神経回路網内部においては、生物シナプス
の機能をモデル化するために電子回路を採用する。総じ
て、それらの回路は回路網の水平線路と垂直線路とを抵
抗を伴なって相互接続する。個々のシナプスセルは入力
端子と、合計素子（すなわち、神経細胞体）とを重みを
付けて電気的に接続する。接続の相対的強さは、多くの
場合、訓練又は学習のプロセスの間に変化する。相互接
続の強さをメモリの重みと呼ぶことが多い。

【０００５】電子シナプスセルは、接続重みを電荷の形
態で記憶するために開発されたものである。これまでに
研究された様々な電気シナプス回路構成方法の中で、最
も有望であるデザインはフローティングゲートデバイス
を採用している。フローティングゲートデバイスでは、
蓄積されている電荷の値に従って電流の流れを変調す
る。重みを記憶するためにフローティングゲートデバイ
スを採用する半導体シナプスセルの例は米国特許第４，
９５６，５６４号及び第４，９６１，００２号に記載さ
れている。

【０００６】神経回路網回路の最も興味を引く点の１つ
は、その学習能力である。学習プロセスの間、回路網に
は１組の訓練データ入力が提示される。各組の入力ごと
に回路網の出力を計算し、所望の出力と比較する。次
に、シナプス接続の重みを重み調整アルゴリズムに従っ
て調整する。これまでに多様な学習アルゴリズムが開発
されており、その中で最も一般的なのは「ローカルルー
ル」、すなわち、「外積」重み更新規則を採用するアル
ゴリズムである。その場合、ある特定のシナプスに関わ
る重みの変化（すなわち、符号）は入力の符号と、出力
に関連する何らかの量とに比例する。出力に関連する量
は接続している神経細胞と関連しており、本出願におい
ては、この量を量Ωと呼ぶ。量Ωをどのように解釈する
かは、採用した特定の学習アルゴリズムによって異な
る。ローカルルール級のアルゴリズムには、たとえば、
ヘビアンアルゴリズム，ボルツマンアルゴリズム，ミー
ンフィールドアルゴリズム，デルタルールアルゴリズ
ム，バックプロパゲーションアルゴリズムなどがある。

【０００７】従来の神経回路の欠点の１つは、学習能力
をチップに直接に組込むことができないという点であ
る。すなわち、現在の神経回路網回路は学習手続きを回
路網自体と同一のシリコンチップに統合していないので
ある。このような回路では、ホストコンピュータにおけ
るシミュレーションによって重みを確定し、その後、重
みを回路網にダウンロードするのが普通である。学習を
チップ上で直接に実行できるようにした神経回路網を実
現することが好まれない理由の少なくとも１つは、関連
するアルゴリズムが相対的に複雑であり且つ１つの特定
の種類のアルゴリズムに任せないという慎重な方式であ
るということであった。たとえば、従来の研究によっ
て、今日のいくつかのアルゴリズムは最適の学習を実行
させないことが明らかになるかもしれない。

【０００８】

【発明が解決しようとする課題】以下の説明からわかる
通り、本発明はいくつかの学習回路と、１クラスの学習
アルゴリズムをアナログ方式で並列して実現するいくつ
かの方法とを開示する。アナログ方式は大半のデジタル
実現形態と比べて、元来、高密度であり、計算速度につ
いてもすぐれている。従って、本発明は、学習モードの
間に高速動作が可能である非常に密な回路網を提供す
る。さらに、学習をチップ自体に組込むことにより、神
経回路網アーキテクチャに本来備わっている並列性のた
めに重み調整プロセスは向上する。そこで、本発明の回
路網は重みをリアルタイムで調整できるという点で真に
適応性に富む回路網なのである。

【０００９】

【課題を解決するための手段】本発明は、シナプスセル
において相関学習を実行する神経回路網を対象とする。
本発明の回路網では、複数のシナプスセルは広範囲にわ
たる学習アルゴリズムで重み調整を並列して実現する対
応する複数の半導体回路に結合するか、あるいは、その
ような半導体回路を内部に組込んでいる。それぞれの回
路は関連する１つのシナプスセルに結合している。半導
体回路はシナプス動作のプログラミング部分、すなわ
ち、学習部分を構成し、シナプスセルのその他の部分は
計算素子を形成する。様々な実施例において、それら２
つの部分はセル自体と一体である。

【００１０】一実施例では、それぞれの半導体回路は１
つの共通フローティングゲート部材を共有する第１及び
第２のフローティングゲートデバイスを含む。フローテ
ィングゲート部材はシナプスセルの接続重みを電荷の形
で記憶する。フローティングゲートデバイスをプログラ
ム及び消去する手段は、第１及び第２のフローティング
ゲートデバイスの制御ゲートにそれぞれ結合する第１及
び第２の入力線から構成される。学習中、フローティン
グゲート部材は、第１及び第２の入力線がほぼ同じ電位
であるときに限ってプログラム及び消去される。本発明
によれば、重み調節を並列して実現する方法は、所定数
のサイクルの中で並列して重み更新を実行させるデバイ
アス技法を利用することから成る。電荷は、高電圧パル
スの流れを印加することにより、学習回路のフローティ
ングゲート部材に量を定めて供給される。それらのパル
スは、位相に応じて、デバイアスするか又はフローティ
ングゲートデバイスに電界を誘導するように作用する。
別の実施例では、学習回路は学習のために要求されるサ
イクルの数を減らすように設計された追加の制御素子を
含む。

【００１１】

【実施例】神経回路網の並列学習をシリコンで実現した
形態を説明する。以下の説明中、本発明を完全に理解さ
せるために、特定の電圧，導電型，構成などの特定の詳
細な事項を数多く挙げるが、本発明を実施するに際して
それらの特定の詳細な事項が不可欠ではないことは当業
者には自明であろう。また、場合によっては、本発明を
無用にわかりにくくするのを避けるために、周知の構造
や回路を詳細に示さない又は説明しないことがある。

【００１２】〔４サイクルの神経重み更新〕図１を参照
すると、フローティングゲートデバイス２０及び２１を
具備する半導体学習回路１２の概略図が示されている。
図示する通り、２つのフローティングゲートデバイスは
プログラミングビット線１４及び１５の間に接続されて
いる。デバイス２０の制御ゲートは正プログラミング入
力線１７に結合し、デバイス２１の制御ゲートは負プロ
グラミング入力線１８に結合している。双方のデバイス
２０及び２１のフローティングゲート部材は一体に（す
なわち、共通して）結合している。図１に示す素子は、
全て、従来の金属酸化物半導体（ＭＯＳ）プロセスの流
れを使用して製造されれば良い。（尚、図１の概略回路
図は、重み適応の間のフローティングゲートデバイスの
機能を明白にすることを目的として抽象的に描かれたも
のである。）

【００１３】共通フローティングゲートにプログラムさ
れる電荷はシナプスの重みを表す。この重みは、図１に
は、個々のシナプスセル１０の計算部分に結合するとし
て示されている。以下に短く、さらに詳細に説明する
が、半導体回路１２は神経細胞間の相互接続強さを適応
変化させることにより神経回路網における学習機能を実
行する。この相互接続強さはシナプス重みにより表さ
れ、回路１２においては、フローティングゲート２０及
び２１のプログラミングと消去によりシナプス重みを変
化させる。

【００１４】通常、フローティングゲートデバイス２０
及び２１は、ゲートと、ドレイン又は別個の拡散端子の
いずれかとの間に製造された薄い（１００オングストロ
ーム程度）酸化物を通した電荷注入を経てプログラムさ
れる。フローティングゲートへのプログラミングを実行
するためには相対的に高い電圧（たとえば、１０〜２０
ボルト）が要求される。消去中にもそれと同じ高い電圧
が必要である。消去は、通常、フローティングゲートか
ら基板への電荷のファウラー‐ノルトハイムトンネリン
グを経て起こる。通常の条件の下では、デバイス２０及
び２１を通るときのコンダクタンスは、共通フローティ
ングゲート部材に蓄積されている電荷の量に正比例す
る。フローティングゲート部材は通常は絶縁誘電体層に
よりカプセル封じされているので、この電荷は無期限に
（たとえば、何年も）保持される。

【００１５】図１は学習回路１２をシナプスセル１０の
計算部分とは別の別個の素子として示しているが、数多
くの用途について、回路１２は神経回路網の各シナプス
セルの中に組込まれていることは認められる。言いかえ
れば、シナプス機能のプログラミング／学習部分及び計
算部分を、図１に示す基本素子を含む単一のセルの中に
統合するのが好ましい。例を挙げると、神経回路網にお
ける１つの合計線から別の合計線へ電荷を転送すること
によって動作する電子シナプス回路の１種は、本発明の
譲受人に譲渡されている１９９２年１月６日出願、名称
「ＣｈａｒｇｅＤｏｍａｉｎＤｉｆｆｅｒｅｎｔｉ
ａｌＣｏｎｄｕｃｔａｎｃｅＳｙｎａｐｓｅＣｅ
ｌｌｆｏｒＮｅｕｒａｌＮｅｔｗｏｒｋｓ」の同
時係属特許出願、第０７／８１２，６８４号に記載され
ている。上記出願におけるシナプスセルを、それぞれ、
本発明の学習回路と方法を組込むように適応させるのは
容易である。

【００１６】図２は、図１の学習回路１２の等価の概略
図である。図２の回路１２は、２つの制御ゲート１７及
び１８と、フローティングゲート部材２２とを有する単
一の電界効果デバイスとして簡略化した形態で示されて
いることに注意すべきである。図１のプログラミングビ
ット線１４及び１５は単一のソース／ドレイン線１９に
併合して示されている。これは、プログラミング中及び
消去中には、フローティングゲートデバイスのソース線
とドレイン線の双方が共通して同一の電位に結合するた
めである。図１及び図２の回路では、プログラミングに
要求される相対的に高い電圧は正プログラミング入力線
１７及び負プログラミング入力線１８に沿ってそれぞれ
対応する制御ゲートに結合する。

【００１７】セルの計算部分のレイアウトを考慮して又
は試験を目的としてソース線とドレイン線を区別するこ
とが好都合である場合を除いて、ソース線とドレイン線
を図１に示すように別個に維持しておく必要はないこと
がわかる。事実、図２の簡略化した図を２つの制御ゲー
トを有する単一のＭＯＳフローティングゲートデバイス
として製造することができ、その場合、フローティング
ゲート部材をシナプスセルの計算部分へルーティングで
きる。

【００１８】回路網の動作の中で学習段階の間には、回
路網に１組の訓練例が提示されるのが普通である。例ご
とに、回路網の出力を所望の出力と比較する。比較後、
回路網の相互接続強さを適正な学習アルゴリズムに従っ
て調整する。本発明に関しては、その調整は神経回路網
アレイの中の各シナプスセルの相互接続強さを変化させ
ることから成る。これを実行するのはプログラミング及
び消去用フローティングゲート部材２２である。

【００１９】たとえば、図２のソース／ドレイン線１９
を接地し且つ入力線１７及び１８を高い正電位（たとえ
ば、２０ボルト）に引上げることにより、図２のデバイ
ス１２に電荷をプログラムしても良い。このような条件
の下では、フローティングゲート部材２２に電荷を蓄積
し、その蓄積の大きさは高電圧を印加する持続時間と、
その振幅とに比例する。図２の回路と関連するキャパシ
タンスは、入力線１７及び１８の一方又は双方が相対的
に低い電圧（たとえば、〜１０ボルト以下）に引下げら
れた場合に、フローティングゲートデバイス１２のプロ
グラミングを実行するのに十分な電界が存在しなくなる
ようなものである。

【００２０】消去中にも同じことがいえる。消去中、ソ
ース／ドレイン線１９を相対的に高い電圧（たとえば、
２０ボルト）に結合し、入力線１７及び１８を低電圧、
好ましくは接地電位に設定する。その結果、フローティ
ングゲート部材２２に存在する電子は基板の中へトンネ
リングする。ところが、入力線のいずれか一方１７又は
１８の電位が、ソース／ドレイン線１９の電位に近いレ
ベルまで上がると、消去は起こらない。すなわち、フロ
ーティングゲート部材２２のプログラミング状態に変化
は起こらないのである。そのような条件の下では、デバ
イス１２は有効にバイアスを除去されるので、フローテ
ィングゲート部材２２に記憶された重みは影響を受けな
い。繰返していえば、入力線１７及び１８の一方が低電
位であり且つ他方が相対的に高い電位にあるときには、
必ず、デバイス１２のプログラミング状態に変化は起こ
らない。本発明による神経回路網は、動作の学習段階の
間、以下にさらに説明する通り、この事実に依存して動
作するのである。

【００２１】そこで図３を参照すると、行と列を成すよ
うに配列した複数のシナプスセル２５を具備する神経回
路網の一部が示されている。シナプスセル２５が入力線
２３及び２４を介して供給される入力電圧と、セル内部
に記憶されている重みとを乗算することは明白なはずで
ある。この計算の結果を、同じ列の他の全てのシナプス
セル、すなわち、同じ一対の列合計線Ｓ₁及びＳ₂に沿っ
て結合している他の全てのシナプスセルの結果と合計す
る。尚、図３に示す特定のシナプスセルは、入力線２３
及び２４におけるパルス電圧遷移に応答して電荷を一方
の合計線から他方の合計線へ移送する種類のものである
ことに注意すべきである。回路網中の列合計線は、アレ
イのその列について入力電圧パターンと、記憶されてい
る重みとの一致が起こる時点を確定する神経合計装置に
結合している。神経合計装置は、通常の演算増幅器から
構成される。例を挙げれば、図３の合計線Ｓ₁及びＳ₂は
その列の一致状態、すなわち、＋Ωを指示し、一方、合
計線Ｓ₁′及びＳ₂′は不一致、すなわち、−Ωを指示し
ている。

【００２２】図からわかるように、それぞれのシナプス
セルは、学習アルゴリズムの並列実現のための学習回路
として機能する一対のフローティングゲートデバイス２
０及び２１を含む。たとえば、シナプスセル２５ａはフ
ローティングゲートデバイス２０ａ及び２１ａを含む。
それらのフローティングゲートは合計線Ｓ₁ と合計線Ｓ
₂ との間に結合している。それらは共に１つの共通フロ
ーティングゲート部材を共有する。フローティングゲー
トデバイス２０ａの制御ゲートはプログラミング入力語
線１７に結合し、フローティングゲートデバイス２１ａ
の制御ゲートはプログラミング入力語線１８に結合して
いる。神経回路網アレイを通してこのシナプス構造は繰
返し現れる。

【００２３】図３に示す電荷結合シナプスセルは、入力
線２３及び２４のいずれかに沿ってそれぞれのエネルギ
ーパルスを受信しながら少量の電荷を合計線を経て転送
してゆくことにより動作する。言うまでもなく、転送さ
れる電荷パケットの大きさは学習デバイス２０及び２１
のプログラムされた電圧閾値によって決まる。本発明に
従って特定の入力／出力一致の並列学習をいかにして実
現するかをさらに良く理解するために、次の例を考え
る。

【００２４】図３に示す一致条件が存在すると仮定す
る。すなわち、列合計線Ｓ₁及びＳ₂は一致条件を指示す
るが、列合計線Ｓ₁′及びＳ₂′は不一致を指示してい
る。学習プロセスの間、各列の合計線は、特定のシナプ
スセルをプログラムすべきか、消去すべきか又はそのシ
ナプスセルに記憶されている重みに対して変化が起こる
べきではないかに従って、非常に高い電圧、低い電圧又
は中間電位のいずれかに設定される。図３の状況の場
合、特定の列の合計線を等しい電位に設定するというこ
とは、ダイオードデバイスが有効に短絡されることを意
味する。すなわち、デバイス２０及び２１のソース領域
とドレイン領域の電位はほぼ等しい。

【００２５】上記の例の説明をさらに続けると、図４
は、図３の神経回路網の第１の学習サイクルを示す。図
４の簡略化した線図の場合、デバイス１２ａ（図３のシ
ナプスセル２５ａに対応する）は重み増加を目標として
おり、残るデバイス１２ｂ〜１２ｄはそのプログラミン
グ閾値を変化させないことになる。デバイス１２ａをプ
ログラムするときには、共通合計線Ｓ₁およびＳ₂（図４
の線路１９により表されている）を相対的に高い電圧、
たとえば、〜２０ボルトに結合する。プログラミング入
力語線１７を接地し、プログラミング入力語線１８は０
ボルトと、２０ボルトとの間で交互に遷移する高電圧パ
ルスの流れを受信する。入力プログラミング線１８がロ
ー（たとえば、０ボルト）になるたびに、消去が起こ
る。すなわち、デバイス１２ａの制御ゲートと基板との
間に高い電界が存在するために、電子はフローティング
ゲートから基板の中へトンネリングする。フローティン
グゲート部材に存在する電荷が減少するので、デバイス
１２ａのコンダクタンスは増加し、それによって、回路
網の相互接続強さは増す。尚、消去はプログラミング入
力線１８が低電位に保持されている間に限って起こる。

【００２６】入力線１８が高電位へ遷移するたびに、デ
バイス１２ａは有効にデバイアスされる。すなわち、入
力線１８とソース／ドレイン線１９が高電圧にあり且つ
入力線１７が接地されているときには、フローティング
ゲートが受ける電界は十分に弱められるので、消去（又
はプログラミング）は起こりえなくなる。この条件につ
いては、デバイス１２ａのプログラミング閾値に変化は
起こらない。このようにして、プログラミング入力の形
態をとる高電圧パルスを印加することにより、電荷を量
を定めてフローティングゲートに供給する。入力線１８
に現われている高電圧パルスは神経出力（すなわち、
Ω）とは無関係にすることができる周波数と振幅を有し
ており、そのため、アレイ全体に対して大域信号となり
うる。周波数は、符号とは関係なく、所望の入力信号の
大きさにより変調されるのが好ましい。この場合、プロ
グラミング入力線１８は入力線と並列して走っていても
良い。入力信号の符号は入力線１７の直流電位を制御す
る。あるいは、プログラミング入力線は入力線に対して
垂直に（たとえば、合計線と並列して）走っていても良
く、その場合には、同じように符号とは無関係に、神経
細胞出力（すなわち、Ω）の大きさにより周波数を変調
するのが好ましい。

【００２７】最初の学習サイクルの間には、図示した実
施例の４つのセルの中の唯一のセルの重みを変化させる
ということを認識するのは大切である。このサイクルの
間、列合計線と入力プログラミング線の電位を適切に制
御することによって、残る３つのセルの電圧閾値の変化
を阻止する。

【００２８】デバイス１２ａと同じプログラミング入力
語線を共用しているデバイス１２ｂについて考える。線
路１９′により表わされる合計線に中間電位（たとえ
ば、１０ボルト）を印加することにより、デバイス１２
ｂのプログラム又は消去を抑止する。中間電圧を印加す
るということは、プログラミング入力線１８が低電圧へ
遷移したときでも、フローティングゲートが受ける電界
の強さは基板への電子のトンネリングを発生させるには
不十分であることを意味している。従って、第１の学習
サイクルの間には、デバイス１２ｂのプログラミング状
態には変化は起こらない。

【００２９】ここで、第１のサイクルの間にアレイ中の
次の行にあるシナプスデバイスに何が起こるかを考え
る。図４のデバイス１２ｃも同様にプログラミング入力
線１８′に対するパルス流れ入力を受信する。列合計線
１９は高電位に結合しているが、プログラミング入力語
線１７′に同様に高い電位（たとえば、２０ボルト）を
結合しているので、サイクル１の間にはデバイス１２ｃ
の接続重みは変化しない。入力線１７′を高電圧に結合
した結果、この学習サイクルの間にデバイス１２ｃもデ
バイアスされることになる。同じように、デバイス１２
ｄはデバイス１２ｂと列合計線１９′を共有しているた
めに、記憶している重み条件の変化を受けない。並列学
習方法の第１のサイクルの間、列合計線１９′は中間電
位に維持されることを忘れてはならない。

【００３０】図５は、学習プロセスの第２のサイクルの
間の図３のアレイの印加電圧を示す。この場合にも、入
力プログラミング語線１８及び１８′は、低いプログラ
ミング電位と高いプログラミング電位との間で交互に遷
移する、たとえば、０ボルトから２０ボルトへ遷移する
高電圧パルスの流れを受信する。列合計線１９は接地点
に結合し、一方、列合計線１９′は約１０ボルトの中間
電圧に保持されている。入力プログラミング語線１７は
接地しており、シナプスセル１２ａ及び１２ｂをデバイ
アスする。デバイス１２ｃの入力プログラミング語線１
７′は高い正電位に引上げられているので、入力語線１
８′が高電位へ遷移するたびに、デバイス１２ｃのフロ
ーティングゲートはプログラミングされる。これによ
り、そのシナプスセルと関連する接続の重みは減少す
る。

【００３１】サイクル２の間には、合計線１９′に中間
電圧を印加することによりデバイス１２ｂもデバイアス
されることに注意する。先に説明した通り、入力プログ
ラミング語線１８′に印加されるパルスの流れの周波数
を印加される入力又は神経細胞出力（すなわち、Ω）の
大きさに対応させることができる。

【００３２】図６は、サイクル３の間に印加されるプロ
グラミング電圧のパターンを示す。この時点で、デバイ
ス１２ｄの重みは増加することになっている（すなわ
ち、消去）。これは、語線１７′を接地し且つ列合計線
１９′を約２０ボルトの高電位に引上げることにより実
行される。サイクル１の間と同じように、プログラミン
グ語線１８′に高電圧パルスの流れを印加すると、その
結果、語線１８′が接地するたびに、デバイス１２ｄの
フローティングゲート部材の電荷は消去される。デバイ
ス１２ｄと同じ行にあるデバイス１２ｃの重みの変化
は、合計線１９に中間電圧を印加することによって抑止
される。同様に、デバイス１２ａ及び１２ｂのプログラ
ミング状態は変化を受けない。すなわち、デバイス１２
ａは列合計線１９に沿って中間電圧を受取り、デバイス
１２ｂの語線１７は高い正電位に結合している。

【００３３】図７には、最後の学習サイクルであるサイ
クル４を示す。このサイクルではデバイス１２ｂをプロ
グラミングするので、それに対応するシナプスセルの接
続重みは減少する結果となる。先の場合と同様に、この
サイクルの間に、列合計線１９に結合する中間電圧を印
加することにより、隣接する列に位置する学習デバイス
（すなわち、デバイス１２ａ及び１２ｂ）をデバイアス
する。同じように、入力プログラミング語線１７′は接
地しているので、デバイス１２ｄの重みの増減は抑止さ
れる。このようにして、本発明により４サイクルで並列
学習を完了するのである。４サイクルで並列学習を実現
するに際しての条件を以下の表１に要約する。

【００３４】

【００３５】４サイクルの後のアレイ中のいずれかのシ
ナプスに対する正味の効果は、そのシナプスへの入力と
Ω（この場合には、神経細胞出力の一致条件を表わす）
が共に同じ極性である場合は、そのシナプスの重みは増
分されるが、同じ極性ではない場合には重みは減分され
るというものである。さらに、重みの増減の強さを入力
の強さ又はΩの強さに従って定めることができる。

【００３６】当業者には理解されるであろうが、本発明
はより大型の回路網へ拡張可能であるばかりでなく、別
の態様で編成されている回路網へも拡張可能である。た
とえば、本発明は複数の隠れ層を採用する回路網には理
想的な形で適合する。別の代替方法は、回路網の出力の
強さに応じて、学習電界効果デバイスにソース／ドレイ
ン電圧を印加するというものである。たとえば、消去
中、双方の入力語線を接地したままにしておく一方で、
出力の強さに応じて、列合計線の電圧を１８ボルトと２
０ボルトの間で変化させても良い。これらの代替実施例
がいずれも本発明の趣旨の中に十分に包含されることは
明らかである。

【００３７】〔２サイクルの重み更新〕神経回路網にお
いて、並列学習を４サイクルではなく２サイクルで実現
することも可能である。学習サイクルの数を減らした代
わりに、必要な装置の数は多くなってしまうのである
が、基本概念は変わらずに循環デバイアスに基づいてい
る。

【００３８】図８は、４サイクルではなく２サイクルで
並列学習を実行する学習回路を示す。図８の実施例も、
同様に、共通フローティングゲート部材を共有するフロ
ーティングゲートデバイス３１及び３２を含む。デバイ
ス３１の制御ゲートは入力プログラミング語線４３に結
合し、デバイス３２の制御ゲートは入力プログラミング
語線４４に結合している。それらの語線は図１〜図７の
実施例における語線１７及び１８と同じように機能す
る。加えて、それぞれのフローティングゲートデバイス
に関連して、通常のｎチャネル電界効果デバイス３３及
び３４があり、図示する通り、それぞれの電界効果デバ
イスはデバイス３１と、関連するビット線（すなわち、
列合計線）の一方との間に直列に結合している。たとえ
ば、デバイス３４はビット線４２とデバイス３１との間
に結合しており、デバイス３３はビット線４１とデバイ
ス３１との間に結合している。同様に、デバイス３２は
ｎチャネル電界効果デバイス３５及び３６と直列に結合
している。図８の構成では、デバイス３３及び３５はそ
れぞれ語線４６に接続し、デバイス３４及び３６は語線
４７に接続している。制御電圧信号Ｖｃは語線４６及び
４７を駆動するのであるが、語線４７はインバータ４９
によって４６の逆になっている。

【００３９】図８の学習回路の動作は、電界効果デバイ
ス３３〜３６がビット線４１及び４２をフローティング
ゲートデバイス３１及び３２から分割するように機能す
るという点を除いて、先の実施例の動作に類似してい
る。この分割は、関連する列合計線に関する一致条件
（すなわち、Ω）に従って、短絡電流を発生させるおそ
れなくプログラミングビット線４１及び４２に様々に異
なる電圧を印加できるように行われるのである。図８は
考えうる構成の１つを示しており、この場合、ビット線
４１は接地し、ビット線４２は２０ボルトという高い正
電位に引上げられて、一致条件を成立させている。不一
致条件については、この状況は逆転する。

【００４０】第１の動作サイクルの間に、入力Ｖｃは論
理ハイレベルにある。すなわち、語線４６はロー、語線
４７はハイになっているのである。この条件では、デバ
イス３３及び３５はオフ状態であるので、デバイス３１
及び３２はビット線４１から遮断されている。同時に、
デバイス３４及び３６はオン状態であり、ビット線４２
をフローティングゲートデバイスに結合する。一致が指
示されているアレイのそれらの列について、ビット線４
２を利用して高電圧をフローティングゲートデバイス３
１及び３２に結合し、シナプス重みを選択的に増加させ
る。尚、入力プログラミング語線４３及び４４の動作は
先の実施例について説明した動作と同じであることに注
意すべきである。言うまでもなく、双方のプログラミン
グ語線の動作は入力の極性によって決まる。入力信号Ｖ
ｃは入力又は一致（Ω）条件とは無関係である。

【００４１】第２のサイクルの間には、入力制御信号Ｖ
ｃは逆の状態になる。すなわち、Ｖｃは論理的にローで
ある。この状況においては、語線４６はハイ、語線４７
はローになるので、デバイス３３及び３５はオン状態、
デバイス３４及び３６はオフ状態である。すなわち、ビ
ット線４１はフローティングゲートデバイス３１及び３
２に結合することになり、ビット線４２は有効に遮断さ
れる。同様に、入力プログラミング語線４３及び４４は
先の場合と同じように動作し、それらの語線の一方は、
好ましくは０ボルトと２０ボルトとの間で遷移する高電
圧パルスの流れを受取る。

【００４２】２回の重み変化サイクルの後に神経回路網
に及ぶ効果は、全体としては、入力とΩが同じ極性を有
するシナプスの重みを増加し、極性の異なるシナプスの
重みを減少させるというものである。制御信号Ｖｃは、
時間の上で消去事象をプログラミング事象から分離する
機能を有する。尚、用途によっては、プログラミング／
消去事象が異なる条件を要求することもあり、そのた
め、それらを２回の別個のサイクルで実行すると、より
適切に制御することができるのである。

【００４３】図２と同様に、図８の回路を機能をそこな
うことなく図９の構成に簡略化できる。図９では、フロ
ーティングゲートデバイス３１及び３２（図８を参照）
を二重制御ゲートデバイス５０に併合している。制御ゲ
ートの一方は語線４３に結合し、他方は語線４４に結合
している。デバイス５０のフローティングゲート部材は
シナプスセルの計算セクションに接続している。計算セ
クションは学習セクションとは別であっても良い。さら
に、図９の場合、電界効果デバイス３３及び３５を単一
のＭＯＳデバイス５１に併合でき、また、デバイス３４
及び３６はＭＯＳデバイス５２に併合されている。従っ
て、図９の実施例はデバイスの数が少ないという利点を
与えるのである。

【００４４】本発明をいくつかの実施例に関連して説明
したが、他の多様な方式により本発明を実現しうること
は明らかである。従って、図示し且つ例示によって説明
した特定の実施例を限定的な意味をもつと決して考えて
はならないことを理解すべきである。これらの実施例の
詳細に参照しても、それは特許請求の範囲を限定しよう
とするものではない。特許請求の範囲自体は本発明に不
可欠であると考えられる特徴のみを列挙している。

【図面の簡単な説明】

【図１】本発明の基本学習回路の概略図。

【図２】図１の回路の等価デバイス表示。

【図３】神経回路網アレイの一部に組込まれた図１の学
習回路を示す図。

【図４】本発明に従って学習アルゴリズムを並列して実
現する方法を示す図。

【図５】本発明に従って学習アルゴリズムを並列して実
現する方法を示す図。

【図６】本発明に従って学習アルゴリズムを並列して実
現する方法を示す図。

【図７】本発明に従って学習アルゴリズムを並列して実
現する方法を示す図。

【図８】相関学習を２サイクルで実行する別の学習回路
を示す概略図。

【図９】最小限の数のデバイスを使用して相関学習を２
サイクルで実行する図８の回路を簡略化した構成を示す
図。

【符号の説明】

１０シナプスセル１２半導体学習回路１２ａ〜１２ｄ学習デバイス１４，１５プログラミングビット線１７，１７′，１８，１８′ 入力プログラミング語線１９ソース／ドレイン線（列合計線）２０，２０ａ〜２０ｄ，２１，２１ａ〜２１ｄフロー
ティングゲートデバイス２２フローティングゲート部材２３，２３′，２４，２４′ 入力線２５ａ〜２５ｄシナプスセル３１，３２フローティングゲートデバイス３３，３４，３５，３６ｎチャネル電界効果デバイス４１，４２ビット線４３，４４入力プログラミング語線４６，４７語線５０二重制御ゲートデバイス５１，５２ＭＯＳデバイス

Claims

【特許請求の範囲】

【請求項１】それぞれが入力電圧と、接続重みとの積
を計算する複数のシナプスセルと、それぞれが前記シナ
プスセルの中の１つの関連するシナプスセルに結合して
おり、学習アルゴリズムに従って重み更新を並行して実
現する対応する複数の半導体回路とを含む神経回路網に
おいて、前記半導体回路のそれぞれは、前記関連するシナプスセルの接続重みを電荷の形態で記
憶する共通フローティングゲート部材を有する第１及び
第２のフローティングゲートデバイスと；前記第１及び
第２のフローティングゲートデバイスの制御ゲートにそ
れぞれ結合する第１及び第２の入力線を含み、前記フロ
ーティングゲートデバイスをプログラム及び消去する手
段であって、学習中、前記第１及び第２の入力線がほぼ
同じ電位であるとき、前記フローティングゲート部材は
プログラム及び消去されるような手段とを具備する神経
回路網。
【請求項２】それぞれが入力電圧と、接続重みとの点
乗積を計算する複数のシナプスセルのアレイを具備し、
前記アレイは、前記シナプスセルに対する入力が語線の
行を介して印加され、前記セルの計算結果は複数対の列
線に沿って合計されてゆくように編成されており、前記
シナプスセルのそれぞれは、前記接続重みを電荷の形態
で記憶するための手段を含み、所定数のサイクルの中で
並列学習を実行するためのデバイス手段と、重み調整手
段とを具備し、前記重み調整手段は一対の制御線から成
り、前記制御線の少なくとも一方は、アレイ中の前記シ
ナプスセルの他のものに対して実行される調整とは無関
係に、前記接続重みを増減させるか又は前記接続重みの
変化を起こさせないために前記デバイス手段に高電圧パ
ルスの流れを結合する神経回路網。