JPH02189798A - 神経ネツトワークに於いて出力パターンを遅延帰還させるための方法及び装置 - Google Patents

神経ネツトワークに於いて出力パターンを遅延帰還させるための方法及び装置

Info

Publication number
JPH02189798A
JPH02189798A JP1310847A JP31084789A JPH02189798A JP H02189798 A JPH02189798 A JP H02189798A JP 1310847 A JP1310847 A JP 1310847A JP 31084789 A JP31084789 A JP 31084789A JP H02189798 A JPH02189798 A JP H02189798A
Authority
JP
Japan
Prior art keywords
output pattern
output
neural network
pattern
clock
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1310847A
Other languages
English (en)
Inventor
Mark A Holler
マーク・エイ・ホラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JPH02189798A publication Critical patent/JPH02189798A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/02—Sample-and-hold arrangements
    • G11C27/024—Sample-and-hold arrangements using a capacitive memory element
    • G11C27/026—Sample-and-hold arrangements using a capacitive memory element associated with an amplifier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C15/00—Digital stores in which information comprising one or more characteristic parts is written into the store and in which information is read-out by searching for one or more of these characteristic parts, i.e. associative or content-addressed stores
    • G11C15/04—Digital stores in which information comprising one or more characteristic parts is written into the store and in which information is read-out by searching for one or more of these characteristic parts, i.e. associative or content-addressed stores using semiconductor elements

Landscapes

  • Synchronisation In Digital Transmission Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は神経ネットワークの分野に関し、特に、時間的
シーケンスの記憶と復元とが可能な神経ネットワークに
関する。
〔従来の技術〕
生物学的な記憶の主要特徴の１つは、構造化シーケンス
として表現を格納し且つ呼び出すことが可能なその能力
にある。入間及び動物は、彼等の記憶の中へ関連づける
ことによって彼等の環境及び一時的に係わる出来事につ
いて学習する。精神的な項目（認識、知覚、感覚、感情
等）は、それらが同時にもしくは密に連続して生じた場
合にも、類似的または対照的な基盤の上に立って選択的
に生じた場合にも、いずれも記憶に結び付けられる。
他の重要な要素は知覚作用が生ずる背景もしくは状況で
あシ、これは、人間の記憶の高度な選択能力に大いに関
わっている。
電子工学研究者はこれ迄の数年間に１それらの項目のシ
ーケンスを符号化し後に入カバターンとの類似性に基づ
いて探索することにょシそのシーケンスを呼び戻すよう
にして人間の脳の能力を複製することを企てた。記憶さ
れたシーケンスを一時的に呼び戻すための機構として提
案されたモデルは、状態機械手法の周辺に集中した。順
次処理をするための限定的な状態機械はディジタル・コ
ンピュータの分野に於いてはよく知られているが、アナ
ログ神経ネットワーク及び連想記憶装置の分野へそれら
が導入されたのはつい最近のことである。神経ネットワ
ークに於ける連想記憶装置の呼出しについて一般的な検
討を加えるためには、Ｔ。
ｕｖｏ　Ｋｏｈｏｎｅｎ著「５ｅｌｆ　−Ｏｒｇａｎｉ
ｚａｔｉｏｎ　ａｎｄＡｓｓｏｃｉａｔｉｖｅ　Ｍｅｍ
ｏｒｙ　（自己組織化及び連想記憶装置）Ｊ　１９８７
年、ニューヨーク、ｓｐｒｉｎｇｅｒ−Ｖ＠ｒｌａｇ社
刊の第１頁を見るのがよい。
Ｋｏｈｏｎｓｎの参考資料の第１．１ｏ図には、構造化
シーケンスのための連想記憶装置が示されている。
シナプス・アレイとニューロン増幅器とを有する神経ネ
ットワークを含んでいる記憶装置は、一時的パターンと
、背景すなわち状況と、帰還パターン（出力の以前の状
態の、記憶されていたコピーである）とを受取るための
外部入力を有する。これらの入力は各々シナプス・アレ
イのワード線入力へ接続されているのが普通である。Ｋ
ｏｈｏｎｅｎによシ述べられているように、一時的記憶
は、与えられた状況と組合わせられている特定の一時的
パターンによってネットワークが刺激された場合にトリ
ガされ得る。出力シーケンスが作り出され、それが順に
遅延させられてメモリへと帰還させられる。この帰還し
たパターンが他の入力と連合して次のパターンをシーケ
ンス内に誘発し、以上と同様な動作がさらに繰シ返され
る。
当用願人が気付いた他の従来技術としては、Ｍｌｃｈａ
ｅｌ　１．　Ｊｏｒｄａｎによる「Ａｔｔａｃｔｏｒ　
Ｄｙｎａｍｉｃｍａｎｄ　Ｐａｒａｌｌｅｌｉｓｍ　ｉ
ｎ　ａ　Ｃｏｎｎｅｅｔｉｏｎｉｓｔ　Ｓｅｑｕｅｎｔ
ｉｍｌ　Ｍａｃｈｉｎｅ　（連想型順序機械に於ける誘
弓力及び並行処理）　Ｊ　、Ｌｖｚｉａｎ　Ｗｏｌｆに
よる［Ｒａｃｕｒｒｅｎｔ　Ｎｅｔｓ　ｆｏｒ　ｔｈｅ
　Ｓｔｏｒａｇｅ　ｏｆ　ＣｙｃｌｉｃＳｅｑｕｅｎｃ
ｅｓ（循環するシーケンスを格納するための回帰性ネッ
ト）」などの、日付のない論文がある。これらの論文は
双方とも神経ネットワークに於ける順序動作について概
略的に論じているが、いずれも、本発明に関係するもの
とは考えられない。
シナプス及び神経増幅器を実現するための半導体セルが
数多く提案されたけれども、当用願人は、連想記憶装置
から構造化シーケンスを一時的に再現することを容易に
する装置についてのいかなる提案をも承知してはいない
。従って、神経ネットワークへの遅延帰還を可能とする
装置が必要とされている。
〔発明の概要〕
時間的シーケンスの記憶と復元とのための連想記憶装置
を有する神経ネットワークに於いて特に有用な、サンプ
リング及び保持のための回路について述べる。このサン
プリング・保持回路は、神経ネットワークに出力シーケ
ンスの遅延帰還を導入する方法を提供する。この回路は
、第１クロックパルスに応じて出力パターンをサンプリ
ングし且つ保持するための記憶素子を含む。この保持さ
れたパターンは次に、入力緩衝増幅器によって差動増幅
される。第２クロックパルスに応じて、差動信号が第２
記憶素子へと転送される。第２記憶素子は最終的には神
経ネットワークのシナプス・アレイへと接続され、それ
によりネットワークへの帰還を与える。シナプス・アレ
イへと提供される出力シーケンスハ、クロックパルスの
第２セツトがサンプリング・保持回路へ加えられるまで
保持される。この遅延させられた帰還入力は、一時的パ
ターン入力と背景もしくは状況の入力とに組合わせられ
て、神経ネットワークからの記憶されたシーケンスの連
想呼出しを可能とする。
〔実施例〕
本発明は、時間的シーケンスの再現を達成すべく神経ネ
ットワークに遅延帰還を導入するためのサンプリング・
保持デバイスを提供するものである。本発明についての
完壁な理解を得るため、以下の説明中に数多くの特定的
詳細が述べられる。
しかしながら、それらの特定的詳細を用いずとも本発明
を実施し得ることは当業者には明らかであろう。また一
方、不必要な詳細記述の中に本発明が埋没するのを避け
るため、神経増幅器、シナプス・セル等の良く知られた
構成については記述を省略する。
第１図には、一時的パターン入力と状況入力と一時的出
力パターン３とを有する神経ネットワーク１が示されて
いる。クロックパルスと歩調の合う時点に於ける出力パ
ターン３が、本発明の対象であるサンプリング・保持デ
バイス２へと戻される。クロックパルスは通例、入カバ
ターンに同期して変化せねばならない。
提示実施例に於いては、第」図に示されているように、
神経ネットワークのシナプス−アレイの個々の行に対応
する複数のサンプリング・保持デバイスが神経ネットワ
ークに統合される。典型的なセルは、樹状突起（入力）
と、シナプス（接続）と、ニューロン細胞体（加算増幅
器）と、軸索（出力）とを含む。各シナプス−セルは、
重み付は因子、もしくは接続の強度を定義する関数を含
む。
本発明との組合わせ使用に適したシナゲス・セルは、共
に本発明の醸受入に対して譲渡されている［神経ネット
ワーク等のだめの半導体セルＪと題する１９８８年７月
２７日出願の同時係属出願筒２２５．０３５号と「４象
限乗算器を用いる神経ネットワークのための半導体セル
」と題する同時係属出願（出願番号未定）との中に開示
されている。
第１図の連想記憶装置に於いは、与えられ次時刻に於け
る出力シーケンスは、状況と、入カバターンと、サンプ
リングされ且つ保持された前の出力パターンとの関数で
ある。これは、次式により数学的に表現され得る。
ｏｕｔ１＝ｆ（ｅｏｎｔｅｘｔ＋ｔｐ＋　＋　ｏｕｔｔ
ｎ＋ｔｔａｔ）ｏｕｔ２＝ｆ（ｃｏｎｔｅｘｔ、ｔｐ２
　、　ｏｕｔｌ）ｏｕｔ　ｎ＝ｆ（ｃｏｎｔｅｘｔ、　
ｔｐＨ＋　ｏｕｔ　ｎ−１）ここに、ａｕｔｎは与えら
れた時刻ｎに於ける出力パターンを表わし、ｃｏｎｔｅ
ｘｔは状況入力を表わし、ｔｐｎは時刻ｎに於ける一時
的入力パターンを表わす。
第２図の提示実施例には、第１図のサンプリング・保持
デバイス２が極めて詳細に示されている。
第２図を参照すれば、ニューロン増幅器１７の出力から
引き出される出力パターンライン３′は、伝送ゲート４
の入力へと接続されている。伝送ゲート４は、ＣＬＫＩ
へと接続されているｐチャネル素子のゲートと、ＣＬＫ
Ｉへと接続されているｎチャネル素子のゲートとを有す
る。従って、ＣＬＫＩが低状態すなわちｒＬＪ状態であ
るときには伝送ゲート４は自由に通れるので、現時点の
出力パターンを表わしているライン３′上の電圧はライ
、ン１１へと伝送される。これは、第２図に付属してい
るタイムチャートの時刻ｔｏに示されている状態である
。伝送ゲート４を介してライン１１へと出された出力パ
ターン電圧は、コンデンサ７へ蓄えられる。ライン１１
とＶＳＳとの間に設けられているコンデンサＴは、別個
の半導体素子にて実現されてもよく、また、典型的な相
互接続ラインに付随する静電容量であってもよい。こう
して、ニューロン増幅器１７から出される出力パターン
は、ＣＬＫＩの立上シの直前に相当する時刻ｔｏに於い
て、デバイス２によってサンプリングされる。
時刻ｔ、に於いてＣＬＫＩは高状態すなわちｒＨＪ状態
へと持ち上げられ、それにより伝送ゲート４が非導通と
なる。サンプリングされてコンデンサ７によりライン１
１沿いに保持されている出力パターンは、ライン３′の
出力シーケンス内に生ずるいかなる変化からも絶縁され
る。伝送ゲート４は導通しないので、ＣＬＫＩが低状態
へと戻るまでは、現時点の出力シーケンスが再びサンプ
リングされることは無い。
差動増幅器１０は、ライン１１に接続されている正（→
入力と、基準電位ＶＲＲＦに接続されている負（→入力
とを有する。差動増幅器１０は利得を与える他に、ライ
／１１上の単一出力端子信号を差動出力信号へと変換し
てライン１２及び１３へと出力する。シナプス・アレイ
・セル、とシわけ４象限乗算器手法を用いるシナプス・
アレイ・セルへの入力としては、しばしば差動信号を必
要とされる。増幅器１０はバッファとしても機能し、Ｃ
ＬＫ２が高状態へと変わる際、コンデンサ７に蓄えられ
ていた電荷がライン１４．１５へと拡散することを阻む
。
第２図に示されているように、ライン１２、ライン１３
はそれぞれ伝送ゲート５、伝送ゲート６へ接続されてい
る。伝送ゲート５及び伝送ゲート６は適切にＣＬＫ２へ
と接続されておシ、ＣＬＫ２が低電位のときには双方と
もオフすなわち非導通となる。ＣＬＫ２が高状態へと変
わったならば、ゲート５及びゲート６が導通状態となる
。これは、時刻ｔ２にて生ずる。ライン１１に沿って蓄
えられ且つ増幅器１０によって差動増幅された出力パタ
ーンが、今や、ライン１４及びライン１５へと伝送され
る。一対のワード線に相当するライン１４゜１５が、シ
ナプス・アレイ内の１つの行へと接続される。図解の目
的で、第２図に示されているライン１４．１５は、シナ
プス・アレイ１６の１つの行１２７へと接続されている
。コンデンサ８、コンデ／す９がそれぞれライン１４、
ライン１５とＶＳＳとの間に接続されている。これらの
コンデンサは、伝送された出力パターンを格納し且つ一
対のワード線へと供給するための手段を与える。典型的
には、それらのコンデンサ８，９は、コンデンサ７の形
成と同じ方法によって作られるか又はワード線の静電容
量それ自身が用いられてよい。
時刻ｔ３に於いては、ＣＬＫＩが高状態に止まる一方Ｃ
ＬＫ２は低状態へと変化する。伝送ゲート５゜６が非導
通となシ、ライン１４．１５上に記憶されている出力シ
ーケンスは、クロックパルスの次のセットが供給される
迄そこに保持される。時刻ｔ４に於いてＣＬＫＩが低状
態へと変化し、デバイス２は時刻ｔｏに於ける状態と同
一の状態へと戻る。言い換えれば、１ｏ及びｔ４に於い
ては、現時点の出力シーケンス（ＯＵＴｎ）がサンプリ
ングされる一方、過去の出力シーケンス（ＯＵＴｎ−１
）が保持され且つシナゲス・プレイ１６の行へと供給さ
れる。帰還経路に導入される遅延の大きさは、クロック
・パルスのセットを分離している時間間隔（例えば、Ｃ
ＬＫＩもしくはＣＬＫ２の周期）によシ決定される。
ＣＬＫＩの立上や（又は立下シ）をＣＬＫ２の立上シ（
又は立下ｐ）から分離している時間間隔は、ライン３′
とライン１４．１５との間に直接の導通経路が存在しな
いことを十分に保証し得る大きさでさえあればよい。例
えば、仮にＣＬＫ２が高状態であり且つＣＬＫＩが低状
態であるならばゲート４゜５．６は全て導通状態となシ
、それにより、シナプス・アレイ１６への直接帰還結合
が構成される。
そうした直接結合は一般に、神経ネットワーク１に望せ
しからざる発振をもたらす。
第２図には、電界効果型素子１８．１９の制御ゲートに
結合されているリセット入力も示されている。この提示
実施例に於ける電界効果型素子１８゜１９は双方ともｎ
チャネルの素子であシ、それらのドレインはそれぞれラ
イン１４、ライン１５に接続されており、それらのソー
スは双方ともＶＢ２に接続されている。動作中は、リセ
ットは通常、素子１８．１９が非導通となるよう低状態
もしくは十分に低い電位である。使用者が２イン１４゜
１５に既知の状態としてゼロを設定することを望む場合
には、リセットは、素子１８．１９を導通状態とするに
十分な電位へと持ち上げられる。このようにして、ライ
ン１４．１５は強制的にＶ８Ｓすなわち接地電位へと落
される。
このリセット機能は、２層神経ネットワークを実現する
ためにも使用され得る。２層ネットワークは、第１シナ
プス−アレイのニューロンーセットト同一のニューロン
−セットへと接続される第２シナプス・アレイを有する
。動作中、第２シナプス・アレイは帰還ループへと接続
される。一時的パターン及び状況が「オン」であるなら
ばいつでも、この帰還シナプス・アレイはリセット入力
によって「オフ」へと反転させられる。帰還シナプス・
プレイがＥオン」であるならば、ネットワークの一時的
パターン部分及び状況部分は必ず「オフ」もしくは使用
禁止である。ニューロンは、異なる発生源からのデータ
を処理すべく、異なるシナプス−７レイを用いて２回使
用される。この手法による２層間の多重化は、経済的価
値の大きいチップスペースを節約するという有益な効果
を有する。
以上、神経ネットワークに遅延帰還を導入する喪めのサ
ンプリングＯ保持デバイスについて説明した。このデバ
イスは、クロック入力に応じて動作し、連想記憶装置か
ら時間的シーケンスを再現することを可能とする。
【図面の簡単な説明】
第１図は、シーケンス生成用連想記憶装置を有する神経
ネットワークと本発明のサンプリング−保持回路とを示
しており、第２図は、本発明の提示実施例の電気的概略
図を示している。 １拳・・等神経ネットワーク、２・嗜・・サンプリング
及び保持のためのデバイス、３・・・・一時的出力パタ
ーン、３′・・・・出力パターンライン、４，５．６・
・−ｅ伝送ゲート、７．８．９・・リコンデンサ、１０
・・・・差動増幅器、１１゜１２．１３，１４，１５・
・・愉ライン、１６・・・拳シナプスｅアレイ、１７・
・・・ニューロン増幅器、１８．１９・拳・・電界効果
型素子。

Claims (5)

    【特許請求の範囲】
  1. （１）表現の時間的シーケンスを記憶し且つ復元するた
    めの連想記憶装置に於いて： 複数のシナプス入力端と、調子を合わせて変化する出力
    パターン（３）を提供する出力端（３′）とを有する神
    経ネットワーク（１）と； 前記出力パターン（３）をサンプリングするため前記神
    経ネットワークの前記出力端（３′）に結合されている
    データ入力端と、帰還信号を提供するため前記複数のシ
    ナプス入力端の少くも１つに結合されている帰還出力端
    （１４、１５）と を有するサンプリング、保持デバイス（２）と；を含ん
    でおり；且つ、 前記サンプリング・保持デバイス（２）が、前記帰還出
    力端（１４、１５）に遅延出力パターンを作り出すため
    に、前記データ入力端に於いて所定の期間内にサンプリ
    ングされる前記出力パターン（３）を保持するための手
    段（４、５、６）を含んでいる；ことを特徴とする連想
    記憶装置。
  2. （２）表現の時間的シーケンスを記憶し且つ復元するた
    めの連想記憶装置に於いて： 一時的パターンと状況と出力パターンの遅延帰還とを受
    取るための複数のシナプス入力端と、複数のニューロン
    増幅器（１７）と、調子を合わせて変化する前記出力パ
    ターン（３）を提供する出力端（３′）とを有する神経
    ネットワーク（１）と；前記神経ネットワークの前記出
    力端（３′）に結合されているデータ入力端と前記複数
    のシナプス入力端の少くとも１つに結合されている帰還
    出力端（１４、１５）と、クロック入力端とを有するサ
    ンプリング・保持デバイス（２）と； 前記サンプリング・保持デバイス（２）へクロックパル
    スを提供するため前記クロック入力端へ結合されている
    クロック手段と；を含んでおり；且つ、 前記サンプリング・保持デバイス（２）が、前記神経ネ
    ットワーク（１）への前記出力パターン（３）の帰還を
    準備し；さらに、 前記クロックパルスが前記出力パターン（３）の前記遅
    延帰還を提供し、それにより、前記一時的パターンと前
    記状況と前記遅延帰還とが前記ネットワーク（１）へ与
    えられたときに前記時間的シーケンスの一時記憶が呼び
    起こされる； ことを特徴とする連想記憶装置。
  3. （３）複数のシナプス入力端と、複数のニューロン増幅
    器と、神経ネットワークからの出力パターンの遅延帰還
    を提供するサンプリング・保持回路と、を有する神経ネ
    ットワークに於いて： クロック入力端と、前記神経ネットワークの前記出力パ
    ターンへと結合されているデータ入力端と、出力端とを
    有する第１記憶部材（４）と；前記第１記憶部材（４）
    の前記出力端へと結合されている第１入力端と、基準電
    位（Ｖ＿Ｒ＿Ｅ＿Ｆ）へと結合されている第２入力端と
    、前記出力パターン（３）の単一出力端子一双対出力端
    子変換を提供する差動出力端とを有する差動増幅器（１
    ０）と；前記差動増幅器（１０）の前記差動出力端へと
    結合されている差動入力端と、クロック入力端と、前記
    複数のシナプス入力端の少くも１つへ結合されている差
    動ワード線（１４、１５）とを有する第２記憶部材（５
    、６）と； 前記第１記憶部材（４）の前記クロック入力端へ第１ク
    ロックパルス（ＣＬＫ１）を与えるとともに前記第２記
    憶部材（５、６）の前記クロック入力端へ第２クロック
    パルス（ＣＬＫ２）を与えるためのクロック発生手段と
    ；を含んでおり；且つ、 前記第１記憶部材（４）が前記第１クロックパルス（Ｃ
    ＬＫ１）に応じて動作し、前記第１クロックパルスが無
    いときには前記第１記憶部材が前記出力パターン（３）
    の現時点のパターンをサンプリングし、また、前記第１
    クロックパルスが加えられたときには前記第１記憶部材
    が前記の現時点の出力パターン（３）を保持し；さらに
    、 前記第２記憶部材（５、６）が前記第２クロックパルス
    （ＣＬＫ２）に応じて動作し、前記第２クロックパルス
    が無いときには前記第２記憶部材が前記出力パターン（
    ３）の過去のパターンを保持し、また、前記第２クロッ
    クパルスが活動的であるときには前記第２記憶部材が前
    記差動増幅器（１０）によって増幅された前記現時点の
    出力パターン（３）をサンプリングし、それにより、記
    憶された表現のシーケンスの一時的再現を容易にすべく
    前記ワード線出力（１４、１５）が前記出力パターンの
    遅延帰還をもたらす； ことを特徴とする神経ネットワーク。
  4. （４）記憶された表現のシーケンスの一時的再現を容易
    にすベく、神経ネットワークに於いて出力パターンを遅
    延帰還させるための方法、に於いて：前記神経ネットワ
    ーク（１）から前記出力パターン（３）をサンプリング
    するステップと； 前記出力パターン（３）を所定の期間保持し、それによ
    り、遅延した出力パターンを作り出すステップと； 前記の記憶されたシーケンス内の次のシーケンスを誘発
    すべく、前記の遅延した出力パターンを前記神経ネット
    ワーク（１）へ入力するステップと；を含むことを特徴
    とする、神経ネットワークに於いて出力パターンを遅延
    帰還させるための方法。
  5. （５）記憶された表現のシーケンスの一時的再現を容易
    にすベく、複数のシナプス入力端を有する神経ネットワ
    ークに於いて出力パターンを遅延帰還させるための方法
    に於いて： 前記神経ネットワーク（１）から前記出力パターン（３
    ）をサンプリングするステップと； 第１クロックパルス（ＣＬＫ１）に応じて前記出力パタ
    ーン（３）を保持するステップと； 保持されている前記出力パターン（３）を差動増幅する
    ステップと； 第２クロックパルス（ＣＬＫ２）に応じて前記の増幅さ
    れた出力パターン（３）を記憶し、それにより、遅延し
    た出力パターンを作り出すステップと；前記の記憶され
    たシーケンス内の次のパターンを誘発すベく、前記の遅
    延した出力パターンを、前記神経ネットワーク内の前記
    複数のシナプス入力端の少くも１つへ入力するステップ
    と； を含むことを特徴とする、神経ネットワークに於いて出
    力パターンを遅延帰還させるための方法。
JP1310847A 1988-12-09 1989-12-01 神経ネツトワークに於いて出力パターンを遅延帰還させるための方法及び装置 Pending JPH02189798A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US282,636 1988-12-09
US07/282,636 US4906865A (en) 1988-12-09 1988-12-09 Sample and hold circuit for temporal associations in a neural network

Publications (1)

Publication Number Publication Date
JPH02189798A true JPH02189798A (ja) 1990-07-25

Family

ID=23082418

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1310847A Pending JPH02189798A (ja) 1988-12-09 1989-12-01 神経ネツトワークに於いて出力パターンを遅延帰還させるための方法及び装置

Country Status (2)

Country Link
US (1) US4906865A (ja)
JP (1) JPH02189798A (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0400147B1 (en) * 1988-08-31 1997-10-15 Fujitsu Limited Neurocomputer
FI894021A (fi) * 1988-08-31 1990-03-01 Fujitsu Ltd Neuronstruktur.
US5229623A (en) * 1988-10-21 1993-07-20 Hitachi, Ltd. Electric circuit using multiple differential negative resistance elements, semiconductor device and neuro chip using the same
US5201029A (en) * 1988-10-24 1993-04-06 U.S. Philips Corporation Digital data processing apparatus using daisy chain control
US5010512A (en) * 1989-01-12 1991-04-23 International Business Machines Corp. Neural network having an associative memory that learns by example
DE69026740D1 (de) * 1989-02-28 1996-06-05 Fujitsu Ltd Fehler absorbierendes System in einem neuronalen Rechner
US4961005A (en) * 1989-04-25 1990-10-02 Board Of Trustees Operating Michigan State University Programmable neural circuit implementable in CMOS very large scale integration
US4962342A (en) * 1989-05-04 1990-10-09 Synaptics, Inc. Dynamic synapse for neural network
JP2517410B2 (ja) * 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
US5148514A (en) * 1989-05-15 1992-09-15 Mitsubishi Denki Kabushiki Kaisha Neural network integrated circuit device having self-organizing function
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks
US5615305A (en) * 1990-11-08 1997-03-25 Hughes Missile Systems Company Neural processor element
US5087826A (en) * 1990-12-28 1992-02-11 Intel Corporation Multi-layer neural network employing multiplexed output neurons
US5204872A (en) * 1991-04-15 1993-04-20 Milltech-Hoh, Inc. Control system for electric arc furnace
US5253329A (en) * 1991-12-26 1993-10-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Neural network for processing both spatial and temporal data with time based back-propagation
US5247206A (en) * 1992-03-12 1993-09-21 Intel Corporation Neural network accommodating parallel synaptic weight adjustments in a single cycle
US5237210A (en) * 1992-03-12 1993-08-17 Intel Corporation Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms
US5479579A (en) * 1992-09-04 1995-12-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Cascaded VLSI neural network architecture for on-line learning
US5446828A (en) * 1993-03-18 1995-08-29 The United States Of America As Represented By The Secretary Of The Navy Nonlinear neural network oscillator
US5479574A (en) * 1993-04-01 1995-12-26 Nestor, Inc. Method and apparatus for adaptive classification
JP3146257B2 (ja) * 1997-04-25 2001-03-12 大幸薬品株式会社 連想素子、これを用いた連想装置及びその方法
US7577631B2 (en) * 2001-09-10 2009-08-18 Feldhake Michael J Cognitive image filtering
US8981857B2 (en) 2012-11-15 2015-03-17 Freescale Semiconductor, Inc. Temperature dependent timer circuit
US10084620B1 (en) * 2017-03-01 2018-09-25 Intel Corporation Neural network-based systems for high speed data links
US20240120001A1 (en) * 2022-10-11 2024-04-11 Globalfoundries U.S. Inc. Partitioned memory architecture with single resistor or dual resistor memory elements for in-memory pipeline processing
US20240119975A1 (en) * 2022-10-11 2024-04-11 Globalfoundries U.S. Inc. Partitioned memory architecture and method for repeatedly using the architecture for multiple in-memory processing layers

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3103648A (en) * 1961-08-22 1963-09-10 Gen Electric Adaptive neuron having improved output
US3950733A (en) * 1974-06-06 1976-04-13 Nestor Associates Information processing system
US4660166A (en) * 1985-01-22 1987-04-21 Bell Telephone Laboratories, Incorporated Electronic network for collective decision based on large number of connections between signals
US4760437A (en) * 1986-01-03 1988-07-26 American Telephone And Telegraph Company, At&T Bell Laboratories Neural networks
US4773024A (en) * 1986-06-03 1988-09-20 Synaptics, Inc. Brain emulation circuit with reduced confusion
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network

Also Published As

Publication number Publication date
US4906865A (en) 1990-03-06

Similar Documents

Publication Publication Date Title
JPH02189798A (ja) 神経ネツトワークに於いて出力パターンを遅延帰還させるための方法及び装置
Hu et al. Modeling affections with memristor-based associative memory neural networks
US5087826A (en) Multi-layer neural network employing multiplexed output neurons
Alspector et al. Performance of a stochastic learning microchip
AU633812B2 (en) Neurocomputer
Fukushima A model of associative memory in the brain
US20120084240A1 (en) Phase change memory synaptronic circuit for spiking computation, association and recall
JP2755446B2 (ja) デジタルデータ処理装置
Yang et al. VLSI implementation of cellular neural networks
US5053638A (en) Semiconductor neural circuit device having capacitive coupling and operating method thereof
JPH0467259A (ja) 情報処理装置
Thakur et al. An analogue neuromorphic co-processor that utilizes device mismatch for learning applications
JPH02301221A (ja) 薄膜トランジスタによるダイナミック論理回路
CN114429199A (zh) 可扩展的仿神经电路
Gautam et al. Adaptive STDP-based on-chip spike pattern detection
US5479578A (en) Weighted summation circuitry with digitally controlled capacitive structures
Liu et al. Efficient and reconfigurable reservoir computing to realize alphabet pronunciation recognition based on processing-in-memory
Leobandung et al. Synchronized analog capacitor arrays for parallel convolutional neural network training
Yang et al. Memristor crossbar-based Pavlov associative memory network for dynamic information correlation
DE112020006162T5 (de) Neuronaler verstärker, neuronales netzwerk und sensorelement
Choi et al. Implementation of feedforward artificial neural nets with learning using standard CMOS VLSI technology
Sheikhfaal et al. An Ultra-Low Power Spintronic Stochastic Spiking Neuron with Self-Adaptive Discrete Sampling
US11120864B2 (en) Capacitive processing unit
JPH06187472A (ja) アナログニューラルネットワーク
Zahn et al. A paced analog silicon model of auditory attention