JPH06187472A - アナログニューラルネットワーク - Google Patents
アナログニューラルネットワークInfo
- Publication number
- JPH06187472A JPH06187472A JP3070034A JP7003491A JPH06187472A JP H06187472 A JPH06187472 A JP H06187472A JP 3070034 A JP3070034 A JP 3070034A JP 7003491 A JP7003491 A JP 7003491A JP H06187472 A JPH06187472 A JP H06187472A
- Authority
- JP
- Japan
- Prior art keywords
- output
- layer
- input
- neural network
- intermediate layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 回路構成が簡単で且つ学習を効率良く行うこ
とのできるアナログニューラルネットワークを提供す
る。 【構成】 入力層を構成する入力端子２1 〜２l と、出
力層を構成するニューロン４1 〜４n 及び出力端子５1
〜５n との間において、中間層を構成するニューロン３
1 〜３m に中間出力端子７1 〜７m を設けることによ
り、中間層の出力値を取出し、これを学習に利用して回
路の特性のばらつき等による影響を抑える。
とのできるアナログニューラルネットワークを提供す
る。 【構成】 入力層を構成する入力端子２1 〜２l と、出
力層を構成するニューロン４1 〜４n 及び出力端子５1
〜５n との間において、中間層を構成するニューロン３
1 〜３m に中間出力端子７1 〜７m を設けることによ
り、中間層の出力値を取出し、これを学習に利用して回
路の特性のばらつき等による影響を抑える。
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
ク、特にアナログニューラルネットワークの改良に関す
るものである。
ク、特にアナログニューラルネットワークの改良に関す
るものである。
【０００２】
【従来の技術】従来より、逐次処理方式のノイマン型コ
ンピュータが不得手とするパターン認識や連想記憶等の
数学的にランダムな問題を処理する装置として、人間の
脳の情報処理様式を規範とするニューラルネットワーク
（コンピュータ）が提案されている。
ンピュータが不得手とするパターン認識や連想記憶等の
数学的にランダムな問題を処理する装置として、人間の
脳の情報処理様式を規範とするニューラルネットワーク
（コンピュータ）が提案されている。
【０００３】図２はニューラルネットワークの基本単位
であるニューロンを示すもので、ニューロン１はｎ個の
入力信号ｘ1 ，ｘ2 ，……ｘn に対してそれぞれシナプ
ス結合荷重ｗ1 ，ｗ2 ，……ｗn を乗じてその総和を取
り（積和演算処理）、これを出力（非線形）関数ｆ(x)
に通す（関数演算処理）ことにより出力信号ｙを得る如
くなっており、下記式で近似される。
であるニューロンを示すもので、ニューロン１はｎ個の
入力信号ｘ1 ，ｘ2 ，……ｘn に対してそれぞれシナプ
ス結合荷重ｗ1 ，ｗ2 ，……ｗn を乗じてその総和を取
り（積和演算処理）、これを出力（非線形）関数ｆ(x)
に通す（関数演算処理）ことにより出力信号ｙを得る如
くなっており、下記式で近似される。
【０００４】 ｙ＝ｆ（ｗ1 ・ｘ1 ＋ｗ2 ・ｘ2 ＋……＋ｗn ・ｘn ） …… (1) 図３は前記ニューロンを用いた従来のニューラルネット
ワークの一例を示すもので、図中、２1 ，２2 ，……２
l は入力端子、３1 ，３2 ，……３m は一段目のニュー
ロン、４1 ，４2 ，……４n は二段目のニューロン、５
1 ，５2 ，……５n は出力端子、６は結合荷重設定回路
である。
ワークの一例を示すもので、図中、２1 ，２2 ，……２
l は入力端子、３1 ，３2 ，……３m は一段目のニュー
ロン、４1 ，４2 ，……４n は二段目のニューロン、５
1 ，５2 ，……５n は出力端子、６は結合荷重設定回路
である。
【０００５】前記入力端子２1 ，２2 ，……２l にはｌ
個の入力信号ａ1 ，ａ2 ，……ａlがそれぞれ入力され
ているが、これらはそれぞれｍ個のニューロン３1 ，３
2 ，……３m に分配して入力される。各ニューロン
３1 ，３2 ，……３m はそれぞれ前述した積和演算及び
関数演算処理を行う。さらに、各ニューロン３1 ，
３2 ，……３m の出力信号はそれぞれｎ個のニューロン
４1 ，４2 ，……４n に分配して入力される。各ニュー
ロン４1 ，４2 ，……４n もそれぞれ前述した積和演算
及び関数演算処理を行い、その各出力信号ｂ1 ，ｂ2 ，
……ｂn はそれぞれｎ個の出力端子５1 ，５2 ，……５
n より出力される。なお、前記入力端子２1 〜２l は入
力層を構成し、また、ニューロン３1 〜３m は中間層を
構成し、また、ニューロン４1 〜４n 及び出力端子５1
〜５n は出力層を構成して、全体として３層の階層型の
ニューラルネットワークを構成している。
個の入力信号ａ1 ，ａ2 ，……ａlがそれぞれ入力され
ているが、これらはそれぞれｍ個のニューロン３1 ，３
2 ，……３m に分配して入力される。各ニューロン
３1 ，３2 ，……３m はそれぞれ前述した積和演算及び
関数演算処理を行う。さらに、各ニューロン３1 ，
３2 ，……３m の出力信号はそれぞれｎ個のニューロン
４1 ，４2 ，……４n に分配して入力される。各ニュー
ロン４1 ，４2 ，……４n もそれぞれ前述した積和演算
及び関数演算処理を行い、その各出力信号ｂ1 ，ｂ2 ，
……ｂn はそれぞれｎ個の出力端子５1 ，５2 ，……５
n より出力される。なお、前記入力端子２1 〜２l は入
力層を構成し、また、ニューロン３1 〜３m は中間層を
構成し、また、ニューロン４1 〜４n 及び出力端子５1
〜５n は出力層を構成して、全体として３層の階層型の
ニューラルネットワークを構成している。
【０００６】前記各ニューロン３1 〜３m 及び４1 〜４
n におけるシナプス結合荷重は結合荷重設定回路６によ
り設定されるが、その値は予め出力信号ｂ1 〜ｂn が既
知な入力信号ａ1 〜ａl を入力した時に実際に出力され
る出力信号ｂ1 〜ｂn に基いて、誤差逆伝播学習法（バ
ックプロパゲーション）を用いて修正を行ない、これを
入力信号と出力信号との複数の組合わせについて適当な
回数繰返すことによって決定される。
n におけるシナプス結合荷重は結合荷重設定回路６によ
り設定されるが、その値は予め出力信号ｂ1 〜ｂn が既
知な入力信号ａ1 〜ａl を入力した時に実際に出力され
る出力信号ｂ1 〜ｂn に基いて、誤差逆伝播学習法（バ
ックプロパゲーション）を用いて修正を行ない、これを
入力信号と出力信号との複数の組合わせについて適当な
回数繰返すことによって決定される。
【０００７】前述したニューラルネットワークでは学習
によって自ら正しい出力信号が得られる如く構成（組織
化）するため、入力信号ａ1 〜ａl から出力信号ｂ1 〜
ｂnを得るためのアルゴリズムやプログラムが不要であ
り、また、多量のデータを並列的に同時処理できるた
め、パターン認識や連想記憶等の数学的にランダムな問
題を高速に処理できるという特徴がある。
によって自ら正しい出力信号が得られる如く構成（組織
化）するため、入力信号ａ1 〜ａl から出力信号ｂ1 〜
ｂnを得るためのアルゴリズムやプログラムが不要であ
り、また、多量のデータを並列的に同時処理できるた
め、パターン認識や連想記憶等の数学的にランダムな問
題を高速に処理できるという特徴がある。
【０００８】ところで、前述した誤差逆伝播学習が正し
く行われるためには前記(1) 式で示された計算値と実際
の回路での出力値とが一致する必要がある。従って、例
えば森下 他著「ダイナミックリフレッシュ方式アナロ
グニューロプロセッサ」（電子情報通信学会技術報告Ｉ
ＣＤ９０−１、Ｐ１〜６、１９９０）に記載された装置
のように、ニューロンの出力関数としてシグモイド関数
を用いた場合、各ニューロンにシグモイド関数の特性を
有する回路を設けなければならず、また、入力値とシナ
プス結合荷重とを掛け合せるための乗算回路を各シナプ
ス毎に設けなければならず、回路構成が複雑になるとい
う問題があった。
く行われるためには前記(1) 式で示された計算値と実際
の回路での出力値とが一致する必要がある。従って、例
えば森下 他著「ダイナミックリフレッシュ方式アナロ
グニューロプロセッサ」（電子情報通信学会技術報告Ｉ
ＣＤ９０−１、Ｐ１〜６、１９９０）に記載された装置
のように、ニューロンの出力関数としてシグモイド関数
を用いた場合、各ニューロンにシグモイド関数の特性を
有する回路を設けなければならず、また、入力値とシナ
プス結合荷重とを掛け合せるための乗算回路を各シナプ
ス毎に設けなければならず、回路構成が複雑になるとい
う問題があった。
【０００９】一方、回路構成が簡単で且つ大規模なアナ
ログニューラルネットワークを構成するための素子とし
て、シナプス結合荷重を実現する容量性の浮動ゲートを
備えた半導体セルが提案されている（例えば、特開平２
−７４０５３号公報参照）。
ログニューラルネットワークを構成するための素子とし
て、シナプス結合荷重を実現する容量性の浮動ゲートを
備えた半導体セルが提案されている（例えば、特開平２
−７４０５３号公報参照）。
【００１０】
【発明が解決しようとする課題】しかしながら、前述し
た半導体セルを用いて図３に示したようなニューラルネ
ットワークを構成した場合、回路の正確な特性を数式で
表すことが難しく、また、素子毎の特性のばらつきもあ
るため、誤差逆伝播を正確に行うことができず、学習に
時間がかかったり、不可能になるという問題があった。
た半導体セルを用いて図３に示したようなニューラルネ
ットワークを構成した場合、回路の正確な特性を数式で
表すことが難しく、また、素子毎の特性のばらつきもあ
るため、誤差逆伝播を正確に行うことができず、学習に
時間がかかったり、不可能になるという問題があった。
【００１１】本発明は前記従来の問題点に鑑み、回路構
成が簡単で且つ学習を効率良く行うことのできるアナロ
グニューラルネットワークを提供することを目的とす
る。
成が簡単で且つ学習を効率良く行うことのできるアナロ
グニューラルネットワークを提供することを目的とす
る。
【００１２】
【課題を解決するための手段】本発明では前記目的を達
成するため、請求項１として、入力層と出力層との間に
少なくとも一層の中間層を備えたアナログニューラルネ
ットワークにおいて、中間層の各ニューロンの出力値の
取出し部を設けたアナログニューラルネットワーク、ま
た、請求項２として、入力層と出力層との間に少なくと
も一層の中間層を備えたアナログニューラルネットワー
クにおいて、中間層の各ニューロンの出力値の取出し部
を設けるとともに、予め出力層よりの出力値が既知な入
力値を入力層に入力し、実際に出力層より得られた出力
値と前記既知の出力値との相違及び前記取出し部より得
られた中間層の出力値に基いてシナプス結合荷重を変更
し、これを繰返して学習を行うようになしたアナログニ
ューラルネットワークを提案する。
成するため、請求項１として、入力層と出力層との間に
少なくとも一層の中間層を備えたアナログニューラルネ
ットワークにおいて、中間層の各ニューロンの出力値の
取出し部を設けたアナログニューラルネットワーク、ま
た、請求項２として、入力層と出力層との間に少なくと
も一層の中間層を備えたアナログニューラルネットワー
クにおいて、中間層の各ニューロンの出力値の取出し部
を設けるとともに、予め出力層よりの出力値が既知な入
力値を入力層に入力し、実際に出力層より得られた出力
値と前記既知の出力値との相違及び前記取出し部より得
られた中間層の出力値に基いてシナプス結合荷重を変更
し、これを繰返して学習を行うようになしたアナログニ
ューラルネットワークを提案する。
【００１３】
【作用】本発明の請求項１によれば、中間層の各ニュー
ロンの出力値を取出すことができ、該出力値を学習の際
に利用することができる。また、請求項２によれば、中
間層の各ニューロンから取出された出力値を利用して誤
差逆伝播学習を行うことができ、回路の特性のばらつき
等による影響を抑えることができる。
ロンの出力値を取出すことができ、該出力値を学習の際
に利用することができる。また、請求項２によれば、中
間層の各ニューロンから取出された出力値を利用して誤
差逆伝播学習を行うことができ、回路の特性のばらつき
等による影響を抑えることができる。
【００１４】
【実施例】図１は本発明のアナログニューラルネットワ
ークの一実施例を示すもので、図中、従来例と同一構成
部分は同一符号をもって表す。即ち、２1 ，２2 ，……
２l は入力端子、３1 ，３2 ，……３m は一段目のニュ
ーロン、４1 ，４2 ，……４n は二段目のニューロン、
５1 ，５2 ，……５n は出力端子、６は結合荷重設定回
路、７1 ，７2 ，……７m は中間出力端子である。
ークの一実施例を示すもので、図中、従来例と同一構成
部分は同一符号をもって表す。即ち、２1 ，２2 ，……
２l は入力端子、３1 ，３2 ，……３m は一段目のニュ
ーロン、４1 ，４2 ，……４n は二段目のニューロン、
５1 ，５2 ，……５n は出力端子、６は結合荷重設定回
路、７1 ，７2 ，……７m は中間出力端子である。
【００１５】前記入力端子２1 ，２2 ，……２l にはｌ
個の入力信号ａ1 ，ａ2 ，……ａlがそれぞれ入力され
ているが、これらはそれぞれｍ個のニューロン３1 ，３
2 ，……３m に分配して入力される。各ニューロン
３1 ，３2 ，……３m はそれぞれ従来例の場合と同様な
積和演算及び関数演算処理を行う。さらに、各ニューロ
ン３1 ，３2 ，……３m の出力信号はそれぞれｎ個のニ
ューロン４1 ，４2 ，……４n に分配して入力されると
ともに、中間出力端子７1 ，７2 ，……７m から出力さ
れる。各ニューロン４1 ，４2 ，……４n もそれぞれ従
来例の場合と同様な積和演算及び関数演算処理を行い、
その各出力信号ｂ1 ，ｂ2 ，……ｂn はそれぞれｎ個の
出力端子５1 ，５2 ，……５n より出力される。
個の入力信号ａ1 ，ａ2 ，……ａlがそれぞれ入力され
ているが、これらはそれぞれｍ個のニューロン３1 ，３
2 ，……３m に分配して入力される。各ニューロン
３1 ，３2 ，……３m はそれぞれ従来例の場合と同様な
積和演算及び関数演算処理を行う。さらに、各ニューロ
ン３1 ，３2 ，……３m の出力信号はそれぞれｎ個のニ
ューロン４1 ，４2 ，……４n に分配して入力されると
ともに、中間出力端子７1 ，７2 ，……７m から出力さ
れる。各ニューロン４1 ，４2 ，……４n もそれぞれ従
来例の場合と同様な積和演算及び関数演算処理を行い、
その各出力信号ｂ1 ，ｂ2 ，……ｂn はそれぞれｎ個の
出力端子５1 ，５2 ，……５n より出力される。
【００１６】なお、前記入力端子２1 〜２l は入力層を
構成し、また、ニューロン３1 〜３m 及び中間出力端子
７1 〜７m は中間層を構成し、また、ニューロン４1 〜
４n及び出力端子５1 〜５n は出力層を構成して、全体
として３層の階層型のアナログニューラルネットワーク
を構成している。また、前記各ニューロン３1 〜３m及
び４1 〜４n におけるシナプス結合荷重は従来例の場合
と同様に結合荷重設定回路６により設定される。
構成し、また、ニューロン３1 〜３m 及び中間出力端子
７1 〜７m は中間層を構成し、また、ニューロン４1 〜
４n及び出力端子５1 〜５n は出力層を構成して、全体
として３層の階層型のアナログニューラルネットワーク
を構成している。また、前記各ニューロン３1 〜３m及
び４1 〜４n におけるシナプス結合荷重は従来例の場合
と同様に結合荷重設定回路６により設定される。
【００１７】前記構成によれば、中間層のニューロン３
1 〜３m の出力値を中間出力端子７1 〜７m から取出す
ことができるため、その値を誤差逆伝播学習の計算に利
用することにより回路の特性があまり正確にわかってい
なくても誤差逆伝播学習を効率良く行うことができる。
1 〜３m の出力値を中間出力端子７1 〜７m から取出す
ことができるため、その値を誤差逆伝播学習の計算に利
用することにより回路の特性があまり正確にわかってい
なくても誤差逆伝播学習を効率良く行うことができる。
【００１８】図４は本発明のアナログニューラルネット
ワークの具体例を示すもので、図中、１０は１段目の複
数のニューロンを構成するシナプスマトリクス回路、２
０は２段目の複数のニューロンを構成するシナプスマト
リクス回路である。また、３０1 ，３０2 ，……３０l
は入力端子、３１1 ，３１2 ，……３１m は中間出力端
子、３２1 ，３２2 ，……３２n は出力端子、３３，３
４，３５，３６はデコーダ、３７，３８はディジタル・
アナログ（Ｄ／Ａ）コンバータ、３９は結合荷重設定回
路である。
ワークの具体例を示すもので、図中、１０は１段目の複
数のニューロンを構成するシナプスマトリクス回路、２
０は２段目の複数のニューロンを構成するシナプスマト
リクス回路である。また、３０1 ，３０2 ，……３０l
は入力端子、３１1 ，３１2 ，……３１m は中間出力端
子、３２1 ，３２2 ，……３２n は出力端子、３３，３
４，３５，３６はデコーダ、３７，３８はディジタル・
アナログ（Ｄ／Ａ）コンバータ、３９は結合荷重設定回
路である。
【００１９】シナプスマトリクス回路１０は極性反転回
路１１1 ，１１2 ，……１１l と、シナプス回路１
２11，１２12，……１２1l，１２21，１２22，……１２
2l，……１２m1，１２m2，……１２mlと、差動増幅器１
３1 ，１３2 ，……１３m と、トランジスタ（ＦＥＴ）
１４11，１４12，……１４1l，１４21，１４22，……１
４2l，……１４m1，１４m2，……１４ml及び１５1 ，１
５2 ，……１５l とからなっている。
路１１1 ，１１2 ，……１１l と、シナプス回路１
２11，１２12，……１２1l，１２21，１２22，……１２
2l，……１２m1，１２m2，……１２mlと、差動増幅器１
３1 ，１３2 ，……１３m と、トランジスタ（ＦＥＴ）
１４11，１４12，……１４1l，１４21，１４22，……１
４2l，……１４m1，１４m2，……１４ml及び１５1 ，１
５2 ，……１５l とからなっている。
【００２０】また、シナプスマトリクス回路２０は極性
反転回路２１1 ，２１2 ，……２１m と、シナプス回路
２２11，２２12，……２２1m，２２21，２２22，……２
２2m，……２２n1，２２n2，……２２nmと、差動増幅器
２３1 ，２３2 ，……２３nと、トランジスタ（ＦＥ
Ｔ）２４11，２４12，……２４1m，２４21，２４22，…
…２４2m，……２４n1，２４n2，……２４nm及２５1 ，
２５2 ，……２５m とからなっている。
反転回路２１1 ，２１2 ，……２１m と、シナプス回路
２２11，２２12，……２２1m，２２21，２２22，……２
２2m，……２２n1，２２n2，……２２nmと、差動増幅器
２３1 ，２３2 ，……２３nと、トランジスタ（ＦＥ
Ｔ）２４11，２４12，……２４1m，２４21，２４22，…
…２４2m，……２４n1，２４n2，……２４nm及２５1 ，
２５2 ，……２５m とからなっている。
【００２１】極性反転回路１１1 〜１１l 及び２１1 〜
２１m は、それぞれ入力端子３０1〜３０l に入力され
る電圧及び中間出力端子３１1 〜３１m へ出力される電
圧と極性が反対で大きさが同じ電圧をシナプス回路１２
11〜１２ml及び２２11〜２２nmに行毎に出力する。
２１m は、それぞれ入力端子３０1〜３０l に入力され
る電圧及び中間出力端子３１1 〜３１m へ出力される電
圧と極性が反対で大きさが同じ電圧をシナプス回路１２
11〜１２ml及び２２11〜２２nmに行毎に出力する。
【００２２】シナプス回路、例えば１２11は、図５に示
すように一対のＰチャネルＭＯＳＦＥＴ１２11−１、Ｎ
チャネルＭＯＳＦＥＴ１２11−２及びコンデンサ１２11
−３からなっている。該ＦＥＴ１２11−１及びＦＥＴ１
２11−２のドレインは入力端子３０1 及び極性反転回路
１１1 の出力にそれぞれ接続され、また、ソースは両方
とも差動増幅器１３1 に接続されている。また、該ＦＥ
Ｔ１２11−１及びＦＥＴ１２11−２のゲートは互いに接
続されており、さらにコンデンサ１２11−３に接続され
ている。また、該コンデンサ１２11−３はトランジスタ
１４11に接続されている。前記ＦＥＴ１２11−１及びＦ
ＥＴ１２11−２は後述する如くしてコンデンサ１２11−
３に充電された電圧、即ちゲート電圧の正負によって、
その一方のみが導通し、また、この時のゲート電圧の大
きさによってその抵抗値の大きさが決まることにより、
入力電圧に対して任意の値の正又は負の結合荷重を設定
することができる。なお、他のシナプス回路１２12〜１
２ml及び２２11〜２２nmについても同様な構成となって
いる。
すように一対のＰチャネルＭＯＳＦＥＴ１２11−１、Ｎ
チャネルＭＯＳＦＥＴ１２11−２及びコンデンサ１２11
−３からなっている。該ＦＥＴ１２11−１及びＦＥＴ１
２11−２のドレインは入力端子３０1 及び極性反転回路
１１1 の出力にそれぞれ接続され、また、ソースは両方
とも差動増幅器１３1 に接続されている。また、該ＦＥ
Ｔ１２11−１及びＦＥＴ１２11−２のゲートは互いに接
続されており、さらにコンデンサ１２11−３に接続され
ている。また、該コンデンサ１２11−３はトランジスタ
１４11に接続されている。前記ＦＥＴ１２11−１及びＦ
ＥＴ１２11−２は後述する如くしてコンデンサ１２11−
３に充電された電圧、即ちゲート電圧の正負によって、
その一方のみが導通し、また、この時のゲート電圧の大
きさによってその抵抗値の大きさが決まることにより、
入力電圧に対して任意の値の正又は負の結合荷重を設定
することができる。なお、他のシナプス回路１２12〜１
２ml及び２２11〜２２nmについても同様な構成となって
いる。
【００２３】差動増幅器１３1 〜１３m 及び２３1 〜２
３n はシナプス回路１２11〜１２ml及び２２11〜２２nm
に列毎に接続されている。トランジスタ１４11〜１４ml
及び２４11〜２４nmはそれぞれデコーダ３３及び３５に
列毎に接続されるとともに、トランジスタ１５1 〜１５
l 及び２５1 〜２５m に行毎に接続されている。トラン
ジスタ１５1 〜１５l はデコーダ３４及びＤ／Ａコンバ
ータ３７に接続され、また、トランジスタ２５1 〜２５
m はデコーダ３６及びＤ／Ａコンバータ３８に接続され
ている。
３n はシナプス回路１２11〜１２ml及び２２11〜２２nm
に列毎に接続されている。トランジスタ１４11〜１４ml
及び２４11〜２４nmはそれぞれデコーダ３３及び３５に
列毎に接続されるとともに、トランジスタ１５1 〜１５
l 及び２５1 〜２５m に行毎に接続されている。トラン
ジスタ１５1 〜１５l はデコーダ３４及びＤ／Ａコンバ
ータ３７に接続され、また、トランジスタ２５1 〜２５
m はデコーダ３６及びＤ／Ａコンバータ３８に接続され
ている。
【００２４】結合荷重設定回路３９はＣＰＵ、ＲＡＭ、
ＲＯＭ、ＥＥＰＲＯＭ等によって構成されており、該Ｅ
ＥＰＲＯＭには各シナプス回路１２11〜１２ml及び２２
11〜２２nmのそれぞれの結合荷重に対応するデータが予
め記憶されている。該結合荷重設定回路３９はデコーダ
３３〜３６を駆動してトランジスタ１４11〜１４ml及び
１５1 〜１５l のいずれか１つずつ又はトランジスタ２
４11〜２４nm及び２５1 〜２５m のいずれか１つずつを
オンとなし、シナプス回路１２11〜１２ml又は２２11〜
２２nmのうちから一のシナプス回路を選択するととも
に、前記ＥＥＰＲＯＭに記憶されたデータのうちから該
選択されたシナプス回路に該当するデータをＤ／Ａコン
バータ３７又は３８に送出することにより、該シナプス
回路中のコンデンサにその結合荷重に対応するアナログ
電圧を充電し、これを全てのシナプス回路に繰返し行う
如くなっている。
ＲＯＭ、ＥＥＰＲＯＭ等によって構成されており、該Ｅ
ＥＰＲＯＭには各シナプス回路１２11〜１２ml及び２２
11〜２２nmのそれぞれの結合荷重に対応するデータが予
め記憶されている。該結合荷重設定回路３９はデコーダ
３３〜３６を駆動してトランジスタ１４11〜１４ml及び
１５1 〜１５l のいずれか１つずつ又はトランジスタ２
４11〜２４nm及び２５1 〜２５m のいずれか１つずつを
オンとなし、シナプス回路１２11〜１２ml又は２２11〜
２２nmのうちから一のシナプス回路を選択するととも
に、前記ＥＥＰＲＯＭに記憶されたデータのうちから該
選択されたシナプス回路に該当するデータをＤ／Ａコン
バータ３７又は３８に送出することにより、該シナプス
回路中のコンデンサにその結合荷重に対応するアナログ
電圧を充電し、これを全てのシナプス回路に繰返し行う
如くなっている。
【００２５】図６は図４のアナログニューラルネットワ
ークにおいて学習を行う場合の構成を示すもので、図
中、４０は図４に示したアナログニューラルネットワー
ク、４１はディジタル・アナログ（Ｄ／Ａ）コンバー
タ、４２，４３はアナログ・ディジタル（Ａ／Ｄ）コン
バータ、４４はコンピュータである。
ークにおいて学習を行う場合の構成を示すもので、図
中、４０は図４に示したアナログニューラルネットワー
ク、４１はディジタル・アナログ（Ｄ／Ａ）コンバー
タ、４２，４３はアナログ・ディジタル（Ａ／Ｄ）コン
バータ、４４はコンピュータである。
【００２６】Ｄ／Ａコンバータ４１はコンピュータ４４
より供給されるｌ個の入力データをアナログ電圧Ｎ1 〜
Ｎl に変換してアナログニューラルネットワーク４０の
入力端子に送出する。また、Ａ／Ｄコンバータ４２はア
ナログニューラルネットワーク４０の中間出力端子より
出力されるｍ個の中間出力電圧Ｈ1 〜Ｈm をディジタル
データに変換してコンピュータ４４に送出する。また、
Ａ／Ｄコンバータ４３はアナログニューラルネットワー
ク４０の出力端子より出力されるｎ個の出力電圧Ｏ1 〜
Ｏn をディジタルデータに変換してコンピュータ４４に
送出する。コンピュータ４４は図７に示すフローチャー
トに従って学習を実行する。
より供給されるｌ個の入力データをアナログ電圧Ｎ1 〜
Ｎl に変換してアナログニューラルネットワーク４０の
入力端子に送出する。また、Ａ／Ｄコンバータ４２はア
ナログニューラルネットワーク４０の中間出力端子より
出力されるｍ個の中間出力電圧Ｈ1 〜Ｈm をディジタル
データに変換してコンピュータ４４に送出する。また、
Ａ／Ｄコンバータ４３はアナログニューラルネットワー
ク４０の出力端子より出力されるｎ個の出力電圧Ｏ1 〜
Ｏn をディジタルデータに変換してコンピュータ４４に
送出する。コンピュータ４４は図７に示すフローチャー
トに従って学習を実行する。
【００２７】ここで、入力信号をＮi （ｉ＝１，２，…
…ｌ）（０≦Ｎi ≦１）、中間出力信号をＨj （ｊ＝
１，２，……ｍ）（０≦Ｈj ≦１）、出力信号をＯ
k （ｋ＝１，２，……ｎ）（０≦Ｏk ≦１）、入力信号
Ｎi に対応する既知の出力信号をＴk （ｋ＝１，２，…
…ｎ）（０≦Ｔk ≦１）とすると、中間層の結合荷重Ｗ
ij及びその更新量ΔＷij並びに出力層の結合荷重Ｖjk及
びその更新量ΔＶjkは、次のように表される。
…ｌ）（０≦Ｎi ≦１）、中間出力信号をＨj （ｊ＝
１，２，……ｍ）（０≦Ｈj ≦１）、出力信号をＯ
k （ｋ＝１，２，……ｎ）（０≦Ｏk ≦１）、入力信号
Ｎi に対応する既知の出力信号をＴk （ｋ＝１，２，…
…ｎ）（０≦Ｔk ≦１）とすると、中間層の結合荷重Ｗ
ij及びその更新量ΔＷij並びに出力層の結合荷重Ｖjk及
びその更新量ΔＶjkは、次のように表される。
【００２８】 ΔＶjk＝α・Ｈj ・ｆ´（Ｏk ）・（Ｔk −Ｏk ） ……(2) Ｖjk＝Ｖjk＋ΔＶjk ……(3) ΔＷij＝β・Ｎi ・ｆ´（Ｈj ）・Σ［ｋ＝１〜ｎ］｛（Ｔk −Ｏk ）・ｆ´ （Ｏk ）・Ｖjk｝ ……(4) Ｗij＝Ｗij＋ΔＷij ……(5) 但し、α，βは学習の係数、ｆ´（Ｏk ）は０＜Ｏk ＜
１の時に１、Ｏk ＝１又はＯk ＝０の時に０、ｆ´（Ｈ
j ）は０＜Ｈj ＜１の時に１、Ｈj ＝１又はＨj ＝０の
時に０である。
１の時に１、Ｏk ＝１又はＯk ＝０の時に０、ｆ´（Ｈ
j ）は０＜Ｈj ＜１の時に１、Ｈj ＝１又はＨj ＝０の
時に０である。
【００２９】前記中間層の出力信号Ｈj は従来の場合、
前記(1) 式の計算によって算出していたが、本発明では
回路中より直接取出すことができるため、該回路のシナ
プスの特性等にばらつきがあっても誤差逆伝播学習を効
率良く行うことができる。
前記(1) 式の計算によって算出していたが、本発明では
回路中より直接取出すことができるため、該回路のシナ
プスの特性等にばらつきがあっても誤差逆伝播学習を効
率良く行うことができる。
【００３０】図８は本発明のアナログニューラルネット
ワークによって手書き数字９文字のパターン認識を学習
させた場合の学習回数と出力誤差との関係の一例を示す
ものである。
ワークによって手書き数字９文字のパターン認識を学習
させた場合の学習回数と出力誤差との関係の一例を示す
ものである。
【００３１】なお、これまでの説明では中間層が１層の
ものを例に挙げたが、複数の中間層を備えたアナログニ
ューラルネットワークについても同様に適用でき、この
場合は各中間層毎に信号を取出し、これを学習に利用す
ることができる。
ものを例に挙げたが、複数の中間層を備えたアナログニ
ューラルネットワークについても同様に適用でき、この
場合は各中間層毎に信号を取出し、これを学習に利用す
ることができる。
【００３２】
【発明の効果】以上説明したように本発明の請求項１に
よれば、中間層の各ニューロンの出力値を取出すことが
でき、該出力値を学習の際に利用することができる。
よれば、中間層の各ニューロンの出力値を取出すことが
でき、該出力値を学習の際に利用することができる。
【００３３】また、請求項２によれば、中間層の各ニュ
ーロンから取出された出力値を利用して誤差逆伝播学習
を行うことができ、回路の特性のばらつき等による影響
を抑えることができ、学習を効率良く行うことができ
る。
ーロンから取出された出力値を利用して誤差逆伝播学習
を行うことができ、回路の特性のばらつき等による影響
を抑えることができ、学習を効率良く行うことができ
る。
【図面の簡単な説明】
【図１】 本発明のアナログニューラルネットワークの
一実施例を示す構成図
一実施例を示す構成図
【図２】 ニューラルネットワークを構成するニューロ
ンの概要図
ンの概要図
【図３】 従来のニューラルネットワークの一例を示す
構成図
構成図
【図４】 本発明のアナログニューラルネットワークの
具体例を示す回路図
具体例を示す回路図
【図５】 図４の回路中のシナプス回路の詳細を示す回
路図
路図
【図６】 図４の回路において学習を行う場合の構成図
【図７】 図６中のコンピュータにおけるフローチャー
ト
ト
【図８】 本発明のアナログニューラルネットワークに
おける学習回数と出力誤差との関係の一例を示すグラフ
おける学習回数と出力誤差との関係の一例を示すグラフ
２，３０1 〜３０l …入力端子、３，４…ニューロン、
５，３２1 〜３２n …出力端子、６，３９…結合荷重設
定回路、７，３１1 〜３１m …中間出力端子、３３，３
４，３５，３６…デコーダ、３７，３８…ディジタル・
アナログ（Ｄ／Ａ）コンバータ、１０，２０…シナプス
マトリクス回路。
５，３２1 〜３２n …出力端子、６，３９…結合荷重設
定回路、７，３１1 〜３１m …中間出力端子、３３，３
４，３５，３６…デコーダ、３７，３８…ディジタル・
アナログ（Ｄ／Ａ）コンバータ、１０，２０…シナプス
マトリクス回路。
Claims (2)
- 【請求項１】 入力層と出力層との間に少なくとも一層
の中間層を備えたアナログニューラルネットワークにお
いて、 中間層の各ニューロンの出力値の取出し部を設けたこと
を特徴とするアナログニューラルネットワーク。 - 【請求項２】 入力層と出力層との間に少なくとも一層
の中間層を備えたアナログニューラルネットワークにお
いて、 中間層の各ニューロンの出力値の取出し部を設けるとと
もに、 予め出力層よりの出力値が既知な入力値を入力層に入力
し、実際に出力層より得られた出力値と前記既知の出力
値との相違及び前記取出し部より得られた中間層の出力
値に基いてシナプス結合荷重を変更し、これを繰返して
学習を行うようになしたことを特徴とするアナログニュ
ーラルネットワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3070034A JPH06187472A (ja) | 1991-04-02 | 1991-04-02 | アナログニューラルネットワーク |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3070034A JPH06187472A (ja) | 1991-04-02 | 1991-04-02 | アナログニューラルネットワーク |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06187472A true JPH06187472A (ja) | 1994-07-08 |
Family
ID=13419908
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3070034A Pending JPH06187472A (ja) | 1991-04-02 | 1991-04-02 | アナログニューラルネットワーク |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06187472A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018109968A (ja) * | 2016-12-28 | 2018-07-12 | 株式会社半導体エネルギー研究所 | ニューラルネットワークを利用したデータ処理装置、電子部品、および電子機器 |
| US10141069B2 (en) | 2015-05-21 | 2018-11-27 | Semiconductor Energy Laboratory Co., Ltd. | Neural network and electronic device including artificial neural array |
| US10674168B2 (en) | 2015-10-23 | 2020-06-02 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US10827102B2 (en) | 2017-02-24 | 2020-11-03 | Huawei Technologies Co., Ltd | Image processing apparatus |
| US10922605B2 (en) | 2015-10-23 | 2021-02-16 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11099814B2 (en) | 2016-10-12 | 2021-08-24 | Semiconductor Energy Laboratory Co., Ltd. | Neural network semiconductor device and system using the same |
-
1991
- 1991-04-02 JP JP3070034A patent/JPH06187472A/ja active Pending
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10141069B2 (en) | 2015-05-21 | 2018-11-27 | Semiconductor Energy Laboratory Co., Ltd. | Neural network and electronic device including artificial neural array |
| US10699794B2 (en) | 2015-05-21 | 2020-06-30 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US11004528B2 (en) | 2015-05-21 | 2021-05-11 | Semiconductor Energy Laboratory Co., Ltd. | Electronic device |
| US11776645B2 (en) | 2015-05-21 | 2023-10-03 | Semiconductor Energy Laboratory Co., Ltd. | Stacked electronic device capable of retaining an analog potential |
| US10674168B2 (en) | 2015-10-23 | 2020-06-02 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US10922605B2 (en) | 2015-10-23 | 2021-02-16 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11893474B2 (en) | 2015-10-23 | 2024-02-06 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
| US11099814B2 (en) | 2016-10-12 | 2021-08-24 | Semiconductor Energy Laboratory Co., Ltd. | Neural network semiconductor device and system using the same |
| US11755286B2 (en) | 2016-10-12 | 2023-09-12 | Semiconductor Energy Laboratory Co., Ltd. | Neural network semiconductor device and system using the same |
| JP2018109968A (ja) * | 2016-12-28 | 2018-07-12 | 株式会社半導体エネルギー研究所 | ニューラルネットワークを利用したデータ処理装置、電子部品、および電子機器 |
| US11195088B2 (en) | 2016-12-28 | 2021-12-07 | Semiconductor Energy Laboratory Co., Ltd. | Data processing device using neural network, electronic component, and electronic device |
| US10827102B2 (en) | 2017-02-24 | 2020-11-03 | Huawei Technologies Co., Ltd | Image processing apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Choi et al. | A high-precision VLSI winner-take-all circuit for self-organizing neural networks | |
| US6829598B2 (en) | Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET | |
| Lee et al. | Hardware annealing in analog VLSI neurocomputing | |
| Choi et al. | A Gaussian synapse circuit for analog VLSI neural networks | |
| CN111656368A (zh) | 硬件加速的离散式神经网络 | |
| US8275728B2 (en) | Neuromorphic computer | |
| JP3289748B2 (ja) | 半導体装置 | |
| US11188815B2 (en) | Weight shifting for neuromorphic synapse array | |
| US10468098B2 (en) | In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture | |
| JP3438241B2 (ja) | 半導体神経回路装置 | |
| JP2760543B2 (ja) | 多重帰還回路 | |
| CN110651330A (zh) | 二分忆阻网络中的深度学习 | |
| JPH0467259A (ja) | 情報処理装置 | |
| Hsu et al. | Competitive learning with floating-gate circuits | |
| Tripathi et al. | Analog neuromorphic system based on multi input floating gate mos neuron model | |
| JPH06187472A (ja) | アナログニューラルネットワーク | |
| JP2007066258A (ja) | 演算装置 | |
| Wu et al. | CMOS current-mode neural associative memory design with on-chip learning | |
| JPH06125049A (ja) | 半導体装置 | |
| KR0183406B1 (ko) | 신경망에 사용되는 가중합가법의 용량성 구조물 | |
| Vohra et al. | CMOS circuit implementation of spiking neural network for pattern recognition using on-chip unsupervised STDP learning | |
| JPH04281584A (ja) | 複数の入力信号の重みづけられた複数の加算を行う装置 | |
| Bo et al. | A circuit architecture for analog on-chip back propagation learning with local learning rate adaptation | |
| CN115062583B (zh) | 一种求解优化问题的hopfield网络硬件电路及操作方法 | |
| US20230229870A1 (en) | Cross coupled capacitor analog in-memory processing device |