JP2976835B2 - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置Info
- Publication number
- JP2976835B2 JP2976835B2 JP7038254A JP3825495A JP2976835B2 JP 2976835 B2 JP2976835 B2 JP 2976835B2 JP 7038254 A JP7038254 A JP 7038254A JP 3825495 A JP3825495 A JP 3825495A JP 2976835 B2 JP2976835 B2 JP 2976835B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- synapse
- value
- load value
- synapse load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Feedback Control In General (AREA)
Description
【０００１】
【産業上の利用分野】本発明はニューラルネットワーク
装置に関し、特にシナプスセルを含むニューラルネット
ワーク装置に関する。
装置に関し、特にシナプスセルを含むニューラルネット
ワーク装置に関する。
【０００２】
【従来の技術】ニューラルネットワーク装置ではニュー
ロン同志はシナプス結合で結ばれている。あるニューロ
ン（これをニューロンＡとする）に信号を入れると、ニ
ューロンＡの出力信号は、別のニューロンＢへ、シナプ
ス結合を介して、入力される。そしてニューロンＢの出
力信号は、また別のニューロンＣの入力となり…という
ように、信号がシナプス結合を介しながら、ニューロン
からニューロンへと伝わっていく。このようにして信号
が伝播していき、最後のニューロンから最終的な出力が
得られる。
ロン同志はシナプス結合で結ばれている。あるニューロ
ン（これをニューロンＡとする）に信号を入れると、ニ
ューロンＡの出力信号は、別のニューロンＢへ、シナプ
ス結合を介して、入力される。そしてニューロンＢの出
力信号は、また別のニューロンＣの入力となり…という
ように、信号がシナプス結合を介しながら、ニューロン
からニューロンへと伝わっていく。このようにして信号
が伝播していき、最後のニューロンから最終的な出力が
得られる。
【０００３】通常各ニューロンとシナプスとは併せて次
の計算をしている。すなわち、入力信号Ｉj（ｊ＝１〜
Ｎ）を受けて、シナプス荷重値Ｗijを使用して
の計算をしている。すなわち、入力信号Ｉj（ｊ＝１〜
Ｎ）を受けて、シナプス荷重値Ｗijを使用して
【０００４】
【０００５】を計算する。さらにニューロンの出力Ｏj
が計算され、
が計算され、
【０００６】
【０００７】となる。ここでｈi は閾値である。またθ
（ｘ）はステップ関数であって、 θ（ｘ）＝１（ｘ≧１） θ（ｘ）＝０（ｘ＜０） である。
（ｘ）はステップ関数であって、 θ（ｘ）＝１（ｘ≧１） θ（ｘ）＝０（ｘ＜０） である。
【０００８】数式表現をきれいにするために、通常ｈi
を、Ｉ0＝-１という仮想入力に対する重みＷi0とみな
し、
を、Ｉ0＝-１という仮想入力に対する重みＷi0とみな
し、
【０００９】
【００１０】とする。なお、便宜上今後は
【００１１】
【００１２】をｎｅｔi と記すことにする。すなわち、
第ｉ番目のニューロンの出力は、Ｏi＝θ（ｎｅｔi ）
である。
第ｉ番目のニューロンの出力は、Ｏi＝θ（ｎｅｔi ）
である。
【００１３】信号がニューロンからニューロンへと伝播
していき最後に得られる最終出力と、望ましい出力（期
待値）とを比べ、その差が減少するようにシナプス荷重
値を変化させることを、「学習」と呼ぶ。実際にどのよ
うな規則にしたがってシナプス荷重値を変えていくかの
学習則は様々なものが提案されている。最も基本の学習
則がデルタ則である。そこで、以下ではデルタ則につい
て説明する。なお、デルタ則の一般的解説は、例えば文
献「ＰＤＰモデル」（Ｄ．Ｅ．ラメルハート他著、甘利
監訳、産業図書）に詳しく解説されている。
していき最後に得られる最終出力と、望ましい出力（期
待値）とを比べ、その差が減少するようにシナプス荷重
値を変化させることを、「学習」と呼ぶ。実際にどのよ
うな規則にしたがってシナプス荷重値を変えていくかの
学習則は様々なものが提案されている。最も基本の学習
則がデルタ則である。そこで、以下ではデルタ則につい
て説明する。なお、デルタ則の一般的解説は、例えば文
献「ＰＤＰモデル」（Ｄ．Ｅ．ラメルハート他著、甘利
監訳、産業図書）に詳しく解説されている。
【００１４】デルタ則ではシナプス荷重値Ｗijを教師信
号Ｔi，ニューロンの出力Ｏiおよびニューロンの入力信
号Ｉiを用いて次式にしたがって修正する。ΔＷij＝ε
（Ｔi−Ｏi）Ｉj（εは正の定数）（１）なおデルタ則
という名前は、上式の（Ｔi−Ｏi）を、通常デルタ信号
（δi）と呼ぶからである。Δiを使って式（１）を次の
ように書き直すことができる。
号Ｔi，ニューロンの出力Ｏiおよびニューロンの入力信
号Ｉiを用いて次式にしたがって修正する。ΔＷij＝ε
（Ｔi−Ｏi）Ｉj（εは正の定数）（１）なおデルタ則
という名前は、上式の（Ｔi−Ｏi）を、通常デルタ信号
（δi）と呼ぶからである。Δiを使って式（１）を次の
ように書き直すことができる。
【００１５】ΔＷij＝εδiＩj（εは正の定数）（２） 式（２）にしたがってシナプス荷重値Ｗijを漸時修正す
れば教師信号Ｔiとニューロンの信号Ｏiとの差が小さく
なっていく。
れば教師信号Ｔiとニューロンの信号Ｏiとの差が小さく
なっていく。
【００１６】最も単純な構成として、（Ｎ＋１）個のニ
ューロンがあって、それぞれが（Ｎ＋１）個の入力信号
Ｉj （ｊ＝０〜Ｎ）を受け、出力Ｏi （ｉ＝０〜Ｎ）を
出しているとする。さらに教師信号Ｔj 、各ニューロン
の出力信号Ｏj および入力信号Ｉi のそれぞれはともに
０かまたは１をとる離散信号とする。
ューロンがあって、それぞれが（Ｎ＋１）個の入力信号
Ｉj （ｊ＝０〜Ｎ）を受け、出力Ｏi （ｉ＝０〜Ｎ）を
出しているとする。さらに教師信号Ｔj 、各ニューロン
の出力信号Ｏj および入力信号Ｉi のそれぞれはともに
０かまたは１をとる離散信号とする。
【００１７】このようなニューラルネットワーク装置の
構成の一例を図６に示す。図６はデルタ則を具現するニ
ューラルネットワーク装置の構成図である。
構成の一例を図６に示す。図６はデルタ則を具現するニ
ューラルネットワーク装置の構成図である。
【００１８】図６を参照すると従来のニューラルネット
ワーク装置は、マトリック状に並んだシナプスセル（Ｓ
00〜ＳNN）を有している。各シナプスセルＳij（６３
０）は、それぞれシナプス荷重値Ｗijを保持している。
縦の一列毎に入力信号Ｉjが与えられると、各シナプス
セルＳijは、乗算（Ｗij×Ｉj）を実行する。この乗算
値は、電流値の形で出力される。そして横一行の各シナ
プスセルの出力（Ｗij・Ｉj）が電流加算されて、ｎｅ
ｔi（６２０）となる。また、このｎｅｔi を受けるス
テップ関数生成器６４０を有する。
ワーク装置は、マトリック状に並んだシナプスセル（Ｓ
00〜ＳNN）を有している。各シナプスセルＳij（６３
０）は、それぞれシナプス荷重値Ｗijを保持している。
縦の一列毎に入力信号Ｉjが与えられると、各シナプス
セルＳijは、乗算（Ｗij×Ｉj）を実行する。この乗算
値は、電流値の形で出力される。そして横一行の各シナ
プスセルの出力（Ｗij・Ｉj）が電流加算されて、ｎｅ
ｔi（６２０）となる。また、このｎｅｔi を受けるス
テップ関数生成器６４０を有する。
【００１９】すなわち、各ｎｅｔi （６２０）を入力し
て、出力Ｏi をＯi ＝θ（ｎｅｔi ）（６５０）として
出力する。
て、出力Ｏi をＯi ＝θ（ｎｅｔi ）（６５０）として
出力する。
【００２０】また、各行にデルタ信号δi＝（６１０）
が入力される。学習時には、各シナプスセルは（Ｔi−
Ｏi）と入力Ｉjとの乗算を行い、それをΔＷijとして、
式（２）にしたがってシナプス荷重値Ｗijを修正する。
が入力される。学習時には、各シナプスセルは（Ｔi−
Ｏi）と入力Ｉjとの乗算を行い、それをΔＷijとして、
式（２）にしたがってシナプス荷重値Ｗijを修正する。
【００２１】次に従来のシナプスセルの構成を説明す
る。
る。
【００２２】図７は従来のシナプスセルの構成図であ
る。図６を参照するとこのシナプスセルのシナプス荷重
値Ｗijはデジタル値でシナプス荷重値メモリ７０２の中
に格納されている。この値はＤＡ変換器７０３によって
アナログ値に変換され、セレクタ７０４を経由して、ギ
ルバート乗算器７０５に入力される。
る。図６を参照するとこのシナプスセルのシナプス荷重
値Ｗijはデジタル値でシナプス荷重値メモリ７０２の中
に格納されている。この値はＤＡ変換器７０３によって
アナログ値に変換され、セレクタ７０４を経由して、ギ
ルバート乗算器７０５に入力される。
【００２３】ギルバート乗算器７０５のもう一つの入力
は、入力信号Ｉj ７１０である。こうして、ＷijＩjが
計算されてｎｅｔiの出力信号７１２が出力される。学
習時には、セレクタ７０４はデルタ信号７１１を選択的
に出力し、ギルバート乗算器７０５はΔＷij＝εδi・
Ｉjを計算する。なお、ここで定数εは、ギルバート乗
算器の出力口にカレントミラー回路を付加することで容
易に実現できる（すなわち、電流値の定数倍は、カレン
トミラーによって電流をコピーする際にトランジスタの
サイズを調節することで実現できる）。ギルバート乗算
器は乗算結果をアナログ値で出力するものであり、ギル
バート乗算器７０５の出力はＡＤ変換器７０６によっ
て、デジタル値に変換される。シナプス荷重値メモリ７
０２から読みだされたシナプス荷重値ＷijとＡＤ変換器
７０６の出力ΔＷijとが加算器７０１によって加算さ
れ、更新されたシナプス荷重値Ｗijの値がシナプス荷重
値メモリ７０２に書き込まれる。このようにして学習が
進行する。
は、入力信号Ｉj ７１０である。こうして、ＷijＩjが
計算されてｎｅｔiの出力信号７１２が出力される。学
習時には、セレクタ７０４はデルタ信号７１１を選択的
に出力し、ギルバート乗算器７０５はΔＷij＝εδi・
Ｉjを計算する。なお、ここで定数εは、ギルバート乗
算器の出力口にカレントミラー回路を付加することで容
易に実現できる（すなわち、電流値の定数倍は、カレン
トミラーによって電流をコピーする際にトランジスタの
サイズを調節することで実現できる）。ギルバート乗算
器は乗算結果をアナログ値で出力するものであり、ギル
バート乗算器７０５の出力はＡＤ変換器７０６によっ
て、デジタル値に変換される。シナプス荷重値メモリ７
０２から読みだされたシナプス荷重値ＷijとＡＤ変換器
７０６の出力ΔＷijとが加算器７０１によって加算さ
れ、更新されたシナプス荷重値Ｗijの値がシナプス荷重
値メモリ７０２に書き込まれる。このようにして学習が
進行する。
【００２４】典型的なギルバート乗算器の回路図を図４
に示す。図４に示すギルバート乗算器では、入力端子４
０１と４０２との間に加わる電圧Ｘ0と、入力端子４０
３と４０４との間に加わる電圧Ｘ1の積の値が、電流値
として、出力端子４０５から流れ出す。ギルバート乗算
器の動作の詳細な説明は、例えば、「アナログＶＬＳＩ
と神経システム」（Ｃ．ミード著、臼井他訳、トッパ
ン）に詳しい。
に示す。図４に示すギルバート乗算器では、入力端子４
０１と４０２との間に加わる電圧Ｘ0と、入力端子４０
３と４０４との間に加わる電圧Ｘ1の積の値が、電流値
として、出力端子４０５から流れ出す。ギルバート乗算
器の動作の詳細な説明は、例えば、「アナログＶＬＳＩ
と神経システム」（Ｃ．ミード著、臼井他訳、トッパ
ン）に詳しい。
【００２５】シナプスセルの構成要素であるシナプス荷
重値メモリ５４０の中のメモリセル５１１〜メモリセル
５１４は、シナプス荷重値を４ビットのデジタル値で格
納している。この４個のセルの記憶内容によって、ＤＡ
変換器５５０の中のトランジスタ（５２１〜５２４）の
オン・オフが制御される。電流源（５０１〜５０４）
は、それぞれ、２0：２1：２2：２3の大きさの電流を流
す電流源である。こうして、メモリ（５１１〜５１４）
に格納されたデジタル値が電流値に変換されて、抵抗５
３１と抵抗５３２とを流れることになる。メモリセル内
の値が全て０のときは、抵抗５３１と抵抗５３２の比で
決まる電圧が、ＶOUTに現れる。この電圧を基準値とし
て、ＶOUTにはシナプス荷重値に比例した電圧が現れ
る。
重値メモリ５４０の中のメモリセル５１１〜メモリセル
５１４は、シナプス荷重値を４ビットのデジタル値で格
納している。この４個のセルの記憶内容によって、ＤＡ
変換器５５０の中のトランジスタ（５２１〜５２４）の
オン・オフが制御される。電流源（５０１〜５０４）
は、それぞれ、２0：２1：２2：２3の大きさの電流を流
す電流源である。こうして、メモリ（５１１〜５１４）
に格納されたデジタル値が電流値に変換されて、抵抗５
３１と抵抗５３２とを流れることになる。メモリセル内
の値が全て０のときは、抵抗５３１と抵抗５３２の比で
決まる電圧が、ＶOUTに現れる。この電圧を基準値とし
て、ＶOUTにはシナプス荷重値に比例した電圧が現れ
る。
【００２６】次に、簡単な入力パタン分類（Ｉ0 ，
Ｉ1 ，Ｉ2 ，Ｉ3 ）を有し、デルタ則によって動作する
ニューラルネットワーク装置の動作を説明する。
Ｉ1 ，Ｉ2 ，Ｉ3 ）を有し、デルタ則によって動作する
ニューラルネットワーク装置の動作を説明する。
【００２７】入力は、Ｉ0 ＝（１，０，０，０）、Ｉ1
＝（１，０，１，０）、Ｉ2 ＝（１，１，０，０）、Ｉ
3 ＝（１，１，１，０）ここで各ＩP ＝（ＩP 0 ，ＩP
1 ，ＩP 2 ，ＩP 3 ）の第０要素ＩP 0 は、閾値用に
“１”にしてある。この４個のＩP を、２つのグループ
｛Ｉ0 ｝と｛Ｉ1 ，Ｉ2 ，Ｉ3 ｝とに分類することを試
みる。
＝（１，０，１，０）、Ｉ2 ＝（１，１，０，０）、Ｉ
3 ＝（１，１，１，０）ここで各ＩP ＝（ＩP 0 ，ＩP
1 ，ＩP 2 ，ＩP 3 ）の第０要素ＩP 0 は、閾値用に
“１”にしてある。この４個のＩP を、２つのグループ
｛Ｉ0 ｝と｛Ｉ1 ，Ｉ2 ，Ｉ3 ｝とに分類することを試
みる。
【００２８】入力は４つで、出力は１ビットであるの
で、１層で、４個のシナプスセルを持ち、１個のニュー
ロンセルを持つパーセプトロンを考える。
で、１層で、４個のシナプスセルを持ち、１個のニュー
ロンセルを持つパーセプトロンを考える。
【００２９】入力Ｉ0 が入力された時のみ、出力Ｏは、
Ｏ＝０、それ以外でＯ＝１を出力するようにデルタ則を
用いてＷj ＝（Ｗ0 ，Ｗ1 ，Ｗ2 ，Ｗ3 ）を変化させて
いく。入力が４ビット長出力が１ビット長であるから、
Ｗj は１行４列のベクトルである。また本例では簡単の
ため、ε＝１とする。
Ｏ＝０、それ以外でＯ＝１を出力するようにデルタ則を
用いてＷj ＝（Ｗ0 ，Ｗ1 ，Ｗ2 ，Ｗ3 ）を変化させて
いく。入力が４ビット長出力が１ビット長であるから、
Ｗj は１行４列のベクトルである。また本例では簡単の
ため、ε＝１とする。
【００３０】初期値Ｗj ＝（１，１，１，１）から出発
してみる（初期値Ｗj は任意で良い）と最後にＷj ＝
（−１，１，１，１）という値に収束する。そして計算
すれば判るとおり、実際にこのＷj によって目的の分類
ができる。
してみる（初期値Ｗj は任意で良い）と最後にＷj ＝
（−１，１，１，１）という値に収束する。そして計算
すれば判るとおり、実際にこのＷj によって目的の分類
ができる。
【００３１】入力ベクトルは全てその第３要素ＩP3が出
力である。一方シナプス荷重値Ｗの第３要素Ｗ3は１で
ある。よって
力である。一方シナプス荷重値Ｗの第３要素Ｗ3は１で
ある。よって
【００３２】
【００３３】の計算において、シナプス荷重値Ｗ3はそ
れにかかるＩ3が常に０であるにもかかわらず、Ｗ3＝１
という有限の重みを持っていることになる（何故なら
ば、アルゴリズム上は、積和演算ΣＷmnＩnにおいて、
Ｉjが常に０ならＷijは、どんな値でも構わないからで
ある）。
れにかかるＩ3が常に０であるにもかかわらず、Ｗ3＝１
という有限の重みを持っていることになる（何故なら
ば、アルゴリズム上は、積和演算ΣＷmnＩnにおいて、
Ｉjが常に０ならＷijは、どんな値でも構わないからで
ある）。
【００３４】
【発明が解決しようとする課題】しかしながらシナプス
荷重値Ｗ3＝０でも、分類できることを考えれば、これ
は極めて無駄であり、図５から判るように、Ｗ≠０のと
き、シナプスセルはその電流源が電流を流し、電力を消
費する（Ｗ＝０ならばトランジスタはＯＦＦするから電
流源は電流を流さずにすむ）。この例の場合、Ｗ3＝０
でも分類できるにもかかわらず、電流が流れてしまって
余分な電力消費になっている。
荷重値Ｗ3＝０でも、分類できることを考えれば、これ
は極めて無駄であり、図５から判るように、Ｗ≠０のと
き、シナプスセルはその電流源が電流を流し、電力を消
費する（Ｗ＝０ならばトランジスタはＯＦＦするから電
流源は電流を流さずにすむ）。この例の場合、Ｗ3＝０
でも分類できるにもかかわらず、電流が流れてしまって
余分な電力消費になっている。
【００３５】すなわち、従来のシナプスセルは、不必要
な電流を流す可能性があり、電力を大量に消費するとい
う欠点があった。
な電流を流す可能性があり、電力を大量に消費するとい
う欠点があった。
【００３６】
【課題を解決するための手段】本発明のニューラルネッ
トワーク装置は、ニューロン同士の結合の度合いがシナ
プス荷重値によって表現されており、かつこのシナプス
荷重値がデルタ側に従って更新されるニューラルネット
ワーク装置において、シナプス荷重値をデジタル値で記
憶するシナプス荷重値メモリと、前記シナプス荷重値メ
モリの出力値をアナログ値に変換するＤＡ変換器と、こ
のＤＡ変換器の出力とデルタ信号とを入力するセレクタ
と、前記セレクタの出力と装置の外部からもしくはニュ
ーロンから供給される入力信号とを入力とする第１の乗
算器と、前記入力信号の反転を出力するインバータと、
前記インバータの出力と前記ＤＡ変換器の出力とを入力
とする第２の乗算器と、前記第１の乗算器の出力と前記
第２の乗算器の出力とを減算する電流モード減算器と、
前記電流モード減算器の出力を入力として前記シナプス
荷重値メモリに記憶したシナプス荷重値を更新するシナ
プス荷重値更新器とから構成されるシナプスセルを有す
ることを特徴とする構成である。また、本発明のニュー
ラルネットワーク装置の前記シナプス荷重値更新器は、
前記電流モード減算器の出力を入力とするＡＤ変換器
と、前記ＡＤ変換器の出力とシナプス荷重値メモリの出
力とを入力とする加算器とから構成することもできる。
また、本発明の前記シナプス荷重値更新器は、前記電流
モード減算器の出力とＤＡ変換器の出力とを入力とする
電流モード加算器と、前記電流モード加算器の出力を入
力とするＡＤ変換器とから構成することもできる。
トワーク装置は、ニューロン同士の結合の度合いがシナ
プス荷重値によって表現されており、かつこのシナプス
荷重値がデルタ側に従って更新されるニューラルネット
ワーク装置において、シナプス荷重値をデジタル値で記
憶するシナプス荷重値メモリと、前記シナプス荷重値メ
モリの出力値をアナログ値に変換するＤＡ変換器と、こ
のＤＡ変換器の出力とデルタ信号とを入力するセレクタ
と、前記セレクタの出力と装置の外部からもしくはニュ
ーロンから供給される入力信号とを入力とする第１の乗
算器と、前記入力信号の反転を出力するインバータと、
前記インバータの出力と前記ＤＡ変換器の出力とを入力
とする第２の乗算器と、前記第１の乗算器の出力と前記
第２の乗算器の出力とを減算する電流モード減算器と、
前記電流モード減算器の出力を入力として前記シナプス
荷重値メモリに記憶したシナプス荷重値を更新するシナ
プス荷重値更新器とから構成されるシナプスセルを有す
ることを特徴とする構成である。また、本発明のニュー
ラルネットワーク装置の前記シナプス荷重値更新器は、
前記電流モード減算器の出力を入力とするＡＤ変換器
と、前記ＡＤ変換器の出力とシナプス荷重値メモリの出
力とを入力とする加算器とから構成することもできる。
また、本発明の前記シナプス荷重値更新器は、前記電流
モード減算器の出力とＤＡ変換器の出力とを入力とする
電流モード加算器と、前記電流モード加算器の出力を入
力とするＡＤ変換器とから構成することもできる。
【００３７】
【作用】まず、本発明では、上述のデルタ則の欠点を改
良した新しい学習則を使用する。新しい学習則は、ΔＷ
ij＝ε（Ｔi −Ｏi ）Ｉj −（１／τ）・Ｗij（１−Ｉ
j ）（３）（ε，τ＞０）となる。
良した新しい学習則を使用する。新しい学習則は、ΔＷ
ij＝ε（Ｔi −Ｏi ）Ｉj −（１／τ）・Ｗij（１−Ｉ
j ）（３）（ε，τ＞０）となる。
【００３８】式（３）の右辺第１項はデルタ則と同じで
ある。第２項が新たに付加した項であり次の意味を持
つ。
ある。第２項が新たに付加した項であり次の意味を持
つ。
【００３９】入力Ｉjが１の場合は、デルタ則と同じ修
正量を与える。入力Ｉjが０の場合には、シナプス荷重
値Ｗijの値を０の方向へ向かって少しだけ小さくする。
シナプス荷重値Ｗijの値が大きかったら、修正量は大き
いほうが良く、Ｗijの値が０に近かったら修正量は小さ
いほうが良い。よって、修正量をＷijに比例させた。さ
らに、修正速度を調整するパラメータとして、正の数τ
を導入した。このτはＷijが０に向かって減衰するとき
の時定数である。
正量を与える。入力Ｉjが０の場合には、シナプス荷重
値Ｗijの値を０の方向へ向かって少しだけ小さくする。
シナプス荷重値Ｗijの値が大きかったら、修正量は大き
いほうが良く、Ｗijの値が０に近かったら修正量は小さ
いほうが良い。よって、修正量をＷijに比例させた。さ
らに、修正速度を調整するパラメータとして、正の数τ
を導入した。このτはＷijが０に向かって減衰するとき
の時定数である。
【００４０】第２項を導入したことにより、従来のデル
タ則で、意味の無いシナプス結合が生き残るという欠点
を改良することができる。なぜなら、第２項は入力Ｉj
＝０の入力を受けるシナプス結合を減衰させる効果を有
するからである。
タ則で、意味の無いシナプス結合が生き残るという欠点
を改良することができる。なぜなら、第２項は入力Ｉj
＝０の入力を受けるシナプス結合を減衰させる効果を有
するからである。
【００４１】１／τはεに比較して、ある程度小さくな
ければならない。というのは第２項は、第１項のデルタ
則によるシナプス値の収束を遅くする要因になるからで
ある。
ければならない。というのは第２項は、第１項のデルタ
則によるシナプス値の収束を遅くする要因になるからで
ある。
【００４２】本発明は、この学習則式（３）を実際のハ
ードウェアで実現したものである。
ードウェアで実現したものである。
【００４３】
【実施例】図面を参照しながら本発明の実施例を説明す
る。
る。
【００４４】図１は本発明の第１の実施例のニューラル
ネットワーク装置のシナプスセルの構成を示す。このシ
ナプスセルが組合わさって、ニューラルネットワーク装
置を構成することは、従来例と同じである。すなわち、
図３に示すように本発明のシナプスセル（Ｓ00〜ＳNN）
がマトリックス状に配置されている。各シナプスセル３
３０は、それぞれシナプス荷重値Ｗijを保持している。
縦の一列に同一の入力信号３００が与えられると、各シ
ナプスセルは、乗算（Ｗij×Ｉj）を実行する。（Ｗij
Ｉj）の値は、電流値で出力される。そして横一行の各
シナプスセルＳijの出力ＷijＩjが電流加算されて、ｎ
ｅｔi（３２０）となる。また、ｎｅｔiを受けるステッ
プ関数生成器３４０を有する。すなわち、各ｎｅｔi３
２０を入力して、出力ＯiをＯi＝θ（ｎｅｔi）として
出力する。
ネットワーク装置のシナプスセルの構成を示す。このシ
ナプスセルが組合わさって、ニューラルネットワーク装
置を構成することは、従来例と同じである。すなわち、
図３に示すように本発明のシナプスセル（Ｓ00〜ＳNN）
がマトリックス状に配置されている。各シナプスセル３
３０は、それぞれシナプス荷重値Ｗijを保持している。
縦の一列に同一の入力信号３００が与えられると、各シ
ナプスセルは、乗算（Ｗij×Ｉj）を実行する。（Ｗij
Ｉj）の値は、電流値で出力される。そして横一行の各
シナプスセルＳijの出力ＷijＩjが電流加算されて、ｎ
ｅｔi（３２０）となる。また、ｎｅｔiを受けるステッ
プ関数生成器３４０を有する。すなわち、各ｎｅｔi３
２０を入力して、出力ＯiをＯi＝θ（ｎｅｔi）として
出力する。
【００４５】また、各行にデルタ信号δi＝（Ｔi−Ｏ
i）（３１０）が入力される。学習時には、各シナプス
セルが（Ｔi−Ｏi）と入力信号Ｉj との乗算を行い、
それをΔＷijとして、式（３）にしたがってシナプス荷
重値Ｗijを修正する。
i）（３１０）が入力される。学習時には、各シナプス
セルが（Ｔi−Ｏi）と入力信号Ｉj との乗算を行い、
それをΔＷijとして、式（３）にしたがってシナプス荷
重値Ｗijを修正する。
【００４６】次に、本発明の第１の実施例のシナプスセ
ルの構成を説明する。
ルの構成を説明する。
【００４７】図１は本発明のシナプスセルの構成の一実
施例である。
施例である。
【００４８】図１において、シナプス荷重値Ｗijはデジ
タル値でシナプス荷重値メモリ１０２の中に格納されて
いる。この値はＤＡ変換器１０３によってアナログ値に
変換される。セレクタ１０４を経由して、第１のギルバ
ート乗算器１０５の入力になる。第１のギルバート乗算
器１０５のもう一つの入力は、入力信号Ｉjである。こ
うして、ＷijＩjが計算されて出力信号ｎｅｔiが出力さ
れる。
タル値でシナプス荷重値メモリ１０２の中に格納されて
いる。この値はＤＡ変換器１０３によってアナログ値に
変換される。セレクタ１０４を経由して、第１のギルバ
ート乗算器１０５の入力になる。第１のギルバート乗算
器１０５のもう一つの入力は、入力信号Ｉjである。こ
うして、ＷijＩjが計算されて出力信号ｎｅｔiが出力さ
れる。
【００４９】次に本発明の第１の実施例の学習時の動作
について説明する。図１を再び参照すると、この実施例
の学習時には、セレクタ１０４がデルタ信号１１１を選
択的に出力し、第１のギルバート乗算器１０５がΔＷij
＝εδi Ｉj を計算する。定数εは、第１のギルバート
乗算器１０５を構成するトランジスタのサイズ等で調節
する。また第２のギルバート乗算器１０６は、（１／
τ）Ｗij（１−Ｉj ）を計算する。定数（１／τ）は、
第２のギルバート乗算器１０６を構成するトランジスタ
のサイズ等で調節する。（３）式の（１−Ｉj ）は、イ
ンバータ１０９によって出力される。第１のギルバート
乗算器１０５の出力値と第２のギルバート乗算器１０６
の出力値の差は、電流モード減算器１０７によって出力
される。電流モード減算器は、例えば図８に示すよう
に、カレントミラー回路を組み合わせることで構成でき
る。電流モード減算器１０７の第１のトランジスタ８０
１と第２のトランジスタ８０２とはどちらも飽和領域で
動作している。ゲート・ソース間電流が等しいので両ト
ランジスタに流れる電流は等しい。したがって、出力は
入力電流Ｉ0 と入力電流Ｉ1 の差電流になる。
について説明する。図１を再び参照すると、この実施例
の学習時には、セレクタ１０４がデルタ信号１１１を選
択的に出力し、第１のギルバート乗算器１０５がΔＷij
＝εδi Ｉj を計算する。定数εは、第１のギルバート
乗算器１０５を構成するトランジスタのサイズ等で調節
する。また第２のギルバート乗算器１０６は、（１／
τ）Ｗij（１−Ｉj ）を計算する。定数（１／τ）は、
第２のギルバート乗算器１０６を構成するトランジスタ
のサイズ等で調節する。（３）式の（１−Ｉj ）は、イ
ンバータ１０９によって出力される。第１のギルバート
乗算器１０５の出力値と第２のギルバート乗算器１０６
の出力値の差は、電流モード減算器１０７によって出力
される。電流モード減算器は、例えば図８に示すよう
に、カレントミラー回路を組み合わせることで構成でき
る。電流モード減算器１０７の第１のトランジスタ８０
１と第２のトランジスタ８０２とはどちらも飽和領域で
動作している。ゲート・ソース間電流が等しいので両ト
ランジスタに流れる電流は等しい。したがって、出力は
入力電流Ｉ0 と入力電流Ｉ1 の差電流になる。
【００５０】電流モード減算器１０７の出力はＡＤ変換
器１０８によって、デジタル値に変換される。シナプス
荷重値メモリ１０２から読み出されたシナプス荷重値Ｗ
ijとＡＤ変換器１０８の出力ΔＷijとが加算器１０１に
よって加算され、更新されたシナプス荷重値Ｗijの値が
シナプス荷重値メモリ１０２に書き込まれる。このよう
にして学習が進行する。なお、ギルバート乗算器の回路
構成１０５，１０６や、シナプス荷重値メモリ１０２と
ＤＡ変換器１０３の基本構成は、従来と同じ構成でよ
い。
器１０８によって、デジタル値に変換される。シナプス
荷重値メモリ１０２から読み出されたシナプス荷重値Ｗ
ijとＡＤ変換器１０８の出力ΔＷijとが加算器１０１に
よって加算され、更新されたシナプス荷重値Ｗijの値が
シナプス荷重値メモリ１０２に書き込まれる。このよう
にして学習が進行する。なお、ギルバート乗算器の回路
構成１０５，１０６や、シナプス荷重値メモリ１０２と
ＤＡ変換器１０３の基本構成は、従来と同じ構成でよ
い。
【００５１】次に、本発明の第２の実施例のニューラル
ネットワーク装置について図２を参照して説明する。
ネットワーク装置について図２を参照して説明する。
【００５２】図２を参照すると、第２の実施例のシナプ
スセルは、第１の実施例とは異なり式（３）の計算は、
電流モードでなされる。
スセルは、第１の実施例とは異なり式（３）の計算は、
電流モードでなされる。
【００５３】すなわち、第１のギルバートの乗算器２０
５の出力と第２のギルバート乗算器２０６の出力の出力
値の差は、電流モード減算器２０７によって出力され、
さらにＤＡ変換器２０３の出力に、電流モードで加算さ
れる。シナプス荷重値メモリ２０２とＤＡ変換器２０３
の基本構成は、従来と同じ構成であるから、電流値でシ
ナプス荷重値を出力するのは容易である。
５の出力と第２のギルバート乗算器２０６の出力の出力
値の差は、電流モード減算器２０７によって出力され、
さらにＤＡ変換器２０３の出力に、電流モードで加算さ
れる。シナプス荷重値メモリ２０２とＤＡ変換器２０３
の基本構成は、従来と同じ構成であるから、電流値でシ
ナプス荷重値を出力するのは容易である。
【００５４】電流モード加算器２０１の出力はＡＤ変換
器２０８によって、デジタル値に変換され、更新された
シナプス荷重値Ｗijの値となる。この新しいシナプス荷
重値Ｗijの値が、シナプス荷重値メモリ１０２に書き込
まれる。第２の実施例においては、上述したようにして
学習が進行する。
器２０８によって、デジタル値に変換され、更新された
シナプス荷重値Ｗijの値となる。この新しいシナプス荷
重値Ｗijの値が、シナプス荷重値メモリ１０２に書き込
まれる。第２の実施例においては、上述したようにして
学習が進行する。
【００５５】
【発明の効果】本発明のニューラルネットワーク装置
は、入力Ｉj ＝０の入力を受けるシナプス結合を減衰さ
せる回路を有するので従来のデルタ則での欠点である意
味の無いシナプス結合によって電流が不必要に消費され
るという欠点が除かれる効果がある。
は、入力Ｉj ＝０の入力を受けるシナプス結合を減衰さ
せる回路を有するので従来のデルタ則での欠点である意
味の無いシナプス結合によって電流が不必要に消費され
るという欠点が除かれる効果がある。
【図１】本発明の第１の実施例のニューラルネットワー
ク装置のシナプスセルの構成図である。
ク装置のシナプスセルの構成図である。
【図２】本発明の第２の実施例のニューラルネットワー
ク装置のシナプスセルの構成図である。
ク装置のシナプスセルの構成図である。
【図３】シナプスセルをマトリック状に配置した構成図
である。
である。
【図４】ギルバート乗算器の回路構成例である。
【図５】Ｄ／Ａ変換器の構成例とシナプス荷重値の接続
を示すブロック図である。
を示すブロック図である。
【図６】シナプスセルをマトリック状に配置した従来の
ニューラルネットワーク装置である。
ニューラルネットワーク装置である。
【図７】従来のシナプスセルの構成図である。
【図８】電流モード減算器の構成図である。
１０１ 加算器 １０２ シナプス荷重値メモリ １０３ ＤＡ変換器 １０４ セレクタ １０５ 第１のギルバート乗算器 １０６ 第２のギルバート乗算器 １０７ 電流モード減算器 １０８ ＡＤ変換器 １０９ インバータ １１０ 入力信号Ｉ １１１ デルタ信号 １１２ 出力信号ｎｅｔi ２０１ 加算器 ２０２ シナプス荷重値メモリ ２０３ ＤＡ変換器 ２０４ セレクタ ２０５ 第１のギルバート乗算器 ２０６ 第２のギルバート乗算器 ２０７ 電流モード減算器 ２０８ ＡＤ変換器 ２０９ インバータ ２１０ 入力信号Ｉ ２１１ デルタ信号 ２１２ 出力信号ｎｅｔi ３００ 入力信号Ｉ0 〜ＩN ３１０ デルタ信号δ0 〜δ1 ３２０ ｎｅｔ0 〜ｎｅｔN ３３０ 本発明のシナプスセルＳ00〜ＳNN ３４０ ステップ関数生成器Ｎ0 〜ＮN ３５０ Ｏ0 〜ＯN ４０１，４０２，４０３，４０４ 入力端子 ４０５ 出力端子 ５０１，５０２，５０３，５０４ 電流比が２0 ：２
1 ：２2 ：２3 の電流源 ５１１，５１２，５１３，５１４ メモリセル ５２１，５２２，５２３，５２４ トランジスタ ５３１，５３２ 抵抗 ５４０ シナプス荷重値メモリ ５５０ ＤＡ変換器 ６００ 入力信号Ｉ0 〜ＩN ６１０ デルタ信号δ0 〜δN ６２０ ｎｅｔ0 〜ｎｅｔN ６３０ 従来のシナプスセルＳ00〜ＳNN ６４０ ステップ関数生成器Ｎ0 〜ＮN ６５０ Ｏ0 〜ＯN ７０１ 加算器 ７０２ シナプス荷重値メモリ ７０３ ＤＡ変換器 ７０４ セレクタ ７０５ ギルバート乗算器 ７０６ ＡＤ変換器 ７１０ 入力信号Ｉ ７１１ デルタ信号 ７１２ 出力信号ｎｅｔi ８０１，８０２ 飽和領域で動作する第１，第２のト
ランジスタ
1 ：２2 ：２3 の電流源 ５１１，５１２，５１３，５１４ メモリセル ５２１，５２２，５２３，５２４ トランジスタ ５３１，５３２ 抵抗 ５４０ シナプス荷重値メモリ ５５０ ＤＡ変換器 ６００ 入力信号Ｉ0 〜ＩN ６１０ デルタ信号δ0 〜δN ６２０ ｎｅｔ0 〜ｎｅｔN ６３０ 従来のシナプスセルＳ00〜ＳNN ６４０ ステップ関数生成器Ｎ0 〜ＮN ６５０ Ｏ0 〜ＯN ７０１ 加算器 ７０２ シナプス荷重値メモリ ７０３ ＤＡ変換器 ７０４ セレクタ ７０５ ギルバート乗算器 ７０６ ＡＤ変換器 ７１０ 入力信号Ｉ ７１１ デルタ信号 ７１２ 出力信号ｎｅｔi ８０１，８０２ 飽和領域で動作する第１，第２のト
ランジスタ
Claims (1)
- 【請求項１】 ニューロン同士の結合の度合いがシナプ
ス荷重値によって表現されており、かつこのシナプス荷
重値がデルタ則に従って更新されるニューラルネットワ
ーク装置において、シナプス荷重値をデジタル値で記憶
するシナプス荷重値メモリと、前記シナプス荷重値メモ
リの出力値をアナログ値に変換するＤＡ変換器と、この
ＤＡ変換器の出力とデルタ信号とを入力するセレクタ
と、前記セレクタの出力と装置の外部からもしくはニュ
ーロンから供給される入力信号とを入力とする第１の乗
算器と、前記入力信号の反転を出力するインバータと、
前記インバータの出力と前記ＤＡ変換器の出力とを入力
とする第２の乗算器と、前記第１の乗算器の出力と前記
第２の乗算器の出力とを減算する電流モード減算器と、
前記電流モード減算器の出力を入力として前記シナプス
荷重値メモリに記憶したシナプス荷重値を更新するシナ
プス荷重値更新器とから構成されるシナプスセルを有す
ることを特徴とするニューラルネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7038254A JP2976835B2 (ja) | 1995-02-27 | 1995-02-27 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7038254A JP2976835B2 (ja) | 1995-02-27 | 1995-02-27 | ニューラルネットワーク装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08235144A JPH08235144A (ja) | 1996-09-13 |
| JP2976835B2 true JP2976835B2 (ja) | 1999-11-10 |
Family
ID=12520185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7038254A Expired - Lifetime JP2976835B2 (ja) | 1995-02-27 | 1995-02-27 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2976835B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007212700A (ja) * | 2006-02-09 | 2007-08-23 | Nagoya Institute Of Technology | アクティブノイズキャンセリングシステム用アナログ電子回路 |
| CN111667064B (zh) * | 2020-04-22 | 2023-10-13 | 南京惟心光电系统有限公司 | 基于光电计算单元的混合型神经网络及其运算方法 |
-
1995
- 1995-02-27 JP JP7038254A patent/JP2976835B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
| Title |
|---|
| 石川真澄，「忘却を用いたコネクショニストモデルの構造学習アルゴリズム」，人工知能学会誌，Ｖｏｌ．５，Ｎｏ．５，１９９０年９月，ｐ．５９５−６０３ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08235144A (ja) | 1996-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4620943B2 (ja) | 積和演算回路及びその方法 | |
| EP0357016A2 (en) | Neuron architecture | |
| Sun et al. | Global exponential stability and periodic solutions of Cohen–Grossberg neural networks with continuously distributed delays | |
| US5630023A (en) | Signal processor | |
| EP0382518A2 (en) | Multi-feedback circuit apparatus | |
| Yam et al. | Extended least squares based algorithm for training feedforward networks | |
| US6876989B2 (en) | Back-propagation neural network with enhanced neuron characteristics | |
| EP0384709A2 (en) | Learning Machine | |
| JP2976835B2 (ja) | ニューラルネットワーク装置 | |
| US5857178A (en) | Neural network apparatus and learning method thereof | |
| JPH0264787A (ja) | 階層構造ニューラルネット | |
| Kumaresan et al. | Optimal control for stochastic nonlinear singular system using neural networks | |
| Mann et al. | A self-organizing neural net chip | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| US5075869A (en) | Neural network exhibiting improved tolerance to temperature and power supply variations | |
| Mandic et al. | On the choice of parameters of the cost function in nested modular RNN's | |
| JPH04216160A (ja) | ニュ−ラルネットワ−ク回路 | |
| GB2236608A (en) | Digital neural networks | |
| Mirhassani et al. | Robust low-sensitivity adaline neuron based on continuous valued number system | |
| JP3508783B2 (ja) | パルス密度型信号処理回路網における結合係数更新方法並びに結合係数更新装置 | |
| Korner et al. | A VLSI friendly neural network with localised transfer functions | |
| JP2612640B2 (ja) | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 | |
| JPH07113942B2 (ja) | ニューロチップによる結合器 | |
| Tang et al. | Backpropagation learning in analog T-model neural network hardware | |
| Wang | A modular analog CMOS LSI for feedforward neural networks with on-chip BEP learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19990810 |