JPH0744515A

JPH0744515A - ニューラルネットワーク回路

Info

Publication number: JPH0744515A
Application number: JP5188121A
Authority: JP
Inventors: Masakatsu Maruyama; 征克丸山; Hiroyuki Nakahira; 博幸中平; Shiro Sakiyama; 史朗崎山; Susumu Maruno; 進丸野; Toshiyuki Koda; 敏行香田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1993-07-29
Filing date: 1993-07-29
Publication date: 1995-02-14

Abstract

(57)【要約】【目的】更新されるシナプスの重み係数に非線形処理
を施して値が大きくなり過ぎないようにすることによっ
て、活字文字等の非常に似通った分散の少ないデータを
扱う場合に、未学習のデータに対する認識率を向上でき
るニューラルネットワーク回路を提供する。【構成】ニューラルネットワーク回路１０の学習動作
において、重みメモリ１２からシナプスの重み係数が読
み出され、演算器１１が前記重み係数と前記シナプスへ
の入力信号とを用いて演算し、その演算結果が非線形処
理回路１３に供給される。そして、非線形処理回路１３
が前記演算結果に非線形処理を施し、その非線形処理結
果が前記シナプスの新たな重み係数として重みメモリ１
２に書き込まれる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識処理や画像認
識処理等を行うニューラルネットワーク回路に関する。

【０００２】

【従来の技術】最近、情報処理におけるニューラルネッ
トワークの分野に大きな関心が集まってきている。ニュ
ーラルネットワークは生物のニューロンの構造を模倣し
て電子回路で実現されている。

【０００３】以下、従来のニューラルネットワークにつ
いて図面を参照しながら説明する。

【０００４】色々なニューラルネットワークがあるが、
図８に示すニューラルネットワークは入力層と出力層と
により構成されており、入力層に画像や音声のデータが
入力され、出力層から認識結果が出力される。前記入力
層及び出力層は、図９に示すニューロンにより構成され
ている。前記ニューロンは、１つの出力と複数の入力と
を持っており、各入力に対応する重み係数を乗じ、得ら
れた結果同士を加算する。

【０００５】このようなニューラルネットワークの処理
は電子回路で実現されており、通常、ニューロンのシナ
プスの重み係数を保持するメモリと、重み係数と前層か
ら与えられる入力とを乗算し乗算結果を累積し閾値処理
を実行する演算器とからなっている。

【０００６】ニューラルネットワークは学習が可能であ
り、例えば、ヘブ学習法では、ニューラルネットワーク
に学習したい入力データを与えておき、学習させたいニ
ューロンに対応するシナプスの重み係数の値を、当該ニ
ューロンの入力信号の大きさに比例して増大させる。ニ
ューロンのシナプスへの入力信号をＸとすると、当該シ
ナプスの重み係数の値Ｗは次の（１）式に従い変更され
る。

【０００７】Ｗ（ｔ＋１）＝ａ＊Ｘ＋Ｗ（ｔ） …（１）ただし、ｔは時間を、ａは適当な係数を示す。

【０００８】ここで、例えば、従来のニューラルネット
ワークに、図１１に示すタイプ０の０から９までの数字
とタイプ１の０から９までの数字をヘブ学習させる場合
について説明する。なお、図１１に示すタイプ０，１，
２の各数字は図１２に示すように多くの画素により構成
されており、各画素は多値の値で表されている。

【０００９】図１０は前記ヘブ学習の処理の流れを示す
フローチャート図であり、図１０に示すように、まず、
ステップＳ１で初期化が行われ、ステップＳ２でニュー
ラルネットワークの入力層にタイプ０の数字０について
の画素の値が全て入力される。そして、ステップＳ３
で、０番の出力ニューロンに学習させるために、０番の
出力ニューロンのシナプスへの入力信号Ｘによって、当
該シナプスの重み係数の値Ｗが（１）式に従い計算され
変更される。その後、ステップＳ４で、タイプ０の０か
ら９までの全ての数字が学習されたか否かを判断する判
断処理が行われるが、数字０しか学習されていないので
判断はＮＯとなりステップ５に移り、ステップ５でタイ
プ０の数字１が次の学習の対象となりステップＳ２に戻
る。

【００１０】同様にして、ステップＳ２〜Ｓ５が繰り返
されることによって、タイプ０の１から９までの数字が
順次学習され、各数字毎に当該数字に対応する出力ニュ
ートロンのシナプスの重み係数の値Ｗが（１）式に従い
変更される。

【００１１】タイプ０の数字９の学習が終了すると、ス
テップＳ４で判断がＹＥＳとなりステップＳ６に移り、
ステップＳ６で、タイプ０の０から９までの数字とタイ
プ１の０から９までの数字とが全て学習されたか否かを
判断する判断処理が行われるが、タイプ０の０から９ま
での数字しか学習されていないので判断はＮＯとなりス
テップＳ７に移り、ステップＳ７でタイプ１の数字０が
次の学習の対象となる。そして、タイプ０の場合と同様
に、ステップＳ２〜Ｓ５が繰り返されることによって、
タイプ１の０から９までの数字の学習が順次行われる。

【００１２】このようにして、タイプ０の０から９まで
の数字とタイプ１の０から９までの数字との学習が実行
されると、ステップＳ４、Ｓ６で判断が共にＹＥＳとな
り１回目の学習が完了する。

【００１３】次に、ステップＳ８で、タイプ０の０から
９までの数字とタイプ１の０から９までの数字との学習
が２回行われたか否かを判断する判断処理が行われる
が、１回しか行われていないので判断はＮＯとなりステ
ップＳ９に移り、ステップＳ９で２回目の学習のための
初期化が行われステップＳ２に戻り、１回目の学習と同
様にして２回目の学習が実行される。

【００１４】以上のようにして、学習に使われた数字が
認識のためのデータとして入力されたとき所望の出力ニ
ューロンが発火する即ち最大の値になるように学習され
る。

【００１５】未学習のタイプ２の０から９までの数字を
認識のためのデータとして入力した場合の認識率を未学
習認識率と言い、これが高いほうが学習性能が良い。

【００１６】

【発明が解決しようとする課題】ところで、以上のよう
な従来のニューラルネットワークにおいては、活字文字
のようなフォントの形が互いに類似した入力データを学
習すると特定の入力信号だけが大きくなるため、例え
ば、ヘブ則等の学習では、特定のシナプスの重み係数の
値だけが大きくなり、出力ニューロンの発火に対して支
配的になってくる。重み係数の値が大きくなったシナプ
スは、大きな信号を持つ未学習の入力データを認識する
際に大きな影響を与え、誤った認識がなされてしまう。
その結果、学習回数を増加しても未学習のデータに対す
る認識率は向上しないという問題がある。

【００１７】本発明は、前記に鑑みなされたものであっ
て、活字文字等の非常に似通った分散の少ないデータを
扱う場合において、未学習のデータに対する認識率を向
上できるニューラルネットワーク回路を提供することを
目的としている。

【００１８】

【課題を解決するための手段】前記の目的を達成するた
め、本発明は、シナプスの重み係数に非線形処理を施す
ことによって、認識時における前記シナプスの重み係数
の影響力を抑制するものである。

【００１９】具体的に請求項１の発明が講じた解決手段
は、シナプスを持つニューロンからなるニューラルネッ
トワークを実現するニューラルネットワーク回路を対象
とし、前記シナプスの重み係数を記憶する記憶手段と、
該記憶手段から読み出された前記シナプスの重み係数と
前記シナプスへの入力信号とを用いて演算し演算結果を
出力する演算手段と、該演算手段からの前記演算結果に
非線形処理を施し非線形処理結果を前記シナプスの新た
な重み係数として前記記憶手段に書き込む非線形処理手
段とを備えている構成とするものである。

【００２０】また、請求項２の発明は、具体的には、シ
ナプスを持つニューロンからなるニューラルネットワー
クを実現するニューラルネットワーク回路を対象とし、
前記シナプスの重み係数を記憶する記憶手段と、該記憶
手段から読み出された前記シナプスの重み係数に非線形
処理を施し非線形処理結果を出力する非線形処理手段
と、該非線形処理手段からの前記非線形処理結果と前記
シナプスへの入力信号とを用いて演算し演算結果を前記
シナプスの新たな重み係数として前記記憶手段に書き込
む演算手段とを備えている構成とするものである。

【００２１】請求項３の発明は、具体的には、シナプス
を持つニューロンからなるニューラルネットワークを実
現するニューラルネットワーク回路を対象とし、前記シ
ナプスの重み係数を記憶する記憶手段と、該記憶手段か
ら読み出された前記シナプスの重み係数に非線形処理を
施し非線形処理結果を出力する非線形処理手段と、該非
線形処理手段からの前記非線形処理結果と前記シナプス
への入力信号とを用いて前記ニューロンの処理を実行し
処理結果を出力する演算手段とを備えている構成とする
ものである。

【００２２】請求項４の発明は、具体的には、シナプス
を持つニューロンからなるニューラルネットワークを実
現するニューラルネットワーク回路を対象とし、前記シ
ナプスの重み係数を記憶する記憶手段と、該記憶手段か
ら読み出された前記シナプスの重み係数と前記シナプス
への入力信号とを用いて演算し演算結果を前記記憶手段
に書き込む演算手段と、前記記憶手段から読み出された
前記演算結果に非線形処理を施し非線形処理結果を前記
シナプスの新たな重み係数として前記記憶手段に書き込
む非線形処理手段とを備えている構成とするものであ
る。

【００２３】さらに、請求項５の発明は、学習されるデ
ータの種類により非線形処理を行うか否かを選択できる
ようにするものであり、具体的には、シナプスを持つニ
ューロンからなるニューラルネットワークを実現するニ
ューラルネットワーク回路を対象とし、前記シナプスの
重み係数を記憶する記憶手段と、該記憶手段から読み出
された前記シナプスの重み係数と前記シナプスへの入力
信号とを用いて演算し演算処理結果を出力する演算手段
と、該演算手段からの前記演算処理結果に非線形処理を
施し非線形処理結果を出力する非線形処理手段と、前記
演算手段からの前記演算処理結果及び前記非線形処理手
段からの前記非線形処理結果の中から前記シナプスの新
たな重み係数として前記記憶手段に書き込まれる何れか
一方の処理結果を選択する選択手段とを備えている構成
とするものである。

【００２４】

【作用】請求項１の発明の構成により、学習の際に、記
憶手段からシナプスの重み係数が読み出され、演算手段
が前記重み係数と前記シナプスへの入力信号とを用いて
演算し、その演算結果が非線形処理手段に供給される。
そして、非線形処理手段が前記演算結果に非線形処理を
施し、その非線形処理が前記シナプスの新たな重み係数
として記憶手段に書き込まれる。このように、演算後の
重み係数に非線形処理を施すことによって、例えば、ヘ
ブ則等の学習において更新される重み係数が大きくなり
過ぎないようにすることができる。これにより、活字文
字等の非常に似通った分散の少ないデータを扱う場合に
おいても、学習時に特定のシナプスの重み係数のみが突
出した値になることを抑止できるため、認識時に未学習
のデータを誤って認識する確率を低減できる。

【００２５】また、請求項２の発明の構成により、学習
の際に、演算前のシナプスの重み係数に非線形処理を施
すことによって、更新されるシナプスの重み係数が大き
くなり過ぎないようにすることができる。

【００２６】請求項３の発明の構成により、認識の際
に、ニューロンの処理に用いられるシナプスの重み係数
に非線形処理を施すことによって、大きな値のシナプス
の重み係数による影響力を抑制できる。

【００２７】請求項４の発明の構成により、学習の際
に、更新されたシナプスの重み係数に非線形処理を施す
ことによって、更新されて大きくなり過ぎたシナプスの
重み係数を小さくすることができる。

【００２８】さらに、請求項５の発明の構成により、例
えば、手書き文字等の分散の多いデータを扱う場合には
非線形処理を行わないようにすることができる。

【００２９】

【実施例】以下、本発明の第１の実施例に係るニューラ
ルネットワーク回路について図面を参照しながら説明す
る。

【００３０】まず、第１の実施例に係るニューラルネッ
トワーク回路の構成について説明する。図１は第１の実
施例に係るニューラルネットワーク回路１０の構成を示
すブロック図であり、図１において、ニューラルネット
ワーク回路１０は、ニューロンの処理を行う演算器１１
と、シナプスの重み係数を保持する重みメモリ１２と、
演算器１１から重みメモリ１２への書き込みデータを変
換する非線形処理回路１３とを備えている。

【００３１】ニューラルネットワーク回路１０では、デ
ータ入力に認識又は学習のためのデータが与えられ、そ
の結果が出力から得られる。

【００３２】次に、以上のように構成されたニューラル
ネットワーク回路１０の動作について説明する。ニュー
ラルネットワーク回路１０の認識動作においては、認識
されるデータがデータ入力に与えられ、ニューロンの各
シナプスの重み係数に相当するデータが重みメモリ１２
から読み出され、演算器１１でニューロンの処理が実行
される。

【００３３】また、ニューラルネットワーク回路１０の
学習動作、即ち、シナプスの重み係数の変更動作におい
ては、学習されるデータがデータ入力に与えられ、ニュ
ーロンの各シナプスの重み係数に相当するデータが重み
メモリ１２から読み出され、演算器１１でヘブ学習則の
（１）式に従い、学習する出力ニューロンのシナプスの
重み係数が算出され、非線形処理回路１３により非線形
処理され、重みメモリ１２のデータが更新される。非線
形処理回路１３では例えば図５に示すような非線形処理
が施される。

【００３４】図６は第１の実施例に係るニューラルネッ
トワーク回路１０と従来のニューラルネットワークとの
認識率の違いを示しており、図６において、横軸は学習
回数を、縦軸は未学習データの認識率を表わし、実線は
ニューラルネットワーク回路１０のグラフ、一点鎖線は
従来のニューラルネットワークのグラフである。ここで
は、データとして活字文字を用いた場合、詳しくは、６
２種類の英数字からなる文字群を２３タイプ揃え、前記
２３タイプの文字群のうち１３タイプを学習に使い、残
りの１０タイプの文字群の英数字を未学習データとして
認識テストに使った場合における認識率の変化を示して
いる。

【００３５】図６に示すように、非線形処理を行わない
従来のニューラルネットワークにおいては学習回数を増
やしても未学習データの認識率は変化しない。これに比
べて、非線形処理を行うニューラルネットワーク回路１
０においては、学習の際にシナプスの重み係数が急激に
大きくなることが制限されるため、認識の際に相対的に
他のシナプスの重み係数の影響力が増大するので、学習
回数を増やすことにより未学習のデータの認識率を向上
させることができる。

【００３６】第１の実施例では、非線形処理として図５
に示す関数が使われているがこれに限られる訳ではな
い。

【００３７】以下、本発明の第２の実施例に係るニュー
ラルネットワーク回路について図面を参照しながら説明
する。

【００３８】まず、第２の実施例に係るニューラルネッ
トワーク回路の構成について説明する。図２は第２の実
施例に係るニューラルネットワーク回路２０の構成を示
すブロック図であり、図２において、ニューラルネット
ワーク回路２０は、ニューロンの処理を行う演算器２１
と、シナプスの重み係数を保持する重みメモリ２２と、
重みメモリ２２から演算器２１への読み出しデータを変
換する非線形処理回路２３とを備えている。

【００３９】ニューラルネットワーク回路２０では、デ
ータ入力に認識又は学習のためのデータが与えられ、そ
の結果が出力から得られる。

【００４０】次に、以上のように構成されたニューラル
ネットワーク回路２０の動作について説明する。ニュー
ラルネットワーク回路２０の認識動作においては、認識
されるデータがデータ入力に与えられ、ニューロンの各
シナプスの重み係数に相当するデータが重みメモリ２２
から読み出され、非線形処理回路２３で非線形処理さ
れ、演算器２１でニューロンの処理が実行される。この
ように、ニューロンの処理に用いられるシナプスの重み
係数に非線形処理を施すことによって、大きな値のシナ
プスの重み係数による影響を抑制できる。

【００４１】また、ニューラルネットワーク回路２０の
学習動作においては、学習されるデータがデータ入力に
与えられ、ニューロンの各シナプスの重み係数に相当す
るデータが重みメモリ２２から読み出され、非線形処理
回路２３で非線形処理され、演算器２１でヘブ学習則の
（１）式に従い、学習する出力ニューロンのシナプスの
重み係数が算出され、重みメモリ２２のデータが更新さ
れる。このように、演算前のシナプスの重み係数に非線
形処理を施すことによって、更新されるシナプスの重み
係数が大きくなり過ぎないようにすることができる。

【００４２】以下、本発明の第３の実施例に係るニュー
ラルネットワーク回路について図面を参照しながら説明
する。

【００４３】まず、第３の実施例に係るニューラルネッ
トワーク回路の構成について説明する。図３は第３の実
施例に係るニューラルネットワーク回路３０の構成を示
すブロック図であり、図３において、ニューラルネット
ワーク回路３０は、ニューロンの処理を行う演算器３１
と、シナプスの重み係数を保持する重みメモリ３２と、
重みメモリ３２の更新データを変換する非線形処理回路
３３とを備えている。

【００４４】ニューラルネットワーク回路３０では、デ
ータ入力に認識又は学習のためのデータが与えられ、そ
の結果が出力から得られる。

【００４５】次に、以上のように構成されたニューラル
ネットワーク回路３０の動作について説明する。ニュー
ラルネットワーク回路３０の認識動作においては、認識
されるデータがデータ入力に与えられ、ニューロンの各
シナプスの重み係数に相当するデータが重みメモリ３２
から読み出され、演算器３１でニューロンの処理が実行
される。

【００４６】また、ニューラルネットワーク回路３０の
学習動作、即ち、シナプスの重み係数の変更動作におい
ては、学習されるデータがデータ入力に与えられ、ニュ
ーロンの各シナプスの重み係数に相当するデータが重み
メモリ３２から読み出され、演算器３１でヘブ学習則の
（１）式に従い、学習する出力ニューロンのシナプスの
重み係数が算出され、重みメモリ３２のデータが更新さ
れる。例えば、２タイプの文字の学習を実行する場合に
は、図７に示すように、ステップＳ３で一方のタイプの
最終文字に対応する出力ニューロンのシナプスの重み係
数の変更が終了すると、ステップＳ４で判断がＹＥＳと
なりステップＳ１０に移り、ステップＳ１０で重みメモ
リ３２の全てのデータに対して非線形処理回路３３によ
り非線形処理が行われる。同様に、他方のタイプの最終
文字に対応する出力ニューロンのシナプスの重み係数の
変更が実行された後、重みメモリ３２の全てのデータに
対して非線形処理回路３３により非線形処理が行われ
る。これにより、更新されて大きくなり過ぎたシナプス
の重み係数を小さくすることができる。従って、第１の
実施例に係るニューラルネットワーク回路１０と同様
に、活字文字等の分散の少ないデータを扱う場合におい
ても未学習のデータの認識率を向上させることができ
る。なお、図７におけるステップＳ１〜Ｓ９の処理は、
それぞれ図１０に示すステップＳ１〜Ｓ９の処理と同様
の処理である。

【００４７】以下、本発明の第４の実施例に係るニュー
ラルネットワーク回路について図面を参照しながら説明
する。

【００４８】まず、第４の実施例に係るニューラルネッ
トワーク回路の構成について説明する。図４は第４の実
施例に係るニューラルネットワーク回路４０の構成を示
すブロック図であり、図４において、ニューラルネット
ワーク回路４０は、ニューロンの処理を行う演算器４１
と、シナプスの重み係数を保持する重みメモリ４２と、
演算器４１から重みメモリ４２への書き込みデータを変
換する非線形処理回路４３と、重みメモリ４２への書き
込みデータを選択する選択回路４４とを備えている。

【００４９】ニューラルネットワーク回路４０では、デ
ータ入力に認識又は学習のためのデータが与えられ、そ
の結果が出力から得られる。

【００５０】次に、以上のように構成されたニューラル
ネットワーク回路４０の動作について説明する。選択回
路４４が非線形処理回路４３の信号を選択した場合に
は、第１の実施例に係るニューラルネットワーク回路１
０と全く同様になり、活字文字等の非常に似通った分散
の少ないデータを扱う際に、未学習のデータに対する認
識率を向上させるような学習が可能となる。

【００５１】一方、選択回路４４が演算器４１の信号を
選択した場合には、手書き文字等の分散の多いデータを
扱う際の対応が可能となる。

【００５２】なお、本実施例においては、学習する出力
ニューロンのシナプスの重み係数を算出するためにヘブ
の学習則を用いたがこれに限られる訳ではない。

【００５３】

【発明の効果】以上説明したように、請求項１の発明に
係るニューラルネットワーク回路によると、学習の際
に、演算後のシナプスの重み係数に非線形処理を施すこ
とによって、例えば、更新されるシナプスの重み係数が
大きくなり過ぎないようにすることができる。これによ
り、活字文字等の非常に似通った分散の少ないデータを
扱う場合においても、特定のシナプスの重み係数のみが
突出した値になることを抑止できるため、未学習のデー
タを誤って認識する確率を低減できる。

【００５４】また、請求項２の発明に係るニューラルネ
ットワーク回路によると、学習の際に、演算前のシナプ
スの重み係数に非線形処理を施すことによって、更新さ
れるシナプスの重み係数が大きくなり過ぎないようにす
ることができる。

【００５５】請求項３の発明に係るニューラルネットワ
ーク回路によると、認識の際に、ニューロンの処理に用
いられるシナプスの重み係数に非線形処理を施すことに
よって、大きな値のシナプスの重み係数による影響力を
抑制できる。

【００５６】請求項４の発明に係るニューラルネットワ
ーク回路によると、学習の際に、更新されたシナプスの
重み係数に非線形処理を施すことによって、更新されて
大きくなり過ぎたシナプスの重み係数を小さくすること
ができる。

【００５７】さらに、請求項５の発明に係るニューラル
ネットワーク回路によると、学習されるデータの種類に
より非線形処理を行うか否かを選択できる。

【００５８】従って、本発明によると、活字文字等の非
常に似通った分散の少ないデータを扱う場合に未学習の
データに対する認識率を向上できるニューラルネットワ
ーク回路を簡単なハードウェアで容易に構築することが
可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係るニューラルネット
ワーク回路を示すブロック図である。

【図２】本発明の第２の実施例に係るニューラルネット
ワーク回路を示すブロック図である。

【図３】本発明の第３の実施例に係るニューラルネット
ワーク回路を示すブロック図である。

【図４】本発明の第４の実施例に係るニューラルネット
ワーク回路を示すブロック図である。

【図５】前記第１の実施例に係るニューラルネットワー
ク回路の非線形処理回路の動作を示す図である。

【図６】前記第１の実施例に係るニューラルネットワー
ク回路と従来のニューラルネットワークとの認識率の違
いを示す図である。

【図７】前記第３の実施例に係るニューラルネットワー
ク回路の学習動作を示すフローチャート図である。

【図８】従来のニューラルネットワークを示す模式図で
ある。

【図９】前記従来のニューラルネットワークのニューロ
ンを示す模式図である。

【図１０】前記従来のニューラルネットワークの学習動
作を示すフローチャート図である。

【図１１】文字データを示す図である。

【図１２】前記文字データの画素を示す図である。

【符号の説明】

１０，２０，３０，４０ニューラルネットワーク回路１１，２１，３１，４１演算器（演算手段）１２，２２，３２，４２重みメモリ（記憶手段）１３，２３，３３，４３非線形処理回路（非線形処理
手段）４４選択回路（選択手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者丸野進大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者香田敏行大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】シナプスを持つニューロンからなるニュ
ーラルネットワークを実現するニューラルネットワーク
回路であって、前記シナプスの重み係数を記憶する記憶手段と、該記憶
手段から読み出された前記シナプスの重み係数と前記シ
ナプスへの入力信号とを用いて演算し演算結果を出力す
る演算手段と、該演算手段からの前記演算結果に非線形
処理を施し非線形処理結果を前記シナプスの新たな重み
係数として前記記憶手段に書き込む非線形処理手段とを
備えていることを特徴とするニューラルネットワーク回
路。
【請求項２】シナプスを持つニューロンからなるニュ
ーラルネットワークを実現するニューラルネットワーク
回路であって、前記シナプスの重み係数を記憶する記憶手段と、該記憶
手段から読み出された前記シナプスの重み係数に非線形
処理を施し非線形処理結果を出力する非線形処理手段
と、該非線形処理手段からの前記非線形処理結果と前記
シナプスへの入力信号とを用いて演算し演算結果を前記
シナプスの新たな重み係数として前記記憶手段に書き込
む演算手段とを備えていることを特徴とするニューラル
ネットワーク回路。
【請求項３】シナプスを持つニューロンからなるニュ
ーラルネットワークを実現するニューラルネットワーク
回路であって、前記シナプスの重み係数を記憶する記憶手段と、該記憶
手段から読み出された前記シナプスの重み係数に非線形
処理を施し非線形処理結果を出力する非線形処理手段
と、該非線形処理手段からの前記非線形処理結果と前記
シナプスへの入力信号とを用いて前記ニューロンの処理
を実行し処理結果を出力する演算手段とを備えているこ
とを特徴とするニューラルネットワーク回路。
【請求項４】シナプスを持つニューロンからなるニュ
ーラルネットワークを実現するニューラルネットワーク
回路であって、前記シナプスの重み係数を記憶する記憶手段と、該記憶
手段から読み出された前記シナプスの重み係数と前記シ
ナプスへの入力信号とを用いて演算し演算結果を前記記
憶手段に書き込む演算手段と、前記記憶手段から読み出
された前記演算結果に非線形処理を施し非線形処理結果
を前記シナプスの新たな重み係数として前記記憶手段に
書き込む非線形処理手段とを備えていることを特徴とす
るニューラルネットワーク回路。
【請求項５】シナプスを持つニューロンからなるニュ
ーラルネットワークを実現するニューラルネットワーク
回路であって、前記シナプスの重み係数を記憶する記憶手段と、該記憶
手段から読み出された前記シナプスの重み係数と前記シ
ナプスへの入力信号とを用いて演算し演算処理結果を出
力する演算手段と、該演算手段からの前記演算処理結果
に非線形処理を施し非線形処理結果を出力する非線形処
理手段と、前記演算手段からの前記演算処理結果及び前
記非線形処理手段からの前記非線形処理結果の中から前
記シナプスの新たな重み係数として前記記憶手段に書き
込まれる何れか一方の処理結果を選択する選択手段とを
備えていることを特徴とするニューラルネットワーク回
路。