JPH0561850A - 階層型ニユーラルネツトワークおよびその学習方法 - Google Patents
階層型ニユーラルネツトワークおよびその学習方法Info
- Publication number
- JPH0561850A JPH0561850A JP3248389A JP24838991A JPH0561850A JP H0561850 A JPH0561850 A JP H0561850A JP 3248389 A JP3248389 A JP 3248389A JP 24838991 A JP24838991 A JP 24838991A JP H0561850 A JPH0561850 A JP H0561850A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- test
- connection weight
- learning
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 簡単な計算処理により、学習を迅速に行うこ
とが可能な階層型ニューラルネットワークおよびその学
習方法を提供する。 【構成】 第１修正手段で複数のニューロン素子のうち
１つの結合重みを所定のテスト修正幅Ｓだけ正および負
の少なくとも一方向にテスト修正し、第１の算出手段と
第２の算出手段において、同一の学習パターンの入力に
対するテスト修正前後の２乗誤差をそれぞれ算出する。
そして、方向決定手段でテスト修正前よりも２乗誤差が
小さくなるテスト修正幅Ｓの正または負の方向を決定
し、第３算出手段で結合重みの修正値を算出する。第２
修正手段で所定数の結合重みを算出した修正値に結合重
みを修正する。このように、各結合重みの単独のテスト
修正によって生じるニューロン素子網の出力誤差の変動
を調べて結合重みの修正方向と修正値を決定するので、
少ない計算量で済む。
とが可能な階層型ニューラルネットワークおよびその学
習方法を提供する。 【構成】 第１修正手段で複数のニューロン素子のうち
１つの結合重みを所定のテスト修正幅Ｓだけ正および負
の少なくとも一方向にテスト修正し、第１の算出手段と
第２の算出手段において、同一の学習パターンの入力に
対するテスト修正前後の２乗誤差をそれぞれ算出する。
そして、方向決定手段でテスト修正前よりも２乗誤差が
小さくなるテスト修正幅Ｓの正または負の方向を決定
し、第３算出手段で結合重みの修正値を算出する。第２
修正手段で所定数の結合重みを算出した修正値に結合重
みを修正する。このように、各結合重みの単独のテスト
修正によって生じるニューロン素子網の出力誤差の変動
を調べて結合重みの修正方向と修正値を決定するので、
少ない計算量で済む。
Description
【０００１】
【産業上の利用分野】この発明は、階層型ニューラルネ
ットワークおよびその学習方法に関する。
ットワークおよびその学習方法に関する。
【０００２】
【従来の技術】人間の脳神経系の仕組みを工学的に実現
し、情報処理を行おうとするニューラルネットワークが
注目されている。このニューラルネットワークは、複数
のニューロン素子から構成されており、所定の学習を行
うことにより、文字や図形等のパターン認識、音声の分
析や合成処理、連続的アナログデータの処理、多量デー
タの並列処理が効率的に行われる。ニューラルネットワ
ークは、データの伝搬を行う複数のニューロン素子から
成るニューロン素子網とその学習を制御する学習制御部
から構成されている。このニューロン素子網は、データ
が入力される入力層と、入力されたデータに対してデー
タが出力される出力層、およびこの両層間に配置された
１または複数の中間層から構成されている。そして、ニ
ューロン素子網の各層間におけるニューロン素子は、他
のニューロン素子に対して所定の強さ（結合重み）で結
合されており、この結合重みの値の違いにより出力信号
が変化するようになっている。
し、情報処理を行おうとするニューラルネットワークが
注目されている。このニューラルネットワークは、複数
のニューロン素子から構成されており、所定の学習を行
うことにより、文字や図形等のパターン認識、音声の分
析や合成処理、連続的アナログデータの処理、多量デー
タの並列処理が効率的に行われる。ニューラルネットワ
ークは、データの伝搬を行う複数のニューロン素子から
成るニューロン素子網とその学習を制御する学習制御部
から構成されている。このニューロン素子網は、データ
が入力される入力層と、入力されたデータに対してデー
タが出力される出力層、およびこの両層間に配置された
１または複数の中間層から構成されている。そして、ニ
ューロン素子網の各層間におけるニューロン素子は、他
のニューロン素子に対して所定の強さ（結合重み）で結
合されており、この結合重みの値の違いにより出力信号
が変化するようになっている。
【０００３】このような階層構造に構成された従来のニ
ューラルネットワークでは、各ニューロン素子相互間の
結合重みを学習制御部により変化させることによって
「学習」という処理が行われる。学習は、入力層と出力
層の入出力数に対応して与えられる、アナログまたは２
値のデータ（パターン）によって行われる。いま、入力
データとしてｇ1 〜ｇ6 が与えられ、この内、ｇ1 〜ｇ
3 が入力層から学習パターンとして入力され、この学習
パターンの入力に対して出力層からある出力信号が出力
される。この出力信号に対する正解がｇ4 〜ｇ6 であ
り、一般に教師信号と呼ばれている。そして、出力信号
と教師信号との誤差が小さくなるように、または一致す
るように各ニューロン素子の結合重みを修正する処理
を、複数の学習パターンに対して実行することによって
学習が行われる。
ューラルネットワークでは、各ニューロン素子相互間の
結合重みを学習制御部により変化させることによって
「学習」という処理が行われる。学習は、入力層と出力
層の入出力数に対応して与えられる、アナログまたは２
値のデータ（パターン）によって行われる。いま、入力
データとしてｇ1 〜ｇ6 が与えられ、この内、ｇ1 〜ｇ
3 が入力層から学習パターンとして入力され、この学習
パターンの入力に対して出力層からある出力信号が出力
される。この出力信号に対する正解がｇ4 〜ｇ6 であ
り、一般に教師信号と呼ばれている。そして、出力信号
と教師信号との誤差が小さくなるように、または一致す
るように各ニューロン素子の結合重みを修正する処理
を、複数の学習パターンに対して実行することによって
学習が行われる。
【０００４】このような、教師信号に出力信号が一致す
るように、ニューロン素子網における各ニューロン素子
間の結合重みを修正する具体的方法として、従来から誤
差逆伝播法（以下、ＢＰ法という。）が用いられてい
る。ＢＰ法は、出力層での出力値と教師信号との２乗誤
差を最小にするために、このニューラルネットワークを
構成する全ての層間における各ニューロン素子相互間の
結合重みを修正するものである。すなわち、出力層にお
ける誤差は、各中間層のニューロン素子で生じる個々の
誤差が積算されたものであると判断し、単に出力層から
の誤差だけでなく、その原因となっている各中間層のニ
ューロン素子の誤差も最小となるように結合重みを修正
する。そのために出力層、各中間層のニューロン素子毎
の全ての誤差を計算処理する。この計算処理は、出力層
のニューロン素子の個々の誤差値を初期条件として与え
て、ｎ番目の中間層の各ニューロン素子の誤差値、（ｎ
−１）番目の中間層の誤差、……、といったように、逆
の方向に計算処理を行う。このようにして求めた各ニュ
ーロン素子の持つ誤差値と、その時点での結合重みを用
いて、結合重みの修正値を算出する。以上の、学習処理
を教師信号との誤差が一定値以下となるまで、または所
定回数だけ、全ての学習パターンについて繰り返すこと
により、学習が終了する。
るように、ニューロン素子網における各ニューロン素子
間の結合重みを修正する具体的方法として、従来から誤
差逆伝播法（以下、ＢＰ法という。）が用いられてい
る。ＢＰ法は、出力層での出力値と教師信号との２乗誤
差を最小にするために、このニューラルネットワークを
構成する全ての層間における各ニューロン素子相互間の
結合重みを修正するものである。すなわち、出力層にお
ける誤差は、各中間層のニューロン素子で生じる個々の
誤差が積算されたものであると判断し、単に出力層から
の誤差だけでなく、その原因となっている各中間層のニ
ューロン素子の誤差も最小となるように結合重みを修正
する。そのために出力層、各中間層のニューロン素子毎
の全ての誤差を計算処理する。この計算処理は、出力層
のニューロン素子の個々の誤差値を初期条件として与え
て、ｎ番目の中間層の各ニューロン素子の誤差値、（ｎ
−１）番目の中間層の誤差、……、といったように、逆
の方向に計算処理を行う。このようにして求めた各ニュ
ーロン素子の持つ誤差値と、その時点での結合重みを用
いて、結合重みの修正値を算出する。以上の、学習処理
を教師信号との誤差が一定値以下となるまで、または所
定回数だけ、全ての学習パターンについて繰り返すこと
により、学習が終了する。
【０００５】
【発明が解決しようとする課題】しかし、従来から行わ
れているＢＰ法による階層型ニューラルネットワークの
学習は、修正値を算出するための誤差の計算処理が複雑
であった。このため、ＢＰ法は、学習が終了するまでに
時間がかかるという問題があった。一方、学習時間を短
縮するためには、学習の計算処理をソフトウェアで行わ
ずに、計算の処理部をハードウェア化することにより解
決することが可能である。しかし、前述のように、ＢＰ
法によるニューラルネットワークの学習は、計算処理が
複雑であるため、ハードウェア化が困難であった。
れているＢＰ法による階層型ニューラルネットワークの
学習は、修正値を算出するための誤差の計算処理が複雑
であった。このため、ＢＰ法は、学習が終了するまでに
時間がかかるという問題があった。一方、学習時間を短
縮するためには、学習の計算処理をソフトウェアで行わ
ずに、計算の処理部をハードウェア化することにより解
決することが可能である。しかし、前述のように、ＢＰ
法によるニューラルネットワークの学習は、計算処理が
複雑であるため、ハードウェア化が困難であった。
【０００６】そこで本発明の目的は、簡単な計算処理に
より、学習を迅速に行うことが可能な階層型ニューラル
ネットワークおよびその学習方法を提供することにあ
る。
より、学習を迅速に行うことが可能な階層型ニューラル
ネットワークおよびその学習方法を提供することにあ
る。
【０００７】
【課題を解決するための手段】請求項１記載の発明で
は、図１の実線で原理的に示されるように、所定の結合
重みで階層型に結合された複数のニューロン素子からな
るニューロン素子網と、このニューロン素子網に入力さ
れた学習パターンに対する出力信号と教師信号との２乗
誤差を算出する第１算出手段と、前記複数のニューロン
素子のうち１つの結合重みを所定のテスト修正幅Ｓだけ
正および負の少なくとも一方向にテスト修正する第１修
正手段と、この第１修正手段によるテスト修正後の前記
ニューロン素子網における前記第１算出手段と同一の学
習パターンに対する出力信号と教師信号との２乗誤差を
算出する第２算出手段と、この第２算出手段で算出した
２乗誤差が、前記第１算出手段で算出した２乗誤差より
も小さくなるテスト修正幅Ｓの正または負の方向を決定
する方向決定手段と、この方向決定手段による修正方向
および前記テスト修正幅Ｓに応じて前記結合重みの修正
値を算出する第３算出手段と、この第３算出手段で所定
数の結合重みの修正値を算出し、その修正値に各結合重
みを修正する第２修正手段を階層型ニューラルネットワ
ークに具備させて、前記目的を達成する。
は、図１の実線で原理的に示されるように、所定の結合
重みで階層型に結合された複数のニューロン素子からな
るニューロン素子網と、このニューロン素子網に入力さ
れた学習パターンに対する出力信号と教師信号との２乗
誤差を算出する第１算出手段と、前記複数のニューロン
素子のうち１つの結合重みを所定のテスト修正幅Ｓだけ
正および負の少なくとも一方向にテスト修正する第１修
正手段と、この第１修正手段によるテスト修正後の前記
ニューロン素子網における前記第１算出手段と同一の学
習パターンに対する出力信号と教師信号との２乗誤差を
算出する第２算出手段と、この第２算出手段で算出した
２乗誤差が、前記第１算出手段で算出した２乗誤差より
も小さくなるテスト修正幅Ｓの正または負の方向を決定
する方向決定手段と、この方向決定手段による修正方向
および前記テスト修正幅Ｓに応じて前記結合重みの修正
値を算出する第３算出手段と、この第３算出手段で所定
数の結合重みの修正値を算出し、その修正値に各結合重
みを修正する第２修正手段を階層型ニューラルネットワ
ークに具備させて、前記目的を達成する。
【０００８】請求項２記載の発明では、請求項１記載の
階層型ニューラルネットワークの第３算出手段におい
て、方向決定手段で決定した方向が正のとき、Ｗ n ij＋
Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij＋Ｓ）〕により、
方向決定手段で決定した方向が負のとき、Ｗ n ij−Ｓ×
ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij−Ｓ）〕により、それ
ぞれ修正値を算出する。請求項３記載の発明では、図１
の点線で原理的に示されるように、請求項２記載の階層
型ニューラルネットワークにおいて、テスト修正幅Ｓと
係数ｋの少なくとも一方、を変更する変更手段を具備さ
せる。請求項４記載の発明では、請求項２記載の階層型
ニューラルネットワークにおいて、テスト修正幅Ｓを
０．１、係数ｋを１００とする。
階層型ニューラルネットワークの第３算出手段におい
て、方向決定手段で決定した方向が正のとき、Ｗ n ij＋
Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij＋Ｓ）〕により、
方向決定手段で決定した方向が負のとき、Ｗ n ij−Ｓ×
ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij−Ｓ）〕により、それ
ぞれ修正値を算出する。請求項３記載の発明では、図１
の点線で原理的に示されるように、請求項２記載の階層
型ニューラルネットワークにおいて、テスト修正幅Ｓと
係数ｋの少なくとも一方、を変更する変更手段を具備さ
せる。請求項４記載の発明では、請求項２記載の階層型
ニューラルネットワークにおいて、テスト修正幅Ｓを
０．１、係数ｋを１００とする。
【０００９】請求項５記載の発明では、所定の結合重み
で階層型に結合された複数のニューロン素子からなるニ
ューロン素子網に学習パターンを入力してその出力信号
と教師信号との２乗誤差を算出する第１工程と、複数の
ニューロン素子のうち他の結合重みを第１工程と同一の
状態とし、１つの結合重みを所定のテスト修正幅Ｓだけ
正および負の少なくとも一方向にテスト修正し、テスト
修正後の前記ニューロン素子網に第１工程と同一の学習
パターンを入力して算出した２乗誤差が第１工程で算出
した２乗誤差よりも小さくなるテスト修正幅Ｓの正また
は負の方向を決定し、決定した修正方向と前記テスト修
正幅Ｓに応じて結合重みの修正値を算出する工程を、所
定数の結合重みに対して行う第２工程と、第２工程で所
定数の結合重みの修正値を算出した後に算出した修正値
に各結合重みを修正する第３工程により、階層型ニュー
ラルネットワークの学習を行う。
で階層型に結合された複数のニューロン素子からなるニ
ューロン素子網に学習パターンを入力してその出力信号
と教師信号との２乗誤差を算出する第１工程と、複数の
ニューロン素子のうち他の結合重みを第１工程と同一の
状態とし、１つの結合重みを所定のテスト修正幅Ｓだけ
正および負の少なくとも一方向にテスト修正し、テスト
修正後の前記ニューロン素子網に第１工程と同一の学習
パターンを入力して算出した２乗誤差が第１工程で算出
した２乗誤差よりも小さくなるテスト修正幅Ｓの正また
は負の方向を決定し、決定した修正方向と前記テスト修
正幅Ｓに応じて結合重みの修正値を算出する工程を、所
定数の結合重みに対して行う第２工程と、第２工程で所
定数の結合重みの修正値を算出した後に算出した修正値
に各結合重みを修正する第３工程により、階層型ニュー
ラルネットワークの学習を行う。
【００１０】
【作用】本発明では、第１修正手段で複数のニューロン
素子のうち１つの結合重みを所定のテスト修正幅Ｓだけ
正および負の少なくとも一方向にテスト修正し、第１の
算出手段と第２の算出手段において、同一の学習パター
ンの入力に対するテスト修正前後の２乗誤差をそれぞれ
算出する。そして、方向決定手段でテスト修正前よりも
２乗誤差が小さくなるテスト修正幅Ｓの正または負の方
向を決定し、第３算出手段で結合重みの修正値を算出す
る。そして、第２修正手段で所定数の結合重みを算出し
た修正値に結合重みを修正する。このように、各結合重
みの単独のテスト修正によって生じるニューロン素子網
の出力誤差の変動を調べることにより、結合重みの修正
方向と修正値を決定するので、少ない計算量で済む。
素子のうち１つの結合重みを所定のテスト修正幅Ｓだけ
正および負の少なくとも一方向にテスト修正し、第１の
算出手段と第２の算出手段において、同一の学習パター
ンの入力に対するテスト修正前後の２乗誤差をそれぞれ
算出する。そして、方向決定手段でテスト修正前よりも
２乗誤差が小さくなるテスト修正幅Ｓの正または負の方
向を決定し、第３算出手段で結合重みの修正値を算出す
る。そして、第２修正手段で所定数の結合重みを算出し
た修正値に結合重みを修正する。このように、各結合重
みの単独のテスト修正によって生じるニューロン素子網
の出力誤差の変動を調べることにより、結合重みの修正
方向と修正値を決定するので、少ない計算量で済む。
【００１１】
【実施例】以下、本発明の階層型ニューラルネットワー
クの一実施例を図２ないし図９を参照して詳細に説明す
る。図２は階層型ニューラルネットワークのニューロン
素子網の構成を表したものである。この実施例では、簡
単のために３層構造のニューラルネットワークについて
説明するものとする。ニューロン素子網は、入力層がニ
ューロン素子１、２、３から成る３層、中間層がニュー
ロン素子４、５、６から成る３層、出力層がニューロン
素子７、８、９から成る３層でそれぞれ構成されてい
る。そして、中間層のニューロン素子４に対する、入力
層のニューロン素子１、２、３の結合重みをそれぞれＷ
1 11、Ｗ1 21、Ｗ 1 31 とする。同様に、各層のニュー
ロン素子に対する結合重みを図２に示し、その一般式を
Ｗ n ijとする。各ニューロン素子は、専用のハードウェ
アで構成されるが、ノイマン型のコンピュータのソフト
ウェアにより構成してもよい。
クの一実施例を図２ないし図９を参照して詳細に説明す
る。図２は階層型ニューラルネットワークのニューロン
素子網の構成を表したものである。この実施例では、簡
単のために３層構造のニューラルネットワークについて
説明するものとする。ニューロン素子網は、入力層がニ
ューロン素子１、２、３から成る３層、中間層がニュー
ロン素子４、５、６から成る３層、出力層がニューロン
素子７、８、９から成る３層でそれぞれ構成されてい
る。そして、中間層のニューロン素子４に対する、入力
層のニューロン素子１、２、３の結合重みをそれぞれＷ
1 11、Ｗ1 21、Ｗ 1 31 とする。同様に、各層のニュー
ロン素子に対する結合重みを図２に示し、その一般式を
Ｗ n ijとする。各ニューロン素子は、専用のハードウェ
アで構成されるが、ノイマン型のコンピュータのソフト
ウェアにより構成してもよい。
【００１２】図３は、このようなニューロン素子網の学
習を制御する学習制御部の構成を表したものである。こ
の学習制御部は、ニューロン素子網に対する学習パター
ンの入力指示、入力に対する出力信号と教師信号との２
乗誤差の算出、修正値の算出等の各種制御を行うＣＰＵ
（中央処理装置）１１を備えている。このＣＰＵ１１
は、データバス等のバスライン１２によって次の各部と
接続されている。すなわち、ニューラルネットワークに
おける各種制御や結合重みの修正値の算出をＣＰＵ１１
で行うための各種プログラムを格納したＲＯＭ（リード
・オンリ・メモリ）１３が接続されている。このＲＯＭ
１３には、結合重みの修正量ｄＷn ijを算出するための
式（１）および式（２）が格納されている。 ｄＷ n ij＝ Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij＋Ｓ）〕……（１） ｄＷ n ij＝−Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij−Ｓ）〕……（２） この式（１）、（２）において、Ｓは結合重みＷ n ijを
学習の途中でテスト修正するテスト修正幅、ｋは係数、
Ｅ（Ｗ n ij）はある学習パターンの入力に対する出力信
号と教師信号との２乗誤差、Ｅ（Ｗ n ij±Ｓ）は結合重
みＷ n ijをテスト修正幅Ｓだけ増加（＋Ｓ）または減少
（−Ｓ）させて学習パターンを入力した場合の出力信号
と教師信号との２乗誤差を、それぞれ示す。
習を制御する学習制御部の構成を表したものである。こ
の学習制御部は、ニューロン素子網に対する学習パター
ンの入力指示、入力に対する出力信号と教師信号との２
乗誤差の算出、修正値の算出等の各種制御を行うＣＰＵ
（中央処理装置）１１を備えている。このＣＰＵ１１
は、データバス等のバスライン１２によって次の各部と
接続されている。すなわち、ニューラルネットワークに
おける各種制御や結合重みの修正値の算出をＣＰＵ１１
で行うための各種プログラムを格納したＲＯＭ（リード
・オンリ・メモリ）１３が接続されている。このＲＯＭ
１３には、結合重みの修正量ｄＷn ijを算出するための
式（１）および式（２）が格納されている。 ｄＷ n ij＝ Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij＋Ｓ）〕……（１） ｄＷ n ij＝−Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij−Ｓ）〕……（２） この式（１）、（２）において、Ｓは結合重みＷ n ijを
学習の途中でテスト修正するテスト修正幅、ｋは係数、
Ｅ（Ｗ n ij）はある学習パターンの入力に対する出力信
号と教師信号との２乗誤差、Ｅ（Ｗ n ij±Ｓ）は結合重
みＷ n ijをテスト修正幅Ｓだけ増加（＋Ｓ）または減少
（−Ｓ）させて学習パターンを入力した場合の出力信号
と教師信号との２乗誤差を、それぞれ示す。
【００１３】またバスライン１２には、学習パターンや
テスト修正幅Ｓや係数ｋその他各種データを格納するＲ
ＡＭ（ランダム・アクセス・メモリ）１４、ニューロン
素子網の各結合重みの値が格納されている重みテーブル
１５とその修正値Ｗ n ij′が格納される修正値テーブル
１６とを有する結合重みメモリ１７が接続されている。
更に、ＲＡＭ１４に格納されているテスト修正幅Ｓや係
数ｋの修正等を指示する入力装置とてのキーボード１
８、ニューロン素子網の各ニューロン素子に対して結合
重みの修正値Ｗ n ij′等を供給する結合重みＩ／Ｏ（入
出力ポート）１９、出力層からの各出力値が供給される
出力信号Ｉ／Ｏ２０、学習パターン等の各種データが入
出力されるデータＩ／Ｏ２１等の各種Ｉ／Ｏが接続され
ている。また、図示しない表示装置、図形や文字を読み
取るスキャナ、音声入出力装置等が必要に応じて接続さ
れている。
テスト修正幅Ｓや係数ｋその他各種データを格納するＲ
ＡＭ（ランダム・アクセス・メモリ）１４、ニューロン
素子網の各結合重みの値が格納されている重みテーブル
１５とその修正値Ｗ n ij′が格納される修正値テーブル
１６とを有する結合重みメモリ１７が接続されている。
更に、ＲＡＭ１４に格納されているテスト修正幅Ｓや係
数ｋの修正等を指示する入力装置とてのキーボード１
８、ニューロン素子網の各ニューロン素子に対して結合
重みの修正値Ｗ n ij′等を供給する結合重みＩ／Ｏ（入
出力ポート）１９、出力層からの各出力値が供給される
出力信号Ｉ／Ｏ２０、学習パターン等の各種データが入
出力されるデータＩ／Ｏ２１等の各種Ｉ／Ｏが接続され
ている。また、図示しない表示装置、図形や文字を読み
取るスキャナ、音声入出力装置等が必要に応じて接続さ
れている。
【００１４】このように構成されたニューラルネットワ
ークにおける学習動作について次に説明する。学習動作の概要 全ての結合重みＷ n ijが所定値に決められた初期状態に
おいて、入力層に所定の学習パターンを入力し、その出
力信号と教師信号との２乗誤差を算出する。そして、１
つの結合重みＷ n ijについて、所定のテスト修正幅Ｓだ
け増加および減少させ、テスト修正前に入力した学習パ
ターンと同一の学習パターンを入力する。そして、結合
重みのテスト修正前後で、ニューラルネットワークの出
力と教師信号の２乗誤差を比較し、修正の方向を決定す
る。結合重みを増加させたときに２乗誤差が減少すれ
ば、修正幅ｄＷn ijを式（１）により算出する。一方、
結合重みを減少させたとき２乗誤差が減少すれば、修正
幅ｄＷ n ijを式（２）により算出する。いずれの方向に
修正した場合も２乗誤差が減少する場合には、より２乗
誤差の小さくなる方向の式（１）または式（２）により
修正幅ｄＷ n ijを算出する。また、結合重みを増加およ
び減少させて、いずれの場合も２乗誤差が減少しないと
きには、修正幅ｄＷ n ijを０とし、修正を行わない。他
の結合重みの修正幅も同様にして算出するが、すでに修
正幅を算出した結合重みＷ n ijは元の値に戻した状態、
すなわち、テスト修正幅Ｓのテスト修正を行う結合重み
以外は初期状態に戻した状態で処理を行う。全ての結合
重みＷ n ijについてそれぞれの修正幅ｄＷ n ijを求めた
後、一斉に結合重みを修正して１回の学習を終了する。
ークにおける学習動作について次に説明する。学習動作の概要 全ての結合重みＷ n ijが所定値に決められた初期状態に
おいて、入力層に所定の学習パターンを入力し、その出
力信号と教師信号との２乗誤差を算出する。そして、１
つの結合重みＷ n ijについて、所定のテスト修正幅Ｓだ
け増加および減少させ、テスト修正前に入力した学習パ
ターンと同一の学習パターンを入力する。そして、結合
重みのテスト修正前後で、ニューラルネットワークの出
力と教師信号の２乗誤差を比較し、修正の方向を決定す
る。結合重みを増加させたときに２乗誤差が減少すれ
ば、修正幅ｄＷn ijを式（１）により算出する。一方、
結合重みを減少させたとき２乗誤差が減少すれば、修正
幅ｄＷ n ijを式（２）により算出する。いずれの方向に
修正した場合も２乗誤差が減少する場合には、より２乗
誤差の小さくなる方向の式（１）または式（２）により
修正幅ｄＷ n ijを算出する。また、結合重みを増加およ
び減少させて、いずれの場合も２乗誤差が減少しないと
きには、修正幅ｄＷ n ijを０とし、修正を行わない。他
の結合重みの修正幅も同様にして算出するが、すでに修
正幅を算出した結合重みＷ n ijは元の値に戻した状態、
すなわち、テスト修正幅Ｓのテスト修正を行う結合重み
以外は初期状態に戻した状態で処理を行う。全ての結合
重みＷ n ijについてそれぞれの修正幅ｄＷ n ijを求めた
後、一斉に結合重みを修正して１回の学習を終了する。
【００１５】動作の詳細 図４ないし図６は動作の詳細を表した流れ図である。ま
ず、ＣＰＵ１１はデータＩ／Ｏ２１から供給される学習
パターンとその教師信号をＲＡＭ１４に格納し、以下の
学習動作を行う。いま、各種条件として、学習パターン
の数がａであり、各ニューロン素子の結合重みＷ n ijを
規定するｎ、ｉ、ｊの値がそれぞれ１からｂ、ｃ、ｄで
あるものとする。そして、ＣＰＵ１１は、各ニューロン
素子の結合重みＷ n ijを初期化する（ステップ（Ｓ）
１）。すなわち、各結合重みＷ n ijを乱数値により決定
して結合重みＩ／Ｏ１９からそれぞれのニューロン素子
に供給すると共に、決定した各結合重みＷ n ijの値を重
みテーブル１５に格納する。各ニューロン素子４〜９で
は、結合重みＩ／Ｏ１９を介して供給された結合重みＷ
n ijに初期設定する。次に、ＣＰＵ１１は、ＲＡＭ１４
に格納した学習パターンの識別子ｘを１に設定する（ス
テップ２）と共に、各ニューロン素子４〜９の結合重み
Ｗ n ijに対する修正幅ｄＷ n ijを個別に決定するため
に、ｎ＝１、ｉ＝１、ｊ＝１を設定する（ステップ
３）。そして、ＲＡＭ１４から最初の学習パターンＰx
を読み出してデータＩ／Ｏ２１から入力層の各ニューロ
ン素子１、２、３に入力する（ステップ４）。この入力
によって出力層の各ニューロン素子７、８、９から出力
信号Ｏx が出力される。この出力信号Ｏx を出力信号Ｉ
／Ｏ２０から受け取り、これと、教師信号Ｔx との２乗
誤差Ｅ（Ｗ n ij）を算出し、その値をＲＡＭ１４の所定
エリアに格納する（ステップ５）。
ず、ＣＰＵ１１はデータＩ／Ｏ２１から供給される学習
パターンとその教師信号をＲＡＭ１４に格納し、以下の
学習動作を行う。いま、各種条件として、学習パターン
の数がａであり、各ニューロン素子の結合重みＷ n ijを
規定するｎ、ｉ、ｊの値がそれぞれ１からｂ、ｃ、ｄで
あるものとする。そして、ＣＰＵ１１は、各ニューロン
素子の結合重みＷ n ijを初期化する（ステップ（Ｓ）
１）。すなわち、各結合重みＷ n ijを乱数値により決定
して結合重みＩ／Ｏ１９からそれぞれのニューロン素子
に供給すると共に、決定した各結合重みＷ n ijの値を重
みテーブル１５に格納する。各ニューロン素子４〜９で
は、結合重みＩ／Ｏ１９を介して供給された結合重みＷ
n ijに初期設定する。次に、ＣＰＵ１１は、ＲＡＭ１４
に格納した学習パターンの識別子ｘを１に設定する（ス
テップ２）と共に、各ニューロン素子４〜９の結合重み
Ｗ n ijに対する修正幅ｄＷ n ijを個別に決定するため
に、ｎ＝１、ｉ＝１、ｊ＝１を設定する（ステップ
３）。そして、ＲＡＭ１４から最初の学習パターンＰx
を読み出してデータＩ／Ｏ２１から入力層の各ニューロ
ン素子１、２、３に入力する（ステップ４）。この入力
によって出力層の各ニューロン素子７、８、９から出力
信号Ｏx が出力される。この出力信号Ｏx を出力信号Ｉ
／Ｏ２０から受け取り、これと、教師信号Ｔx との２乗
誤差Ｅ（Ｗ n ij）を算出し、その値をＲＡＭ１４の所定
エリアに格納する（ステップ５）。
【００１６】そして、最初の結合重みＷ n ij（ここでは
Ｗ 1 11が該当する。）を、重みテーブル１５から読み出
し、これにテスト修正幅Ｓを加えて結合重みをＷ n ij＋
Ｓにテスト修正する（図５、ステップ６）。すなわちＣ
ＰＵ１１は、結合重みＷ n ij＋Ｓを結合重みＩ／Ｏ１９
を介して対応するニューロン素子に供給し、供給を受け
たニューロン素子は結合重みをＷ n ij＋Ｓに設定するこ
とによりテスト修正が行われる。ＣＰＵ１１は、テスト
修正を行ったニューロン素子網の入力層に、ステップ４
と同一の学習パターンＰx を入力し、その出力信号
Ｏx ′を出力信号Ｉ／Ｏ２０から受け取る。そして、こ
の出力信号Ｏx ′と教師信号差Ｔx との２乗誤差Ｅ（Ｗ
n ij＋Ｓ）を算出し（ステップ７）、ＲＡＭ１４の所定
エリアに格納する。次に、修正された結合重みＷ n ij＋
Ｓを、更にＷ n ij−Ｓにテスト修正し（ステップ８）、
同様に、ステップ４と同一学習パターンＰx を入力して
出力信号Ｏx ″と教師信号差Ｔx との２乗誤差Ｅ（Ｗ n
ij−Ｓ）を算出して（ステップ９）ＲＡＭ１４の所定エ
リアに格納する。
Ｗ 1 11が該当する。）を、重みテーブル１５から読み出
し、これにテスト修正幅Ｓを加えて結合重みをＷ n ij＋
Ｓにテスト修正する（図５、ステップ６）。すなわちＣ
ＰＵ１１は、結合重みＷ n ij＋Ｓを結合重みＩ／Ｏ１９
を介して対応するニューロン素子に供給し、供給を受け
たニューロン素子は結合重みをＷ n ij＋Ｓに設定するこ
とによりテスト修正が行われる。ＣＰＵ１１は、テスト
修正を行ったニューロン素子網の入力層に、ステップ４
と同一の学習パターンＰx を入力し、その出力信号
Ｏx ′を出力信号Ｉ／Ｏ２０から受け取る。そして、こ
の出力信号Ｏx ′と教師信号差Ｔx との２乗誤差Ｅ（Ｗ
n ij＋Ｓ）を算出し（ステップ７）、ＲＡＭ１４の所定
エリアに格納する。次に、修正された結合重みＷ n ij＋
Ｓを、更にＷ n ij−Ｓにテスト修正し（ステップ８）、
同様に、ステップ４と同一学習パターンＰx を入力して
出力信号Ｏx ″と教師信号差Ｔx との２乗誤差Ｅ（Ｗ n
ij−Ｓ）を算出して（ステップ９）ＲＡＭ１４の所定エ
リアに格納する。
【００１７】ＣＰＵ１１は、ＲＡＭ１４の各所定領域に
格納した各２乗誤差Ｅ（Ｗ n ij）、Ｅ（Ｗ n ij＋Ｓ）、
Ｅ（Ｗ n ij−Ｓ）を読み出し、これらを比較して最小値
を求める（ステップ１０）。プラス方向にテスト修正し
た場合の２乗誤差Ｅ（Ｗ n ij＋Ｓ）が最小の場合、ＲＯ
Ｍ１３に格納された式（１）により修正幅ｄＷ n ijを算
出する。一方、マイナス方向にテスト修正した場合の２
乗誤差Ｅ（Ｗ n ij−Ｓ）が最小の場合は式（２）により
修正幅ｄＷ n ijを算出する（ステップ１２）。テスト修
正前の２乗誤差Ｅ（Ｗ n ij）が最小の場合は、修正幅ｄ
Ｗ n ij＝０とする（ステップ１３）。
格納した各２乗誤差Ｅ（Ｗ n ij）、Ｅ（Ｗ n ij＋Ｓ）、
Ｅ（Ｗ n ij−Ｓ）を読み出し、これらを比較して最小値
を求める（ステップ１０）。プラス方向にテスト修正し
た場合の２乗誤差Ｅ（Ｗ n ij＋Ｓ）が最小の場合、ＲＯ
Ｍ１３に格納された式（１）により修正幅ｄＷ n ijを算
出する。一方、マイナス方向にテスト修正した場合の２
乗誤差Ｅ（Ｗ n ij−Ｓ）が最小の場合は式（２）により
修正幅ｄＷ n ijを算出する（ステップ１２）。テスト修
正前の２乗誤差Ｅ（Ｗ n ij）が最小の場合は、修正幅ｄ
Ｗ n ij＝０とする（ステップ１３）。
【００１８】ＣＰＵ１１は、このようにして算出した修
正幅ｄＷ n ijを元の結合重みＷ n ijに加えた値を修正値
Ｗn ij′とし、これを修正値テーブル１６の対応するエ
リアに格納する（ステップ１４）。以上の処理が終了し
た後、ＣＰＵ１１は、結合重みをテスト修正前の元の結
合重みＷ n ijに戻す（ステップ１５）。すなわち、元の
結合重みＷ n ijを重みテーブル１５から読み出し、結合
重みＩ／Ｏ１９を介して対応するニューロン素子に供給
する。供給を受けたニューロン素子は結合重みを元のＷ
n ijに設定する。
正幅ｄＷ n ijを元の結合重みＷ n ijに加えた値を修正値
Ｗn ij′とし、これを修正値テーブル１６の対応するエ
リアに格納する（ステップ１４）。以上の処理が終了し
た後、ＣＰＵ１１は、結合重みをテスト修正前の元の結
合重みＷ n ijに戻す（ステップ１５）。すなわち、元の
結合重みＷ n ijを重みテーブル１５から読み出し、結合
重みＩ／Ｏ１９を介して対応するニューロン素子に供給
する。供給を受けたニューロン素子は結合重みを元のＷ
n ijに設定する。
【００１９】以上のステップ６からステップ１５までの
処理を、全ての結合重みＷ n ijに対して行う（図６、ス
テップ１６からステップ２１）。全ての結合重みについ
て終了した後（ステップ２１；Ｙ）、修正値テーブル１
６に格納されている修正値Ｗn ij′を結合重みＩ／Ｏ１
９を介して対応するニューロン素子に供給することによ
り、全ての結合重みを更新する（ステップ２２）。そし
て、修正値テーブル１６から各結合重みの修正値を読み
出して重みテーブル１５のそれぞれ対応するエリアに格
納し、重みテーブル１５を更新する（ステップ２３）。
これにより、１回の学習パターンを終了する。
処理を、全ての結合重みＷ n ijに対して行う（図６、ス
テップ１６からステップ２１）。全ての結合重みについ
て終了した後（ステップ２１；Ｙ）、修正値テーブル１
６に格納されている修正値Ｗn ij′を結合重みＩ／Ｏ１
９を介して対応するニューロン素子に供給することによ
り、全ての結合重みを更新する（ステップ２２）。そし
て、修正値テーブル１６から各結合重みの修正値を読み
出して重みテーブル１５のそれぞれ対応するエリアに格
納し、重みテーブル１５を更新する（ステップ２３）。
これにより、１回の学習パターンを終了する。
【００２０】以上の動作をステップ２に戻って、全ての
学習パターンＰ1 〜Ｐa について行う（ステップ２４、
２５）。更に、ステップ１に戻り、全学習パターンに対
して２乗誤差Ｅ（Ｗ n ij）が所定値以下となるまで、ま
たは繰り返し回数が所定の制限回数となるまで繰り返し
て（ステップ２６）、処理を終了する。
学習パターンＰ1 〜Ｐa について行う（ステップ２４、
２５）。更に、ステップ１に戻り、全学習パターンに対
して２乗誤差Ｅ（Ｗ n ij）が所定値以下となるまで、ま
たは繰り返し回数が所定の制限回数となるまで繰り返し
て（ステップ２６）、処理を終了する。
【００２１】次に、ニューラルネットワークの学習を以
上の動作により行った結果について説明する。学習の実
施を行ったニューラルネットワークとしては、２つのニ
ューロン素子から成る２層の入力層、２つのニューロン
素子から成る２層の中間層、および、１つのニューロン
素子から成る１層の出力層でニューロン素子網が構成さ
れ、排他的論理和についての学習を実施するものとす
る。学習は、結合重みＷ n ijの初期値を０から０．３ま
での乱数を用いて１０通り用意し、それぞれの初期値に
対して比較実験を行う。なお、学習終了の条件として
は、全ての学習パターンに対する２乗誤差も全て０．０
１以下になった場合、または、学習回数が３０００回を
越えた場合に設定する。学習は次の３つの場合について
行い、その結果を図７に示す。すなわち、式（１）、
（２）の係数ｋを変化させた場合図７（Ａ）、テスト修
正幅Ｓを変化させた場合図７（Ｂ）、係数×テスト修正
幅Ｓが一定となる範囲で変化させた場合図７（Ｃ）であ
る。この図において、平均学習回数とは、学習が収束し
た場合の学習回数を平均した回数である。この図に示す
ように、テスト修正幅Ｓと係数ｋを適当な値に設定する
ことにより高い収束率を得ることができる。このテスト
修正幅Ｓと係数は、キーボード１８の操作により変更さ
れる。また、この図に示すように、テスト修正幅Ｓが
０．１で係数ｋが１００の場合が最適値であることが判
る。
上の動作により行った結果について説明する。学習の実
施を行ったニューラルネットワークとしては、２つのニ
ューロン素子から成る２層の入力層、２つのニューロン
素子から成る２層の中間層、および、１つのニューロン
素子から成る１層の出力層でニューロン素子網が構成さ
れ、排他的論理和についての学習を実施するものとす
る。学習は、結合重みＷ n ijの初期値を０から０．３ま
での乱数を用いて１０通り用意し、それぞれの初期値に
対して比較実験を行う。なお、学習終了の条件として
は、全ての学習パターンに対する２乗誤差も全て０．０
１以下になった場合、または、学習回数が３０００回を
越えた場合に設定する。学習は次の３つの場合について
行い、その結果を図７に示す。すなわち、式（１）、
（２）の係数ｋを変化させた場合図７（Ａ）、テスト修
正幅Ｓを変化させた場合図７（Ｂ）、係数×テスト修正
幅Ｓが一定となる範囲で変化させた場合図７（Ｃ）であ
る。この図において、平均学習回数とは、学習が収束し
た場合の学習回数を平均した回数である。この図に示す
ように、テスト修正幅Ｓと係数ｋを適当な値に設定する
ことにより高い収束率を得ることができる。このテスト
修正幅Ｓと係数は、キーボード１８の操作により変更さ
れる。また、この図に示すように、テスト修正幅Ｓが
０．１で係数ｋが１００の場合が最適値であることが判
る。
【００２２】図８は、従来のＢＰ法を用いた場合の学習
時間と本実施例による学習時間との比較結果を表したも
のである。図８（Ａ）は音声認識の部分ネットワークの
場合、（Ｂ）は英数字文字認識を行った場合について比
較したものである。この図８に示されるように、本実施
例によれば、学習回数については、従来のＢＰ法よりも
増加する。しかし、１回の学習で行われる計算が非常に
単純であるため、ＢＰ法に比べて、いずれの場合も短時
間で学習が終了している。
時間と本実施例による学習時間との比較結果を表したも
のである。図８（Ａ）は音声認識の部分ネットワークの
場合、（Ｂ）は英数字文字認識を行った場合について比
較したものである。この図８に示されるように、本実施
例によれば、学習回数については、従来のＢＰ法よりも
増加する。しかし、１回の学習で行われる計算が非常に
単純であるため、ＢＰ法に比べて、いずれの場合も短時
間で学習が終了している。
【００２３】図９は、学習制御部による他の学習動作の
流れを表したものである。この図は、図５に対応してお
り、ステップ６からステップ１５までの処理に対応して
ステップ３１からステップ４１の処理を表したものであ
る。すなわち、図４のステップ１からステップ５までの
処理の後に、ステップ３１に移行し、ステップ４１の処
理の後に図６のステップ１６に移行する。図４、図６の
処理は、上述の通りなので、説明を省略することとす
る。
流れを表したものである。この図は、図５に対応してお
り、ステップ６からステップ１５までの処理に対応して
ステップ３１からステップ４１の処理を表したものであ
る。すなわち、図４のステップ１からステップ５までの
処理の後に、ステップ３１に移行し、ステップ４１の処
理の後に図６のステップ１６に移行する。図４、図６の
処理は、上述の通りなので、説明を省略することとす
る。
【００２４】まず、最初の結合重みＷ n ij（Ｗ 1 11が該
当）をＷ n ij＋Ｓにテスト修正する（ステップ３１）。
そして、ステップ４（図４）と同一の学習パターンＰx
を入力してその出力信号Ｏx ′と教師信号Ｔx との２乗
誤差Ｅ（Ｗ n ij＋Ｓ）を算出し（ステップ３２）、ステ
ップ５（図４）で算出しＲＡＭ１４に格納した２乗誤差
Ｅ（Ｗ n ij）との大小を比較する（ステップ３３）。２
乗誤差Ｅ（Ｗ n ij＋Ｓ）の方が小さい場合（ステップ３
３；Ｙ）、式（１）により結合重みＷ n ijの修正幅ｄＷ
n ijを算出する（ステップ３４）。
当）をＷ n ij＋Ｓにテスト修正する（ステップ３１）。
そして、ステップ４（図４）と同一の学習パターンＰx
を入力してその出力信号Ｏx ′と教師信号Ｔx との２乗
誤差Ｅ（Ｗ n ij＋Ｓ）を算出し（ステップ３２）、ステ
ップ５（図４）で算出しＲＡＭ１４に格納した２乗誤差
Ｅ（Ｗ n ij）との大小を比較する（ステップ３３）。２
乗誤差Ｅ（Ｗ n ij＋Ｓ）の方が小さい場合（ステップ３
３；Ｙ）、式（１）により結合重みＷ n ijの修正幅ｄＷ
n ijを算出する（ステップ３４）。
【００２５】一方、２乗誤差Ｅ（Ｗ n ij＋Ｓ）が小さく
ない場合（ステップ３３；Ｎ）、結合重みをＷ n ij−Ｓ
にテスト修正する（ステップ３５）。そして、同一の学
習パターンＰx の入力に対する出力信号Ｏx ″と教師信
号差Ｔx との２乗誤差Ｅ（Ｗn ij−Ｓ）を求め（ステッ
プ３６）、２乗誤差Ｅ（Ｗ n ij）との大小を比較する
（ステップ３７）。２乗誤差Ｅ（Ｗ n ij−Ｓ）の方が小
さい場合（ステップ３７；Ｙ）、式（２）により結合重
みＷ n ijの修正幅ｄＷ n ijを算出する（ステップ３
８）。２乗誤差Ｅ（Ｗ n ij−Ｓ）の方が小さくない場合
に（ステップ３７；Ｎ）、Ｗ n ijを０とする（ステップ
３９）。ＣＰＵ１１は、このうよにして算出した修正幅
ｄＷ n ijを元の結合重みＷ n ijに加え、この修正値Ｗ n
ij′を修正値テーブル１６の対応するエリアに格納する
（ステップ４０）。更に、結合重みを元の値Ｗ n ijに戻
し（ステップ４１）、図６に示すステップ１６の処理に
移行する。
ない場合（ステップ３３；Ｎ）、結合重みをＷ n ij−Ｓ
にテスト修正する（ステップ３５）。そして、同一の学
習パターンＰx の入力に対する出力信号Ｏx ″と教師信
号差Ｔx との２乗誤差Ｅ（Ｗn ij−Ｓ）を求め（ステッ
プ３６）、２乗誤差Ｅ（Ｗ n ij）との大小を比較する
（ステップ３７）。２乗誤差Ｅ（Ｗ n ij−Ｓ）の方が小
さい場合（ステップ３７；Ｙ）、式（２）により結合重
みＷ n ijの修正幅ｄＷ n ijを算出する（ステップ３
８）。２乗誤差Ｅ（Ｗ n ij−Ｓ）の方が小さくない場合
に（ステップ３７；Ｎ）、Ｗ n ijを０とする（ステップ
３９）。ＣＰＵ１１は、このうよにして算出した修正幅
ｄＷ n ijを元の結合重みＷ n ijに加え、この修正値Ｗ n
ij′を修正値テーブル１６の対応するエリアに格納する
（ステップ４０）。更に、結合重みを元の値Ｗ n ijに戻
し（ステップ４１）、図６に示すステップ１６の処理に
移行する。
【００２６】このように、プラス方向のテスト修正によ
る２乗誤差Ｅ（Ｗn ij＋Ｓ）がテスト修正前の２乗誤差
Ｅ（Ｗ n ij）よりも小さければ、マイナス方向のテスト
修正を省略することにより、テスト修正幅Ｓだけ正およ
び負の両方向にテスト修正を行う場合にくらべて計算回
数が減少し、学習速度が早くなる。この場合、マイナス
方向のテスト修正を先に行ってもよい。また、テスト修
正の方向を、前回行ったテスト修正と同一方向のテスト
修正を先に行うようにしてもよい。これにより、２乗誤
差の計算回数が減少し、より学習速度が早くなる。この
場合、前回のテスト修正の方向はＲＡＭ１４の所定のエ
リアに格納する。ここで、前回のテスト修正とは、結合
重みの直前に行った他の結合重みのテスト修正と、１回
前の学習パターンに対する同一の結合重みのテスト修正
の両者が含まれる。
る２乗誤差Ｅ（Ｗn ij＋Ｓ）がテスト修正前の２乗誤差
Ｅ（Ｗ n ij）よりも小さければ、マイナス方向のテスト
修正を省略することにより、テスト修正幅Ｓだけ正およ
び負の両方向にテスト修正を行う場合にくらべて計算回
数が減少し、学習速度が早くなる。この場合、マイナス
方向のテスト修正を先に行ってもよい。また、テスト修
正の方向を、前回行ったテスト修正と同一方向のテスト
修正を先に行うようにしてもよい。これにより、２乗誤
差の計算回数が減少し、より学習速度が早くなる。この
場合、前回のテスト修正の方向はＲＡＭ１４の所定のエ
リアに格納する。ここで、前回のテスト修正とは、結合
重みの直前に行った他の結合重みのテスト修正と、１回
前の学習パターンに対する同一の結合重みのテスト修正
の両者が含まれる。
【００２７】以上説明したように、本発明の実施例によ
れば、結合重みＷ n ijをテスト修正幅Ｓだけ正または負
の方向にテスト修正する前後の２乗誤差の算出と、その
算出結果に基づいて修正幅ｄＷ n ijを算出するだけであ
り、ＢＰ法のような複雑な計算を行う必要がないので、
少ない計算式および計算量で学習を終了することが可能
となる。なお、各結合重みＷ n ijのそれぞれについて、
テスト修正幅Ｓのテスト修正を行う毎に学習パターンを
入力して出力信号Ｏx を得る。このため、テストパター
ンの入力回数はＢＰ法よりも多くなるが、ニューロン素
子網はハードウェアで構成されているため、入力から出
力までの時間はごく僅かであり、ＣＰＵ１１での計算時
間からすれば、問題にならない。
れば、結合重みＷ n ijをテスト修正幅Ｓだけ正または負
の方向にテスト修正する前後の２乗誤差の算出と、その
算出結果に基づいて修正幅ｄＷ n ijを算出するだけであ
り、ＢＰ法のような複雑な計算を行う必要がないので、
少ない計算式および計算量で学習を終了することが可能
となる。なお、各結合重みＷ n ijのそれぞれについて、
テスト修正幅Ｓのテスト修正を行う毎に学習パターンを
入力して出力信号Ｏx を得る。このため、テストパター
ンの入力回数はＢＰ法よりも多くなるが、ニューロン素
子網はハードウェアで構成されているため、入力から出
力までの時間はごく僅かであり、ＣＰＵ１１での計算時
間からすれば、問題にならない。
【００２８】また、本実施例によれば、結合重みにおけ
るテスト修正後の２乗誤差を算出する場合に、テスト修
正を行う結合重み以外の結合重みを初期状態に戻した状
態で算出しているので、テスト修正を行う結合重みの変
化による影響のみを判断することができる。従って、初
期状態における２乗誤差に与える、各結合重みＷ n ijの
影響を反映させることができる。
るテスト修正後の２乗誤差を算出する場合に、テスト修
正を行う結合重み以外の結合重みを初期状態に戻した状
態で算出しているので、テスト修正を行う結合重みの変
化による影響のみを判断することができる。従って、初
期状態における２乗誤差に与える、各結合重みＷ n ijの
影響を反映させることができる。
【００２９】以上説明した、実施例では、ニューロン素
子網に対して、ＲＯＭに格納されたプログラムに従って
ＣＰＵにおける制御により学習を行うように構成した
が、本発明では、専用のハードウェアで第１算出手段、
第１修正手段、第２算出手段、方向決定手段、第３算出
手段および第２修正手段を構成するようにしてもよい。
本発明では、単純な計算処理により学習が行われるの
で、専用のハードウェア化を容易に行うことができる。
このように、専用のハードウェアにより学習する構成と
することにより、学習時間は従来のＢＰ法による学習時
間に比べて１０分の１以下となる。
子網に対して、ＲＯＭに格納されたプログラムに従って
ＣＰＵにおける制御により学習を行うように構成した
が、本発明では、専用のハードウェアで第１算出手段、
第１修正手段、第２算出手段、方向決定手段、第３算出
手段および第２修正手段を構成するようにしてもよい。
本発明では、単純な計算処理により学習が行われるの
で、専用のハードウェア化を容易に行うことができる。
このように、専用のハードウェアにより学習する構成と
することにより、学習時間は従来のＢＰ法による学習時
間に比べて１０分の１以下となる。
【００３０】
【発明の効果】本発明では、ＢＰ法とは異なり、各結合
重みの単独のテスト修正によって生じるニューロン素子
網の出力誤差の変動を調べることにより、結合重みの修
正方向と値を決定するので、少ない計算量で済む。ま
た、学習方式がシンプルなので、ハードウェア化が容易
であり、ハードウェア化されたニューラルネットワーク
では、データの入力から出力されるまで殆ど時間がかか
らないので、学習を早く終了させることが可能となる。
重みの単独のテスト修正によって生じるニューロン素子
網の出力誤差の変動を調べることにより、結合重みの修
正方向と値を決定するので、少ない計算量で済む。ま
た、学習方式がシンプルなので、ハードウェア化が容易
であり、ハードウェア化されたニューラルネットワーク
では、データの入力から出力されるまで殆ど時間がかか
らないので、学習を早く終了させることが可能となる。
【図１】本発明の構成図である。
【図２】本発明の１実施例のニューロン素子網の構成を
示す説明図である。
示す説明図である。
【図３】ニューロン素子網の学習を制御する学習制御部
の構成図である。
の構成図である。
【図４】学習制御部による学習動作の流れを示すフロー
チャートの一部である。
チャートの一部である。
【図５】図４に示す学習動作の続きを示すフローチャー
トの一部である。
トの一部である。
【図６】図４、図５に示す学習動作の続きを示すフロー
チャートの一部である。
チャートの一部である。
【図７】階層型ニューラルネットワークによる学習結果
を示す図で、（Ａ）は係数ｋを変化させた場合、（Ｂ）
はテスト修正幅Ｓを変化させた場合、（Ｃ）は係数×テ
スト修正幅Ｓが一定となる範囲で変化させた場合の学習
結果を示す図である。
を示す図で、（Ａ）は係数ｋを変化させた場合、（Ｂ）
はテスト修正幅Ｓを変化させた場合、（Ｃ）は係数×テ
スト修正幅Ｓが一定となる範囲で変化させた場合の学習
結果を示す図である。
【図８】従来のＰＢ法による学習時間と本実施例による
学習時間との比較結果を示す説明図である。
学習時間との比較結果を示す説明図である。
【図９】学習制御部による他の学習動作の流れを示すフ
ローチャートの一部である。
ローチャートの一部である。
【符号の説明】 １〜９ ニューロン素子 １１ ＣＰＵ １３ ＲＯＭ １４ ＲＡＭ １５ 重みテーブル １６ 修正値テーブル １９ 結合重みＩ／Ｏ ２０ 出力信号Ｉ／Ｏ ２１ データＩ／Ｏ
Claims (5)
- 【請求項１】 所定の結合重みで階層型に結合された複
数のニューロン素子からなるニューロン素子網と、 このニューロン素子網に入力された学習パターンに対す
る出力信号と教師信号との２乗誤差を算出する第１算出
手段と、 前記複数のニューロン素子のうち１つの結合重みを所定
のテスト修正幅Ｓだけ正および負の少なくとも一方向に
テスト修正する第１修正手段と、 この第１修正手段によるテスト修正後の前記ニューロン
素子網における前記第１算出手段と同一の学習パターン
に対する出力信号と教師信号との２乗誤差を算出する第
２算出手段と、 この第２算出手段で算出した２乗誤差が、前記第１算出
手段で算出した２乗誤差よりも小さくなるテスト修正幅
Ｓの正または負の方向を決定する方向決定手段と、 この方向決定手段による修正方向および前記テスト修正
幅Ｓに応じて前記結合重みの修正値を算出する第３算出
手段と、 この第３算出手段で所定数の結合重みの修正値を算出
し、その修正値に各結合重みを修正する第２修正手段と
を具備することを特徴とする階層型ニューラルネットワ
ーク。 - 【請求項２】 前記第３算出手段は、 ｋを係数、Ｅ（Ｗ n ij）をテスト修正前の２乗誤差、Ｅ
（Ｗ n ij±Ｓ）をテスト修正後の２乗誤差とした場合
に、 方向決定手段で決定した方向が正のとき、 Ｗ n ij＋Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij＋Ｓ）〕 により、 方向決定手段で決定した方向が負のとき、 Ｗ n ij−Ｓ×ｋ×〔Ｅ（Ｗ n ij）−Ｅ（Ｗ n ij−Ｓ）〕 により、それぞれの修正値を算出することを特徴とする
請求項１記載の階層型ニューラルネットワーク。 - 【請求項３】 テスト修正幅Ｓと係数ｋの少なくとも一
方、を変更する変更手段を具備する請求項２記載の階層
型ニューラルネットワーク。 - 【請求項４】 テスト修正幅Ｓが０．１、係数ｋが１０
０であることを特徴とする請求項２記載の階層型ニュー
ラルネットワーク。 - 【請求項５】 所定の結合重みで階層型に結合された複
数のニューロン素子からなるニューロン素子網に学習パ
ターンを入力してその出力信号と教師信号との２乗誤差
を算出する第１工程と、 複数のニューロン素子のうち他の結合重みを第１工程と
同一の状態とし、１つの結合重みを所定のテスト修正幅
Ｓだけ正および負の少なくとも一方向にテスト修正し、
テスト修正後の前記ニューロン素子網に第１工程と同一
の学習パターンを入力して算出した２乗誤差が第１工程
で算出した２乗誤差よりも小さくなるテスト修正幅Ｓの
正または負の方向を決定し、決定した修正方向と前記テ
スト修正幅Ｓに応じて結合重みの修正値を算出する工程
を、所定数の結合重みに対して行う第２工程と、 第２工程で所定数の結合重みの修正値を算出した後に算
出した修正値に各結合重みを修正する第３工程を備えた
ことを特徴とする階層型ニューラルネットワークの学習
方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24838991A JP3273568B2 (ja) | 1991-09-03 | 1991-09-03 | 階層型ニューラルネットワークおよびその学習方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24838991A JP3273568B2 (ja) | 1991-09-03 | 1991-09-03 | 階層型ニューラルネットワークおよびその学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0561850A true JPH0561850A (ja) | 1993-03-12 |
| JP3273568B2 JP3273568B2 (ja) | 2002-04-08 |
Family
ID=17177381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24838991A Expired - Fee Related JP3273568B2 (ja) | 1991-09-03 | 1991-09-03 | 階層型ニューラルネットワークおよびその学習方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3273568B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0744517A (ja) * | 1993-07-30 | 1995-02-14 | Tech Res & Dev Inst Of Japan Def Agency | 雑音背景下の信号判別方法 |
| CN110188868A (zh) * | 2018-02-22 | 2019-08-30 | 国际商业机器公司 | 人工神经网络的硬件实现的训练 |
-
1991
- 1991-09-03 JP JP24838991A patent/JP3273568B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0744517A (ja) * | 1993-07-30 | 1995-02-14 | Tech Res & Dev Inst Of Japan Def Agency | 雑音背景下の信号判別方法 |
| CN110188868A (zh) * | 2018-02-22 | 2019-08-30 | 国际商业机器公司 | 人工神经网络的硬件实现的训练 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3273568B2 (ja) | 2002-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5107454A (en) | Pattern associative memory system | |
| EP0591415A1 (en) | Sparse comparison neural network | |
| US5313559A (en) | Method of and system for controlling learning in neural network | |
| Anderson et al. | Reinforcement learning with modular neural networks for control | |
| JPH0561850A (ja) | 階層型ニユーラルネツトワークおよびその学習方法 | |
| JPH07121498A (ja) | ニューラルネットワーク構築方法 | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| JP3262340B2 (ja) | 情報処理装置 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| JP2979562B2 (ja) | 学習処理装置 | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JPH05128082A (ja) | 階層ネツトワーク構成データ処理装置とその学習処理方法 | |
| JP3029451B2 (ja) | ファジィ制御装置 | |
| JPH06243273A (ja) | ニューラルネットワークの学習方式 | |
| JPH06131482A (ja) | アナログニューラルネットワーク回路 | |
| JPH117435A (ja) | ニューラルネットワーク | |
| JP2766858B2 (ja) | ニューラルネットワーク並列シミュレーション方法及びそれに用いる装置 | |
| JPH05242062A (ja) | ニューラルネット中間層ユニット数の決定方法 | |
| JPH02277180A (ja) | パターン学習装置 | |
| JPH11259445A (ja) | 学習装置 | |
| JPH1173405A (ja) | 神経回路網型逐次学習方法、神経回路網型逐次学習装置および神経回路網型逐次学習プログラムを記録した記録媒体 | |
| JP3137996B2 (ja) | メンバシップ関数を用いたニューラルネットワーク及びその学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080201 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110201 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |