JPH0462657A - 学習機械 - Google Patents
学習機械Info
- Publication number
- JPH0462657A JPH0462657A JP2173455A JP17345590A JPH0462657A JP H0462657 A JPH0462657 A JP H0462657A JP 2173455 A JP2173455 A JP 2173455A JP 17345590 A JP17345590 A JP 17345590A JP H0462657 A JPH0462657 A JP H0462657A
- Authority
- JP
- Japan
- Prior art keywords
- output signal
- input
- error
- section
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明はデータ処理装置の学習機械に関する。
従来の技術
従来へ 学習機械として４１ たとえばり、Ｅ、Ｒｕ
１ｅｌｈａｒｔ、 Ｇ、 Ｅ、Ｈｉｎｔｏｎ ａｎｄ
Ｒ，Ｊ、 Ｗｉｌｌｉａｍｓによる’Ｌｅａｒｎｉｎｇ
Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ Ｂａｃｋ−
Ｐｒｏｐａｇａｔｌｎｇ Ｅｒｒｏｒｓ、’ 、Ｎａｔ
ｕｒｅ、 ｖｏｌ、３２３． ｐｐ、５３３−５３
６． Ｏｃｔ、 ９．１９８６）に示されていも こ
の従来の学習機械（よ 第６図に示すように出力信号算
出部（６ｏ）と重み係数更新部（６１）からなり、出力
信号算出部（６０）は層構造をも叛 各層内相互の結合
がなく、上位層にのみ信号が伝搬するようにネットワー
ク接続された複数の多入力−出方信号処理部（６００）
から構成される。 各多入力−出方信号処理部（６０
０）はそれに接続されている下層の多入力−出力信号処
理部（６００）の出方〇とその接続の度合である重み係
数Ｗ＋ 」とを掛は合わせたものの総和ＸＩ＝ΣＷＩＪ
ＯＪをしきい値関数で変換した徴 その値を上層への出
力として伝達する働きをしてい４ 重み係数更新部（６
１）ζよ出力信号算出部（６０）の信号入方部（６０１
）から入力される入力信号に応じて、教師信号発生部（
６０２）が前記入力信号に対する望ましい出力信号を教
師信号ｔ１として発生し 誤差信号算出部（６０３）に
おいて出力信号算出部（６０）から出力される実際の出
力信号ｏ＋（ｏｒｌｉ 出力信号算出部（６０）にお
ける最上位層の第ｉ番目の多入力−出力信号処理部の出
力を表す。）と前記教師信号との差から二乗誤差 Ｅ＝０．５Σ （ｔ＋−ｏｒ）Ｑ が計算され この値で現在の結合状態（重み係数の大き
さ）でのネットワークの性能を評価する。
１ｅｌｈａｒｔ、 Ｇ、 Ｅ、Ｈｉｎｔｏｎ ａｎｄ
Ｒ，Ｊ、 Ｗｉｌｌｉａｍｓによる’Ｌｅａｒｎｉｎｇ
Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ Ｂａｃｋ−
Ｐｒｏｐａｇａｔｌｎｇ Ｅｒｒｏｒｓ、’ 、Ｎａｔ
ｕｒｅ、 ｖｏｌ、３２３． ｐｐ、５３３−５３
６． Ｏｃｔ、 ９．１９８６）に示されていも こ
の従来の学習機械（よ 第６図に示すように出力信号算
出部（６ｏ）と重み係数更新部（６１）からなり、出力
信号算出部（６０）は層構造をも叛 各層内相互の結合
がなく、上位層にのみ信号が伝搬するようにネットワー
ク接続された複数の多入力−出方信号処理部（６００）
から構成される。 各多入力−出方信号処理部（６０
０）はそれに接続されている下層の多入力−出力信号処
理部（６００）の出方〇とその接続の度合である重み係
数Ｗ＋ 」とを掛は合わせたものの総和ＸＩ＝ΣＷＩＪ
ＯＪをしきい値関数で変換した徴 その値を上層への出
力として伝達する働きをしてい４ 重み係数更新部（６
１）ζよ出力信号算出部（６０）の信号入方部（６０１
）から入力される入力信号に応じて、教師信号発生部（
６０２）が前記入力信号に対する望ましい出力信号を教
師信号ｔ１として発生し 誤差信号算出部（６０３）に
おいて出力信号算出部（６０）から出力される実際の出
力信号ｏ＋（ｏｒｌｉ 出力信号算出部（６０）にお
ける最上位層の第ｉ番目の多入力−出力信号処理部の出
力を表す。）と前記教師信号との差から二乗誤差 Ｅ＝０．５Σ （ｔ＋−ｏｒ）Ｑ が計算され この値で現在の結合状態（重み係数の大き
さ）でのネットワークの性能を評価する。
このようにして計算された誤差Ｅをもとに重み変更量算
出部（６０４）ｔｉ 出力信号算出部（６０）の重み
係数の変更量△ｗ１を次式に基づいて計算する。
△Ｗ１１−−Ｅ θ Ｅ ／ ａ Ｗ Ｉ
Ｊ上式は 次式のように変更され △ＷＩＪ＝ ε δ；０」 出力信号算出部（６０）における最上位層の多入力−出
力信号処理部のしきい値関数を ｆ （Ｉ） −１／ （１＋ ｅｘｐ（−Ｉ＋θ）
）とすると、前記のδｒ１よ δ＋ ＝ ε（ｔ＋−ＣＮ）・ｆ’（ｘｌ）・ｏ」
二 ε （ｔ＋−ｏｒ）壷ｏ＋（１−ｏｒ）壺ＱＪで
与えられる。ここで、 εは学習レートと呼ばれる正の
定数、ｏｌ（ヨ 出力信号算出部（６０）における最
上位層の第ｉ番目の多入力−出力信号処理部（６００）
の出力、０１ζよ 下層のｊ番目の多入力−出力信号処
理ｇ（ａｏｏ）の出力である。
出部（６０４）ｔｉ 出力信号算出部（６０）の重み
係数の変更量△ｗ１を次式に基づいて計算する。
△Ｗ１１−−Ｅ θ Ｅ ／ ａ Ｗ Ｉ
Ｊ上式は 次式のように変更され △ＷＩＪ＝ ε δ；０」 出力信号算出部（６０）における最上位層の多入力−出
力信号処理部のしきい値関数を ｆ （Ｉ） −１／ （１＋ ｅｘｐ（−Ｉ＋θ）
）とすると、前記のδｒ１よ δ＋ ＝ ε（ｔ＋−ＣＮ）・ｆ’（ｘｌ）・ｏ」
二 ε （ｔ＋−ｏｒ）壷ｏ＋（１−ｏｒ）壺ＱＪで
与えられる。ここで、 εは学習レートと呼ばれる正の
定数、ｏｌ（ヨ 出力信号算出部（６０）における最
上位層の第ｉ番目の多入力−出力信号処理部（６００）
の出力、０１ζよ 下層のｊ番目の多入力−出力信号処
理ｇ（ａｏｏ）の出力である。
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
ム 発明が解決しようとする課題 しかしながら上記のような構成では 二乗誤差総和Ｅを
最小化するように学習を行なうので、誤差の大きい多入
力−出力信号処理部が残っていてＬ 重みを変更するこ
とによりそれ以外の多入力−出力信号算出部 つまり十
分誤差が小さくなっている多入力−出力信号処理部で誤
差が減少し二乗誤差総和全体として誤差が減少すればか
まわず重みを変更すム したがって、二乗誤差総和の最
小化は必ずしも誤差の大きいユニットの誤差を減らすよ
うに重みが変更されるとは限ら犬 最上位層における一
部の多入力−出力信号処理部の誤差だけ力交 非常に大
きくなったまま収束せずに残ってしまう。
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
ム 発明が解決しようとする課題 しかしながら上記のような構成では 二乗誤差総和Ｅを
最小化するように学習を行なうので、誤差の大きい多入
力−出力信号処理部が残っていてＬ 重みを変更するこ
とによりそれ以外の多入力−出力信号算出部 つまり十
分誤差が小さくなっている多入力−出力信号処理部で誤
差が減少し二乗誤差総和全体として誤差が減少すればか
まわず重みを変更すム したがって、二乗誤差総和の最
小化は必ずしも誤差の大きいユニットの誤差を減らすよ
うに重みが変更されるとは限ら犬 最上位層における一
部の多入力−出力信号処理部の誤差だけ力交 非常に大
きくなったまま収束せずに残ってしまう。
しか収 δ１の値は第７図に示すように誤差信号算出部
（６０３）の出力の絶対値が最大誤差の絶対値の２／３
を越えると減少し始敦 誤差が最大となるところ（第７
図ではｌ ｔ ｉ−ｏ ｉ １＝１）ではδ＋−０とな
り、出力信号算出部（６０）における最上位層の多入力
−出力信号処理部（６００）の重み変更は抑制されるこ
とになる。したがって、−度このように誤差が非常に大
きい状態に陥ると抜は出すのに非常に時間がかかること
か叡学習に要する時間が長くなるという課題を有してい
れ 本発明は上記課題に留意し学習に要する時間の短い学習
機械を提供することを目的とする。
（６０３）の出力の絶対値が最大誤差の絶対値の２／３
を越えると減少し始敦 誤差が最大となるところ（第７
図ではｌ ｔ ｉ−ｏ ｉ １＝１）ではδ＋−０とな
り、出力信号算出部（６０）における最上位層の多入力
−出力信号処理部（６００）の重み変更は抑制されるこ
とになる。したがって、−度このように誤差が非常に大
きい状態に陥ると抜は出すのに非常に時間がかかること
か叡学習に要する時間が長くなるという課題を有してい
れ 本発明は上記課題に留意し学習に要する時間の短い学習
機械を提供することを目的とする。
課題を解決するための手段
本発明の上記目的を達成するために 誤差信号算出部の
出力の絶対値が最大誤差の２／３以上かどうかを判定す
る誤差信号判定部と、この誤差信号判定部の判定により
重み変更量算出部の出力の重み変更量をｍ倍（ｍ＞１）
する重み変更量制御部を設（す、重み変更が抑制されな
いように補正を行うとともζへ 出力信号算出部の最上
位層の各多入力−出力信号処理部についてζ山 個々の
重み変更量制御を行うものである。構成としてζよ 層
構造をも板 各層内相互の結合がなく、上位層にのみ信
号が伝搬するようにネットワーク接続された複数の多入
力−出力信号処理部からなる出力信号算出部と、前記出
力信号算出部で得られた出力信号をもとに前記出力信号
算出部の重み係数の値を更新する重み係数更新部を具備
し 前記多入力−出力信号処理部ζよ 複数の重み係数
を保持するメモリと、複数のデータを人力する入力部と
、前記メモリに貯えられた重み係数で前記入力部からの
入力データを重み付けする乗算手段と、前記乗算手段で
重み付けされた複数のデータを多数加え合わせる加算手
段と、前記加算手段の出力を一定範囲の値に制限するし
きい値処理部を備え 前記重み係数更新部は 上記出力
信号算出部の出力信号の望ましい値として教師信号を与
える教師信号発生部と、前記出力信号と前記教師信号と
の誤差を求める誤差信号算出部と、前記誤差信号算出部
の出力に応じて前記メモリに蓄えられた重み係数の変更
量を計算する重み変更量算出部と、前記誤差信号算出部
の出力の絶対値力丈 最大誤差の絶対値の２／３以上か
どうかを判定する誤差信号判定部と、前記誤差信号判定
部において誤差の値が上記最大誤差の絶対値の２／３以
上と判定された前記出力信号算出部における最上位層の
多入力−出力信号処理部については前記重み変更量算出
部の出力の重み変更量をｍ倍（ｍ＞１）する重み変更量
制御部とを備えた学習機械であ４ 作用 重み係数変更量を決めるδ１の値が、誤差が大きくなる
につれ増大し 最大誤差の２／３を越えると減少し 最
大誤差では零となる特性を持っているた数 誤差信号判
定部で６１の最大点のどちら側に誤差があるか判別する
ことにより、誤差の太きい側の６１の値をｍ倍（ｍは１
より大きい値）に重み変更量制御部で行うことにより重
み係数変更量を増大し 補正している。これにより誤差
の大きい場合に誤差を最小にするように速く集束するこ
とができる。また 誤差信号判定部で（表 出力信号算
出部の最上層の多入力−出力信号処理部の個々の誤差力
交 最大誤差に対してどこに位置しているかを判定する
ことができるので、個々の最上層の多入力−出力信号処
理部についてＬ 重み変更量制御部からの出力による重
み変更量算出部による変更量で各多入力−出力信号処理
部の重み係数の更新が行われ 誤差の大きい多入力−出
力信号処理部が速く誤差が最小となるように集束される
ことになる。そのため誤差の大きい多入力−出力信号処
理部をより早く収束させることができるので学習に要す
る時間を短縮することができる。
出力の絶対値が最大誤差の２／３以上かどうかを判定す
る誤差信号判定部と、この誤差信号判定部の判定により
重み変更量算出部の出力の重み変更量をｍ倍（ｍ＞１）
する重み変更量制御部を設（す、重み変更が抑制されな
いように補正を行うとともζへ 出力信号算出部の最上
位層の各多入力−出力信号処理部についてζ山 個々の
重み変更量制御を行うものである。構成としてζよ 層
構造をも板 各層内相互の結合がなく、上位層にのみ信
号が伝搬するようにネットワーク接続された複数の多入
力−出力信号処理部からなる出力信号算出部と、前記出
力信号算出部で得られた出力信号をもとに前記出力信号
算出部の重み係数の値を更新する重み係数更新部を具備
し 前記多入力−出力信号処理部ζよ 複数の重み係数
を保持するメモリと、複数のデータを人力する入力部と
、前記メモリに貯えられた重み係数で前記入力部からの
入力データを重み付けする乗算手段と、前記乗算手段で
重み付けされた複数のデータを多数加え合わせる加算手
段と、前記加算手段の出力を一定範囲の値に制限するし
きい値処理部を備え 前記重み係数更新部は 上記出力
信号算出部の出力信号の望ましい値として教師信号を与
える教師信号発生部と、前記出力信号と前記教師信号と
の誤差を求める誤差信号算出部と、前記誤差信号算出部
の出力に応じて前記メモリに蓄えられた重み係数の変更
量を計算する重み変更量算出部と、前記誤差信号算出部
の出力の絶対値力丈 最大誤差の絶対値の２／３以上か
どうかを判定する誤差信号判定部と、前記誤差信号判定
部において誤差の値が上記最大誤差の絶対値の２／３以
上と判定された前記出力信号算出部における最上位層の
多入力−出力信号処理部については前記重み変更量算出
部の出力の重み変更量をｍ倍（ｍ＞１）する重み変更量
制御部とを備えた学習機械であ４ 作用 重み係数変更量を決めるδ１の値が、誤差が大きくなる
につれ増大し 最大誤差の２／３を越えると減少し 最
大誤差では零となる特性を持っているた数 誤差信号判
定部で６１の最大点のどちら側に誤差があるか判別する
ことにより、誤差の太きい側の６１の値をｍ倍（ｍは１
より大きい値）に重み変更量制御部で行うことにより重
み係数変更量を増大し 補正している。これにより誤差
の大きい場合に誤差を最小にするように速く集束するこ
とができる。また 誤差信号判定部で（表 出力信号算
出部の最上層の多入力−出力信号処理部の個々の誤差力
交 最大誤差に対してどこに位置しているかを判定する
ことができるので、個々の最上層の多入力−出力信号処
理部についてＬ 重み変更量制御部からの出力による重
み変更量算出部による変更量で各多入力−出力信号処理
部の重み係数の更新が行われ 誤差の大きい多入力−出
力信号処理部が速く誤差が最小となるように集束される
ことになる。そのため誤差の大きい多入力−出力信号処
理部をより早く収束させることができるので学習に要す
る時間を短縮することができる。
実施例
第１図は本発明の第１の実施例における学習機械の構成
を示すブロック図である。第１図に示すようへ 構成要
素として、 （１）は出力信号算出部 （２）は出力信
号算出部（１）で得られた出力信号をもとに前記出力信
号算出部（１）の重み係数の値を更新する重み係数更新
部であム 出力信号算出部（１）は 第２図に示すよう
に階層構成をしており、 （３）は多入力−出力信号算
出部（４）は出力信号算出部（１）の信号入力部であム
このような出力信号算出部（１）を構成する多入力−
出力信号処理部（３）の構成を具体的に示したものが第
３図であも 第３図に示すように構成要素として、 （
５）は多入力−出力信号処理部（３）の入力部 （６）
は入力部（５）からの複数入力を重み付ける重み係数を
格納するメモリ、（７）はメモリ（６）の重み係数と入
力部（５）からの入力を各々掛は合わせる乗算手段とし
ての乗算器 （８）は乗算器（７）の各々の出力を足し
合わせる加算手段としての加算器 （９）は加算器（８
）の出力を一定範囲の値に制限するしきい値処理部であ
ム しきい値処理部（９）の入出力特性を第４図に示す
。たとえ（ｆＳ 出力を（０゜１）の範囲に制限する
しきい値処理部（９）の入出力特性は ｆ （Ｉ） ＝ １ ／ （１＋ ｅｘｐ（−
Ｉ十θ））と数式的に表現できる。ここで、 ■はしき
い値処理部（９）の入力である。な抵 しきい値処理部
（９）の入出力特性としては上記以外のしきい値開数で
もよし−重み係数更新部（２）の構成図を第１図に示す
。その構成要素として（１０）は教師信号発生Ｋ （
１１）は誤差信号算出部（１２）は重み変更量算出！
（１３）は誤差信号判定部 （１４）は重み変更量制
御部である。
を示すブロック図である。第１図に示すようへ 構成要
素として、 （１）は出力信号算出部 （２）は出力信
号算出部（１）で得られた出力信号をもとに前記出力信
号算出部（１）の重み係数の値を更新する重み係数更新
部であム 出力信号算出部（１）は 第２図に示すよう
に階層構成をしており、 （３）は多入力−出力信号算
出部（４）は出力信号算出部（１）の信号入力部であム
このような出力信号算出部（１）を構成する多入力−
出力信号処理部（３）の構成を具体的に示したものが第
３図であも 第３図に示すように構成要素として、 （
５）は多入力−出力信号処理部（３）の入力部 （６）
は入力部（５）からの複数入力を重み付ける重み係数を
格納するメモリ、（７）はメモリ（６）の重み係数と入
力部（５）からの入力を各々掛は合わせる乗算手段とし
ての乗算器 （８）は乗算器（７）の各々の出力を足し
合わせる加算手段としての加算器 （９）は加算器（８
）の出力を一定範囲の値に制限するしきい値処理部であ
ム しきい値処理部（９）の入出力特性を第４図に示す
。たとえ（ｆＳ 出力を（０゜１）の範囲に制限する
しきい値処理部（９）の入出力特性は ｆ （Ｉ） ＝ １ ／ （１＋ ｅｘｐ（−
Ｉ十θ））と数式的に表現できる。ここで、 ■はしき
い値処理部（９）の入力である。な抵 しきい値処理部
（９）の入出力特性としては上記以外のしきい値開数で
もよし−重み係数更新部（２）の構成図を第１図に示す
。その構成要素として（１０）は教師信号発生Ｋ （
１１）は誤差信号算出部（１２）は重み変更量算出！
（１３）は誤差信号判定部 （１４）は重み変更量制
御部である。
以上のように構成された実施例の学習機械について、以
下その構成要素のお互いの関連動作を説明すも 出力信号算出部（１）の信号入力部（４）に入力信号が
入力されると、各多入力−出力信号処理部（３）Ｉｔ
この多入力−出力信号処理部（３）に接続されている
下層の多入力−出力信号処理部（３）の出力とメモリ
（６）に記憶されているその接続の度合である重み係数
とを乗算器（７）により掛は合わせ、乗算器（７）の各
々の出力の総和を加算器（８）で計算した後、しきい値
処理部（９）で変換しその値を上層の多入力−出力信号
処理部（３）へ出力する。つまり、第３図に示す多入力
−出力信号処理部（３）は 入力部（５）への入力値を
０」（下層の３番目の多入力−出力信号処理部の出力）
メモリ （６）に格納されている重み係数をｗｚ（
ｉ番目の多入力−出力信号処理部と下層の３番目の多入
力−出力信号処理部との結合重み）とすれば ｏ＋＝ｆ（ΣＷＮ ０１） 」 を計算しているわけである。
下その構成要素のお互いの関連動作を説明すも 出力信号算出部（１）の信号入力部（４）に入力信号が
入力されると、各多入力−出力信号処理部（３）Ｉｔ
この多入力−出力信号処理部（３）に接続されている
下層の多入力−出力信号処理部（３）の出力とメモリ
（６）に記憶されているその接続の度合である重み係数
とを乗算器（７）により掛は合わせ、乗算器（７）の各
々の出力の総和を加算器（８）で計算した後、しきい値
処理部（９）で変換しその値を上層の多入力−出力信号
処理部（３）へ出力する。つまり、第３図に示す多入力
−出力信号処理部（３）は 入力部（５）への入力値を
０」（下層の３番目の多入力−出力信号処理部の出力）
メモリ （６）に格納されている重み係数をｗｚ（
ｉ番目の多入力−出力信号処理部と下層の３番目の多入
力−出力信号処理部との結合重み）とすれば ｏ＋＝ｆ（ΣＷＮ ０１） 」 を計算しているわけである。
出力信号算出部（１）の入力部（４）から入力される入
力信号に応じて、教師信号発生部（１０）が前記入力信
号に対する望ましい出力信号を教師信号ｊ＋ とじて発
生し 誤差信号算出部（１１）において出力信号算出部
（１）から出力される実際の出力信号０１ と前記教師
信号との差から、最上位層における多入力−出力信号処
理部の二乗誤差 Ｅ＝０．５Σ （ｊ＋−０＋）” が計算されも 誤差信号算出部（１１）？！ 重み変更に必要な前記
教師信号と前記出力信号の差（ｔ＋−ｏ＋）を重み変更
量算出部（１２）に出力する。このようにして計算され
た誤差Ｅをもとに重み変更量算出部（１２）は出力信号
算出部（１）のメモリ （６）に記憶されている重み係
数の変更量△Ｗ ＋ １を次式に基づいて計算すム △ＷＩＪ ＝ −εａＥ／ａｗｚ ここて εは学習レートと呼ばれる正の定数であム 重
み変更量制御部（１４）４１ 誤差信号判定部（１３
）において誤差１ｔｉ−ｏｌが最大誤差の絶対値（本実
施例においては １）の２／３より大きいと判定された
出力信号算出部（１）における最上位層の多入力−出力
信号処理部（３）については重み係数変更量をｍ倍すも
ただしｍは１より大きい値とすム たとえばｍ＝１．
５とすると、 δ１の値は第５図に示すように 誤差の
大きい多入力−出力信号処理部（３）の重み変更が積極
的に行われるだけでなく、重み変更が抑制される範囲に
ついても積極的に重み変更が行われることになａ 以上のようにして、重みの更新を繰り返すことにより、
誤差を小さくしてゆき、誤差が十分小さくなると、出力
信号が望ましい値に十分近くなったものとして、学習を
終了する。
力信号に応じて、教師信号発生部（１０）が前記入力信
号に対する望ましい出力信号を教師信号ｊ＋ とじて発
生し 誤差信号算出部（１１）において出力信号算出部
（１）から出力される実際の出力信号０１ と前記教師
信号との差から、最上位層における多入力−出力信号処
理部の二乗誤差 Ｅ＝０．５Σ （ｊ＋−０＋）” が計算されも 誤差信号算出部（１１）？！ 重み変更に必要な前記
教師信号と前記出力信号の差（ｔ＋−ｏ＋）を重み変更
量算出部（１２）に出力する。このようにして計算され
た誤差Ｅをもとに重み変更量算出部（１２）は出力信号
算出部（１）のメモリ （６）に記憶されている重み係
数の変更量△Ｗ ＋ １を次式に基づいて計算すム △ＷＩＪ ＝ −εａＥ／ａｗｚ ここて εは学習レートと呼ばれる正の定数であム 重
み変更量制御部（１４）４１ 誤差信号判定部（１３
）において誤差１ｔｉ−ｏｌが最大誤差の絶対値（本実
施例においては １）の２／３より大きいと判定された
出力信号算出部（１）における最上位層の多入力−出力
信号処理部（３）については重み係数変更量をｍ倍すも
ただしｍは１より大きい値とすム たとえばｍ＝１．
５とすると、 δ１の値は第５図に示すように 誤差の
大きい多入力−出力信号処理部（３）の重み変更が積極
的に行われるだけでなく、重み変更が抑制される範囲に
ついても積極的に重み変更が行われることになａ 以上のようにして、重みの更新を繰り返すことにより、
誤差を小さくしてゆき、誤差が十分小さくなると、出力
信号が望ましい値に十分近くなったものとして、学習を
終了する。
このように本実施例によれば 誤差が大きく、しかも重
み変更が抑制される範囲（誤差の絶対値力交 最大誤差
の絶対値の２／３以上となる範囲）の誤差を出力する多
入力−出力信号処理部（３）の重み係数を積極的に変更
するので、誤差の大きい多入力−出力信号処理部（３）
をより早く収束させることができ、学習に要する時間を
短縮することができも 発明の詳細 な説明より明らかなよう＋Ｑ 本発明によれば誤差の
絶対値が最大誤差の絶対値の２／３以上であるような多
入力−出力信号処理部の重み変更量をｍ倍する重み変更
量制御部を設けることにより、誤差の大きい多入力−出
力信号処理部をより速く収束させることができ、学習の
高速化が計れるので、その実用的効果は犬きｌ、％
み変更が抑制される範囲（誤差の絶対値力交 最大誤差
の絶対値の２／３以上となる範囲）の誤差を出力する多
入力−出力信号処理部（３）の重み係数を積極的に変更
するので、誤差の大きい多入力−出力信号処理部（３）
をより早く収束させることができ、学習に要する時間を
短縮することができも 発明の詳細 な説明より明らかなよう＋Ｑ 本発明によれば誤差の
絶対値が最大誤差の絶対値の２／３以上であるような多
入力−出力信号処理部の重み変更量をｍ倍する重み変更
量制御部を設けることにより、誤差の大きい多入力−出
力信号処理部をより速く収束させることができ、学習の
高速化が計れるので、その実用的効果は犬きｌ、％
第１図は本発明における第１の実施例の学習機械の構成
を示すブロック医 第２図は同実施例における出力信号
算出部の構成を示すブロック医第３図は同実施例におけ
る多入力−出力信号処理算出Ｒ，１２・・・重み変更量
算出７３ １３・・・誤差信号判定脈 １４・・・重み
変更量制御札代理人の氏名 弁理士 粟野重孝 ほか１名 １・・・出力信号算出部 ２・・・重み変更量制御部３
・・・多入力−出力信号算出部 ５・・・入力能 ６・
・・メモリ、 ７・・・乗算麻 ８・・・加算ａ ９・
・・しきい値処理臥 １０・・・教師信号発生龜 １１
・・・誤差信号第 図 −モ！ａｌｌｌＩ前肇
を示すブロック医 第２図は同実施例における出力信号
算出部の構成を示すブロック医第３図は同実施例におけ
る多入力−出力信号処理算出Ｒ，１２・・・重み変更量
算出７３ １３・・・誤差信号判定脈 １４・・・重み
変更量制御札代理人の氏名 弁理士 粟野重孝 ほか１名 １・・・出力信号算出部 ２・・・重み変更量制御部３
・・・多入力−出力信号算出部 ５・・・入力能 ６・
・・メモリ、 ７・・・乗算麻 ８・・・加算ａ ９・
・・しきい値処理臥 １０・・・教師信号発生龜 １１
・・・誤差信号第 図 −モ！ａｌｌｌＩ前肇
Claims (2)
- （１）層構造をもち、各層内相互の結合がなく、上位層
にのみ信号が伝搬するようにネットワーク接続された複
数の多入力−出力信号処理部からなる出力信号算出部と
、前記出力信号算出部で得られた出力信号をもとに前記
出力信号算出部の重み係数の値を更新する重み係数更新
部を具備し、前記多入力−出力信号処理部は、複数の重
み係数を保持するメモリと、複数のデータを入力する入
力部と、前記メモリに貯えられた重み係数で前記入力部
からの入力データを重み付けする乗算手段と、前記乗算
手段で重み付けされた複数のデータを多数加え合わせる
加算手段と、前記加算手段の出力を一定範囲の値に制限
するしきい値処理部を備え前記重み係数更新部は、上記
出力信号算出部の出力信号の望ましい値として教師信号
を与える教師信号発生部と、前記出力信号と前記教師信
号との誤差を求める誤差信号算出部と、前記誤差信号算
出部の出力に応じて前記メモリに蓄えられた重み係数の
変更量を計算する重み変更量算出部と、前記誤差信号算
出部の出力の絶対値が、最大誤差の絶対値の２／３以上
かどうかを判定する誤差信号判定部と、前記誤差信号判
定部において誤差の値が上記最大誤差の絶対値の２／３
以上と判定された前記出力信号算出部における最上位層
の多入力−出力信号処理部については前記重み変更量算
出部の出力の重み変更量をｍ倍（ｍ＞１）する重み変更
量制御部とを備えた学習機械。 - （２）誤差信号制定部が出力信号算出部の最上位層の複
数の多入力−出力信号処理部の個々の出力の誤差の判定
を行うようにしてなる請求項１記載の学習機械。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2173455A JPH0462657A (ja) | 1990-06-29 | 1990-06-29 | 学習機械 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2173455A JPH0462657A (ja) | 1990-06-29 | 1990-06-29 | 学習機械 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0462657A true JPH0462657A (ja) | 1992-02-27 |
Family
ID=15960792
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2173455A Pending JPH0462657A (ja) | 1990-06-29 | 1990-06-29 | 学習機械 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0462657A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426480A (en) * | 1993-06-15 | 1995-06-20 | Hanshin Technical Laboratory, Ltd. | Photographic film processing apparatus |
| US5528329A (en) * | 1993-06-15 | 1996-06-18 | Hanshin Technical Laboratory, Ltd. | Photographic film processing apparatus |
-
1990
- 1990-06-29 JP JP2173455A patent/JPH0462657A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426480A (en) * | 1993-06-15 | 1995-06-20 | Hanshin Technical Laboratory, Ltd. | Photographic film processing apparatus |
| US5528329A (en) * | 1993-06-15 | 1996-06-18 | Hanshin Technical Laboratory, Ltd. | Photographic film processing apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dewilde et al. | Schur recursions, error formulas, and convergence of rational estimators for stationary stochastic sequences | |
| Koike | A class of adaptive step-size control algorithms for adaptive filters | |
| Ardekani et al. | On the stability of adaptation process in active noise control systems | |
| Yu et al. | Sparseness-controlled proportionate affine projection sign algorithms for acoustic echo cancellation | |
| Bhattacharjee et al. | Nonlinear system identification using exact and approximate improved adaptive exponential functional link networks | |
| Yazdanpanah et al. | New trinion and quaternion set-membership affine projection algorithms | |
| Hanna et al. | A fully adaptive normalized nonlinear gradient descent algorithm for complex-valued nonlinear adaptive filters | |
| Tavakoli et al. | Fuzzy-PSS and fuzzy neural network non-linear PI controller-based SSSC for damping inter-area oscillations | |
| Al Omour et al. | Filtered-X least mean fourth (FXLMF) and leaky FXLMF adaptive algorithms | |
| Jeong et al. | Robust adaptive filter algorithms against impulsive noise | |
| EP0384709A2 (en) | Learning Machine | |
| JPH0462657A (ja) | 学習機械 | |
| Zhang et al. | Discrete linear canonical transform computation by adaptive method | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| Jiménez‐Lizárraga et al. | Robust Nash Equilibrium in multi‐model LQ differential games: analysis and extraproximal numerical procedure | |
| CN111883155B (zh) | 回声消除方法、装置及存储介质 | |
| Krukowicz | Active noise control algorithm based on a neural network and nonlinear input-output system identification model | |
| WO1990009636A1 (en) | Data processing unit for obtaining solution for optimal combination solution and method thereof | |
| JPH0713768A (ja) | 連続論理計算システムおよびその使用方法 | |
| Bhattacharjee et al. | Study of Sparsity Emanating from NKPD and its Utilization to Enhance NKPD based Adaptive Algorithms | |
| JPH02222062A (ja) | 学習機械 | |
| JPH01114899A (ja) | ダイナミックなニューラルネットワーク | |
| JPH0367358A (ja) | 学習機械 | |
| JPH04662A (ja) | 学習機械 | |
| JP3262340B2 (ja) | 情報処理装置 |