JPH0367358A - 学習機械 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はデータ処理装置の学習機械に関するものであも 従来の技術 従来の学習機械としては、　例えばり、　Ｅ、　Ｒｕｍ
ｅｌｈａｒｔ、　Ｇ、　Ｅ、Ｈｉｎｔｏｎ　ａｎｄ　Ｒ
，Ｊ、Ｗｉｌｌｉａｍｓによる”ＬｅａｒｎｉｎｇＲｅ
ｐｒｅｓｅｎｔａｔｉｏｎｓ　ｂｙ　Ｂａｃｋ−Ｐｒｏ
ｐａｇａｔｉｎｇＥｒｒｏｒｓ、’　Ｎａｔｕｒｅ、　
ｖｏｌ、３２３．　ｐｐ、５３３−５３６．　Ｏｃｔ、
　９１９８６）に示されていも　この従来の学習機械（
上第６図に示すように出力信号算出部と重み係数更新部
とからなり、前記出力信号算出部は層構造をも執　各層
内相互の結合がなく、上位層にのみ信号が伝搬するよう
にネットワーク接続された複数の多入力−出力信号処理
部６０から構成される。

各多入力−出力信号処理部６０はそれに接続されている
下層の多入力−出力信号処理部６０の出力とその接続の
度合である重み係数とを掛合わせたものの総和をしきい
値関数で変換した後、その値を上層への出力として伝達
する働きをしている。

重み係数更新部は、　前記出力信号算出部の入力部６１
から入力される信号に応じて、教師信号発生部６２が前
記入力信号に対する望ましい出力信号を教師信号ｔｋと
して発生し　誤差信号算出部６３において前記出力信号
算出部から出力される実際の出力信号□ｋ（ｏｂｉよ　
出力信号算出部における最上位層の第に番目の多入力−
出力信号処理部６０の出力を表す。）と前記教師信号ｔ
ｋとの差から誤差 Ｅ　＝０．５　（ｔ　ｂ−ｏ　ｈ）　”が計算され　こ
の値で現在の結合状態（重み係数の大きさ）でのネット
ワークの性能を評価すもこのようにして計算された誤差
Ｅをもとに重み変更量算出部６４は前記出力信号算出部
の重み係数の変更量△Ｗ　＋　１を次式に基づいて計算
する。

△ＷＩＪ”　　−εａＥ／θＷ ここで、　εは学習レートと呼ばれる正の定数である。

以上のように重みの更新を繰返すことにより、誤差Ｅを
小さくしていき、誤差Ｅが十分小さくなると、出力信号
が望ましい値に十分近くなったものとして、学習を終了
すも 発明が解決しようとする課題 しかしながら上記のような構成では、　誤差の値が十分
小さくなっている多入力−出力信号処理部についても誤
差Ｅの値が減少すれば重みを更新するので学習効率が悪
く、学習に要する時間が長くなるという課題を有してい
た 本発明はかかる点に鑑へ　学習に要する時間の・短い学
習機械を提供することを目的とする。

課題を解決するための手段 第一の発明（表　層構造をもち、　各層内相互の結合が
なく、上位層にのみ信号が伝搬するようにネットワーク
接続された複数の多入力−出力信号処理部からなる出力
信号算出部と、この出力信号算出部で得られた出力信号
をもとに前記出力信号算出部の重み係数の値を更新する
重み係数更新部とを具備し　前記多入力−出力信号処理
部？ｔ、　　複数の重み係数を保持するメモリと、複数
のデータを入力する入力部と、この入力部からの入力デ
ータを前記メモリに貯えられた重み係数で重み付けする
乗算手段と、この乗算手段で重み付けされた複数のデー
タを多数加え合わせる加算手段と、この加算手段の出力
を一定範囲の値に制限するしきい値処理部とを備え　前
記重み係数更新部（友　上記出力信号算出部の出力信号
の望ましい値として教師信号を与える教師信号発生部と
、前記出力信号と前記教師信号との誤差を求める誤差信
号算出部と、この誤差信号算出部の出力に応じて前記メ
モリに蓄えられた重み係数の変更量を計算する重み変更
量算出部と、前記誤差信号算出部の出力がしきい値以下
であるかどうかを判定する誤差信号判定部と、この誤差
信号判定部において誤差の値がしきい値以下と判定され
た場合には前記重み係数変更量をゼロにする重み変更量
制御部とを備えた学習機械であも また第二の発明（上　上記誤差信号判定部の出力を計数
し全ての出力信号がしきい値以下の場合に飛越し信号を
出力する飛越し判定部と、前記飛越し信号に応じて上記
重み変更量算出部における重み変更操作をとばす重み変
更量制御部とを備えた学習機械であも 作　　　用 第−の発明は上記構成により、誤差の大きさが十分小さ
い多入力−出力信号処理部については、重み係数変更量
をゼロとすることによって重み変更はしないの玄　学習
効率が向上し　学習に要する時間を短縮することができ
る。

また　第二の発明は入力データに対して全ての多入力−
出力信号処理部の誤差がしきい値以下で十分小さい場合
、飛越し信号を出力して重み変更操作をとばすので、学
習効率が向上するだけでなく、演算量が大幅に削減でき
るので、学習に要する時間が短縮できる。

実施例 第１図は、　本発明の第１の実施例における学習機械の
構成図を示すものである。

同図において、　１は出力信号算出部　２はこの出力信
号算出部１で得られた出力信号をもとに前記出力信号算
出部１の重み係数の値を更新する重み係数更新部である
。出力信号算出部１（上　第２図に示すように多段の回
路網的構成をしており、３は多入力−出力信号処理に４
は出力信号算出部１の入力部である。

このような出力信号算出部１を構成する多入力−出力信
号処理部３の構成を具体的に示したものが第３図であも
　同図において、　５は多入力−出力信号処理部３の入
力部　６は入力部５からの複数入力を重み付ける重み係
数を格納するメモリ、７はメモリ６の重み係数と入力部
５からの入力を各々掛は合わせる乗算器　８は乗算器７
の各々の出力を足し合わせる加算機　９は加算器８の出
力を一定範°囲の値に制限するしきい値処理部であもし
きい値処理部９の入出力特性を第４図に示す。

例えば　出力を（０，１）の範囲に制限するしきい値処
理部９の入出力特性は ｆ　（１，）　　＝　１　／　（１＋ｅｘｐ（−Ｉ＋θ
））　　　（１）と数式的に表現できも　ここ玄　工は
しきい値処理部９の入力であも　な耘　しきい値処理部
９の入出力特性としては上記以外のしきい値開数でもよ
賎 重み係数更新部２の構成図を第１図に示す。　ｌＯは教
師信号発生部　Ｉ工は誤差信号算出ｉｆ２は重み変更量
算出部　１３は重み変更量制御部１４は誤差信号判定部
であも 以上のように構成された本実施例の学習機械について、
以下その動作を説明する。

出力信号算出部１の入力部４に入力信号が入力されると
、各多入力−出力信号処理部３　（ｉ　　この多入力−
出力信号処理部３に接続されている下層の多入力−出力
信号処理部３の出力とメモリ６に記憶されているその接
続の度合である重み係数とを乗算器７により掛合わせ、
前記乗算器７の各々の出力の総和を加算器８で計算した
後、しきい値処理部９で変換しその値を上層の多入力−
出力信号処理部３へ出力する。つまり、第３図に示す多
入力−出力信号処理部３は、　入力部５への入力値をｏ
ｊ（下層のｊ番目の多入力−出力信号処理部の出力）、
メモリ６に格納されている重み係数をＷｊ（ｉ番目の多
入力−出力信号処理部と下層のｊ番目の多入力−出力信
号処理部との結合重み）とすれば ｏ＋＝ｆ（ΣＷＮ　ＯＪ）　　　　　　　（２）」 を計算しているわけであも 重み係数更新部２（上　前記出力信号算出部１の入力部
４から入力される信号に応じて、教師信号発生部１０が
前記入力信号に対する望ましい出力信号を教師信号ｔｋ
として発生し　誤差信号算出部１１において前記出力信
号算出部１から出力される実際の出力信号Ｑｋと前記教
師信号ｔｋとの差か板　最上位層におけるに番目の多入
力−出力信号処理部３の誤差 Ｅ　＝０．５　（ｔ　ｋ−ｏ　ｋ）　２（３）が計算さ
へ　この値で現在の結合状態（重み係数の大きさ）での
ネットワークの性能を評価する。

このようにして計算された誤差Ｅをもとに重み変更量算
出部１２は前記出力信号算出部１のメモリ６に記憶され
ている重み係数の変更量△ＷＩＪを次式に基づいて計算
する。

△ＷＩＪ”　　−εθＥ　／　ａ　ｗｚ　　　　　　　
（４）ここで、　εは学習レートと呼ばれる正の定数で
ある。

重み変更量制御部１３ζよ　誤差信号判定部１４におい
て誤差１ｔｋ　ｏｋｌがしきい値Ｔより小さいと判定さ
れた場合に　前記出力信号算出部１における最上位層の
重み係数変更量を「０」にする。

以上のようにして、重みの更新を繰返すことにより、誤
差を小さくしていき、誤差が十分小さくなると、出力信
号が望ましい値に十分近くなったものとして、学習を終
了すん このように本実施例によれは　誤差の大きさがが十分小
さい多入力−出力信号処理部３については重み変更はし
ないので、学習効率が向上し　学習に要する時間を短縮
することができる。

第５図は、　本発明の第２の実施例における学習機械の
構成図を示すものであも 同図に示す本実施例の重み係数更新部２において、　１
０は教師信号発生Ｋ　　１１は誤差信号算出Ｒ，１２は
重み変更量算出数　２３は重み変更量制御訊　１４は誤
差信号判定敵　２４は飛越し判定部である。な抵　出力
信号算出部１とその多入力−出力信号処理部３とは第１
の実施例（第２図〜第４図）と同様である。

以上のように構成された本実施例の学習機械について、
以下その動作を説明すも 出力信号算出部ｌの入力部４に入力信号が入力されると
、各多入力−出力信号処理部３ば　この多入力−出力信
号処理部３に接続されている下層の多入力−出力信号処
理部３の出力とメモリ６に記憶されているその接続の度
合である重み係数とを乗算器７により掛合わせ、前記乗
算器７の各々の出力の総和を加算器８で計算した後、し
きい値処理部９で変換しその値を上層の多入力−出力信
号処理部３へ出力する。つまり、第３図に示す多入力−
出力信号処理部３は　入力部５への入力値をｏｒ　　（
下層のｊ番目の多入力−出力信号処理部の出力）、メモ
リ６に格納されている重み係数をｗｚ（ｉ番目の多入力
−出力信号処理部と下層の３番目の多入力−出力信号処
理部との結合重み）とすれば ｏ＋＝ｆ（ΣＷｌｌ　　ＯＪ）　　　　　　　　　　（
２）を計算しているわけである。

重み係数更新部２は、　前記出力信号算出部ｌの入力部
４から入力される信号に応じて、教師信号発生部１０が
前記入力信号に対する望ましい出力信号を教師信号ｔｂ
として発生し　誤差信号算出部１１において前記出力信
号算出部１から出力される実際の出力信号Ｑｋと前記教
師信号ｔｋとの差か板　最上位層におけるに番目の多入
力−出力信号処理部３の誤差 Ｅ＝０．５　（ｔｋ−ｏｋ）　”　　　　　　（３）が
計算され　この値で現在の結合状態（重み係数の大きさ
）でのネットワークの性能を評価する。

このようにして計算された誤差Ｅをもとに重み変更量算
出部１２は前記出力信号算出部ｌのメモリ６に記憶され
ている重み係数の変更量△ｗ　＋　＋を次式に基づいて
計算すも △ｗ＋＋＝　　−εθＥ／ｃ？ｗｚ　　　　　　　（４
）ここで、　εは学習レートと呼ばれる正の定数である
。

誤差信号判定部１４（亀　誤差ｌｔｋ　ｏｂｌがしきい
値Ｔより小さいかどうかを調べ判定結果として誤差がし
きい値より大きい時は「０」を、小さいときは「１」を
飛越し材定部２４に出力する。

飛越し判定部２４は、　前記判定結果を計数し　最上位
層の全ての多入力−出力信号処理部３の誤差ｔｂ−ｏｋ
ｌがしきい値以下の隊　飛越し信号を出力すａ　重み変
更量制御部２３は、　飛越し判定部２４が飛越し信号を
発生した時、重み変更量算出部１２における重み変更操
作を飛ばすように制御する。

以上のようにして、重みの更新を繰返すことにより、誤
差を小さくしていき、誤差が十分小さくなると、出力信
号が望ましい値に十分近くなったものとして、学習を終
了する。

このように本実施例によれば　入力データに対して全て
の多入力−出力信号処理部３の誤差が十分小さい場合、
重み変更量算出部１２における重み変更操作を飛ばすの
玄　学習効率が向上するだけでなく、演算量が大幅に削
減できるので、学習に要する時間が短縮できも 発明の詳細 な説明したように　第一の発明によれば　誤差信号判定
敵　重み変更量制御部を設けたことにより、誤差の大き
さが十分小さい多入力−出力信号処理部における重み変
更はしないので、学習効率が向上し　学習に要する時間
を短縮することが。

できる。

また　第二の発明によれば　飛越し判定敵　重み変更量
制御部を設けたことにより、入力データに対して全ての
多入力−出力信号処理部の誤差の大きさが十分小さい場
合、重み変更量算出部における重み変更操作を飛ばすの
で、学習効率が向上するだけでなく、演算量が大幅に削
減できるので学習に要する時間が短縮でき、その実用的
効果は犬き鶏

【図面の簡単な説明】

第１図は本発明の第１の実施例における学習機械の構成
は　第２図は同実施例における出力信号算出部の構成は
　第３図は同実施例における多入力−出力信号処理部の
構成阻　第４図は同実施例におけるしきい値処理部の入
出力特性は　第５図は本発明の第２の実施例における学
習機械の構成＠　第６図は従来の学習機械の構成図であ
も１・・・出力信号算出＠２・・・重み変更量算出部３
・・・多入力−出力信号算出部　５・・・入力敵　６・
・・メモリ、　７・・・乗算ａ　８・・・加算法　９・
・・しきい値処理敵　１０・・・教師信号発生ｆｆ１Ｌ
　　１１・・・誤差信号算出！　　１２・・・重み変更
量算出部１３、２３・・・重み変更量制御部　１４・・
・誤差信号判定餓２４・・・飛越し判定訛

Claims (2)

【特許請求の範囲】
1. （１）層構造をもち、各層内相互の結合がなく、上位層
   にのみ信号が伝搬するようにネットワーク接続された複
   数の各入力−出力信号処理部からなる出力信号算出部と
   、この出力信号算出部で得られた出力信号をもとに前記
   出力信号算出部の重み係数の値を更新する重み係数更新
   部とを具備し、前記多入力−出力信号処理部は、複数の
   重み係数を保持するメモリと、複数のデータを入力する
   入力部と、この入力部からの入力データを前記メモリに
   貯えられた重み係数で重み付けする乗算手段と、この乗
   算手段で重み付けされた複数のデータを多数加え合わせ
   る加算手段と、この加算手段の出力を一定範囲の値に制
   限するしきい値処理部とを備え、前記重み係数更新部は
   、上記出力信号算出部の出力信号の望ましい値として教
   師信号を与える教師信号発生部と、前記出力信号と前記
   教師信号との誤差を求める誤差信号算出部と、この誤差
   信号算出部の出力に応じて前記メモリに蓄えられた重み
   係数の変更量を計算する重み変更量算出部と、この誤差
   信号算出部の出力がしきい値以下であるかどうかを判定
   する誤差信号判定部と、この誤差信号判定部において誤
   差の値がしきい値以下と判定された場合には前記重み係
   数変更量をゼロにする重み変更量制御部とを備えたこと
   を特徴とする学習機械。
2. （２）層構造をもち、各層内相互の結合がなく、上位層
   にのみ信号が伝搬するようにネットワーク接続された複
   数の多入力−出力信号処理部からなる出力信号算出部と
   、この出力信号算出部で得られた出力信号をもとに前記
   出力信号算出部の重み係数の値を更新する重み係数更新
   部とを具備し、前記多入力−出力信号処理部は、複数の
   重み係数を保持するメモリと、複数のデータを入力する
   入力部と、この入力部からの入力データを前記メモリに
   貯えられた重み係数で重み付けする乗算手段と、この乗
   算手段で重み付けされた複数のデータを多数加え合わせ
   る加算手段と、この加算手段の出力を一定範囲の値に制
   限するしきい値処理部とを備え、前記重み係数更新部は
   、上記出力信号算出部の出力信号の望ましい値として教
   師信号を与える教師信号発生部と、前記出力信号と前記
   教師信号との誤差を求める誤差信号算出部と、この誤差
   信号算出部の出力に応じて前記メモリに蓄えられた重み
   係数の変更量を計算する重み変更量算出部と、前記誤差
   信号算出部の出力がしきい値以下であるかどうかを判定
   する誤差信号判定部と、この誤差信号判定部の出力を計
   数し全ての出力信号が前記しきい値以下の場合に飛越し
   信号を出力する飛越し判定部と、前記飛越し信号に応じ
   て前記重み変更量算出部における重み変更操作をとばす
   重み変更量制御部とを備えたことを特徴とする学習機械
   。