JPH04114263A - 学習機械 - Google Patents

学習機械

Info

Publication number
JPH04114263A
JPH04114263A JP2234287A JP23428790A JPH04114263A JP H04114263 A JPH04114263 A JP H04114263A JP 2234287 A JP2234287 A JP 2234287A JP 23428790 A JP23428790 A JP 23428790A JP H04114263 A JPH04114263 A JP H04114263A
Authority
JP
Japan
Prior art keywords
unit
learning
weight change
output
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2234287A
Other languages
English (en)
Inventor
Toshiyuki Koda
敏行 香田
Shigeo Sakagami
茂生 阪上
Koji Yamamoto
浩司 山本
〆木　泰治
Taiji Shimeki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2234287A priority Critical patent/JPH04114263A/ja
Priority to EP91114955A priority patent/EP0474222B1/en
Priority to DE69130387T priority patent/DE69130387T2/de
Priority to US07/754,517 priority patent/US5295228A/en
Publication of JPH04114263A publication Critical patent/JPH04114263A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Image Analysis (AREA)
  • Air Conditioning Control Device (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、層構造をもち、各層内相互の結合がなく、上
位層にのみ信号が伝搬するようにネットワーク接続され
た複数の多入力・一出力信号処理部を有する学習可能な
学習機械に関するものである。
従来の技術 従来の、学習機械としては、例えば、テーク。イー、ル
メルハルト、　　シー、イー、ヒＩＩ）ン及び７−ル、
シーエ仁つイリ？ムスー、　　（Ｄ、Ｅ。
Ｒｕｍｅｌｈａｒｔ、　Ｇ、　Ｅ、１ｌｉｎｔ、ｏｎ　
ａｎｄ　Ｒ，Ｊ、　Ｗｉｌｌｉａｍｓ）によ　る　［ラ
ーニシクー　　リフ０すｔ−ンテイシ３ン　　ハ゛イ　
ハーツクーノ″旧１ケーイシ３シ　　■シー　（Ｌｅａ
ｒ旧ｎｇ　　Ｒｅｐｒｅｓｅｒ＋Ｌａｔｉｏｎｓ　　ｂ
ｙ　　ＢａｃｋＰｒｏｐａｇａｔｉｎｇ　　Ｅｒｒｏｒ
ｓ）　　Ｊ　　、ネイｆ＋−（Ｎａｔｕｒｅ）　　、　
　ｖｏｌ。
３２３、　ｐｐ、５３３−５３６．　Ｏｃｔ、　９．１
９８６に示されているものがある。
第７図はその従来の学習機械の構成を示すものである。
第７図において、ｌは出力信号算出部、２は該出力信号
算出部ｌで得られた出力信号をもとに前記出力信号算出
部ｌの重み係数の（１αを更新する重み係数更新部であ
る。その出力信号算出部ｌは、第８図に示すように多段
の回路網的構成をしており、３は多入力・−出力ｉｄ号
処理部、４は出力信号算出部ｌの入力部である。このよ
うな出力信号算出部ｌを構成する多入力・一出力信号処
理部３の具体的構成を第９図に示す。第９図において、
５は多入力・一出力信号処理部３０入力部、６は入力部
５からの複数入力を重み付ける重み係数を格納するメモ
リ、７はメモリ６の重み係数と入力部５からの入力を各
々掛は合わせる乗算器、８は乗算器７の各々の出力を足
し合わせる加算器、９は加算器８の出力を一定範囲の値
に制限するしきい値処理部である。しきい値処理部９の
入出力特性を第１０図に示す。例えば、出力を（０，１
）の範囲に制限するしきい値処理部９の人出力特性は、 ｆ　　（Ｉ）　　”　　１　　／　　（１＋　　ｅｘｐ
（−１十〇））と数式的に表現できる。
なお、第７図における重み係数更新部２は、教師信号発
生部１０、誤差信号算出部１１、最急降下方向決定部１
２、重み変更、ｆｌＷ出部１３、重み変更部１４とを有
している。
以上のように構成された従来の学習機械について、以下
その動作を説明する。
出力信号算出部１０入力部４に入力信号が入力されると
、各多大力・一出力信号処理部３は、該多入力・一出力
信号処理部３に接続されている下層の多入力・一出力信
号処理部３の出力とメモリ６に記憶されているその接続
の度合である重み係数とを乗算器７により掛は合わせ、
前記乗算器７の各々の出力の総和を加算器８で計算した
後、しきいｌ＋ＦＴ処理部９て変換し、その値を上層の
多入力・一出力信号処理部へ出力する。つまり、第９図
に示す多大力・一出力信号処理部３は、入力部５への入
力値を０．（下層の３番目の多入力・一出力信号処理部
の出力）　　メモリ６に格納されている重み係数をｗ＋
４（ｉ番目の多大力・一出力信号処理部と下層の、１番
目の多入力・一出力信号処理部との結合重み）とすれば
、 ｏ；＝ｆ（Σｗ：４ｏ７） を計算していることになる。
重み係数更新部２は、前記出力信号算出部ｌの入力部４
から入力される１番目の信号に応じて、教師信号発生部
１０がその入力信号に対する望ましい出力信号を教師信
号ｔｐｋとして発生ずる。誤差信号算出部１１は、その
出力信号算出部ｌから出力される１番目の入力信号に対
する実際の出力信号０ｐｋ（０＋＋には、出力信号算出
部ｌにおける最上位層の第に番目の多大力・一出力信号
処理部の出力を表す）と前記教師信号ｔ、にとの差から
誤差Ｅ＝０．５Σ。Σｋ（ｔ、に−ｏ、ｋ）　２＝Ｅ　
　（Ｗ）　　　　　　　　　　　　　　　（１）を計算
し、この値で現在の結合状態（重み係数の大きさ）での
ネットワークの性能を＝ｆ価する。にに、Σ。は全での
入力信号に関する総和、Σには出力信号算出部１におけ
る最上位層の全ての多入力・一出力信号処理部の出力に
関する総和、Ｗは重み係数Ｗ　ｉ　）成分とするベクト
ルで、以下重みベクトルと呼ぶ。誤差Ｅは、重みベクト
ルＷの関数となる。このようにして計算された誤差Ｅを
もとに最急降下方向決定部１２は前記出力信号算出部ｇ
＝ａＥｌａＷ　　　　　　　　　　　　　　　　（２）
を計算する。最急降下方向は、誤差Ｅの重み係数ｗｉ４
による微分を成分とするベクトルである。重み変更量算
出部１３は前記最急降下方向から前記出力信号算出部の
重みベクトルの変更量を次式により計算する。
△Ｗ　＝　−ｃ　木ａ　Ｅ　／　ａ　Ｗ　＋　ａ　本Δ
Ｗ’　　　　（３）にで、εは学習レーｉ・と呼ばれる
正の定数、αは加速パラメータと叶ばれる正の定数であ
り、△Ｗ′は、前回の学習における重みベクトルの変更
量である。重み変更部１４は、該重みベクトルの変更量
に応じて出力信号算出部の重みベクトルを変更する。以
上のようにして重みの更新を繰り返すことにより、誤差
を小さくしてゆき、誤差が十分小さくなると、出力信号
が望ましい（Ｉｎに十分近くなったものとして、学習を
終了する。
発明が解決しようとするＬ！、題 しかしながら上記のような構成では、誤差の値が十分小
さくなっている多大力・一出力信号処理部についても、
誤差Ｅの値が減少すれば重みを更新するので学習効率が
悪く、学習に要する時間が長くなるという課題を有して
いた。
本発明はかかる従来の学習機械の課題に鑑み、学習に要
する時間の短い学習機械を提供することを目的とする。
課題を解決するための手段 本発明の第１の発明は、層構造をもち、各層内相互の結
合がなく、上位層にのみ信号が伝搬するようにネットワ
ーク接続された複数の多入力・一出力信号処理部を有す
る出力信号算出部と、該出力信号算出部で得られた出力
信号をもとに前記出力信号算出部の重み係数の値を更新
する重み係数更新部を備える学習機械において、前記多
入力・一出力信号処理部は、複数の重み係数を保持する
メモリと、複数のデータを入力する入力部と、前記メモ
リに貯えられた重み係数で前記入力部からの入力データ
を重み付けする乗算手段と、前記乗算手段で重み付けさ
れた複数のデータを多数加え合わする加算手段と、該加
算手段の出力を一定範囲の値に制限するしきい値処理部
とを有し、前記重み係数更新部は、前記出力信号算出部
の出力信号の望ましい値として教師信号を与える教師信
号発生部と、前記出力信号と該教師信号との誤差を求め
る誤差信号算出部と、前記誤差信号算出部の出力から最
急降下方向を求める最急降下方向決定部と、該最急降下
方向から共役勾配方向を求める共役勾配方向決定部と、
誤差信号算出部からの誤差から学習の進み具合いを判定
する学習進度判定部と、前記学習進度判定部の判定結果
に応じて、しきい値の値を次第に減少させるしきい値制
御部と、前記誤差信号算出部の出力が前記しきい値制御
部のしきい値以下であるかどうかを判定する誤差信号判
定部と、該しきい値の大きさに応じて重みの変更方向で
ある最急降下方向と共役勾配方向のどちらかを選択する
重み変更方向選択部と、該選択された重み変更方向から
重み係数の変更量を計算する重み変更量算出部と、前記
誤差信号判定部において誤差の４１ｎが前記しきいＩＩ
α以下と判定された場合には前記重み係数変更量を０に
する重み変更量制御部と、前記重み変更量算出部の出力
に応じて前記メモリに蓄えられた重み係数を値を変更す
る重み変更部とを有する学習機械である。
また本発明の第２の発明は、前記最急降下方向に関して
複数の学習パラメータに対する重み変更量を出力する直
線探索部と、該直線探索部から出力された複数の重み変
更量から放物線近似により重み変更量を決定する放物線
近似部と、前記誤差信号算出部の誤差から学習の進み具
合いを判定する学習進度判定部と、前記学習進度判定部
の判定結果に応じて、しきい値の値を次第に減少させる
しきい値制御部と、前記誤差信号算出部の出力がしきい
値以下であるかどうかを判定する誤差信号判定部と、前
記誤差信号判定部において誤差の値が前記しきい値以下
と判定された場合には前記重み係数変更量をＯにする重
み変更量制御部と、該しきい値の大きさに応じて前記重
み変更量算出部の出力と前記放物線近似部の出力のどち
らかを選択する重み変更量選択部と、該選択された重み
変更量に応じて前記メモリに蓄えられた重み係数の値を
変更する重み変更部とを有する学習機械である。
また、本発明の第３の発明は、最急降下方向から共役勾
配方向を求める共役勾配方向決定部と、前記共役勾配方
向に関して複数の学習パラメータに対する重み変更量を
出力する直線探索部と、該直線探索部から出力された複
数の重み変更量から放物線近似により重み変更量を決定
する放物線近似部と、前記誤差信号算出部の誤差から学
習の進み具合いを判定する学習進度判定部と、前記学習
進度判定部の判定結果に応じて、しきい値の値を次第に
減少させるしきい値制御部と、前記誤差信号算出部の出
力がしきい値以下であるかどうかを判定する誤差信号判
定部と、前記誤差信号判定部において誤差の値が前記し
きい値以下と判定された場合には前記重み係数変更量を
０にする重み変更量制御部と、該しきい１１αの大きさ
に応じて前記重み変更量算出部の出力と前記放物線近似
部の出力のどちらかを選択する重み変更量選択部と、該
選択された重み変更量に応じて前記メモリに蓄えられた
重み係数の１＋ｉｉを変更する重み変更部とを有する学
習機械である。
また、本発明の第４の発明は、最急降下方向から共役勾
配方向を求める共役勾配方向決定部と、前記誤差信号算
出部の誤差から学習の進み具合いを判定する学習進度判
定部と、前記学習進度判定部の判定結果に応じて、前記
しきい値の値を次第に減少させるしきい値制御部と、前
記誤差信号算山部の出力がしきい値以下であるかどうか
を判定する誤差信号判定部と、前記誤差信号判定部の出
力を計数し全ての出力信号が前記しきい値以下の場合に
飛び越し信号を出力する飛び越し判定部と、該しきい値
の大きさに応じて重みの変更方向である最急降下方向と
共役勾配方向のどちらかを選択する重み変更方向選択部
と、該選択された重み変更方向から重み係数の変更量を
計算する重み変更量算出部と、前記重み変更量算出部の
出力に応じて前記メモリに蓄えられた重み係数の値を変
更する重み変更部と、前記飛び越し信号に応じて前記重
み変更部における重み変更操作をとばす重み変更制御部
とを有する学習機械である。
また、本発明の第５の発明は、最急降下方向に関して複
数の学習パラメータに対する重み変更量を出力する直線
探索部と、該直線探索部から出力された複数の重み変更
量から放物線近似により重み変更量を決定する放物線近
似部と、前記誤差信号算出部の誤差から学習の進み具合
いを判定する学習進度判定部と、前記学習進度判定部の
判定結果に応じて、前記しきい値の値を次第に減少させ
るしきい値制御部と、前記誤差信号算出部の出力がしき
い値以下であるかどうかを判定する誤差信号判定部と、
前記誤差信号判定部の出力を計数し全ての出力信号が前
記しきい値以下の場合に飛び越し信号を出力する飛び越
し判定部と、該しきい値の大きさに応じて前記重み変更
量算出部の出力と前記放物線近似部の出力のどちらかを
選択する重み変更量選択部と、該選択された重み変更量
に応じて前記メモリに蓄えられた重み係数の値を変更す
る重み変更部と、前記飛び越し信号に応じて前記重み変
更部における重み変更操作をとばす重み変更制御部とを
有する学習機械である。
また、本発明の第６の発明は、最急降下方向から重み係
数の変更量を計算する重み変更量算出部と、該最急降下
方向から共役勾配方向を求める共役勾配方向決定部と、
前記共役勾配方向に関して複数の学習パラメータに対す
る重み変更量を出力する直線探索部と、該直線探索部か
ら出力された複数の重み変更量から放物線近似により重
み変更量を決定する放物線近似部と、前記誤差信号算出
部の誤差から学習の進み具合いを判定する学習進度判定
部と、前記学習進度判定部の判定結果に応じて、前記し
きい値の値を次第に減少させるしきい値制御部と、前記
誤差信号算出部の出力がしきい値以下であるかどうかを
判定する誤差信号判定部と、前記誤差信号判定部の出力
を計数し全ての出力信号が前記しきい値以下の場合に飛
び越し信号を出力する飛び越し判定部と、該しきい値の
大きさに応じて前記重み変更量算出部の出力と前記放物
線近似部の出力のどちらかを選択する重み変更量選択部
と、該選択された重み変更量に応じて前記メモリに蓄え
られた重み係数の値を変更する重み変更部と、前記飛び
越し信号に応じて前記重み変更部における重み変更操作
をとばす重み変更制御部とを有する学習機械である。
作用 本発明の第１の発明、第２の発明、第３の発明は前記し
た構成により誤差の大きさがしきい値以下の多入力・一
出力信号処理部については重み変更はしないだけでなく
、重みを変更するかどうかの判定基準であるしきい値を
、学習が進むにつれて小さくして行くことにより、学習
の前半は大まかに学習し、徐々に学習の精度を上げて行
くので学習効率が向上し、学習に要する時間が短縮でき
る。
また、本発明の第１の発明は前記した構成により、重み
変更方向を局所的に最も効率のよい最急降下方向と大局
的にみて最も効率のよい共役勾配方向とから、学習の進
度に応じて選択し重みを変更するので、効率的な学習が
可能となり、学習に要する時間を短縮することができる
。
また、本発明の第２の発明は、前記した構成により、重
み変更量を最急降下方向から算出された重み変更量と最
急降下方向に関して複数の学習パラメータにより算出さ
れた変更量の中から放物線近似により決定された重み変
更量とから、学習の進度に応じて選択し重みを変更する
ので、効率的な学習が可能となり、学習に要する時間を
短縮することができる。
また、本発明の第３の発明は前記した構成により、重み
変更量を局所的に最も効率のよい最急降下方向から算出
された重み変更量と、大局的にみて最も効率のよい共役
勾配方向に関して複数の学習パラメータにより算出され
た変更量の中から放物線近似により決定された重み変更
量とから、学習の進度に応じて選択し重みを変更するの
で、効率的な学習が可能となり、学習に要する時間を短
縮することができる。
本発明の第４の発明、第５の発明、第６の発明は前記し
た構成により入力データに対して全ての多入力・一出力
信号処理部の誤差がしきい値以下の場合、重み変更操作
をとばすだけでなく、重みを変更するかどうかの判定基
準であるしきい値を、学習が進むにつれて小さくして行
くことにより、学習の前半は大まかに学習し、徐々に学
習の精度を１−げて行くので、演算量が大幅に削減でき
、学習効率も向上するので、学習に要する時間が短縮で
きる。
また、第４の発明は前記下構成により、重み変更方向を
局所的に最も効率のよい最急降下方向と、大局的にみて
最も効率のよい共役勾配方向とから、学習の進度に応じ
て選択し重みを変更するので、効率的な学習が可能とな
り、学習に要する時間を短縮できる。
また、本発明の第５の発明は前記した構成により、重み
変更量を最急降下方向から算出された重み変更量と、最
急降下方向に関して複数の学習パラメータにより算出さ
れた変更量の中から放物線近似により決定された重み変
更量とから、学習の進度に応じて選択し重みを変更する
ので、効率的な学習が可能となり、学習に要する時間が
短縮できる。
また、本発明の第６の発明は前記した構成により、重み
変更量を局所的に最も効率のよい最急降下方向から算出
された重み変更量と、大局的にみて最も効率のよい共役
勾配方向に関して複数の学習パラメータにより算出され
た変更量の中から放物線近似により決定された重み変更
量とから、学習の進度に応じて選択し重みを変更するの
で、効率的な学習が可能となり、学習に要する時間が短
縮できる。
実施例 以下、本発明の実施例について図面を参照して説明する
。
第１図は、本発明の第１の発明の一実施例における学習
機械の構成図を示すものである。第１図において、出力
信号算出部ｌ、教師信号発生部ｌＯ１誤差信号算出部１
１、最急降下方向決定部１２、重み変更量算出部１３、
重み変更部１４は、上述したものと同様である。さらに
、後述するように、１５は学習進度判定部、１６はしき
い値制御部、１７は誤差信号判定部、１８は共役勾配方
向決定部、１９は重み変更方向選択部、２０は重み変更
量制御部である。
以上のように構成された本実施例の学習機械について、
以下その動作を説明する。
従来の学習機械と同様に、出力信号算出部ｌは出力信号
を計算し、該出力信号と教師信号発生部１０の出力から
誤差信号算出部１１により（１）式に基づいて誤差Ｅが
計算される。このようにして計算された誤差Ｅをもとに
最急降下方向決定部１２は前記出力信号算出部ｌの重み
ベクトルの変更量ｇ＝ａ　Ｅ／ａＷ を計算する。
共役勾配方向決定部１８は、該最急降下方向かｄ＝ｇ＋
β＊ｄ′ にて、βは β＝Ｉｇ＋２／　　Ｉｇ’＋２ で与えられる定数であり、ｄ′は前回の学習における共
役勾配方向、１ｇ′１は前回の学習における最急降下方
向ｇ′のノルＪ１である。なお初回の学習における重み
変更方向は、最急、降下方向に決定する。
学習進度判定部１５における学習進度の判定は、前記出
力信号算出部ｌの最上位層における多入力・一出力信号
処理部３の誤差総和による判定、学習回数による判定、
前記出力信号算出部ｌの最上位層において、しきい値以
上の誤差を出力する多入力・一出力信号処理部の個数に
よる判定、前記誤差信号算出部の一回の学習における最
大力の値による判定等の方法を用いて行われる。
しきい１１α制御部１６は、その学習進度判定部１５の
学習進度の判定結果をもとに学習が進むにつれ、前記し
きい値Ｔを小さい（１αに切り換えて行く。
重み変更方向選択部１９は、たとえば学習の前半は最急
降下方向で学習し、学習の後半は共役勾配方向を選択す
るというように、該しきい１１α制御部１６からのしき
い値Ｔの値により、前記最急降下方向か、前記共役勾配
方向のどちらかを選択し、重み変更量算出部１３に出力
する。重み変更量算出部１３は、該選択された重み変更
方向が、最急降下方向の場合、前記出力信号算出部ｌの
重みベクトルの変更量を次式により計算する。
△Ｗ＝−ε木ｇ＋α木ΔＷ′ にで、εは学習レートと呼ばれる正の定数、αは加速パ
ラメータと呼ばれる正の定数であり、△Ｗ“は、前回の
学習における重みベクトルの変更量である。一方、該選
択された重み変更方向が、共役勾配方向の場合、重みベ
クトルの変更率を次△Ｗ＝−ε＊ｄ このとき、重み変更量制御部２０は、誤差ＩＳ号判定部
１７において誤差１ｔｐｋ　ｏｐｋｌがしきい値制御部
１６により設定されたしきい１１＾Ｔより小さいと判定
された前記出力信号算出部ｌにおける最上位層の多入力
・一出力信号処理部３０重み係数変更量を０にする。こ
のようにして計算された重みベクトルの変更量をもとに
、重み変更部１４は出力信号算出部ｌの小みベクトルを
変更ずろ。
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい１１αに十分近くなったものとして、学習を終
了する。
このように本実施例によれは、誤差の大きさがしきい値
以下の多入力・〜出力信号処理部については重みを変更
しないだけでなく、重みを変更するかどうかの判定基準
であるしきい値を、学習が進むにつれて小さくして行く
ことにより、学習の前半は大まかに学習し、徐々に学習
の精度を上げて行くので、学習効率が向上し、学習に要
する時間が短縮できる。しかも、学習の前半は重み変更
方向を局所的に最も効率のよい最急降下方向を選択し、
学習の後半は、大局的にみて最も効率のよい兵役勾配方
向を選択し重みを変更するので、学習効率が向〜ヒし、
学習に要する時間を短縮できる。
第２図は本発明の第２の発明の一実施例における学習機
械の構成を示すものである。
第２図において、出力信号算出部ｌ、教師信号発生部１
０．　　誤差信号算出部１１．　　最急降下方向決定部
１２、重み変更量算出部１３、重み変更部１４は、上述
したものと同様である。さらに、後述するように、１５
は学習進度判定部、１６はしきい値制御部、１７は誤差
信号判定部、２０は重み変更量制御部、２１は直線探索
部、２２は放物線近似部、２３は重み変更量選択部であ
る。
以上のように構成された本実施例の学習機械について、
以下その動作を説明する。
従来の学習機械と同様に、出力信号算出部１は出力信号
を計算し、該出力信号と教０ｉ１ｉ信号発生部１０の出
力から誤差信号算出部１１により（１）式に基づいて誤
差Ｅが計算される。このようにしてｉｔ算された誤差Ｅ
をもとに最急降下方向決定部１２は前記出力信号算出部
１０重みベクトルの変更部ｇ＝ａＥｌａＷ を計算する。
重み変更量算出部１３は、該最急降下方向から前記出力
信号算出部１の重みベクトルの変更量を次式により計算
し、重み変更量選択部２３に出力する。
△Ｗ＝−ε零ｇ＋α＊△Ｗ′ にで、εは学習レートと叶ばれる正の定数、αは加速パ
ラメータと呼ばれる正の定数であり、ΔＷ′は、前回の
学習における重みベクトルの変更量である。このとき、
重み変更量制御部２０は、誤差信号判定部１７において
誤差ＩＬｐｉｏ。ｋがしきい値制御部１６により設定さ
れたしきい値Ｔより小さいと判定された前記出力信号算
出部ｌにおける最上位層の多入力・一出力信号処理部３
０重み係数変更量をＯにする。なお、しきい値制御部１
６は、学習進度判定部１５の判定結果をもとに学習が進
むにつれ、前記しきい値Ｔを小さい値に切り換えて行く
。この学習進度判定部１５における学習進度の判定は、
前記出力信号算出部１の最上位層における多入力・一出
力信号処理部３の誤差総和による判定、学習回数による
判定、前記出力信号算出部ｌの最上位層において、しき
い値以上の誤差を出力する多入力・一出力信号処理部の
個数による判定、前記誤差信号算出部の一回の学習にお
ける最大出力の値による判定等の方法を用いてなされる
。
直線探索部２１は、該最急降下方向に関して複数の学習
パラメータに対する重み変更量を算出し、放物線近似部
２２で、誤差の値が小さい学習パラメータに対する誤差
の値から誤差曲面を放物線近似し、誤差が最小となる重
み変更量を選択後、重み変更量選択部２３に出力する。
重み変更量選択部２３は、たとえば学習の前半は最急降
下方向から算出された重み変更量を選択し、学習の後半
は最急降下方向に関して複数の学習パラメータにより算
出された変更量の中から放物線近似により決定された重
み変更量を選択するというように、該しきい値Ｔの値に
より、最急降下方向から算出された重み変更量か、最急
降下方向に関して複数の学習パラメータにより算出され
た変更量の中から放物線近似により決定された重み変更
量のどちらかを選択し、重み変更部１４に出力する。
このようにして計算された重みベクトルの変更量をもと
に、重み変更部１４は出力信号算出部ｌの重みベクトル
を変更する。
以−Ｌのように重みの更新を繰り返すことにより、誤差
を小さくしてゆき、誤差が十分小さくなると、出力信号
が望ましい値に十分近くなったものとして、学習を終了
する。
このように本実施例によれば、誤差の大きさがしきい値
以下の多入力・一出力信号処理部については重みを変更
しないだけでなく、重みを変更するかどうかの判定基準
であるしきい値を、学習が進むにつれて小さくして行く
ことにより、学習の前半は大まかに学習し、徐々に学習
の精度を上げて行くので、学習効率が向上し、学習に要
する時間が短縮できる。しかも、学習の前半は最急降下
方向から算出された重み変更量を選択し、学習の後半は
最急降下方向に関して複数の学習パラメータにより算出
された変更量の中から放物線近似により決定された重み
変更量を選択し重みを変更するので、学習効率が向上し
、学習に要する時間を短縮できる。
第３図は本発明の第３の発明の一実施例における学習機
械の構成を示すものである。第３図において、出力信号
算出部ｌ、教師信号発生部１０、誤差信号算出部１１、
最急降下方向決定部１２、重み変更量算出部１３、重み
変更部１４は、上述したものと同様である。さらに、後
述するように、１５は学習進度判定部、１６はしきい値
制御部、１７は誤差信号判定部、１８は共役勾配方向決
定部、２０は重み変更量制御部、２１は直線探索部、２
２は放物線近似部、２３は重み変更選択部である。
以上のように構成された本実施例の学習機械について、
以下その動作を説明する。
従来の学習機械と同様に、出力信号算出部ｌは出力信号
を計算し、該出力信号と教師信号発生部ｌＯの出力から
誤差信号算出部１１により（１）式に基づいて誤差Ｅが
計算される。このようにして計算された誤差Ｅをもとに
最急降下方向決定部１２は前記出力信号算出部１の重み
ベクトルの変更方向である最急降下方向 ｇ＝ａＥｌａｗ を計算する。
重み変更量算出部１３は、該最急降下方向から、前記出
力信号算出部１の重みベクトルの変更量を次式により計
算する。
△Ｗ＝−ε木ｇ＋α＊△Ｗ′ にで、εは学習レートと呼ばれる正の定数、αは加速パ
ラメータと呼ばれる正の定数であり、ΔＷ′は、前回の
学習における重みベクトルの変更量である。このとき、
重み変更量制御部２０は、誤差信号判定部１７において
誤差ＩＬｐ＊　　ｏ、ｋｆがしきい値制御部１６により
設定されたしきい値Ｔより小さいと判定された前記出力
信号算出部１における最上位層の多入力・一出力信号処
理部３の重み係数変更量を０にする。なお、しきい値制
御部１６は、学習進度判定部１５の判定結果をもとに学
習が進むにつれ、前記しきい値Ｔを小さい値に切り換え
て行く。なお、前記学習進度判定部１５における学習進
度の判定は、前記出力信号算出部１の最上位層における
多入力・一出力信号処理部３の誤差総和による判定、学
習回数による判定、前記出力信号算出部ｌの最上位層に
おいて、しきい値以上の誤差を出力する多入力・一出力
信号処理部の個数による判定、前記誤差信号算出部の一
回の学習における最大出力の値による判定などの方法を
用いておこなわれる。
共役勾配方向決定部１８は、前記最急、降下方向から次
式により、共役勾配方向を計算する。
ｄ＝ｇ＋β本ｄ′ β＝１ｇ＋２　／　　Ｉｇ’＋２ で与えられる定数であり、ｄ゛は前回の学習における共
役勾配方向、１ｇ゛１は前回の学習における最急降下方
向ｇ′のノルＪ、である。なお初回の学習における重み
変更方向は、最急降下方向に決定する。
直線探索部２１は、該共役勾配方向に関して複数の学習
パラメータに対する重み変更量を算出し、放物線近似部
２２で、誤差のｌ＋ｎが小さい学習パラメータに対する
誤差の値から誤差曲面を放物線近似し、誤差が最小とな
る重み変更量を選択後、重み変更量選択部２３に出力す
る。
重み変更量選択部２３は、たとえば学習の前半は最急降
下方向から算出された重み変更量を選択し、学習の後半
は共役勾配方向に関して複数の学習パラメータにより算
出された変更量の中から放物線近似により決定された重
み変更量を選択するというように、該しきい値Ｔの値に
より、最急降下方向から算出された重み変更量か、共役
勾配方向に関して複数の学習パラメータにより算出され
た変更量の中から放物線近似により決定された重み変更
量のどちらかを選択し、重み変更部１４に出力する。
このようにして計算された重みベクトルの変更量をもと
に、重み変更部１４は出力信号算出部ｌの重みベクトル
を変更する。
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
る。
このように本実施例によれば、誤差の大きさがしきい値
以下の多入力・一出力信号処理部については重みを変更
しないだけでなく、重みを変更するかどうかの判定基準
であるしきい値を、学習が進むにつれて小さくして行く
ことにより、学習の前半は大まかに学習し、徐々に学習
の精度を上げて行くので、学習効率が向上し、学習に要
する時間が短縮できる。しかも、学習の前半は最急降下
方向から算出された重み変更量を選択し、学習の後半は
共役勾配方向に関して複数の学習パラメータにより算出
された変更量の中から放物線近似により決定された重み
変更量を選択し重みを変更するので、学習効率が向上し
、学習に要する時間を短縮できる。
第４図は、本発明の第４の発明の一実施例における学習
機械の構成図を示すものである。
第４図において、出力信号算出部１、教師信号発生部１
０、誤差信号算出部１１、最急降下方向決定部１２、重
み変更量算出部１３、重み変更部１４は、上述したもの
と同様である。さらに、後述するように、１５は学習進
度判定部、１６はしきい値制御部、１７は誤差信号判定
部、１８は共役勾配方向決定部、１９は重み変更方向選
択部、２４は飛び越し判定部、２５は重み変更制御部で
ある。
以上のように構成された本発明の第４の発明における実
施例の学習機械について、以下その動作を説明する。
従来の学習機械と同様に、出力信号算出部１は出力信号
を計算し、該出力信号と教師信号発生部１０の出力から
誤差信号算出部１１により（１）式に基づいて誤差Ｅが
計算される。このようにして計算された誤差Ｅをもとに
最急降下方向決定部１２は前記出力信号算出部ｌの重み
ベクトルの変更方向である最急降下 方向 ｇ＝ａＥｌａＷ を計算する。
共役勾配方向決定部１８は、該最急降下方向かｄ＝ｇ＋
β本ｄ′ β＝１ｇ＋２　／　　Ｉｇ’＋２ で与えられる定数であり、ｄ′は前回の学習における共
役勾配方向、　ｌ　ｇ’ｌは前回の学、習における最急
降下方向ｇ′のノルＪ、である。なお初回の学習におけ
る重み変更方向は、最急降下方向に決定する。
しきい値制御部１６は、学習進度判定部１５の判定結果
をもとに学習が進むにつれ、前記しきい値Ｔを小さい値
に切り換えて行く。なお、前記学習進度判定部１５にお
ける学習進度の判定は、前記出力信号算出部ｌの最」三
位層における多入力・一出力信号処理部３の誤差総和に
よる判定、学習回数による判定、前記出力信号１ｆ出部
ｌの最上位層において、しきい値以上の誤差を出力する
多入力・一出力信号処理部の個数による判定、前記誤差
信号算出部の一回の学習における最大出力の値による判
定等の方法を用いて行われる。
重み変更方向選択部１９は、たとえば学習の前半は最急
降下方向で学習し、学習の後半は共役勾配方向を選択す
るというように、該しきい（１αＴの値により、前記最
急降下方向か、前記共役勾配方向のどちらかを選択し、
重み変更量算出部１３に出力する。重み変更量算出部１
３は、該選択された重み変更方向が、最急降下方向の場
合、前記出力信号算出部ｌの重みベクトルの変更量を次
式によりｉｔ　ｎする。
△Ｗ＝−ε木ｇ＋αネへＷ′ にで、εは学習レートと呼ばれる正の定数、αは加速パ
ラメータと呼ばれる正の定数であり、ΔＷ′は、前回の
学習における重みベクトルの変更量である。一方、該選
択された重み変更方向が、共役勾配方向の場合、重みベ
クトルの変更量を次ΔＷ＝−ε木ｄ このようにして計算された重みベクトルの変更量をもと
に、重み変更部１４は出力信号算出部ｌの重みベクトル
を変更する。
このとき、誤差信号判定部１７は、誤差Ｉｔｐｋｏｐｂ
ｌがしきい値制御部１６により設定されたしきい１ｔｌ
ｉ　Ｔより小さいかどうかを調べ判定結果として誤差が
しきい値より大きい時は０を、小さいときはｌを飛び越
し判定部２４に出力する。飛び越し判定部２４は、前記
判定結果を計数し、最上位層の全ての多入力・一出力信
号処理部の誤差Ｌ　Ｄｋ　　ｏ　ｐｋ　ｌがしきい１【
αＴ以下の時、飛び越し信号を出力する。重み変更制御
部２５は、飛び越し判定部２４が飛び越し信号を発生し
た時、重み変更部１４における重み変更操作を飛ばすよ
うに制御する。
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい１１αに十分近くなったものとして、学習を終
了する。
このように本実施例によれば、入力データに対して全て
の多入力・一出力信号処理部の誤差がしきい値以下の場
合、重み変更部における重み変更操作をとばすだけでな
く、重みを変更するかどうかの判定基準であるしきい値
を、学習が進むにつれて小さくして行くことにより、学
習の前半は大まかに学習し、徐々に学習の精度を上げて
行くのて、演算量が大幅に削減でき、学習効率も向上す
るので、学習に要する時間が短縮できる。しかも、学習
の前半は重み変更方向を局所的に最も効率のよい最急降
下方向を選択し、学習の後半は、大局的にみて最も効率
のよい共役勾配方向を選択し重みを変更するので、学習
効率が向上し、学習に要する時開を短縮できる。
第５図は、本発明の第５の発明の一実施例における学習
機械の構成を示すものである。第５図において、出力信
号算出部１、教師信号発生部１０、誤差信号算出部１１
、最急降下方向決定部１２、重み変更量算出部１３、重
み変更部１４は、上述したものと同様である。さらに、
後述するように、Ｉ５は学習進度判定部、１６はしきい
値制御部、１７は誤差信号判定部、２１は直線探索部、
２２は放物線近似部、２３は重み変更量選択部、２４は
飛び越し判定部、２５は重み変更制御部である。
以東のように構成された本実施例の学習機械について、
以下その動作を説明する。
従来の学習機械と同様に、出力信号算出部１は出力信号
を計算し、該出力信号と教師信号発生部１０の出力から
誤差信号算出部１１により（１）式に基づいて誤差Ｅが
計算される。このようにして計算された誤差Ｅをもとに
最急降下方向決定部１２は前記出力信号算出部ｌの重み
ベクトルの変更部ｇ＝ａＥｌａＷ を計算する。
重み変更量算出部１３は、該最急降下方向から前記出力
信号算出部ｌの重みベクトルの変更量を次式により計算
し、重み変更量選択部２３に出力△Ｗ＝−ε零ｇ＋α本
△Ｗ′ にで、εは学習レートと呼ばれる正の定数、αは加速パ
ラメータと呼ばれる正の定数であり、ΔＷ′は、前回の
学習における重みベクトルの変更量である。
直線探索部２１は、該最急降下方向に関して複数の学習
パラメータに対する重み変更量を算出し、放物線近似部
２２で、誤差の１」αが小さい学習パラメータに対する
誤差の値から誤差曲面を放物線近似し、誤差が最小とな
る重み変更量を選択後、重み変更量選択部２３に出力す
る。
しきい値制御部１６は、学習進度判定部１５の判定結果
をもとに学習が進むにつれ、前記しきい１直Ｔを小さい
値に切り換えて行く。この学習進度判定部１５における
学習進度の判定は、前記出力信号算出部１の最上位層に
おける多入力・一出力信号処理部３の誤差総和による判
定、学習回数による判定、前記出力信号算出部１の最上
位層において、しきい値以上の誤差を出力する多入力・
一出力信号処理部の個数による判定、前記誤差信号算出
部の一回の学習における最大出力の１１ｎによる判定等
の方法を用いて行われる。
重み変更量選択部２３は、たとえば学習の前半は最急降
下方向から算出された重み変更量を選択し、学習の後半
は最急降下方向に関して複数の学習パラメータにより算
出された変更量の中から放物線近似により決定された重
み変更量を選択するというように、該しきいｔｈＩＩＴ
の１１αにより、最急降下方向から算出された重み変更
量か、最急降下方向に関して複数の学習パラメータによ
り算出された変更量の中から放物線近似により決定され
た重み変更量のどちらかを選択し、重み変更部１４に出
力する。
このようにして計算された重みベクトルの変更量をもと
に、重み変更部１４は出力信号算出部１の重みベクトル
を変更する。
このとき、誤差信号判定部１７は、誤差１ｔ、に−ｏｐ
ｋｌがしきい値制御部１６により設定されたしきいＩＩ
！Ｉ’Ｉ’より小さいかどうかを調べ、判定結果として
誤差がしきい値より大きい時は０を、小さいときはｌを
飛び越し判定部２４に出力する。飛び越し判定部２４は
、前記判定結果を計数し、最上位層の全ての多入力・一
出力信号処理部の誤差ｔ　ｐｋ　　Ｏｕｔがしきい値Ｔ
以下の時、飛び越し信号を出力する。重み変更制御部２
５は、飛び越し判定部２４が飛び越し信号を発生した時
、重み変更部１４における重み変更操作を飛ばすように
制御する。
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
る。
このように本実施例によれば、入力データに対して全て
の多入力・一出力信号処理部の誤差がしきい値以下の場
合、重み変更部における重み変更操作をとばすだけでな
く、重みを変更するかどうかの判定基準であるしきい値
を、学習が進むにつれて小さくして行くことにより、学
習の前半は大まかに学習し、徐々に学習の精度を上げて
行くので、演算量が大幅に削減でき、学習効率も向上す
るので、学習に要する時間が短縮できる。しかも、学習
の前半は最急降下方向から算出された重み変更量を選択
し、学習の後半は最急降下方向に関して複数の学習パラ
メータにより算出された変更量の中から放物線近似によ
り決定された重み変更量を選択し重みを変更するので、
学習効率が向上し、学習に要する時間を短縮できる。
第６図は本発明の第６の発明の一実施例における学習機
械の構成を示すものである。
第６図において、出力信号算出部１、教師信号発生部１
０、誤差信号算出部１１、最急降下方向決定部１２、重
み変更量算出部１３、重み変更部１４は、上述したもの
と同様である。さらに、後述するように、１５は学習進
度判定部、１６はしきい値制御部、１７は誤差信号判定
部、１８は共役勾配方向決定部、２１は直線探索部、２
２は放物線近似部、２３は重み変更選択部、２４は飛び
越し判定部、２５は重み変更制御部である。
以上のように構成された本実施例の学習機械について、
以下その動作を説明する。
従来の学習機械と同様に、出力信号算出部ｌは出力信号
を計算し、該出力信号と教師信号発生部ＩＯの出力から
誤差信号算出部１１により０）式に基づいて誤差Ｅが計
算される。このようにして計算された誤差Ｅをもとに最
急降下方向決定部１２は前記出力信号算出部１の重みベ
クトルの変更部ｇ＝ａＥｌａＷ を計算する。
重み変更量算出部１３は、該最急降下方向から、前記出
力信号算出部ｌの重みベクトルの変更量を次式により計
算する。
△Ｗ＝−ε零ｇ＋α本ΔＷ′ にで、εは学習レートと呼ばれる正の定数、αは加速パ
ラメータと呼ばれる正の定数であり、ΔＷ′は、前回の
学習における重みベクトルの変更量である。
共役勾配方向決定部１８は、該最急降下方向から次式に
より、兵役勾配方向を計算する。
→　　　→　　　　　　　　　　→ ｄ＝ｇ十β＊ｄ′ にで、βは β＝１ｇ＋２／　　Ｉｇ’＋２ で与えられる定数であり、（１′は前回の学習における
共役勾配方向、１ｇ′１は前回の学習における最急降下
方向ｇ′のノルムである。なお初回の学習における重み
変更方向は、最急降下方向に決定する。
直線探索部２１は、該共役勾配方向に関して複数の学習
パラメータに対する重み変更量を算出し、放物線近似部
２２で、誤差の値が小さい学習パラメータに対する誤差
の値から誤差曲面を放物線近似し、誤差が最小となる重
み変更量を選択後、重み変更量選択部２３に出力する。
しきい値制御部１６は、学習進度判定部１５の判定結果
をもとに学習が進むにつれ、前記しきい値Ｔを小さい値
に切り換えて行く。この学習進度判定部１５における学
習進度の判定は、前記出力信号算出部ｌの最上位層にお
ける多入力・一出力信号処理部３の誤差総和による判定
、学習回数による判定、前記出力信号算出部ｌの最上位
層において、しきい値以上の誤差を出力する多入力・一
出力信号処理部の個数による判定、前記誤差信号算出部
の一回の学習における最大出力の値による判定等の方法
を用いる。
重み変更量選択部２３は、たとえば学習の前半は最急降
下方向から算出された重み変更量を選択し、学習の後半
は共役勾配方向に関して複数の学習パラメータにより算
出された変更量の中から放物線近似により決定された重
み変更量を選択するというように、該しきい値Ｔの値に
より、最急降下方向から算出された重み変更量か、共役
勾配方向に関して複数の学習パラメータにより算出され
た変更量の中から放物線近似により決定された重み変更
量のどちらかを選択し、重み変更部１４に出力する。
このようにして計算された重みベクトルの変更量をもと
に、重み変更部１４は出力信号算出部１の重みベクトル
を変更する。
このとき、誤差信号判定部１７は、誤差Ｉｔ、ｋｏｐｋ
ｌがしきい値制御部１６により設定されたしきい１ｆｉ
Ｔより小さいかどうかを調べ判定結果として誤差がしき
い値より大きい時はＯを、小さいときはｌを飛び越し判
定部２４に出力する。飛び越し判定部２４は、前記判定
結果を計数し、最上位層の全ての多入力・一出力信号処
理部の誤差ｔ　ｐｋ　　Ｏｐｋ　ｌがしきい値Ｔ以下の
時、飛び越し信号を出力する。重み変更制御部２５は、
飛び越し判定部２４が飛び越し信号を発生した時、重み
変更部１４における重み変更操作を飛ばすように制御す
る。
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
る。
このように本実施例によれば、入力データに対して全て
の多入力・一出力信号処理部の誤差がしきい値以下の場
合、重み変更部における重み変更操作をとばすだけでな
く、重みを変更するかどうかの判定基準であるしきい値
を、学習が進むにつれて小さくして行くことにより、学
習の前半は大まかに学習し、徐々に学習の精度を上げて
行くので、演算量が大幅に削減でき、学習効率も向上す
るので、学習に要する時間が短縮できる。しかも、学習
の前半は最急降下方向から算出された重み変更量を選択
し、学習の後半は共役勾配方向に関して複数の学習パラ
メータにより算出された変更量の中から放物線近似によ
り決定された重み変更量を選択し重みを変更するので、
学習効率が向上し、学習に要する時間を短縮できる。
発明の詳細 な説明したように、本発明の第１の発明、第２の発明、
第３の発明によれば、誤差の大きさがしきい値以下の多
入力・一出力信号処理部については重み変更はせず、重
みを変更するかどうかの判定基準であるしきい値を、学
習が進むにつれて小さくして行くことにより、学習の前
半は大まかに学習し、徐々に学習の精度を上げて行くの
で学習効率が向上し、学習に要する時間が短縮できる。
また、本発明の第１の発明によれば、重み変更方向を局
所的に最も効率のよい最急降下方向と大局的にみて最も
効率のよい共役勾配方向とから、学習の進度に応じて選
択し重みを変更するので、効率的な学習が可能となり、
学習に要する時間を短縮することができる。
また、本発明の第２の発明によれば、重み変更量を最急
降下方向から算出された重み変更量と最急降下方向に関
して複数の学習パラメータにより算出された変更量の中
から放物線近似により決定された重み変更量とから、学
習の進度に応じて選択し重みを変更するので、効率的な
学習が可能となり、学習に要する時間を短縮することが
できる。
また、本発明の第３の発明によれば、重み変更量を局所
的に最も効率のよい最急降下方向から算出された重み変
更量と、大局的にみて最も効率のよい共役勾配方向に関
して複数の学習パラメータにより算出された変更量の中
から放物線近似により決定された重み変更量とから、学
習の進度に応じて選択し重みを変更するので、効率的な
学習が可能となり、学習に要する時間を短縮することが
できる。
また、本発明の第４の発明、第５の発明、第６の発明に
よれば、入力データに対して全ての多入力・一出力信号
処理部の誤差がしきい値以下の場合、重み変更操作をと
ばし、重みを変更するかどうかの判定基準であるしきい
値を、学習が進むにつれて小さくして行くことにより、
学習の前半は大まかに学習し、徐々に学習の精度を上げ
て行くので、演算量が大幅に削減でき、学習効率も向上
するので、学習に要する時間が短縮できる。
また、本発明の第４の発明によれば、重み変更方向を局
所的に最も効率のよい最急降下方向と、大局的にみて最
も効率のよい共役勾配方向とから、学習の進度に応じて
選択し重みを変更するので、効率的な学習が可能となり
、学習に要する時間を短縮できる。
また、本発明の第５の発明によれは、重み変更量を最急
降下方向から算出された重み変更量と、最急降下方向に
関して複数の学習パラメータにより算出された変更量の
中から放物線近似により決定された重み変更量とから、
学習の進度に応じて選択し重みを変更するので、効率的
な学習が可能となり、学習に要する時間が短縮できる。
また、本発明の第６の発明によれば、重み変更量を局所
的に最も効率のよい最急降下方向から算出された重み変
更量と、大局的にみて最も効率のよい共役勾配方向に関
して複数の学習パラメータにより算出された変更量の中
から放物線近似により決定された重み変更量とから、学
習の進度に応じて選択し重みを変更するので、効率的な
学習が可能となり、学習に要する時間が短縮できる。
【図面の簡単な説明】
第１図は本発明の第１の発明の一実施例における学習機
械のブロック図、第２図は本発明の第２の発明の一実施
例における学習機械のブロック図、第３図は本発明の第
３の発明の一実施例における学習機械のブロック図、第
４図は本発明の第４の発明の一実施例における学習機械
のブロック図、第５図は本発明の第５の発明の一実施例
における学習機械のブロック図、第６図は本発明の第６
の発明の一実施例における学習機械のブロック図、第７
図は従来の学習機械のブロック図、第８図は従来の学習
機械における出力信号算出部のブロック図、第９図は従
来の学習機械における多入力・一出力信号処理部のブロ
ック図、第１０図は従来の学習機械におけるしきい値処
理部の人出力特性図である。 １・・・出力信号算出部、２・・・重み係数更新部、３
・・・多入力・一出力信号処理部、４・・・出力信号算
出部の入力部、５・・・多入力・一出力信号処理部の入
力部、６・・・メモリ、７・・・乗算器、８・・・加算
器、９・・・しきい値処理部、１０・・・教師信号発生
部、１１・・・誤差信号算出部、１２・・・最急降下方
向決定部、１３・・・重み変更量算出部、１４・・・重
み変更部、１５・・・学習進度判定部、１６・・・しき
い値制御部、】７・・・誤差信号判定部、１８・・・共
役勾配方向決定部、１９・・・重み変更方向選択部、２
０・・・重み変更量制御部、２１・・・直線探索部、２
２・・・放物線近似部、２３・・・重み変更量選択部、
２４・・・飛び越し判定部、２５・・・重み変更制御部
。 代理人　弁理士　松　ロ１　正　道 −、、−−−−−Ｊ

Claims (6)

    【特許請求の範囲】
  1. （１）層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力・一出力信号処理部を有する出力信号算出部
    と、該出力信号算出部で得られた出力信号をもとに前記
    出力信号算出部の重み係数の値を更新する重み係数更新
    部を備える学習機械において、 前記多入力・一出力信号処理部は、複数の重み係数を保
    持するメモリと、複数のデータを入力する入力部と、前
    記メモリに貯えられた重み係数で前記入力部からの入力
    データを重み付けする乗算手段と、前記乗算手段で重み
    付けされた複数のデータを多数加え合わせる加算手段と
    、該加算手段の出力を一定範囲の値に制限するしきい値
    処理部とを有し、 前記重み係数更新部は、前記出力信号算出部の出力信号
    の望ましい値として教師信号を与える教師信号発生部と
    、前記出力信号と該教師信号との誤差を求める誤差信号
    算出部と、前記誤差信号算出部の出力から最急降下方向
    を求める最急降下方向決定部と、該最急降下方向から共
    役勾配方向を求める共役勾配方向決定部と、誤差信号算
    出部からの誤差から学習の進み具合いを判定する学習進
    度判定部と、前記学習進度判定部の判定結果に応じて、
    しきい値の値を次第に減少させるしきい値制御部と、前
    記誤差信号算出部の出力が前記しきい値制御部のしきい
    値以下であるかどうかを判定する誤差信号判定部と、該
    しきい値の大きさに応じて重みの変更方向である最急降
    下方向と共役勾配方向のどちらかを選択する重み変更方
    向選択部と、該選択された重み変更方向から重み係数の
    変更量を計算する重み変更量算出部と、前記誤差信号判
    定部において誤差の値が前記しきい値以下と判定された
    場合には前記重み係数変更量を０にする重み変更量制御
    部と、前記重み変更量算出部の出力に応じて前記メモリ
    に蓄えられた重み係数を値を変更する重み変更部とを有
    する ことを特徴とする学習機械。
  2. （２）層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力・一出力信号処理部からなる出力信号算出部
    と、該出力信号算出部で得られた出力信号をもとに前記
    出力信号算出部の重み係数の値を更新する重み係数更新
    部を備えた学習機械において、 前記多入力・一出力信号処理部は、複数の重み係数を保
    持するメモリと、複数のデータを入力する入力部と、前
    記メモリに貯えられた重み係数で前記入力部からの入力
    データを重み付けする乗算手段と、前記乗算手段で重み
    付けされた複数のデータを多数加え合わせる加算手段と
    、該加算手段の出力を一定範囲の値に制限するしきい値
    処理部とを有し、 前記重み係数更新部は、前記出力信号算出部の出力信号
    の望ましい値として教師信号を与える教師信号発生部と
    、前記出力信号と該教師信号との誤差を求める誤差信号
    算出部と、前記誤差信号算出部の出力から最急降下方向
    を求める最急降下方向決定部と、該最急降下方向から重
    み係数の変更量を計算する重み変更量算出部と、前記最
    急降下方向に関して複数の学習パラメータに対する重み
    変更量を出力する直線探索部と、該直線探索部から出力
    された複数の重み変更量から放物線近似により重み変更
    量を決定する放物線近似部と、前記誤差信号算出部の誤
    差から学習の進み具合いを判定する学習進度判定部と、
    前記学習進度判定部の判定結果に応じて、しきい値の値
    を次第に減少させるしきい値制御部と、前記誤差信号算
    出部の出力がしきい値以下であるかどうかを判定する誤
    差信号判定部と、前記誤差信号判定部において誤差の値
    が前記しきい値以下と判定された場合には前記重み係数
    変更量を０にする重み変更量制御部と、該しきい値の大
    きさに応じて前記重み変更量算出部の出力と前記放物線
    近似部の出力のどちらかを選択する重み変更量選択部と
    、該選択された重み変更量に応じて前記メモリに蓄えら
    れた重み係数の値を変更する重み変更部とを有する ことを特徴とする学習機械。
  3. （３）層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力・一出力信号処理部からなる出力信号算出部
    と、該出力信号算出部で得られた出力信号をもとに前記
    出力信号算出部の重み係数の値を更新する重み係数更新
    部を備えた学習機械において、 前記多入力・一出力信号処理部は、複数の重み係数を保
    持するメモリと、複数のデータを入力する入力部と、前
    記メモリに貯えられた重み係数で前記入力部からの入力
    データを重み付けする乗算手段と、前記乗算手段で重み
    付けされた複数のデータを多数加え合わせる加算手段と
    、該加算手段の出力を一定範囲の値に制限するしきい値
    処理部とを有し、 前記重み係数更新部は、前記出力信号算出部の出力信号
    の望ましい値として教師信号を与える教師信号発生部と
    、前記出力信号と該教師信号との誤差を求める誤差信号
    算出部と、前記誤差信号算出部の出力から最急降下方向
    を求める最急降下方向決定部と、該最急降下方向から重
    み係数の変更量を計算する重み変更量算出部と、該最急
    降下方向から共役勾配方向を求める共役勾配方向決定部
    と、前記共役勾配方向に関して複数の学習パラメータに
    対する重み変更量を出力する直線探索部と、該直線探索
    部から出力された複数の重み変更量から放物線近似によ
    り重み変更量を決定する放物線近似部と、前記誤差信号
    算出部の誤差から学習の進み具合いを判定する学習進度
    判定部と、前記学習進度判定部の判定結果に応じて、し
    きい値の値を次第に減少させるしきい値制御部と、前記
    誤差信号算出部の出力がしきい値以下であるかどうかを
    判定する誤差信号判定部と、前記誤差信号判定部におい
    て誤差の値が前記しきい値以下と判定された場合には前
    記重み係数変更量を０にする重み変更量制御部と、該し
    きい値の大きさに応じて前記重み変更量算出部の出力と
    前記放物線近似部の出力のどちらかを選択する重み変更
    量選択部と、該選択された重み変更量に応じて前記メモ
    リに蓄えられた重み係数の値を変更する重み変更部とを
    有する ことを特徴とする学習機械。
  4. （４）層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力・一出力信号処理部からなる出力信号算出部
    と、該出力信号算出部で得られた出力信号をもとに前記
    出力信号算出部の重み係数の値を更新する重み係数更新
    部とを備えた学習機械において、 前記多入力・一出力信号処理部は、複数の重み係数を保
    持するメモリと、複数のデータを入力する入力部と、前
    記メモリに貯えられた重み係数で前記入力部からの入力
    データを重み付けする乗算手段と、前記乗算手段で重み
    付けされた複数のデータを多数加え合わせる加算手段と
    、該加算手段の出力を一定範囲の値に制限するしきい値
    処理部とを有し、 前記重み係数更新部は、前記出力信号算出部の出力信号
    の望ましい値として教師信号を与える教師信号発生部と
    、前記出力信号と該教師信号との誤差を求める誤差信号
    算出部と、前記誤差信号算出部の出力から最急降下方向
    を求める最急降下方向決定部と、該最急降下方向から共
    役勾配方向を求める共役勾配方向決定部と、前記誤差信
    号算出部の誤差から学習の進み具合いを判定する学習進
    度判定部と、前記学習進度判定部の判定結果に応じて、
    前記しきい値の値を次第に減少させるしきい値制御部と
    、前記誤差信号算出部の出力がしきい値以下であるかど
    うかを判定する誤差信号判定部と、前記誤差信号判定部
    の出力を計数し全ての出力信号が前記しきい値以下の場
    合に飛び越し信号を出力する飛び越し判定部と、該しき
    い値の大きさに応じて重みの変更方向である最急降下方
    向と共役勾配方向のどちらかを選択する重み変更方向選
    択部と、該選択された重み変更方向から重み係数の変更
    量を計算する重み変更量算出部と、前記重み変更量算出
    部の出力に応じて前記メモリに蓄えられた重み係数の値
    を変更する重み変更部と、前記飛び越し信号に応じて前
    記重み変更部における重み変更操作をとばす重み変更制
    御部とを有する ことを特徴とする学習機械。
  5. （５）層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力・一出力信号処理部からなる出力信号算出部
    と、該出力信号算出部で得られた出力信号をもとに前記
    出力信号算出部の重み係数の値を更新する重み係数更新
    部とを備えた学習機械において、 前記多入力・一出力信号処理部は、複数の重み係数を保
    持するメモリと、複数のデータを入力する入力部と、前
    記メモリに貯えられた重み係数で前記入力部からの入力
    データを重み付けする乗算手段と、前記乗算手段で重み
    付けされた複数のデータを多数加え合わせる加算手段と
    、該加算手段の出力を一定範囲の値に制限するしきい値
    処理部とを有し、 前記重み係数更新部は、前記出力信号算出部の出力信号
    の望ましい値として教師信号を与える教師信号発生部と
    、前記出力信号と該教師信号との誤差を求める誤差信号
    算出部と、前記誤差信号算出部の出力から最急降下方向
    を求める最急降下方向決定部と、該最急降下方向から重
    み係数の変更量を計算する重み変更量算出部と、前記最
    急降下方向に関して複数の学習パラメータに対する重み
    変更量を出力する直線探索部と、該直線探索部から出力
    された複数の重み変更量から放物線近似により重み変更
    量を決定する放物線近似部と、前記誤差信号算出部の誤
    差から学習の進み具合いを判定する学習進度判定部と、
    前記学習進度判定部の判定結果に応じて、前記しきい値
    の値を次第に減少させるしきい値制御部と、前記誤差信
    号算出部の出力がしきい値以下であるかどうかを判定す
    る誤差信号判定部と、前記誤差信号判定部の出力を計数
    し全ての出力信号が前記しきい値以下の場合に飛び越し
    信号を出力する飛び越し判定部と、該しきい値の大きさ
    に応じて前記重み変更量算出部の出力と前記放物線近似
    部の出力のどちらかを選択する重み変更量選択部と、該
    選択された重み変更量に応じて前記メモリに蓄えられた
    重み係数の値を変更する重み変更部と、前記飛び越し信
    号に応じて前記重み変更部における重み変更操作をとば
    す重み変更制御部とを有する ことを特徴とする学習機械。
  6. （６）層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力・一出力信号処理部からなる出力信号算出部
    と、該出力信号算出部で得られた出力信号をもとに前記
    出力信号算出部の重み係数の値を更新する重み係数更新
    部とを備えた学習機械において、 前記多入力・一出力信号処理部は、複数の重み係数を保
    持するメモリと、複数のデータを入力する入力部と、前
    記メモリに貯えられた重み係数で前記入力部からの入力
    データを重み付けする乗算手段と、前記乗算手段で重み
    付けされた複数のデータを多数加え合わせる加算手段と
    、該加算手段の出力を一定範囲の値に制限するしきい値
    処理部とを有し、 前記重み係数更新部は、前記出力信号算出部の出力信号
    の望ましい値として教師信号を与える教師信号発生部と
    、前記出力信号と該教師信号との誤差を求める誤差信号
    算出部と、前記誤差信号算出部の出力から最急降下方向
    を求める最急降下方向決定部と、該最急降下方向から重
    み係数の変更量を計算する重み変更量算出部と、該最急
    降下方向から共役勾配方向を求める共役勾配方向決定部
    と、前記共役勾配方向に関して複数の学習パラメータに
    対する重み変更量を出力する直線探索部と、該直線探索
    部から出力された複数の重み変更量から放物線近似によ
    り重み変更量を決定する放物線近似部と、前記誤差信号
    算出部の誤差から学習の進み具合いを判定する学習進度
    判定部と、前記学習進度判定部の判定結果に応じて、前
    記しきい値の値を次第に減少させるしきい値制御部と、
    前記誤差信号算出部の出力がしきい値以下であるかどう
    かを判定する誤差信号判定部と、前記誤差信号判定部の
    出力を計数し全ての出力信号が前記しきい値以下の場合
    に飛び越し信号を出力する飛び越し判定部と、該しきい
    値の大きさに応じて前記重み変更量算出部の出力と前記
    放物線近似部の出力のどちらかを選択する重み変更量選
    択部と、該選択された重み変更量に応じて前記メモリに
    蓄えられた重み係数の値を変更する重み変更部と、前記
    飛び越し信号に応じて前記重み変更部における重み変更
    操作をとばす重み変更制御部とを有することを特徴とす
    る学習機械。
JP2234287A 1990-09-04 1990-09-04 学習機械 Pending JPH04114263A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2234287A JPH04114263A (ja) 1990-09-04 1990-09-04 学習機械
EP91114955A EP0474222B1 (en) 1990-09-04 1991-09-04 Learning machine with a hierarchical structure without mutual connections within levels thereof
DE69130387T DE69130387T2 (de) 1990-09-04 1991-09-04 Lernmaschine mit hierarchischer Struktur ohne wechselseitige Verbindungen innerhalb eines Schichtes
US07/754,517 US5295228A (en) 1990-09-04 1991-09-04 Learning machine with a hierarchial structure without mutual connections within levels thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2234287A JPH04114263A (ja) 1990-09-04 1990-09-04 学習機械

Publications (1)

Publication Number Publication Date
JPH04114263A true JPH04114263A (ja) 1992-04-15

Family

ID=16968621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2234287A Pending JPH04114263A (ja) 1990-09-04 1990-09-04 学習機械

Country Status (4)

Country Link
US (1) US5295228A (ja)
EP (1) EP0474222B1 (ja)
JP (1) JPH04114263A (ja)
DE (1) DE69130387T2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635888A (ja) * 1992-07-15 1994-02-10 Mitsubishi Electric Corp 神経回路網の学習方法及びその学習方法を用いた電力系統電圧・無効電力制御装置
US5726688A (en) * 1995-09-29 1998-03-10 Ncr Corporation Predictive, adaptive computer interface
US6652283B1 (en) 1999-12-30 2003-11-25 Cerego, Llc System apparatus and method for maximizing effectiveness and efficiency of learning retaining and retrieving knowledge and skills
US7319943B2 (en) * 2002-12-16 2008-01-15 Canon Kabushiki Kaisha Optimum design method, and apparatus, and program for the same
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US11074495B2 (en) 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11195057B2 (en) 2014-03-18 2021-12-07 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US11914674B2 (en) 2011-09-24 2024-02-27 Z Advanced Computing, Inc. System and method for extremely efficient image and pattern recognition and artificial intelligence platform
CN102866179B (zh) * 2012-09-13 2014-06-18 重庆大学 基于人工智能学习机的电子鼻中非目标干扰气味的在线识别和抑制方法
CN104200268B (zh) * 2014-09-03 2017-02-15 辽宁大学 一种基于粒子群优化极限学习机的带钢出口厚度预测方法
CN115171453B (zh) * 2022-06-13 2023-05-30 广东电网有限责任公司 一种基于智能电网的人工客服训练方法及客服系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62104324A (ja) * 1985-10-31 1987-05-14 Toshiba Corp 適応形自動等化器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4912652A (en) * 1988-12-14 1990-03-27 Gte Laboratories Incorporated Fast neural network training
DE69027874T2 (de) * 1989-02-23 1997-02-06 Matsushita Electric Ind Co Ltd Lernmaschine mit Mehreingangs- Einausgangsschaltungen, die in einer hierarchischen Struktur verbunden sind
DE69013716T2 (de) * 1989-02-23 1995-06-01 Matsushita Electric Ind Co Ltd Lernmaschine.

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62104324A (ja) * 1985-10-31 1987-05-14 Toshiba Corp 適応形自動等化器

Also Published As

Publication number Publication date
EP0474222A3 (en) 1994-05-18
DE69130387D1 (de) 1998-11-26
DE69130387T2 (de) 1999-05-06
EP0474222B1 (en) 1998-10-21
EP0474222A2 (en) 1992-03-11
US5295228A (en) 1994-03-15

Similar Documents

Publication Publication Date Title
Pasupathy et al. A multi-objective genetic algorithm for scheduling in flow shops to minimize the makespan and total flow time of jobs
JPH04114263A (ja) 学習機械
EP0657042B1 (en) Structured multiple-input multiple-output rate-optimal controller
Doush et al. Flow shop scheduling with blocking using modified harmony search algorithm with neighboring heuristics methods
CN107491599A (zh) 一种应力约束下多相材料柔性机构拓扑优化方法
WO2019159504A1 (ja) 電力変換器の制御装置
CN115133802B (zh) 一种逆变器模型预测控制方法
KR920006793B1 (ko) 학습기계
KR920006792B1 (ko) 다입력-출력회로를 계층형상으로 접속한 학습기계
JPWO2021054118A5 (ja)
JPH0451384A (ja) ニューラルネットワークの構築方法
Ertugrul et al. Neural network adaptive sliding mode control and its application to SCARA type robot manipulator
JPH0367358A (ja) 学習機械
CN109981056B (zh) 一种基于npc逆变器的数字功率放大器的输出控制方法
JP2779119B2 (ja) 学習認識装置
JPH04662A (ja) 学習機械
CN111738432A (zh) 一种支持自适应并行计算的神经网络处理电路
Minatohara et al. Self-organizing adaptive controllers: Application to the inverted pendulum
JP3262340B2 (ja) 情報処理装置
JP5034041B2 (ja) データ生成回路及びデータ生成方法
Cheng et al. Multiple-goal priority considerations of redundant manipulators
JPH02222061A (ja) 学習機械
JPH07210542A (ja) ニューロン回路
JP2570893B2 (ja) 信号処理装置
Cui et al. Solving a Combinatorial Optimization Problem with Feedforward Neural Networks