JPH02222062A - 学習機械 - Google Patents

学習機械

Info

Publication number
JPH02222062A
JPH02222062A JP1043731A JP4373189A JPH02222062A JP H02222062 A JPH02222062 A JP H02222062A JP 1043731 A JP1043731 A JP 1043731A JP 4373189 A JP4373189 A JP 4373189A JP H02222062 A JPH02222062 A JP H02222062A
Authority
JP
Japan
Prior art keywords
output signal
input
error
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1043731A
Other languages
English (en)
Inventor
Toshiyuki Koda
敏行 香田
〆木 泰治
Taiji Shimeki
Shigeo Sakagami
茂生 阪上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP1043731A priority Critical patent/JPH02222062A/ja
Priority to DE69013716T priority patent/DE69013716T2/de
Priority to US07/481,316 priority patent/US5129038A/en
Priority to EP90301810A priority patent/EP0384709B1/en
Priority to KR1019900002310A priority patent/KR920006793B1/ko
Publication of JPH02222062A publication Critical patent/JPH02222062A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明はデータ処理装置の学習機械に関するものである
従来の技術 従来の、学習機械としては、例えばテ゛イイー1L:/
メルハルト、シーイヒルトン 及びY−ルシ゛1イウイ
リ7ムス(D、  E、  Rumelhart、 G
、 E、旧nton and R,J−William
s)による”ラーニンク゛レフ″シセ゛シテイショシ 
 バーツタフロ0八〇ケーイテインクーIラ−(Lea
r旧ng  Representations  by
  Back−Propagating  Error
s)、″ネイチ+−(Nature)、  vol、3
23.  pp、533−536.  Oct。
9.1986)に示されている。この従来の学習機械は
、第9図に示すように出力信号算出部と重み係数更新部
からなり、前記出力信号算出部は層構造をもち、各層内
相互の結合がなく、上位層にのみ信号が伝搬するように
ネットワーク接続された複数の多入力一出力信号処理部
900から構成される。各多入力一出力信号処理部90
0はそれに接続されている下層の多入力一出力信号処理
部900の出力とその接続の度合である重み係数とを掛
は合わせたものの総和をしきい値開数で変換した後、そ
の値を上層への出力として伝達する働きをしている。重
み係数更新部は、前記出力信号算出部の入力部901か
ら入力される信号に応じて、教師信号発生部902が前
記入力信号にたいする望ましい出力信号を教師信号tk
として発生し、誤差信号算出部903において前記出力
信号算出部から出力される実際の出力信号0* (Ok
は、出力信号算出部における最上位層の第に番目の多入
力一出力信号処理部の出力を表す。)と前記教師信号と
の差から誤差E =0.5 (t *−Ob) 2が計
算されこの値で現在の結合状態(重み係数の大きさ)で
のネットワークの性能を評価する。このようにして計算
された誤差Eをもとに重み変更量算出部904は前記出
力信号算出部の重み係数の変更量△Wi4を次式に基づ
いて計算する。
Δw、= −εつE / :Q W ; 4ここで、ε
は学習レートと呼ばれる正の定数である。以上のように
重みの更新を繰り返すことにより、誤差を小さくしてゆ
き、誤差が十分小さくなると、出力信号が望ましい値に
十分近くなったものとして、学習を終了する。
発明が解決しようとする課題 しかしながら上記のような構成では、最上位層における
一部の多入力一出力信号処理部の誤差だけが、非常に大
きくなったまま収束せずに残ってしまうことから、学習
に要する時間が長くなるという課題を有していた。
本発明はかかる点に鑑み、学習に要する時間の短い学習
機械を提供することを目的とする。
課題を解決するための手段 本発明は、層構造をもち、各層内相互の結合がなく、上
位層にのみ信号が伝搬するようにネットワーク接続され
た複数の多入力一出力信号処理部からなる出力信号算出
部と、該出力信号算出部で得られた出力信号をもとに前
期出力信号算出部の重み係数の値を更新する重み係数更
新部を具備し、前記多入力一出力信号処理部は、複数の
重み係数を保持するメモリと、複数のデータを入力する
入力部と、前記メモリに貯えられた重み係数で前記入力
部からの入力データを重み付けする乗算手段と、前記乗
算手段で重み付けされた複数のデータを多数加え合わせ
る加算手段と、該加算手段の出力を一定範囲の値に制限
するしきい値処理部を備え、前記重み係数更新部は、上
記出力信号算出部の出力信号の望ましい値として教師信
号を与える教師信号発生部と、前記出力信号と該教師信
号との誤差を求める誤差信号算出部と、前記誤差信号算
出部の出力に応じて前記メモリに蓄えられた重み係数の
変更量を計算する重み変更量算出部と、前記誤差算出部
の出力に応じて前期重み係数の変更量を制御する重み変
更量制御部とを備えた学習機械である。
作用 本発明は前記した構成により、誤差の大きい出力信号を
より早く収束させることが出来るので学習に要する時間
を短縮することができる。
実施例 以下に、本発明の実施例について図面を参照しながら説
明する。第1図は本発明の第1の実施例における学習機
械の構成図を示すものである。第1図において、lは出
力信号算出部、2は該出力信号算出部lで得られた出力
信号をもとに前期出力信号算出部lの重み係数の値を更
新する重み係数更新部である。出力信号算出部・lは、
第2図に示すように多段の回路網的構成をしており、1
00は多入力一出力信号処理部、101は出力信号算出
部lの入力部である。このような出力信号算出glを構
成する多入力一出力信号処理部100の構成を具体的に
示したものが第3図である。第3図において、1001
は多入力一出力信号処理部100の入力部、1002は
入力部1001からの複数入力を重み付ける重み係数を
格納するメモリ、1003はメモリ1002の重み係数
と入力部1001からの入力を各々掛は合わせる乗算器
、1004は乗算器1003の各々の出力を足し合わせ
る加算器、1005は加算器1004の出力を一定範囲
の値に制限するしきい値処理部である。しきい値処理部
1005の入出力特性を第4図に示す。例えば、出力を
(0,1)の範囲に制限するしきい値処理部2000の
人出力特性はf (t)  =1/(1+exp(−1
十〇))   (1)と数式的に表現できる。ここで、
■はしきい値処理部1005の入力である。なお、しき
い値処理部1005の人出力特性としては上記以外のし
きい値開数でもよい。重み係数更新部2の構成図を第5
図に示す。200は教師信号発生部、201は誤差信号
算出部、202は重み変更量算出部、203は重み変更
量制御部である。
以上のように構成された第1の実施例の学習機械につい
て、以下その動作を説明する。
出力°信号算出部10入力部101に入力信号が入力さ
れると、各多入力一出力信号処理部101は、該多入力
一出力信号処理部101に接続されている下層の多入力
一出力信号処理部101の出力とメモリ1002に記憶
されているその接続の度合である重み係数とを乗算器1
003により掛は合わせ、前記乗算器1003の各々の
出力の総和を加算器1004で計算した後、しきい値処
理部1005で変換しその値を上層の多入力一出力信号
処理部へ出力する。つまり、第3図に示す多入力一出力
信号処理部100は、入力部1001への入力値をo+
(下層のj番目の多入力一出力信号処理部の出力)  
メモリ1002に格納されている重み係数をW+4(i
番目の多入力一出力信号処理部と下層のj番目の多入力
一出力信号処理部との結合重み)とすれば、 o、=f(ΣWit  (1)       (2)を
計算しているわけである。
重み係数更新部2は、前記出力信号算出部lの入力部1
01から入力される信号に応じて、教師信号発生部20
0が前記入力信号にたいする望ましい出力信号を教師信
号tkとして発生し、誤差信号算出部201において前
記出力信号算出部1から出力される実際の出力信号Ok
と前記教師信号との差から、@L位層におけるに番目の
多入力一出力信号処理部の誤差E:0.5(tb−Ob
)”が計算されこの値で現在の結合状態(重み係数の大
きさ)でのネットワークの性能を評価する。このように
して計算された誤差Eをもとに重み変更量算出部202
は前記出力信号算出部1のメモリ1002に記憶されて
いる重み係数の変更量ΔW、を次式に基づいて計算する
ΔW+7 =  −t aE/、;1wr4     
  (3)ここで、εは学習レートと呼ばれる正の定数
である。重み変更量制御部203は、誤差Itb  o
wlがしきい値Tより大きい場合に、前記出力信号算出
部1における最上位層の重み係数変更量のみm倍する。
以上のようにして、重みの更新を繰り返すことにより、
誤差を小さくしてゆき、誤差が十分小さくなると、出力
信号が望ましい値に十分近くなったものとして、学習を
終了する。
次に、この学習機械を文字認識に応用した例について説
明する。第6図はその構成図である。601は二1(α
化後の文字データから特徴パラメータを求める特徴抽出
部、602は特徴パラメータから文字を認識する文字認
識部、603は文字認識部20重み係数の値を更新する
重み係数更新部である。文字認識部602は、第7図に
示すように56個の中間ユニットをもち、64個の特徴
パラメータを入力として36個の英数字を認識する3層
の回路構成にした。重み係数更新部603における重み
の更新は、重み変更時に前回の変更量が影響するように
次式に基づいて重み係数を変更した。
Δw;7(n+1)=  −c 9E/’9w+  α
Δw+4(n) ここで、αは加速度レートと呼ばれる正の定数である。
第8図に、しきい値処理部2000の人出力特性を f  (1)  =I  / (1+exp(−1十〇
))   (1)しきい値Tを0.5、学習レートεを
0.2、加速度レートαを0.95とした場合の認識率
と学習に要する時間の関係を、制御f1mをパラメータ
として示した。ここで、m=1の場合は従来例に相当す
る。
第8図から明らかなように、本実施例は、従来例に比べ
て学習に要する時間が短くなることがわかる。例えば認
識率が99.9χになるまでの時間をm=4の場合とm
=1(従来例)の場合で比較すると約1/3に短縮され
ており、同様に認識率が10ozに達するまでの時間で
比較すると約1/4に短縮されている。
このように本実施例によれば、学習に要する時間を短く
することが出来る。
発明の詳細 な説明した゛ように、本発明によれば、誤差信号の大き
さに応じて重み係数の変更量を制御する重み変更量制御
部を設けることにより、誤差の大きい出力信号より速く
収束させることが出来、学習の高速化が計れるので、そ
の実用的効果は太きい。
【図面の簡単な説明】
第1図は本発明における第1の実施例における学習機械
のブロック図、第2図は同実施例における出力信号算出
部のブロック図、第3図は同実施例における多入力一出
力信号処理部のブロック図、第4図は同実施例における
しきい値処理部の人出力特性グラフ、第5図は同実施例
における重み係数更新部のグラフ、第6図は同実施例を
文字認識に応用した場合のブロック図、第7図は同実施
例における文字認識部の構成図、第8図は同実施例にお
ける認識率の例を示すグラフ、第9図は従来の学習機械
のブロック図である。 l・・・出力信号算出部、2・・・重み変更量算出部、
100・・・多入力一出力信号処理部、101・・・出
力信号算出部の入力部、1oot・・・多入力一出力信
号処理部の入力部、1002・・・メモ1ハ 1003
・・・乗算器、1004・・・加算器、1005・・・
しきい値処理部、200・・・教師信号発生部、201
・・・誤差信号算出部、203・・・重み変更量算出部
、204・・・重み変更量制御部。

Claims (2)

    【特許請求の範囲】
  1. (1)層構造をもち、各層内相互の結合がなく、上位層
    にのみ信号が伝搬するようにネットワーク接続された複
    数の多入力一出力信号処理部からなる出力信号算出部と
    、該出力信号算出部で得られた出力信号をもとに前期出
    力信号算出部の重み係数の値を更新する重み係数更新部
    を具備し、前記多入力一出力信号処理部は、複数の重み
    係数を保持するメモリと、複数のデータを入力する入力
    部と、前記メモリに貯えられた重み係数で前記入力部か
    らの入力データを重み付けする乗算手段と、前記乗算手
    段で重み付けされた複数のデータを多数加え合わせる加
    算手段と、該加算手段の出力を一定範囲の値に制限する
    しきい値処理部を備え、前記重み係数更新部は、上記出
    力信号算出部の出力信号の望ましい値として教師信号を
    与える教師信号発生部と、前記出力信号と該教師信号と
    の誤差を求める誤差信号算出部と、前記誤差信号算出部
    の出力に応じて前記メモリに蓄えられた重み係数の変更
    量を計算する重み変更量算出部と、前記誤差算出部の出
    力に応じて前期重み係数の変更量を制御する重み変更量
    制御部とを備えたことを特徴とする学習機械。
  2. (2)重み変更量制御部は、前記誤差算出部の出力がし
    きい値を越えた場合に、前記出力信号算出部の最上位層
    の重み変更量をm倍することを特徴とする請求項1記載
    の学習機械。
JP1043731A 1989-02-23 1989-02-23 学習機械 Pending JPH02222062A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP1043731A JPH02222062A (ja) 1989-02-23 1989-02-23 学習機械
DE69013716T DE69013716T2 (de) 1989-02-23 1990-02-20 Lernmaschine.
US07/481,316 US5129038A (en) 1989-02-23 1990-02-20 Neural network with selective error reduction to increase learning speed
EP90301810A EP0384709B1 (en) 1989-02-23 1990-02-20 Learning Machine
KR1019900002310A KR920006793B1 (ko) 1989-02-23 1990-02-23 학습기계

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1043731A JPH02222062A (ja) 1989-02-23 1989-02-23 学習機械

Publications (1)

Publication Number Publication Date
JPH02222062A true JPH02222062A (ja) 1990-09-04

Family

ID=12671927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1043731A Pending JPH02222062A (ja) 1989-02-23 1989-02-23 学習機械

Country Status (1)

Country Link
JP (1) JPH02222062A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390284A (en) * 1991-06-27 1995-02-14 Hitachi, Ltd. Learning method and apparatus for neural networks and simulator with neural network
US7606775B2 (en) 2003-06-20 2009-10-20 Lg Electronics Inc. Mobile communication terminal using MOBP learning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5390284A (en) * 1991-06-27 1995-02-14 Hitachi, Ltd. Learning method and apparatus for neural networks and simulator with neural network
US7606775B2 (en) 2003-06-20 2009-10-20 Lg Electronics Inc. Mobile communication terminal using MOBP learning

Similar Documents

Publication Publication Date Title
Man et al. A new adaptive backpropagation algorithm based on Lyapunov stability theory for neural networks
Haddad et al. Variable-structure backstepping controller for multivariable nonlinear systems with actuator nonlinearities based on adaptive fuzzy system
US5845051A (en) Learning method for multilayer perceptron neural network with N-bit data representation
EP0384709A2 (en) Learning Machine
JPH02222062A (ja) 学習機械
JPH0451384A (ja) ニューラルネットワークの構築方法
EP0970420B1 (en) Associative neuron in an artificial neural network
JP3082530B2 (ja) ニューラルネットワーク回路
JPH0492901A (ja) ニューラルネットワークによるファジイ制御器
JP2752109B2 (ja) 集積回路及び半導体装置
Wang et al. Finite time stability of octonion-valued neural networks with delays
JP3262340B2 (ja) 情報処理装置
JPH04662A (ja) 学習機械
Takanashi et al. Image Classification Using l 1-fidelity Multi-layer Convolutional Sparse Representation
JPH04310167A (ja) 学習機械
JPH0367358A (ja) 学習機械
JP2976835B2 (ja) ニューラルネットワーク装置
Latino et al. Realizing general MLP networks with minimal FPGA resources
JP2744313B2 (ja) ネットワーク構成データ処理装置
JPH02178759A (ja) 神経回路網
JPH04360266A (ja) 学習装置
Belikov et al. Dynamic pole placement based control of nonlinear discrete time systems with input delay
JPH0233655A (ja) 神経回路網型パターン処理装置
JPH0731522B2 (ja) 適応制御装置
Toqeer et al. Neurocontroller for induction motors