JP2659230B2

JP2659230B2 - 神経回路網の学習装置

Info

Publication number: JP2659230B2
Application number: JP63246743A
Authority: JP
Inventors: 晋太木村; 徹真田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1988-09-30
Filing date: 1988-09-30
Publication date: 1997-09-30
Anticipated expiration: 2012-09-30
Also published as: JPH0293973A

Description

【発明の詳細な説明】〔概要〕パターン識別を行う神経回路網の学習装置に関するも
のであり，誤差Ｅを小さくするとともに識別エラーの最
小化が可能な学習方式を実現することを目的とし，Ｓを各セルの入力の重み付き総和とし,S₀を０＜S₀≦
１なる値とした場合，出力関数としてをもつセルを構成要素とし，学習法としてバックプロパ
ゲーション法を用いてパターン識別を行う隠れ層および
出力層を含む多層パーセプトロン型神経回路網におい
て，学習の全期間において，出力層のセルについては１よ
り僅かに小さいS₀を用い，隠れ層のセルについてはS₀＝
１を用いるように構成した。

〔産業上の利用分野〕

本発明は，パターン識別を行う神経回路網の学習装置
に関するものである。

近年，音声認識，文字認識および図形認識などのパタ
ーン認識装置の普及にともない，従来より精度の高い識
別方式の出現が望まれている。従来の統計的識別法では
識別すべきパターンの分布型に強い制約があり一般のパ
ターン分布型では高い識別精度が得られないという欠点
がある。神経回路網による識別ではこのような制約がな
く，いかなるパターン分布型であっても高い識別性能が
得られるという特徴がある。しかし，現在の神経回路網
の学習法として使用されているバックプロパゲーション
法では，必ずしも識別誤りが小さくなる方向に学習され
ないという問題がある。本発明は，学習を効率的に行わ
せるための改良手段を提供する。

〔従来の技術〕

多層パーセプトロン型神経回路網の基本構造第８図に，基本的な多層パーセプトロン型神経回路網
の例として,2層パーセプトロン型神経回路網の構成を示
す。

第８図の２層パーセプトロン型神経回路網は，隠れ層
と出力層からなり，各層は○で示すセルで構成される。
ここでセルは，神経細胞を機能的に模擬した素子を意味
している。この例では，入力数が（Ｉ＋１）個，隠れ層
のセル個数（Ｊ＋１）個および出力層のセル個数１個か
らなっている。

各セルには複数個の入力があり，出力層のセルの各入
力には結合係数｛V_j｝_ｊ＝0,J，また隠れ層の各セルの各入力には｛W_ij｝_ｉ＝0,I，
_ｊ＝1,Jが付与されている。各セルの出力｛Y_j｝および
Ｚは，次の１式または２式で表される。但し,X₀＝1,Y₀
＝１である。

１式は，隠れ層の各セルの出力関数である。１式では隠れ層の一つのセルの入力の総和であり，それをと表わすことにする。また２式は出力層のセルの出力関
数である。２式では出力層のセルの入力の総和であり，それをと表わすことにする。

２層パーセプトロン型神経回路網には,I次元パターン
空間内に分布する多数のパターンをＩ−１次元の複数の
超平面の組み合わせによって２つのカテゴリに分離する
機能がある。この組み合わせられた超平面を識別面とい
う。識別面は結合係数｛V_j｝_ｊ＝0,Jおよび｛W_ij｝
_ｉ＝0,I，_ｊ＝1,Jにより決定される。この結合係数
｛V_j｝_ｊ＝0,Jおよび｛W_ij｝_ｉ＝0,I，_ｊ＝1,Jは，バッ
クプロパゲーション法（以下BP法とよぶ）を用いて学習
データより決定することができる。

従来の学習法 BP法の詳細は以下の文献に詳しく述べられている。

D.E.Rumelhert,G.E.Hinton,R.J.Williams,“Leaning In
ternal Representations by Error Propagation" Parallel Distributed Processing Vol.1（The MIT pre
ss）,pp318−362 ここではその概要を述べる。

学習パターン｛x_i ^p｝（ｐは学習パターン番号）が与
えられた場合に，現状の結合係数で得られる出力をz^pと
し，人間が意図する望まし出力（パターンのカテゴリに
対応する）をt^pとする。ここでは，あるカテゴリである
かまたはないかを識別する神経回路網を学習させるもの
とする。学習パターン｛x_i ^p｝がそのカテゴリである場
合t^pを１とし，そうでない場合t^pを０とする。そして全
学習パターンに対してz^pとt^pの誤差が小さくなるように
神経回路網内の結合係数の値を変更する。

z^pとt^pの誤差Ｅは５式により定義される。

最急降下法でＥの極小値を求める場合，｛V_j｝
_ｊ＝0,J及び｛W_ij｝_ｉ＝0,I，_ｊ＝1,Jの変化量は６式で
表される。

第８図の神経回路網の場合，学習時の結合係数の変化
量は以下の７式〜10式に従えばよい。

α^ｐ＝（t^p−z^p）z^p（１−z^p） ……（９） β_j ^p＝Y_j ^p（１−Y_j ^p）α^pV_j ……（10）７式および８式でηは学習定数と呼ばれ,0.1〜0.3程
度の値が用いられる。

学習の処理は11式および12式を学習パターンに対して
繰り返し実行することにより行われる。

V_j＝V_j＋ΔV_j ……（11） W_ij＝W_ij＋ΔW_ij ……（12）一般には学習方向の連続性を保つために,7式および８
式の代わりに次の13式および14式を用いる。

13式および14式においてｎは学習回数であり，γは結
合係数の学習方向の連続性を保つための係数であり，モ
ーメンタムと呼ばれる。一般にγは0.05〜0.7程度の値
が用いられる。また，ΔV_j（０）＝0,ΔW_ij（０）＝０
である。

誤差Ｅが充分小さくなるまで13式および14式により結
合係数を繰り返し演算する。

識別の方法上記の方法で結合係数を学習した後で，識別が行われ
る。まず未知パターンが入力に与えられる。神経回路網
内では,1式および２式の計算が行われ出力Ｚが得られ
る。たとえばこのＺが0.5以上の場合未知パターンは学
習されたカテゴリであると識別され,Zが0.5以下の場合
未知パターンは学習されたカテゴリでないと識別され
る。

神経回路網の機能神経回路網の機能についての理解を容易にするため，
第９図ないし第15図を用いて具体例を説明する。

まず第９図に示すようなセルが１個の場合について考
えてみる。これは，第８図において隠れ層の１個のセル
に相当する。

図示されたセルは,N＋１個の入力は重みW_i（ｉ＝0,1,
…,N）をもち,X₀,X₁,…,X_Nの要素から入力パターン（パ
ターン｛X_i｝）が与えられると,15式で示す出力関数処
理を行って，識別結果ｙを出力する。

15式のexp（）中においてとおき,15式を次の17式のように表わす。

ｆ＝０は，パターン空間における判別面（判別線）を
示している。第10図にパターン空間が２次元の場合の例
を示す。

ｆ＝W₀＋W₁X₁＋W₂X₂ ……（18）（ただしW₀＞０とする）であり，第10図の判別直線（ｆ＝０）を境界にして，領
域１はｆ＜0,領域２はｆ＞０として判別できる。

すなわち,fの正負判定を行えば，パターン空間の領域
識別が可能となる。

15式は,fの値（ΣW_iX_i）を，第11図に示すようなシグ
モイド特性にしたがって０から１までの値に非線形変換
するものである（ｆ＝０は,y＝0.5に変換される）。

この非線形変換を施すことにより，第10図は,fの代り
にｙを用いて第12図のように書き直すことができる。

セルが２個（隠れ層のセルが２個，出力層のセルが１
個）の場合には，パターン空間にもう１本の判別直線を
引くことができる。第13図にその１例を示す。図中の
y₁,y₂は次の19式と20式で表わされる。

第13図において，次の21式のＺの値が0.5以上という
条件（y₁とy₂の和が1.5以上）を満足する領域を第14図
に斜線領域で示す。

y₁とy₂の和が１以上という第12図の条件を満足する神
経回路網の構成を第15図に示す。図中のU₀₁,U₁₁,U₂₁は
結合係数である。

このように，隠れ層と出力層をもつ構造の神経回路網
では，結合係数を適当に設定すれば，出力層のセルが，
パターン空間内の非線形な境界をもつ連続凸領域を識別
（セル出力が0.5以上となる）することが可能となる。
さらに隠れ層を多層化すれば，非線形な境界をもつ非連
続凸領域の識別が可能となる。

従来例装置の説明第16図ないし第19図を用いて従来例の説明を行う。

（第16図の説明）第16図は，従来例装置の全体構成図である。第16図に
おいて，１は学習パターン記憶部であり，神経回路網を学習さ
せるための学習パターン｛X_i ^p｝が記憶される。

２は教師信号記憶部であり，各学習パターンに対応
し，その教師信号（t^p:カテゴリ番号０または１）が記
憶される。

３は乱数発生部であり，学習を始める前に結合係数の
初期値としての乱数を発生し，発生した乱数は次の結合
係数記憶部４に送られる。

４は結合係数記憶部であり，神経回路網内の結合係数
を記憶する。

５は１式演算部であり，学習パターン｛X_i ^p｝_ｉ＝0,I
と結合係数｛W_ij｝_ｉ＝0,I，_ｊ＝1,Jを学習パターン記
憶部１および結合係数記憶部４から読み出して１式の演
算を行い，｛Y_j ^p｝_ｊ＝1,Jを得る。

６は２式演算部であり，結合係数｛V_j｝_ｊ＝0,Jと｛Y
_j ^p｝_ｊ＝0,Jを結合係数記憶部４および１式演算部５か
ら読み出して２式の演算を行いz^pを得る。

７は９式演算部であり,2式演算部６で得られたz^pおよ
び教師信号記憶部２から読み出されたt^pを用いて９式を
演算しα^ｐを得る。

８は10式演算部であり,1式演算部５で得られた
｛Y_j ^p｝_ｊ＝0,J,9式演算部７で得られたα^p,および結合
係数記憶部４から読み出された｛V_j｝_ｊ＝0,Jを用いて1
0式を演算してβ_j ^pを得る。

９は更新係数演算部Ｉであり,1式演算部５で得られた
Y_j ^p,9式演算部７で得られたα^ｐおよび内部に記憶され
ている学習係数ηを用いて13式を演算し｛ΔV_j｝
_ｊ＝0,Jを得る。

10は更新係数演算部IIであり，学習パターン記憶部１
から読み出された｛X_i ^p｝,10式演算部８で得られた
β_j ^p,および内部に記憶されている学習定数ηを用いて1
4式を演算し｛ΔW_ij｝_ｉ＝0,I，_ｊ＝0,Jを得る。

11は係数更新部であり,11式および12式に従って結合
係数記憶部４の内容を更新する。

12は制御部であり，神経回路網内の各部の処理タイミ
ングを制御する。

（第17図の説明）第17図は，第16図中の１式演算部５および２式演算部
６の内部を詳細に説明する図である。１式演算部５の動
作について以下説明するが,2式演算部６の動作も同様で
ある。

13は乗算器であり，学習パターン記憶部１から読み出
された｛X_i ^p｝と結合係数記憶部４から読み出された結
合係数｛W_ij｝_ｉ＝0,I，_ｊ＝1,Jの積を演算する。

14は13の演算結果を累積する累積器であり，累積器の
出力は３式のS_jである。

15は符号反転器であり,14の出力の符号を反転し，−S
_jを得る。

16は指数関数演算器であり,exp（−S_j）を得る。

17は加算器であり,16の出力に１を足し,1＋exp（−
S_j）を得る。

18は逆数器であり,17の出力の逆数を演算し,1/（１＋
exp（−S_j））を得る。

19は制御部であり,13〜18の各部のタイミングを制御
する。

13〜18の各部の演算は浮動小数点方式で行われる。

（第18図の説明）第18図は第16図中の９式演算部の内部を詳細に説明す
る図である。

20は減算器であり,2式演算部６で得られたz^pを１から
減算する。

21も減算器であり，教師信号記憶部２から読み出され
たz^pから２式演算部６で得られたt^pを減算する。

22は乗算器であり,20の減算結果と２式演算部６で得
られたz^pの乗算を行う。

23も乗算器であり,21の減算結果と22の乗算結果を乗
算し，結果としてα^ｐを得る。

（第19図の説明）第19図は第16図中の10式演算部の内部を詳細に説明す
る図である。

24は減算器であり,1式演算部５で得られたY_j ^pを１か
ら減算する。

25は乗算器であり,24の減算結果と１式演算部５で得
られたY_j ^pの乗算を行う。

26は乗算器であり，結合係数記憶部４から読み出した
｛V_j｝_ｊ＝0,Jと９式演算部７で計算されたα^ｐの乗算
を行う。

27は乗算器であり，乗算器25及び乗算器26の演算結果
の乗算を行い，結果としてβ_j ^pを得る。

〔発明が解決しようとする課題〕

従来の学習方式では,5式に示した全パターンに対する
平均自乗誤差で与えられる誤差Ｅが小さくなるように学
習がすすむ。しかし実際には，「＋」と「ナ」のような
類似したパターンが含まれていると，全体の誤差Ｅは小
さくなっても，類似パターン間の識別誤りは小さくなら
ない場合がある。そして通常神経回路網にパターン識別
を行わせる場合には，この誤差Ｅが小さくなるよりも識
別誤りが小さくなる方が望ましい。

このような誤差Ｅと識別誤りは結合係数に対して大局
的には同じような傾向をもつが，一般には各々が極小
（または最小）になる結合係数はかなり異なっている。
第20図に，誤差Ｅ特性と識別誤り特性の関係の１例を示
す。

このため従来の学習方式で学習した場合，最高の識別
性能が得られないという欠点がある。

本発明は，誤差Ｅを小さくするとともに識別エラーの
最小化が可能な学習方式を実現することを目的とする。

〔課題を解決するための手段〕

本発明は，従来の神経回路網において，セルのシグモ
イド特性（第11図）のため，結合係数の更新方向が誤差
Ｅに敏感に反応し過ぎる点を改良し，神経回路網のセル
のシグモイド特性を部分的に弱めるステップ特性に近づ
けることにより識別エラーを最小化する学習過程をとり
易くするものである。

このためセルの入力の重み付き総和（15式ではをＳとして,Sを補正する定数S₀（０＜S₀≦１）を導入
し，セルの出力関数をで表わされるようにする。

ここで出力層のセルのS₀のみを１よりも僅か小さくし
て隠れ層のセルのS₀は１とすることにより，出力層のセ
ルのみについてシグモイド特性を弱めることができる。

また出力層のセルのS₀を学習の前半（または初期）に
おいて１に保ち，後半において１より僅かに小さくする
ことにより，学習の時期を考慮して部分的にシグモイド
特性を弱めることができる。

第１図は，本発明の原理を例示的方法で説明するため
の本発明による神経回路網の学習装置の説明図である。

第１図において， 31は入力であり，入力パターン｛X_i｝（ｉ＝０〜Ｎ）
が与えられる。｛X_i｝はＮ＋１個あり,x₀は常に１であ
る。

21は隠れ層であり,M＋１個（ｊ＝０〜Ｍ）のセルから
なり，その出力は｛y_i｝であり,y₀は常に１である。隠
れ層の各セルは入力層からのＮ＋１個の結合を持つ。ｉ
番目の入力と隠れ層の第ｊセルの結合係数はV_ijであ
る。

33は出力層であり,L個のセル（ｋ＝１〜Ｌ）からな
り，その出力は｛z_k｝である。出力層の各セルは隠れ層
からのＭ＋１個の結合を持つ。隠れ層の第ｊセルと出力
層の第ｋセルの結合係数はU_jkである。

各セルの出力関数は22式で与えられ，式中の補正定数
S_oは後述されるS_o制御部46によって設定される。

第１図の例では，学習モードと識別モードの２つのモ
ードがある。以下２つのモードの各々で動作する要素を
分けて説明する。なお上記した31ないし33の要素は，両
モードで共用される。

（学習モード） 34は学習パターン記憶部であり，神経回路網内の結合
係数を学習するための学習パターンを記憶している。学
習パターンの記憶形式を次表に示す。各学習パターンは
カテゴリ番号とともに記憶されている。カテゴリ番号は
神経回路網の出力層の神経細胞に一対一に対応し,1から
Ｌまでの値をとる。

35は教師信号生成部であり，学習パターン記憶部より
読み出された学習パターンのカテゴリ番号を神経回路網
の学習に用いる教師信号｛t_k｝_ｋ＝1,Lに変換する。カ
テゴリ番号がｓの場合（１≦ｓ≦Ｌ），次の23式に示す
教師信号を生成する。

36は入力切り換え部であり，学習モード時は学習パタ
ーン記憶部の学習パターンを神経回路網の入力層に供給
する。ちなみに，識別モード時には外部から与えられる
未知パターンを神経回路網の入力31に供給する。切り換
えのタイミングは後述する学習制御部44より与えられ
る。

37は乱数発生部であり,M系列等の乱数を発生する。

38は切り換え部であり，学習の開始時に乱数発生部の
出力を後述するW_ij付与部40に供給し，学習進行時には
後述するW_ij更新係数演算部42の出力をW_ij付与部40に供
給する。

39は切り換え部であり，学習モードの開始時に乱数発
生部の出力を後述するV_jk付与部41に供給し，学習進行
時には後述するV_jk更新係数演算部43の出力をV_jk付与部
41に供給する。

40はW_ij付与部であり，切り換え部38から供給された
｛W_ij｝を神経回路網内の入力31と隠れ層32の結合に結
合係数として与える。

41はV_jk付与部であり，切り換え部39から供給された
｛V_jk｝を神経回路網内の隠れ層と出力層33の結合に結
合係数として与える。

42はW_ij更新係数演算部であり，まずV_jk付与部41から
の｛V_jk｝，隠れ層32からの｛y_j｝,V_jk更新係数演算部4
3からの｛α_k ^p｝を用いて｛β_j ^p｝を第10式に基づいて
計算し，次に｛B_j ^p｝と入力31からの｛X_i ^p｝を用いて14
式に基づいて,W_ij更新係数ΔW_ijを計算し，次の24式に
より新しいW_ijを得る。24式でｎは学習の回数を示す。

W_ij（ｎ＋１）＝W_ij（ｎ）＋ΔW_ij（ｎ＋１） ……（2
4） 43はV_jk更新係数演算部であり，教師信号生成部35か
らの｛t_k｝，出力層33からの｛Z_k ^p｝を用いて｛α_k ^p｝
を９式に基づいて計算し，次に｛α_k ^p｝と隠れ層32から
の｛y_j ^p｝を用いて13式に基づいて,V_jk更新係数ΔV_jkを
計算し，次の24式により新しいV_jkを得る。25式でｎは
学習の回数を示す。

V_jk（ｎ＋１）＝V_jk（ｎ）＋ΔV_jk（ｎ＋１） ……（2
5）同時に，｛Z_k｝と｛t_k｝を用いて５式に基づいて誤差
を計算し，誤差の値Ｅを次に述べる学習制御部44に送出
する。

44は学習制御部であり，学習モード時において上記各
部を上述の手順に従って制御する。学習を繰り返す途中
でV_jk更新係数演算部43で計算された誤差値Ｅが減少し
なくなった時点で学習モードを終了する。

（識別モード）識別モードでは学習モードで学習した｛V_jk｝｛W_ij｝
を用いて，未知入力データの識別を行う。

45は最大値検出回路であり，識別時（入力切り換え部
36が入力層に外部から未知入力パターンを供給している
時）に｛Z_k｝の最大値をとるｋ（＝k_max）を次の26式に
従って計算し，それを識別結果として出力する。

〔作用〕本発明により，神経回路網を構成するセルの出力関数
を21式で与え，補正定数S₀を１より徐々に小さくすれ
ば，第15図に示されているセルのシグモイド特性曲線の
傾きは次第にゆるやかなものに変化する。

これによりBP法の学習過程を進めると，第20図の誤差
Ｅ特性は，識別エラー特性に次第に近づき，識別エラー
が極小の神経回路網を実現することができる。しかし,S
₀をあまりにも小さい値にすると誤差Ｅに多数の極小点
が発生し,BP法において使用されている最急降下法で
は，比較的誤差の大きい極小点にトラップされる可能性
がある。そのため以下に示した配慮が必要である。

S₀として１より僅かに小さい値を用いる。

学習の前半はS₀として１を用い，学習の後半ではS₀
として１よりも小さい値を用いる。また結合係数｛V_j｝
_ｊ＝0,Jが全体的に小さくなるとS₀を小さくする効果が
無くなるため，｛V_j｝_ｊ＝0,Jの何れか１つを現状の値
で固定することが有効となる。

〔実施例〕

第２図ないし第７図を用いて，本発明による第１ない
し第３の実施例を説明する。なおこれらの実施例は，先
に第20図ないし第23図で説明した従来例装置をベースに
して構成したものである。したがって双方に共通の要素
には同一の参照番号が用いられており，またそれらの要
素についての説明は重複を避けるためここでは省略され
ている。

（第１の実施例）第２図に第１の実施例の全体構造を示す。第１の実施
例では,6′の15式演算部,28のS₀記憶部および11′の係
数更新部以外は第16図の従来例装置の構成と全く同じで
ある。

S₀記憶部28には１より僅かに小さい値が記憶される。

15式演算部６′ではS₀記憶部28よりS₀の値を読み出し
15式の演算を行う。

第３図に15式演算部６′の内部を示す。13〜19の機能
は第17図の２式演算部６の構成と全く同じである。異な
る点は符号反転器15と指数関数演算器16の間に除算器29
が挿入されている点である。除算器29では，符号反転器
15の出力（−Ｒ）をS₀で除算する。

係数更新部11′では，各セル毎に入力の結合係数の一
つは更新しない。

（第２の実施例）第４図に第２の実施例の全体構成を示す。第２実施例
では,28′のS₀制御部および11″の係数更新部以外は第
１の実施例と全く同じである。

S₀制御部28′は学習の前半ではS₀＝１とし，後半では
S₀を徐々に減少させていく。このS₀制御部28′の制御特
性の例を第５図に示す。

係数更新部11″では，学習の前半では従来例と同様全
ての結合係数を更新し，学習の後半では第１の実施例と
同様に各セル毎に入力の結合係数の一つは更新しない。

（第３の実施例）第６図に第３の実施例の全体構成を示す。第３実施例
は28′のS₀制御部が存在しない点と６″の15式演算部以
外は，第２の実施例と全く同じである。

15式演算部６″の内部構成を第７図に示す。６″の15
式演算部は第３図の６′の15式演算部内の除算器29が指
数部加算器30に入れ代わったものである。

指数部加算器30では，符号反転器15の出力の浮動小数
点データの指数部に整数ｎを足すことによって,1/2
ⁿ（＝S₀）での除算を高速化している。

この方式はｎ＝１の場合でも,S₀＝0.5であり,S₀が１
よりかなり小さいため実施例１の方法には適用できな
い。

〔発明の効果〕

以上説明した様に，本発明によれば，神経回路網内の
結合係数を変数とした場合の学習における教師信号と実
出力の間の誤差関数の極小点を，神経回路網をパターン
識別機構として用いた時の識別エラーの極小点に近づけ
ることができるため，高いパターン識別性能を持った神
経回路網を実現することができる。

【図面の簡単な説明】

第１図は本発明による学習装置の原理説明図，第２図は本発明の第１の実施例の全体構成図，第３図は第１の実施例中の15式演算部の詳細構成図，第４図は本発明の第２の実施例の全体構成図，第５図は第２の実施例におけるS₀の制御特性例説明図，第６図は本発明の第３の実施例の全体構成図，第７図は第３の実施例中の15式演算部の詳細構成図，第８図は２層パーセプトロン型神経回路網の構成図，第９図は１個のセルを用いた神経回路網の構成図，第10図は，パターン空間における判別直線ｆ＝０の説明
図，第11図はセルのシグモイド特性の説明図，第12図はパターン空間におけるセル出力を用いた判別直
線の説明図，第13図はパターン空間における線形判別直線群の説明
図，第14図はパターン空間における非線形判別線の説明図，第15図は第14図の非線形判別線を実現する神経回路網の
説明図，第16図は従来例の学習装置の全体構成図，第17図は第16図の従来例における１式演算部（２式演算
部も同様）の詳細構成図，第18図は第16図の従来例における９式演算部の詳細構成
図，第19図は第16図の従来例における10式演算部の詳細構成
図，第20図は誤差Ｅ特性および識別エラー特性の説明図であ
る。第１図中， 31:入力 32:隠れ層 33:出力層 34:学習パターン記憶部 35:教師信号生成部 36:入力切り換え部 37:乱数発生部 38,39:切り換え部 40:W_ij付与部 41:V_jk付与部 42:W_ij更新係数演算部 43:V_jk更新係数演算部 44:学習制御部 45:最大値検出回路 46:S₀制御部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｃｎｃｅｏｎＣｙｂｅｒｎｅｔｉｃｓａｎｄＳｏｃｉｅｔｙ 1987 Ｖｏｌ．３Ｐ．958−963

Claims

(57)【特許請求の範囲】

【請求項１】Ｓを各セルの入力の重み付き総和とし,S₀
を０＜S₀≦１なる値とした場合，出力関数としてをもつセルを構成要素とし，学習法としてバックプロパ
ゲーション法を用いてパターン識別を行う隠れ層および
出力層を含む多層パーセプトロン型神経回路網におい
て，学習の全期間において，出力層のセルについては１より
僅かに小さいS₀を用い，隠れ層のセルについてはS₀＝１
を用いることを特徴とする神経回路網の学習装置。
【請求項２】請求項１において，各セルの入力に付加さ
れた結合係数の任意の１つをその初期値に固定し，他の
結合係数のみの学習を進めることを特徴とする神経回路
網の学習装置。
【請求項３】請求項1,2において，出力層のセルについ
ては学習の前半でS₀＝１を用い，学習の後半でS₀を小さ
くし，隠れ層のセルについては学習の全期間においてS₀
＝１を用いることを特徴とする神経回路網の学習装置。
【請求項４】請求項３において，学習の前半で各セルの
入力に付加された全結合係数を学習し，学習の後半で各
セル毎に結合係数の任意の１つをその現状値に固定し他
の結合係数のみの学習を進めることを特徴とした神経回
路網の学習装置。
【請求項５】請求項3,4において学習の後半で出力層の
セルについてS₀＝1/2ⁿ（n:正の整数）とすることにより
S/S₀の浮動小数点除算を指数部の整数加算で実現したこ
とを特徴とする神経回路網の学習装置。