JPH0682354B2 - ニューラルネットにおける学習方式 - Google Patents
ニューラルネットにおける学習方式Info
- Publication number
- JPH0682354B2 JPH0682354B2 JP1153251A JP15325189A JPH0682354B2 JP H0682354 B2 JPH0682354 B2 JP H0682354B2 JP 1153251 A JP1153251 A JP 1153251A JP 15325189 A JP15325189 A JP 15325189A JP H0682354 B2 JPH0682354 B2 JP H0682354B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- category
- neural network
- dwj
- connection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ この発明はニューラルネットにおける学習方式に関し、
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方式に関する。
特に、パターン認識で必要とされる複雑なデータを認識
するのに有効な学習方式に関する。
［従来の技術及び発明が解決しようとする課題］ 従来、多層パーセプトロン型ニューラルネットにおいて
バックプロパゲーション学習則を用いて学習を行なわせ
る場合、パターン認識など、学習させるカテゴリが多く
なるほど認識しやすいカテゴリと、認識しにくいカテゴ
リとの差が激しくなり、均一な学習が困難になるという
問題点があった。
バックプロパゲーション学習則を用いて学習を行なわせ
る場合、パターン認識など、学習させるカテゴリが多く
なるほど認識しやすいカテゴリと、認識しにくいカテゴ
リとの差が激しくなり、均一な学習が困難になるという
問題点があった。
それゆえに、この発明の主たる目的は、バックプロパゲ
ーション型学習方式において、認識しにくいカテゴリを
認識しやすいカテゴリよりも数多く学習させることによ
り、各カテゴリを均一に認識できるような学習の収束を
促すニューラルネットにおける学習方式を提供すること
である。
ーション型学習方式において、認識しにくいカテゴリを
認識しやすいカテゴリよりも数多く学習させることによ
り、各カテゴリを均一に認識できるような学習の収束を
促すニューラルネットにおける学習方式を提供すること
である。
［課題を解決するための手段］ この発明は入力層と複数の出力層とがコネクションを介
して接続された多層パーセプトロン型ニューラルネット
において、コネクションの重みを変えながら学習を行な
うニューラルネットにおける学習方式であって、コネク
ションの重みの変更を行なう前に、予め定義されたカテ
ゴリに対して、予めいずれのカテゴリに属するかがわか
っている学習データを用いて、提示された未知データが
いずれのカテゴリに属するかを示す各カテゴリごとの認
識率および正しく認識された学習データに対する出力値
の平均値を算出し、それらを掛合わせた値をカテゴリの
学習度とみなし、すべてのカテゴリの学習度の平均
（Ｍ）と標準偏差（Ｓ）とを求め、カテゴリＸに対して
Ｐ（Ｘ）＝｛1,2,3｝（Ｘの学習度がM-Sより大きい場合
Ｐ（Ｘ）＝1,Xの学習度がM-SとM-2Sの間の場合Ｐ（Ｘ）
＝2,Xの学習度がM-2Sより小さい場合Ｐ（Ｘ）＝３）な
る関数Ｐを作り、 ΔＷ（ｋ＋１）＝αΔＷ（ｋ）−εΣＰ（ｊ）dE/dWj （dE/dWjはカテゴリｊに対するコネクションの重みの変
化量）によって計算される値に従ってコネクションの重
みdE/dWをΣＰ（ｊ）dE/dWjに変更するものである。
して接続された多層パーセプトロン型ニューラルネット
において、コネクションの重みを変えながら学習を行な
うニューラルネットにおける学習方式であって、コネク
ションの重みの変更を行なう前に、予め定義されたカテ
ゴリに対して、予めいずれのカテゴリに属するかがわか
っている学習データを用いて、提示された未知データが
いずれのカテゴリに属するかを示す各カテゴリごとの認
識率および正しく認識された学習データに対する出力値
の平均値を算出し、それらを掛合わせた値をカテゴリの
学習度とみなし、すべてのカテゴリの学習度の平均
（Ｍ）と標準偏差（Ｓ）とを求め、カテゴリＸに対して
Ｐ（Ｘ）＝｛1,2,3｝（Ｘの学習度がM-Sより大きい場合
Ｐ（Ｘ）＝1,Xの学習度がM-SとM-2Sの間の場合Ｐ（Ｘ）
＝2,Xの学習度がM-2Sより小さい場合Ｐ（Ｘ）＝３）な
る関数Ｐを作り、 ΔＷ（ｋ＋１）＝αΔＷ（ｋ）−εΣＰ（ｊ）dE/dWj （dE/dWjはカテゴリｊに対するコネクションの重みの変
化量）によって計算される値に従ってコネクションの重
みdE/dWをΣＰ（ｊ）dE/dWjに変更するものである。
［作用］ この発明にかかるニューラルネットの学習方式は、コネ
クションの重みを変更する前に、各カテゴリの学習度を
算出し、所定の学習式を用いて算出した値に応じてコネ
クションの重みを変更することにより、認識しにくいカ
テゴリをより多く学習させ、各カテゴリを均一に認識で
きるよう学習の収束を促すことができる。
クションの重みを変更する前に、各カテゴリの学習度を
算出し、所定の学習式を用いて算出した値に応じてコネ
クションの重みを変更することにより、認識しにくいカ
テゴリをより多く学習させ、各カテゴリを均一に認識で
きるよう学習の収束を促すことができる。
［発明の実施例］ 第１図はこの発明が適用された多層パーセプトロン型ニ
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されてい
る。入力層２には学習させるデータが入力され、バック
プロパゲーション学習則によりコネクション１の重みを
変えて学習が行なわれる。
ューラルネットを示す図である。第１図を参照して、ニ
ューラルネットは入力層２と中間層３と出力層４とを含
み、それぞれはコネクション１によって接続されてい
る。入力層２には学習させるデータが入力され、バック
プロパゲーション学習則によりコネクション１の重みを
変えて学習が行なわれる。
第２図はこの発明による学習方式のフロー図であり、第
３図および第４図は従来の学習方式とこの発明による学
習方式の学習結果を比較して示す概念図である。
３図および第４図は従来の学習方式とこの発明による学
習方式の学習結果を比較して示す概念図である。
次に、第２図，第３図および第４図を参照して、この発
明の動作について説明する。まず、第１図に示した入力
層２に学習させるデータを入力し、コネクション１の重
みを変える前に、学習データのカテゴリごとの認識率Ｒ
ｉと、正しく認識された学習データに対する出力で最も
発火したユニットの値のカテゴリごとの平均値Ｆｉを求
め、それらの間を掛合わせたものを、カテゴリに対する
学習度として算出しておく。そして、すべてのカテゴリ
の学習度の平均（Ｍ）と標準偏差（Ｓ）を求め、カテゴ
リＸに対して、Ｐ（Ｘ）＝｛1,2,3｝（Ｘの学習度がM-S
より大きい場合Ｐ（Ｘ）＝1,Xの学習度がM-SとM-2Sの間
の場合Ｐ（Ｘ）＝2,Xの学習度がM-2Sより小さい場合Ｐ
（Ｘ）＝３）なる関数Ｐを作る。関数Ｐができあがれ
ば、学習を行なうが、この発明では従来の方式であるバ
ックプロパゲーション学習式を次のように改善して用い
る。
明の動作について説明する。まず、第１図に示した入力
層２に学習させるデータを入力し、コネクション１の重
みを変える前に、学習データのカテゴリごとの認識率Ｒ
ｉと、正しく認識された学習データに対する出力で最も
発火したユニットの値のカテゴリごとの平均値Ｆｉを求
め、それらの間を掛合わせたものを、カテゴリに対する
学習度として算出しておく。そして、すべてのカテゴリ
の学習度の平均（Ｍ）と標準偏差（Ｓ）を求め、カテゴ
リＸに対して、Ｐ（Ｘ）＝｛1,2,3｝（Ｘの学習度がM-S
より大きい場合Ｐ（Ｘ）＝1,Xの学習度がM-SとM-2Sの間
の場合Ｐ（Ｘ）＝2,Xの学習度がM-2Sより小さい場合Ｐ
（Ｘ）＝３）なる関数Ｐを作る。関数Ｐができあがれ
ば、学習を行なうが、この発明では従来の方式であるバ
ックプロパゲーション学習式を次のように改善して用い
る。
ΔＷ（ｋ＋１）＝αΔＷ（ｋ）−εΣＰ（ｊ）dE/dWj （dE/dWjはカテゴリｊに対するコネクションの重みの変
化量） 上述の式の意味するところは以下のとおりである。すな
わち、従来の学習式 ΔＷ（ｋ＋１）＝αΔＷ（ｋ）−εdE/dW において、この発明の概念に従ってカテゴリｊを他のカ
テゴリより２倍多く学習させるためには、カテゴリｊに
属する学習データ数を２倍にしなければならない。
化量） 上述の式の意味するところは以下のとおりである。すな
わち、従来の学習式 ΔＷ（ｋ＋１）＝αΔＷ（ｋ）−εdE/dW において、この発明の概念に従ってカテゴリｊを他のカ
テゴリより２倍多く学習させるためには、カテゴリｊに
属する学習データ数を２倍にしなければならない。
しかしながら、学習途中にそのような学習データ数の動
的な変更は困難であり、計算時間も多くかかってしま
う。ここで、dE/dWのうちdE/dWj部分を２倍すると、カ
テゴリｊの付加的な学習も可能であり、計算時間も従来
の学習とほとんど変わらないため、dE/dWをΣＰ（ｊ）d
E/dWjと変更することにより、カテゴリｊをＰ（ｊ）倍
学習させることが可能となる。もし、各カテゴリが均等
に認識されている状態ならば、Ｐ（ｊ）＝１となり、従
来手法の学習式と同じになる。
的な変更は困難であり、計算時間も多くかかってしま
う。ここで、dE/dWのうちdE/dWj部分を２倍すると、カ
テゴリｊの付加的な学習も可能であり、計算時間も従来
の学習とほとんど変わらないため、dE/dWをΣＰ（ｊ）d
E/dWjと変更することにより、カテゴリｊをＰ（ｊ）倍
学習させることが可能となる。もし、各カテゴリが均等
に認識されている状態ならば、Ｐ（ｊ）＝１となり、従
来手法の学習式と同じになる。
ここで、具体例を用いて説明すると、カテゴリA,B,Cに
対する認識率が80％,85％,90％であって、学習データ数
が各カテゴリごとに100個とすると、カテゴリA,B,Cで正
しく認識された学習データの数は、それぞれ80個,85個,
90個となる。したがって、たとえばカテゴリＡに対して
は正しく認識された80個のそれぞれの出力度数（普通０
から１の間の値）の平均値である。これを仮に0.7とす
るとカテゴリＡに対する学習度は0.8×0.7＝0.56とな
る。仮に、あるカテゴリの認識率が95％であっても、正
しく認識された学習データに対する出力度数の平均が0.
5であった場合、学習度は0.95×0.5＝0.475となる。逆
に、別のカテゴリで認識率が70％であるが、正しく認識
された学習データに対する出力度数の平均が0.8であっ
た場合、そのカテゴリの学習度は0.7×0.8＝0.56とな
り、前述のカテゴリに対する学習よりも良好なことが示
される。
対する認識率が80％,85％,90％であって、学習データ数
が各カテゴリごとに100個とすると、カテゴリA,B,Cで正
しく認識された学習データの数は、それぞれ80個,85個,
90個となる。したがって、たとえばカテゴリＡに対して
は正しく認識された80個のそれぞれの出力度数（普通０
から１の間の値）の平均値である。これを仮に0.7とす
るとカテゴリＡに対する学習度は0.8×0.7＝0.56とな
る。仮に、あるカテゴリの認識率が95％であっても、正
しく認識された学習データに対する出力度数の平均が0.
5であった場合、学習度は0.95×0.5＝0.475となる。逆
に、別のカテゴリで認識率が70％であるが、正しく認識
された学習データに対する出力度数の平均が0.8であっ
た場合、そのカテゴリの学習度は0.7×0.8＝0.56とな
り、前述のカテゴリに対する学習よりも良好なことが示
される。
上述のバックプロパゲーション学習式を用いて学習を行
なうことによって、従来の方式では、第３図（ａ）に示
すように、認識するのに容易なカテゴリ５を担当する出
力層４のユニット７が第３図（ｂ）に示すように、中間
層３のユニットの多くを奪ってしまうため、認識するの
に難しいカテゴリ６を担当する出力層４のユニット８に
対する中間層３のユニットが少なくなり、学習が困難な
る結果、均一な認識ができなかった。
なうことによって、従来の方式では、第３図（ａ）に示
すように、認識するのに容易なカテゴリ５を担当する出
力層４のユニット７が第３図（ｂ）に示すように、中間
層３のユニットの多くを奪ってしまうため、認識するの
に難しいカテゴリ６を担当する出力層４のユニット８に
対する中間層３のユニットが少なくなり、学習が困難な
る結果、均一な認識ができなかった。
これに対して、この発明による学習方式では、第４図
（ａ）に示す認識するのに難しいカテゴリ６を担当する
出力層４のユニット８に対して、第４図（ｂ）に示すよ
うに、多くの中間層３のユニットが割当てられ、認識す
るのに容易なカテゴリ５を担当する出力層のユニット７
に対する中間層３のユニットの数が抑制され、全体とし
て均一な認識ができるようになる。
（ａ）に示す認識するのに難しいカテゴリ６を担当する
出力層４のユニット８に対して、第４図（ｂ）に示すよ
うに、多くの中間層３のユニットが割当てられ、認識す
るのに容易なカテゴリ５を担当する出力層のユニット７
に対する中間層３のユニットの数が抑制され、全体とし
て均一な認識ができるようになる。
［発明の効果］ 以上のように、この発明によれば、多層パーセプトロン
型ニューラルネットをバックプロパゲーション学習則と
なる学習式を改善した式を用いて学習させることによ
り、多数のカテゴリを均一に認識でき、学習の収束を促
すことができる。
型ニューラルネットをバックプロパゲーション学習則と
なる学習式を改善した式を用いて学習させることによ
り、多数のカテゴリを均一に認識でき、学習の収束を促
すことができる。
第１図は多層パーセプトロン型ニューラルネットの一例
として３層のニューラルネットを示す図である。第２図
この発明の動作を説明するためのフロー図である。第３
図および第４図は従来の学習方式とこの発明による学習
方式による学習結果を比較して示す概念図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５は認識しやすいカテゴリ、６は認識
しにくいカテゴリを示す。
として３層のニューラルネットを示す図である。第２図
この発明の動作を説明するためのフロー図である。第３
図および第４図は従来の学習方式とこの発明による学習
方式による学習結果を比較して示す概念図である。 図において、１はコネクション、２は入力層、３は中間
層、４は出力層、５は認識しやすいカテゴリ、６は認識
しにくいカテゴリを示す。
Claims (1)
- 【請求項１】複数の入力層と複数の出力層とがコネクシ
ョンを介して接続された多層パーセプトロン型ニューラ
ルネットにおいて、前記コネクションの重みを変えなが
ら学習を行なうニューラルネットにおける学習方式にお
いて、 前記コネクションの重みの変更を行なう前に、予め定義
されたカテゴリに対して、いずれのカテゴリに属するか
が予めわかっている学習データを用いて、提示された未
知データがいずれのカテゴリに属するかを示す各カテゴ
リごとの認識率および正しく認識された学習データに対
する出力値の平均値を算出し、それらを掛合わせた値を
カテゴリの学習度とみなし、すべてのカテゴリの学習度
の平均（Ｍ）と標準偏差（Ｓ）とを求め、カテゴリＸに
対してＰ（Ｘ）＝｛1,2,3｝（Ｘの学習度がM-Sより大き
い場合Ｐ（Ｘ）＝1,Xの学習度がM-SとM-2Sの間の場合Ｐ
（Ｘ）＝2,Xの学習度がM-2Sより小さい場合Ｐ（Ｘ）＝
３）なる関数Ｐを作り、 ΔＷ（ｋ＋１）＝αΔＷ（ｋ）−εΣＰ（ｊ）dE/dWj （dE/dWjはカテゴリｊに対するコネクションの重みの変
化量）によって計算される値に従ってコネクションの重
みdE/dWをΣＰ（ｊ）dE/dWjに変更することを特徴とす
る、ニューラルネットにおける学習方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1153251A JPH0682354B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1153251A JPH0682354B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0318966A JPH0318966A (ja) | 1991-01-28 |
| JPH0682354B2 true JPH0682354B2 (ja) | 1994-10-19 |
Family
ID=15558372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1153251A Expired - Fee Related JPH0682354B2 (ja) | 1989-06-15 | 1989-06-15 | ニューラルネットにおける学習方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0682354B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08199894A (ja) * | 1995-01-20 | 1996-08-06 | Ohara Sanwa Kk | 建具用戸車ガイド付きレール |
-
1989
- 1989-06-15 JP JP1153251A patent/JPH0682354B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08199894A (ja) * | 1995-01-20 | 1996-08-06 | Ohara Sanwa Kk | 建具用戸車ガイド付きレール |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0318966A (ja) | 1991-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2615422B2 (ja) | 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 | |
| JPH04266153A (ja) | ニューラルネットワーク | |
| KR0170505B1 (ko) | 다층퍼셉트론 신경회로망의 n비트 데이타 표현에 의한 학습방법 | |
| Anderson et al. | Reinforcement learning with modular neural networks for control | |
| JPH0682354B2 (ja) | ニューラルネットにおける学習方式 | |
| JP3262340B2 (ja) | 情報処理装置 | |
| JP2813567B2 (ja) | 推論規則決定装置及び推論規則決定方法 | |
| JPH10187649A (ja) | ニューラルネットワーク | |
| JPH11175494A (ja) | ニューラルネットワーク | |
| JPH06301663A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH0318967A (ja) | ニューラルネットにおける学習方法 | |
| JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
| JPH05151373A (ja) | ニユーラルネツトワークを用いたフアジイ逆診断方法 | |
| JP2553725B2 (ja) | 推論装置 | |
| JPH09311846A (ja) | ニューラルネットワーク | |
| JP2517662B2 (ja) | 連鎖制御装置 | |
| JP3608237B2 (ja) | ニューラルネットワークの学習装置 | |
| JPH01282687A (ja) | 神経回路網型パターン識別装置 | |
| JP2606663B2 (ja) | 共通重み和積演算計算ネットワーク及びそれらを用いたファジィ推論装置 | |
| JPH117435A (ja) | ニューラルネットワーク | |
| Jansen | Introduction to Artificial Neural Networking | |
| JPH0744512A (ja) | 直列結合型リカレントニューラルネットワークの学習方式 | |
| JPH06301661A (ja) | 並列結合型リカレントニューラルネットワークの学習方式 | |
| JPH0318965A (ja) | ニューラルネットにおける学習方法 | |
| JPH05233860A (ja) | 時系列パターンの学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |