JPH0394364A - ニューラルネットワーク - Google Patents
ニューラルネットワークInfo
- Publication number
- JPH0394364A JPH0394364A JP1232514A JP23251489A JPH0394364A JP H0394364 A JPH0394364 A JP H0394364A JP 1232514 A JP1232514 A JP 1232514A JP 23251489 A JP23251489 A JP 23251489A JP H0394364 A JPH0394364 A JP H0394364A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- network structure
- neural network
- convergence
- convergency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title abstract description 19
- 230000013016 learning Effects 0.000 claims abstract description 43
- 238000012544 monitoring process Methods 0.000 claims abstract description 11
- 230000001537 neural effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 abstract description 15
- 230000006870 function Effects 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000007704 transition Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明は音声・画像をはじめとする各種信号・情報のパ
ターン認識システムに利用されるニューラルネットワー
クの改良に関する. 従来の技術 従来のこの種のニューラルネットワークは、第6図及び
第7図のように示される.これは人力層、中間層、出力
層の3層からなる最も典型的な階層構造型のモデルであ
り、一般的にバックブロパゲーシツンと呼ばれる学習則
にもとづいて動作させる。各O印はニューラルネットワ
ークを構成する基本素子であり、ニューロンユニットと
呼ばれる.ニューラルネットワークを構築する場合はま
ず始めに「何層構造にするか」 「入力層、中間層、出
力層のニューロンユニット数をいくつにするか」等々ネ
ットワークの構造を決定しておき、以後ネットワーク構
造はそのままで学習をくり返していく.ニューロンユニ
ットの構成は第5図のようになる.複数の入力信号それ
ぞれに異なる重みっけを施した後総和し(荷重和)、さ
らに飽和特性を持つ伝達関数を通して出力するものであ
る.ここで学習するということはニエーラルネットワー
クを構成する各二エーロンユニット間結合においてどの
程度興奮方向または抑制方向へ影響度をもって各入力信
号を受けるかという結合度すなわち重みをダイナ5ツク
に変えていくことである。この重みの変え方にはいくつ
か工夫がなされており、学習をくり返すごとに、ニュー
ラルネソトワークを通して出力層から生まれる出力信号
とあらかしめ与えられた教師信号との誤差ができるだけ
速やかに小さくなるすなわち収束するようになっている
.(たとえば特開平1 −114896号公報や特開平
1 −114897号公報など〉 発明が解決しようとする課題 しかしながら上記のような構成では、ある学習問題にニ
ューラルネットワークを用いる場合、旦ネットワークの
構造を決定すると後は学習において重み(結合度)がダ
イナミソクに変化していくだけなので、最初に決定した
不ツトワーク構造次第では、学習回数を増やしてもいっ
こうに学習が進まない(収束しない)という課題を有し
ていた. 本発明はかかる従来の課題を解消するもので、ニューラ
ル不ノトワーク学苦における学覆効率(収束性)の向上
ひいては学習に要する総計算時間を短縮させることを目
的とする。
ターン認識システムに利用されるニューラルネットワー
クの改良に関する. 従来の技術 従来のこの種のニューラルネットワークは、第6図及び
第7図のように示される.これは人力層、中間層、出力
層の3層からなる最も典型的な階層構造型のモデルであ
り、一般的にバックブロパゲーシツンと呼ばれる学習則
にもとづいて動作させる。各O印はニューラルネットワ
ークを構成する基本素子であり、ニューロンユニットと
呼ばれる.ニューラルネットワークを構築する場合はま
ず始めに「何層構造にするか」 「入力層、中間層、出
力層のニューロンユニット数をいくつにするか」等々ネ
ットワークの構造を決定しておき、以後ネットワーク構
造はそのままで学習をくり返していく.ニューロンユニ
ットの構成は第5図のようになる.複数の入力信号それ
ぞれに異なる重みっけを施した後総和し(荷重和)、さ
らに飽和特性を持つ伝達関数を通して出力するものであ
る.ここで学習するということはニエーラルネットワー
クを構成する各二エーロンユニット間結合においてどの
程度興奮方向または抑制方向へ影響度をもって各入力信
号を受けるかという結合度すなわち重みをダイナ5ツク
に変えていくことである。この重みの変え方にはいくつ
か工夫がなされており、学習をくり返すごとに、ニュー
ラルネソトワークを通して出力層から生まれる出力信号
とあらかしめ与えられた教師信号との誤差ができるだけ
速やかに小さくなるすなわち収束するようになっている
.(たとえば特開平1 −114896号公報や特開平
1 −114897号公報など〉 発明が解決しようとする課題 しかしながら上記のような構成では、ある学習問題にニ
ューラルネットワークを用いる場合、旦ネットワークの
構造を決定すると後は学習において重み(結合度)がダ
イナミソクに変化していくだけなので、最初に決定した
不ツトワーク構造次第では、学習回数を増やしてもいっ
こうに学習が進まない(収束しない)という課題を有し
ていた. 本発明はかかる従来の課題を解消するもので、ニューラ
ル不ノトワーク学苦における学覆効率(収束性)の向上
ひいては学習に要する総計算時間を短縮させることを目
的とする。
課題を解央するための手段
上記課題を解決するために本発明のニューラルネノトワ
ークは、学習回数に応し誤差量が小さくなる収束の度合
を監視する収束性監視手段と、この収束性監視手段によ
り学習回数の割に収束の度合が良好でないと判定された
場合に、ネットワーク構造自身を作りかえていくネット
ワーク構造編集手段とを備えたものである。
ークは、学習回数に応し誤差量が小さくなる収束の度合
を監視する収束性監視手段と、この収束性監視手段によ
り学習回数の割に収束の度合が良好でないと判定された
場合に、ネットワーク構造自身を作りかえていくネット
ワーク構造編集手段とを備えたものである。
作用
本発明は上記した構成によって、固定されたネットワー
ク構造で膨大な数の学習をくり返してしまうつまりいた
ずらに計算時間だけを費やしてしまう前に、収束の状況
を監視することで、すみやかに収束させるために適した
ネントワーク構造を自ら模索、再構築していくことがで
きる。例えば階層の数、各層のニューロンユニントの数
、各ニューロンユニット間結線の有無等を自動的に変え
つつ、少ない学習試行回数のうちに解こうとする問題に
対応した最適ネットワーク構造を見つけ出すことになる
. 実施例 以下、本発明の実施例を添付図面にもとづいて説明する
. 第1図において教師あり学習を行なうに際し、入力層に
与えるべき入力信号lと出力層から生まれる出力信号2
とのマッチングをとるための教師信号3はペアの形で相
当数、用意しておく.ニューラルネットワーク学習手段
4は、定められたネットワーク構造において教師信号と
出力信号との誤差量を小さくすべく学習のたびにダイナ
ミックに各ニューラルユニット間の重み(結合度)を変
化させるものである.収束性監視手段5はニューラルネ
ットワーク学習千段4における学習の准移すなわち学習
回数が進むにつれ誤差量が着実に減少していくか否かを
監視するものである.さらにネットワーク構造編集手段
6は、収束性監視千段5において収束性が良好でないと
判定された場合に収束が速まるように階層の数、各層(
中間層)のニューロンユニノトノ数、各ニューロンユニ
ット間の結線など不ノトワーク構造を再編集する機能を
持つ。
ク構造で膨大な数の学習をくり返してしまうつまりいた
ずらに計算時間だけを費やしてしまう前に、収束の状況
を監視することで、すみやかに収束させるために適した
ネントワーク構造を自ら模索、再構築していくことがで
きる。例えば階層の数、各層のニューロンユニントの数
、各ニューロンユニット間結線の有無等を自動的に変え
つつ、少ない学習試行回数のうちに解こうとする問題に
対応した最適ネットワーク構造を見つけ出すことになる
. 実施例 以下、本発明の実施例を添付図面にもとづいて説明する
. 第1図において教師あり学習を行なうに際し、入力層に
与えるべき入力信号lと出力層から生まれる出力信号2
とのマッチングをとるための教師信号3はペアの形で相
当数、用意しておく.ニューラルネットワーク学習手段
4は、定められたネットワーク構造において教師信号と
出力信号との誤差量を小さくすべく学習のたびにダイナ
ミックに各ニューラルユニット間の重み(結合度)を変
化させるものである.収束性監視手段5はニューラルネ
ットワーク学習千段4における学習の准移すなわち学習
回数が進むにつれ誤差量が着実に減少していくか否かを
監視するものである.さらにネットワーク構造編集手段
6は、収束性監視千段5において収束性が良好でないと
判定された場合に収束が速まるように階層の数、各層(
中間層)のニューロンユニノトノ数、各ニューロンユニ
ット間の結線など不ノトワーク構造を再編集する機能を
持つ。
収束性を高めるためには、−C的に言うとネントワーク
構造を簡単化することが望ましい。つまり階層め数、各
層(中間層)のニューロンユニ・ノトの数、各ニューロ
ンユニット間の結線などは凍らしてレ1く方がよい.し
かしながらネントワーク構造をあまりに簡単化してしま
うと、逆に外乱ノイズに対する影響を受けやすくなるの
で好ましくない。つまり不ツトワーク構造にはある程度
の冗長性が必要であるのだが、どのようなネットワーク
構造が最適であるのかは解くべき学習問題に応して異な
ってくる。今従来例で示した入力層の数:4、中間層の
数:3、出力層の数=4の3階層のネントワーク構造(
第7図)を用いて具体的に説明する。このようなネット
ワーク構造によってある回数の学習試行をくり返した場
合、うまく誤差が小さくならなかったと仮定する。ここ
で回しネントワーク構造のまま学習を続けるのではなく
、■ 階層数や各層(中間層)のニューロンユニノトの
数を減らす。(第2図) ■ アルニューロンユニントトアルニューロンユニット
との結合関係がほとんどないつまり重み(結合度)がほ
ぼ0である場合に、この間の結線をはずす。(第3図) ■ 層を飛び越した結線を行なう。(第4図)■ ある
群のニューロンユニットにおける伝達関数を変えていく
。(シグモイド関数やサイン関数など) など、ネントワーク構造の再編集作業を施して新たに学
習試行を開始する。つまりこのような準備動作を通して
すみやかに収束させるために適したネノトワーク構造を
自ら見つけ出すものである。
構造を簡単化することが望ましい。つまり階層め数、各
層(中間層)のニューロンユニ・ノトの数、各ニューロ
ンユニット間の結線などは凍らしてレ1く方がよい.し
かしながらネントワーク構造をあまりに簡単化してしま
うと、逆に外乱ノイズに対する影響を受けやすくなるの
で好ましくない。つまり不ツトワーク構造にはある程度
の冗長性が必要であるのだが、どのようなネットワーク
構造が最適であるのかは解くべき学習問題に応して異な
ってくる。今従来例で示した入力層の数:4、中間層の
数:3、出力層の数=4の3階層のネントワーク構造(
第7図)を用いて具体的に説明する。このようなネット
ワーク構造によってある回数の学習試行をくり返した場
合、うまく誤差が小さくならなかったと仮定する。ここ
で回しネントワーク構造のまま学習を続けるのではなく
、■ 階層数や各層(中間層)のニューロンユニノトの
数を減らす。(第2図) ■ アルニューロンユニントトアルニューロンユニット
との結合関係がほとんどないつまり重み(結合度)がほ
ぼ0である場合に、この間の結線をはずす。(第3図) ■ 層を飛び越した結線を行なう。(第4図)■ ある
群のニューロンユニットにおける伝達関数を変えていく
。(シグモイド関数やサイン関数など) など、ネントワーク構造の再編集作業を施して新たに学
習試行を開始する。つまりこのような準備動作を通して
すみやかに収束させるために適したネノトワーク構造を
自ら見つけ出すものである。
上記構或において、収束性監視手段およびネノトワーク
構造編集手段が、準備動作のうちにニューラルネソトワ
ークによる任意の学習問題を解いていくために最通なネ
ットワーク構造を自ら模索、再構築してくれるので、結
果的には学習効率を向上させ、総計算時間を短縮させる
効果がある。
構造編集手段が、準備動作のうちにニューラルネソトワ
ークによる任意の学習問題を解いていくために最通なネ
ットワーク構造を自ら模索、再構築してくれるので、結
果的には学習効率を向上させ、総計算時間を短縮させる
効果がある。
発明の効果
以上のように本発明のニューラルネットワークによれば
、従来の固定化されたネットワーク構造の中で重み(結
合度)のみを変える学習と異なり、最も学習効率が上が
るようにネットワーク構造自身をも自動的に作り変えて
いく機能を有しているので、実用に耐える充分な学習を
完了させるまでの総計算時間を短縮させるすなわちコス
トダウンに貢献できる。特に膨大な学習データを有する
パターン認識等の課題に適用する場合、いちじるしい効
果が期待できる。
、従来の固定化されたネットワーク構造の中で重み(結
合度)のみを変える学習と異なり、最も学習効率が上が
るようにネットワーク構造自身をも自動的に作り変えて
いく機能を有しているので、実用に耐える充分な学習を
完了させるまでの総計算時間を短縮させるすなわちコス
トダウンに貢献できる。特に膨大な学習データを有する
パターン認識等の課題に適用する場合、いちじるしい効
果が期待できる。
第l図は本発明の一実施例のニューラルネットワークの
ブロック図、第2図,第3図.第4図は同ニューラルネ
ットワークにおいて再構築されたネノトワーク構造図、
第5図はニューロンユニットの機能を示すモデル構成図
、第6図は従来のニューラルネットワークのブロック図
、第7図は再構築される前のネットワーク構造図である
。 4・・・・・・ニューラルネットワーク学習手段、5・
・・・・・収束性監視手段、6・・・・・・不ツトワー
ク構造編集手段。
ブロック図、第2図,第3図.第4図は同ニューラルネ
ットワークにおいて再構築されたネノトワーク構造図、
第5図はニューロンユニットの機能を示すモデル構成図
、第6図は従来のニューラルネットワークのブロック図
、第7図は再構築される前のネットワーク構造図である
。 4・・・・・・ニューラルネットワーク学習手段、5・
・・・・・収束性監視手段、6・・・・・・不ツトワー
ク構造編集手段。
Claims (1)
- 各入力信号からの荷重和に応じて出力信号を発生するニ
ューラルユニット群を多層に構成し、最下位層へ出力さ
れる出力信号とあらかじめ与えられている教師信号とを
比較し、生じた誤差量に応じ下位層から上位層へ前記出
力を逆伝播することによって次第に生じる誤差量を小さ
くする方向へ学習する手段を備え、学習回数に応じ誤差
量が小さくなる収束の度合を監視する収束性監視手段と
、前記収束性監視手段により学習回数の割に収束の度合
が良好でないと判定された場合に、ネットワーク構造自
身を作りかえるネットワーク構造編集手段とを備えたニ
ューラルネットワーク。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1232514A JPH0394364A (ja) | 1989-09-07 | 1989-09-07 | ニューラルネットワーク |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1232514A JPH0394364A (ja) | 1989-09-07 | 1989-09-07 | ニューラルネットワーク |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0394364A true JPH0394364A (ja) | 1991-04-19 |
Family
ID=16940525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP1232514A Pending JPH0394364A (ja) | 1989-09-07 | 1989-09-07 | ニューラルネットワーク |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0394364A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348675A (ja) * | 1993-06-07 | 1994-12-22 | Ebara Corp | ニューロコンピュータ応用機器およびこれを含む機械装置 |
JPWO2010106587A1 (ja) * | 2009-03-18 | 2012-09-13 | パナソニック株式会社 | ニューラルネットワークシステム |
JP2019159058A (ja) * | 2018-03-12 | 2019-09-19 | 国立研究開発法人情報通信研究機構 | 音声認識システム、音声認識方法、学習済モデル |
-
1989
- 1989-09-07 JP JP1232514A patent/JPH0394364A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06348675A (ja) * | 1993-06-07 | 1994-12-22 | Ebara Corp | ニューロコンピュータ応用機器およびこれを含む機械装置 |
JPWO2010106587A1 (ja) * | 2009-03-18 | 2012-09-13 | パナソニック株式会社 | ニューラルネットワークシステム |
US8694451B2 (en) | 2009-03-18 | 2014-04-08 | Panasonic Corporation | Neural network system |
JP2019159058A (ja) * | 2018-03-12 | 2019-09-19 | 国立研究開発法人情報通信研究機構 | 音声認識システム、音声認識方法、学習済モデル |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022509618A (ja) | レジリエントニューラルネットワーク | |
US5832466A (en) | System and method for dynamic learning control in genetically enhanced back-propagation neural networks | |
Yao et al. | Evolving Artificial Neural Networks through Evolutionary Programming. | |
Ma et al. | Neuromorphic implementation of a recurrent neural network for EMG classification | |
KR102333730B1 (ko) | 학습 모델 생성 장치 및 방법 | |
JPH0394364A (ja) | ニューラルネットワーク | |
Xie et al. | Training algorithms for limited precision feedforward neural networks | |
JP2000172662A (ja) | ニューラルネットワークの学習方法 | |
Jankowski et al. | Statistical control of growing and pruning in RBF-like neural networks | |
JP2002251601A (ja) | ニューラルネットワーク処理装置 | |
JPH0281160A (ja) | 信号処理装置 | |
JPH06231106A (ja) | リカレント型ニューラルネットワーク学習方法及び装置 | |
JP2000035955A (ja) | 階層型ニューラルネットワークの構成方法 | |
Bebis et al. | Coupling weight elimination and genetic algorithms | |
JPH02287861A (ja) | ニューラルネットワーク | |
Tetko et al. | Simple heuristic methods for input parameters' estimation in neural networks | |
JPH03257659A (ja) | ニューラルネットワーク | |
JPH04323763A (ja) | ニューラルネットワーク学習方法 | |
JPH04275690A (ja) | 文字認識装置及び方法 | |
Thaseen | Modular neural networks chronicles in biological aspects | |
JPH0318964A (ja) | ニューラルネットにおける学習方法 | |
Regueiro et al. | Limitation of connectionism in MLP | |
JPH02146670A (ja) | ニューラルネットワーク及びニューラルネットワーク学習方式 | |
JPH0318965A (ja) | ニューラルネットにおける学習方法 | |
Carmona et al. | Programmable retinal dynamics in a CMOS mixed-signal array processor chip |