JPH0394364A - ニューラルネットワーク - Google Patents

ニューラルネットワーク

Info

Publication number
JPH0394364A
JPH0394364A JP1232514A JP23251489A JPH0394364A JP H0394364 A JPH0394364 A JP H0394364A JP 1232514 A JP1232514 A JP 1232514A JP 23251489 A JP23251489 A JP 23251489A JP H0394364 A JPH0394364 A JP H0394364A
Authority
JP
Japan
Prior art keywords
learning
network structure
neural network
convergence
convergency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1232514A
Other languages
English (en)
Inventor
Takuo Shimada
拓生 嶋田
Kazunari Nishii
一成 西井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP1232514A priority Critical patent/JPH0394364A/ja
Publication of JPH0394364A publication Critical patent/JPH0394364A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音声・画像をはじめとする各種信号・情報のパ
ターン認識システムに利用されるニューラルネットワー
クの改良に関する. 従来の技術 従来のこの種のニューラルネットワークは、第6図及び
第7図のように示される.これは人力層、中間層、出力
層の3層からなる最も典型的な階層構造型のモデルであ
り、一般的にバックブロパゲーシツンと呼ばれる学習則
にもとづいて動作させる。各O印はニューラルネットワ
ークを構成する基本素子であり、ニューロンユニットと
呼ばれる.ニューラルネットワークを構築する場合はま
ず始めに「何層構造にするか」 「入力層、中間層、出
力層のニューロンユニット数をいくつにするか」等々ネ
ットワークの構造を決定しておき、以後ネットワーク構
造はそのままで学習をくり返していく.ニューロンユニ
ットの構成は第5図のようになる.複数の入力信号それ
ぞれに異なる重みっけを施した後総和し(荷重和)、さ
らに飽和特性を持つ伝達関数を通して出力するものであ
る.ここで学習するということはニエーラルネットワー
クを構成する各二エーロンユニット間結合においてどの
程度興奮方向または抑制方向へ影響度をもって各入力信
号を受けるかという結合度すなわち重みをダイナ5ツク
に変えていくことである。この重みの変え方にはいくつ
か工夫がなされており、学習をくり返すごとに、ニュー
ラルネソトワークを通して出力層から生まれる出力信号
とあらかしめ与えられた教師信号との誤差ができるだけ
速やかに小さくなるすなわち収束するようになっている
.(たとえば特開平1 −114896号公報や特開平
1 −114897号公報など〉 発明が解決しようとする課題 しかしながら上記のような構成では、ある学習問題にニ
ューラルネットワークを用いる場合、旦ネットワークの
構造を決定すると後は学習において重み(結合度)がダ
イナミソクに変化していくだけなので、最初に決定した
不ツトワーク構造次第では、学習回数を増やしてもいっ
こうに学習が進まない(収束しない)という課題を有し
ていた. 本発明はかかる従来の課題を解消するもので、ニューラ
ル不ノトワーク学苦における学覆効率(収束性)の向上
ひいては学習に要する総計算時間を短縮させることを目
的とする。
課題を解央するための手段 上記課題を解決するために本発明のニューラルネノトワ
ークは、学習回数に応し誤差量が小さくなる収束の度合
を監視する収束性監視手段と、この収束性監視手段によ
り学習回数の割に収束の度合が良好でないと判定された
場合に、ネットワーク構造自身を作りかえていくネット
ワーク構造編集手段とを備えたものである。
作用 本発明は上記した構成によって、固定されたネットワー
ク構造で膨大な数の学習をくり返してしまうつまりいた
ずらに計算時間だけを費やしてしまう前に、収束の状況
を監視することで、すみやかに収束させるために適した
ネントワーク構造を自ら模索、再構築していくことがで
きる。例えば階層の数、各層のニューロンユニントの数
、各ニューロンユニット間結線の有無等を自動的に変え
つつ、少ない学習試行回数のうちに解こうとする問題に
対応した最適ネットワーク構造を見つけ出すことになる
. 実施例 以下、本発明の実施例を添付図面にもとづいて説明する
. 第1図において教師あり学習を行なうに際し、入力層に
与えるべき入力信号lと出力層から生まれる出力信号2
とのマッチングをとるための教師信号3はペアの形で相
当数、用意しておく.ニューラルネットワーク学習手段
4は、定められたネットワーク構造において教師信号と
出力信号との誤差量を小さくすべく学習のたびにダイナ
ミックに各ニューラルユニット間の重み(結合度)を変
化させるものである.収束性監視手段5はニューラルネ
ットワーク学習千段4における学習の准移すなわち学習
回数が進むにつれ誤差量が着実に減少していくか否かを
監視するものである.さらにネットワーク構造編集手段
6は、収束性監視千段5において収束性が良好でないと
判定された場合に収束が速まるように階層の数、各層(
中間層)のニューロンユニノトノ数、各ニューロンユニ
ット間の結線など不ノトワーク構造を再編集する機能を
持つ。
収束性を高めるためには、−C的に言うとネントワーク
構造を簡単化することが望ましい。つまり階層め数、各
層(中間層)のニューロンユニ・ノトの数、各ニューロ
ンユニット間の結線などは凍らしてレ1く方がよい.し
かしながらネントワーク構造をあまりに簡単化してしま
うと、逆に外乱ノイズに対する影響を受けやすくなるの
で好ましくない。つまり不ツトワーク構造にはある程度
の冗長性が必要であるのだが、どのようなネットワーク
構造が最適であるのかは解くべき学習問題に応して異な
ってくる。今従来例で示した入力層の数:4、中間層の
数:3、出力層の数=4の3階層のネントワーク構造(
第7図)を用いて具体的に説明する。このようなネット
ワーク構造によってある回数の学習試行をくり返した場
合、うまく誤差が小さくならなかったと仮定する。ここ
で回しネントワーク構造のまま学習を続けるのではなく
、■ 階層数や各層(中間層)のニューロンユニノトの
数を減らす。(第2図) ■ アルニューロンユニントトアルニューロンユニット
との結合関係がほとんどないつまり重み(結合度)がほ
ぼ0である場合に、この間の結線をはずす。(第3図) ■ 層を飛び越した結線を行なう。(第4図)■ ある
群のニューロンユニットにおける伝達関数を変えていく
。(シグモイド関数やサイン関数など) など、ネントワーク構造の再編集作業を施して新たに学
習試行を開始する。つまりこのような準備動作を通して
すみやかに収束させるために適したネノトワーク構造を
自ら見つけ出すものである。
上記構或において、収束性監視手段およびネノトワーク
構造編集手段が、準備動作のうちにニューラルネソトワ
ークによる任意の学習問題を解いていくために最通なネ
ットワーク構造を自ら模索、再構築してくれるので、結
果的には学習効率を向上させ、総計算時間を短縮させる
効果がある。
発明の効果 以上のように本発明のニューラルネットワークによれば
、従来の固定化されたネットワーク構造の中で重み(結
合度)のみを変える学習と異なり、最も学習効率が上が
るようにネットワーク構造自身をも自動的に作り変えて
いく機能を有しているので、実用に耐える充分な学習を
完了させるまでの総計算時間を短縮させるすなわちコス
トダウンに貢献できる。特に膨大な学習データを有する
パターン認識等の課題に適用する場合、いちじるしい効
果が期待できる。
【図面の簡単な説明】
第l図は本発明の一実施例のニューラルネットワークの
ブロック図、第2図,第3図.第4図は同ニューラルネ
ットワークにおいて再構築されたネノトワーク構造図、
第5図はニューロンユニットの機能を示すモデル構成図
、第6図は従来のニューラルネットワークのブロック図
、第7図は再構築される前のネットワーク構造図である
。 4・・・・・・ニューラルネットワーク学習手段、5・
・・・・・収束性監視手段、6・・・・・・不ツトワー
ク構造編集手段。

Claims (1)

    【特許請求の範囲】
  1. 各入力信号からの荷重和に応じて出力信号を発生するニ
    ューラルユニット群を多層に構成し、最下位層へ出力さ
    れる出力信号とあらかじめ与えられている教師信号とを
    比較し、生じた誤差量に応じ下位層から上位層へ前記出
    力を逆伝播することによって次第に生じる誤差量を小さ
    くする方向へ学習する手段を備え、学習回数に応じ誤差
    量が小さくなる収束の度合を監視する収束性監視手段と
    、前記収束性監視手段により学習回数の割に収束の度合
    が良好でないと判定された場合に、ネットワーク構造自
    身を作りかえるネットワーク構造編集手段とを備えたニ
    ューラルネットワーク。
JP1232514A 1989-09-07 1989-09-07 ニューラルネットワーク Pending JPH0394364A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1232514A JPH0394364A (ja) 1989-09-07 1989-09-07 ニューラルネットワーク

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1232514A JPH0394364A (ja) 1989-09-07 1989-09-07 ニューラルネットワーク

Publications (1)

Publication Number Publication Date
JPH0394364A true JPH0394364A (ja) 1991-04-19

Family

ID=16940525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1232514A Pending JPH0394364A (ja) 1989-09-07 1989-09-07 ニューラルネットワーク

Country Status (1)

Country Link
JP (1) JPH0394364A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348675A (ja) * 1993-06-07 1994-12-22 Ebara Corp ニューロコンピュータ応用機器およびこれを含む機械装置
JPWO2010106587A1 (ja) * 2009-03-18 2012-09-13 パナソニック株式会社 ニューラルネットワークシステム
JP2019159058A (ja) * 2018-03-12 2019-09-19 国立研究開発法人情報通信研究機構 音声認識システム、音声認識方法、学習済モデル

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06348675A (ja) * 1993-06-07 1994-12-22 Ebara Corp ニューロコンピュータ応用機器およびこれを含む機械装置
JPWO2010106587A1 (ja) * 2009-03-18 2012-09-13 パナソニック株式会社 ニューラルネットワークシステム
US8694451B2 (en) 2009-03-18 2014-04-08 Panasonic Corporation Neural network system
JP2019159058A (ja) * 2018-03-12 2019-09-19 国立研究開発法人情報通信研究機構 音声認識システム、音声認識方法、学習済モデル

Similar Documents

Publication Publication Date Title
JP2022509618A (ja) レジリエントニューラルネットワーク
US5832466A (en) System and method for dynamic learning control in genetically enhanced back-propagation neural networks
Yao et al. Evolving Artificial Neural Networks through Evolutionary Programming.
Ma et al. Neuromorphic implementation of a recurrent neural network for EMG classification
KR102333730B1 (ko) 학습 모델 생성 장치 및 방법
JPH0394364A (ja) ニューラルネットワーク
Xie et al. Training algorithms for limited precision feedforward neural networks
JP2000172662A (ja) ニューラルネットワークの学習方法
Jankowski et al. Statistical control of growing and pruning in RBF-like neural networks
JP2002251601A (ja) ニューラルネットワーク処理装置
JPH0281160A (ja) 信号処理装置
JPH06231106A (ja) リカレント型ニューラルネットワーク学習方法及び装置
JP2000035955A (ja) 階層型ニューラルネットワークの構成方法
Bebis et al. Coupling weight elimination and genetic algorithms
JPH02287861A (ja) ニューラルネットワーク
Tetko et al. Simple heuristic methods for input parameters' estimation in neural networks
JPH03257659A (ja) ニューラルネットワーク
JPH04323763A (ja) ニューラルネットワーク学習方法
JPH04275690A (ja) 文字認識装置及び方法
Thaseen Modular neural networks chronicles in biological aspects
JPH0318964A (ja) ニューラルネットにおける学習方法
Regueiro et al. Limitation of connectionism in MLP
JPH02146670A (ja) ニューラルネットワーク及びニューラルネットワーク学習方式
JPH0318965A (ja) ニューラルネットにおける学習方法
Carmona et al. Programmable retinal dynamics in a CMOS mixed-signal array processor chip