JPH0394364A - ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音声・画像をはじめとする各種信号・情報のパ
ターン認識システムに利用されるニューラルネットワー
クの改良に関する． 従来の技術 従来のこの種のニューラルネットワークは、第６図及び
第７図のように示される．これは人力層、中間層、出力
層の３層からなる最も典型的な階層構造型のモデルであ
り、一般的にバックブロパゲーシツンと呼ばれる学習則
にもとづいて動作させる。各Ｏ印はニューラルネットワ
ークを構成する基本素子であり、ニューロンユニットと
呼ばれる．ニューラルネットワークを構築する場合はま
ず始めに「何層構造にするか」　「入力層、中間層、出
力層のニューロンユニット数をいくつにするか」等々ネ
ットワークの構造を決定しておき、以後ネットワーク構
造はそのままで学習をくり返していく．ニューロンユニ
ットの構成は第５図のようになる．複数の入力信号それ
ぞれに異なる重みっけを施した後総和し（荷重和）、さ
らに飽和特性を持つ伝達関数を通して出力するものであ
る．ここで学習するということはニエーラルネットワー
クを構成する各二エーロンユニット間結合においてどの
程度興奮方向または抑制方向へ影響度をもって各入力信
号を受けるかという結合度すなわち重みをダイナ５ツク
に変えていくことである。この重みの変え方にはいくつ
か工夫がなされており、学習をくり返すごとに、ニュー
ラルネソトワークを通して出力層から生まれる出力信号
とあらかしめ与えられた教師信号との誤差ができるだけ
速やかに小さくなるすなわち収束するようになっている
．（たとえば特開平１　−１１４８９６号公報や特開平
１　−１１４８９７号公報など〉 発明が解決しようとする課題 しかしながら上記のような構成では、ある学習問題にニ
ューラルネットワークを用いる場合、旦ネットワークの
構造を決定すると後は学習において重み（結合度）がダ
イナミソクに変化していくだけなので、最初に決定した
不ツトワーク構造次第では、学習回数を増やしてもいっ
こうに学習が進まない（収束しない）という課題を有し
ていた． 本発明はかかる従来の課題を解消するもので、ニューラ
ル不ノトワーク学苦における学覆効率（収束性）の向上
ひいては学習に要する総計算時間を短縮させることを目
的とする。

課題を解央するための手段 上記課題を解決するために本発明のニューラルネノトワ
ークは、学習回数に応し誤差量が小さくなる収束の度合
を監視する収束性監視手段と、この収束性監視手段によ
り学習回数の割に収束の度合が良好でないと判定された
場合に、ネットワーク構造自身を作りかえていくネット
ワーク構造編集手段とを備えたものである。

作用 本発明は上記した構成によって、固定されたネットワー
ク構造で膨大な数の学習をくり返してしまうつまりいた
ずらに計算時間だけを費やしてしまう前に、収束の状況
を監視することで、すみやかに収束させるために適した
ネントワーク構造を自ら模索、再構築していくことがで
きる。例えば階層の数、各層のニューロンユニントの数
、各ニューロンユニット間結線の有無等を自動的に変え
つつ、少ない学習試行回数のうちに解こうとする問題に
対応した最適ネットワーク構造を見つけ出すことになる
． 実施例 以下、本発明の実施例を添付図面にもとづいて説明する
． 第１図において教師あり学習を行なうに際し、入力層に
与えるべき入力信号ｌと出力層から生まれる出力信号２
とのマッチングをとるための教師信号３はペアの形で相
当数、用意しておく．ニューラルネットワーク学習手段
４は、定められたネットワーク構造において教師信号と
出力信号との誤差量を小さくすべく学習のたびにダイナ
ミックに各ニューラルユニット間の重み（結合度）を変
化させるものである．収束性監視手段５はニューラルネ
ットワーク学習千段４における学習の准移すなわち学習
回数が進むにつれ誤差量が着実に減少していくか否かを
監視するものである．さらにネットワーク構造編集手段
６は、収束性監視千段５において収束性が良好でないと
判定された場合に収束が速まるように階層の数、各層（
中間層）のニューロンユニノトノ数、各ニューロンユニ
ット間の結線など不ノトワーク構造を再編集する機能を
持つ。

収束性を高めるためには、−Ｃ的に言うとネントワーク
構造を簡単化することが望ましい。つまり階層め数、各
層（中間層）のニューロンユニ・ノトの数、各ニューロ
ンユニット間の結線などは凍らしてレ１く方がよい．し
かしながらネントワーク構造をあまりに簡単化してしま
うと、逆に外乱ノイズに対する影響を受けやすくなるの
で好ましくない。つまり不ツトワーク構造にはある程度
の冗長性が必要であるのだが、どのようなネットワーク
構造が最適であるのかは解くべき学習問題に応して異な
ってくる。今従来例で示した入力層の数：４、中間層の
数：３、出力層の数＝４の３階層のネントワーク構造（
第７図）を用いて具体的に説明する。このようなネット
ワーク構造によってある回数の学習試行をくり返した場
合、うまく誤差が小さくならなかったと仮定する。ここ
で回しネントワーク構造のまま学習を続けるのではなく
、■　階層数や各層（中間層）のニューロンユニノトの
数を減らす。（第２図） ■　アルニューロンユニントトアルニューロンユニット
との結合関係がほとんどないつまり重み（結合度）がほ
ぼ０である場合に、この間の結線をはずす。（第３図） ■　層を飛び越した結線を行なう。（第４図）■　ある
群のニューロンユニットにおける伝達関数を変えていく
。（シグモイド関数やサイン関数など） など、ネントワーク構造の再編集作業を施して新たに学
習試行を開始する。つまりこのような準備動作を通して
すみやかに収束させるために適したネノトワーク構造を
自ら見つけ出すものである。

上記構或において、収束性監視手段およびネノトワーク
構造編集手段が、準備動作のうちにニューラルネソトワ
ークによる任意の学習問題を解いていくために最通なネ
ットワーク構造を自ら模索、再構築してくれるので、結
果的には学習効率を向上させ、総計算時間を短縮させる
効果がある。

発明の効果 以上のように本発明のニューラルネットワークによれば
、従来の固定化されたネットワーク構造の中で重み（結
合度）のみを変える学習と異なり、最も学習効率が上が
るようにネットワーク構造自身をも自動的に作り変えて
いく機能を有しているので、実用に耐える充分な学習を
完了させるまでの総計算時間を短縮させるすなわちコス
トダウンに貢献できる。特に膨大な学習データを有する
パターン認識等の課題に適用する場合、いちじるしい効
果が期待できる。

【図面の簡単な説明】

第ｌ図は本発明の一実施例のニューラルネットワークの
ブロック図、第２図，第３図．第４図は同ニューラルネ
ットワークにおいて再構築されたネノトワーク構造図、
第５図はニューロンユニットの機能を示すモデル構成図
、第６図は従来のニューラルネットワークのブロック図
、第７図は再構築される前のネットワーク構造図である
。 ４・・・・・・ニューラルネットワーク学習手段、５・
・・・・・収束性監視手段、６・・・・・・不ツトワー
ク構造編集手段。

Claims (1)

【特許請求の範囲】
1. 各入力信号からの荷重和に応じて出力信号を発生するニ
   ューラルユニット群を多層に構成し、最下位層へ出力さ
   れる出力信号とあらかじめ与えられている教師信号とを
   比較し、生じた誤差量に応じ下位層から上位層へ前記出
   力を逆伝播することによって次第に生じる誤差量を小さ
   くする方向へ学習する手段を備え、学習回数に応じ誤差
   量が小さくなる収束の度合を監視する収束性監視手段と
   、前記収束性監視手段により学習回数の割に収束の度合
   が良好でないと判定された場合に、ネットワーク構造自
   身を作りかえるネットワーク構造編集手段とを備えたニ
   ューラルネットワーク。