JPH06203004A - ニューラルネットワークモデルの学習方法 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットワークモデルをバックプロ
パゲーションにより学習する方法において、誤認識率数
を減少させて認識率を向上させると共に、学習の収束を
向上させる。 【構成】 バックプロパゲーションにより学習させる
際、学習途中や学習がある程度進んだ時点で正しい出力
ニューロンが発火しない入力データがある場合、その入
力データに対して新しく出力ニューロンが作られる（ス
テップＳ２３，２４，２５）、そして、その入力データ
の教師データに、この新しく作成した出力ニューロンが
割り当てられて再度バックプロパゲーションで学習が行
われる。このように、ばらついた入力データを別々のカ
テゴリに収容することで、学習の収束性が向上し、ま
た、学習終了後のニューラルネットワークにより認識さ
せた場合には正解率が向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、バックプロパゲーショ
ン法（誤差逆向き伝播学習法）によるニューラルネット
ワークモデルの学習方法に関する。

【０００２】

【従来の技術】近年、人間に近い能力を持つ情報処理シ
ステムを実現するという目的からニューロの研究がなさ
れてきている。ニューロは、人間の脳を手本とした並列
分散処理システムであり、学習する能力を有している。

【０００３】ニューロのネットワークは、一般的には図
６に示すようにユニット（ニューロンモデル）を互いに
シナプス結合により接続したものである。これは特に相
互結合型のネットワークと呼ばれる。各ユニットの結合
の強さは学習により変化させることができ、また、各ユ
ニットは並列に動作することができる。

【０００４】従来の３層型ニューラルネットワークは図
６に示すような構成になっており、このニューラルネッ
トワークを認識に用いる場合、入力層は入力データの特
徴パラメータのポイント数がｌ個のニューロンから成
り、中間層は入力データの特徴パラメータのポイント数
がｍ個のニューロンから成る。また、出力層は認識対象
の種類数（カテゴリー数）ｎ個のニューロンから成る。
そして、入力層と中間層は重みＷlmで結合しており、中
間層と出力層は重みＷmnで結合している。

【０００５】図７は上記ニューラルネットワークをバッ
クプロパゲーション法（中間層がある３層以上のネット
ワークに拡張した学習法）により学習させるためのフロ
ーチャートである。

【０００６】まず、ステップＳ１で重みの初期値を設定
し、ステップＳ２でエラーカウントのリセットを行う。
そして、ステップＳ３で入力層データのセットを行う。
次いで、ステップＳ４で一つのデータについて前向き計
算を行い、発火する出力層ニューロンを求める。この場
合、本来発火すべき出力層ニューロンがどれかを教師信
号として与える。

【０００７】そして、ステップＳ５で正しいニューロン
が発火しているか否かの判定を行い、正しいニューロン
が発火していない場合はステップＳ６で出力値が正解に
近づく様に重みＷlm，Ｗmnを変更する。そして、ステッ
プＳ７でエラーカウントを１つインクリメントした後、
ステップＳ８へ進む。

【０００８】ステップＳ８では全てのデータが入力され
たか否かの判定を行い、全て入力されていない場合には
ステップＳ３に戻る。そして、ステップＳ３からステッ
プＳ７までの動作を全ての入力データについて行った
後、最終的に全ての入力データに対して正しく出力層ニ
ューロンを発火させる様に、ステップＳ２からステップ
Ｓ８までの過程を繰り返す毎にデータを入力し、重みの
変更を行う。

【０００９】

【発明が解決しようとする課題】ところで、上述した従
来のニューラルネットワークモデルの学習方法にあって
は、出力層のニューロン数がカテゴリ数に固定されてい
るので、同じカテゴリの入力データが異なる特徴を有す
る場合、これを同一の対応する出力層ニューロンが発火
する様に重みの変更をしなければならないので、学習の
収束性が悪くなったり、あるいは学習が収束しなかった
りするという問題点があった。

【００１０】たとえ学習が収束した場合であっても、一
つの出力層ニューロンに対応するカテゴリの特徴の範囲
が広くなるので、特徴が似たカテゴリがある場合、誤認
識が発生しやすくなる。

【００１１】そこで本発明は、誤認識率数を減少させて
認識率を向上させることができると共に、学習の収束を
向上させることができるニューラルネットワークモデル
の学習方法を提供することを目的としている。

【００１２】

【課題を解決するための手段】上記目的達成のため、請
求項１記載の発明によるニューラルネットワークモデル
の学習方法は、ニューラルネットワークモデルを誤差逆
向き伝播学習により学習する方法において、入力データ
に対して正しい出力ニューロンが発火しない場合、新し
くニューロンを作成し、再度誤差逆向き伝播学習により
学習することを特徴とする。

【００１３】また、請求項２記載の発明によるニューラ
ルネットワークモデルの学習方法は、ニューラルネット
ワークモデルを誤差逆向き伝播学習により学習する方法
において、学習量が所定量以上になった場合、新しくニ
ューロンを作成し、再度誤差逆向き伝播学習により学習
することを特徴とする。

【００１４】また、請求項３記載の発明によるニューラ
ルネットワークモデルの学習方法は、ニューラルネット
ワークモデルを誤差逆向き伝播学習により学習する方法
において、学習回数が所定回数以上になった場合、新し
くニューロンを作成し、再度誤差逆向き伝播学習により
学習することを特徴とする。

【００１５】また、請求項４記載の発明によるニューラ
ルネットワークモデルの学習方法は、請求項１、請求項
２又は請求項３いずれかの項記載のニューラルネットワ
ークモデルの学習方法において、前記新しく作成したニ
ューロンが出力ニューロンである場合、入力データの教
示データにその新しく作成した出力ニューロンを割り当
てるようにした。

【００１６】

【作用】本発明では、バックプロパゲーションにより学
習させる際、学習途中や学習がある程度進んだ時点（学
習量が所定量以上になった時点または学習回数が所定回
数以上になった時点）で正しい出力ニューロンが発火し
ない入力データがある場合、その入力データに対して新
しく出力ニューロンが作られる、そして、その入力デー
タの教師データに、この新しく作成した出力ニューロン
が割り当てられて再度バックプロパゲーションで学習が
行われる。

【００１７】したがって、学習途中や学習がある程度進
んだ時点で出力ニューロンを分裂増加させ、ばらついた
データを別々のカテゴリに収容することにより、学習の
収束性が向上する。また、学習終了後のニューラルネッ
トワークにより認識させた場合には正解率が向上する。

【００１８】

【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。第１実施例 図１〜図３は本発明に係るニューラルネットワークモデ
ルの学習方法の第１実施例を説明するためのフローチャ
ートである。

【００１９】この学習方法は次の三つの過程からなる。 第１過程：学習過程（図１のステップＳ１０〜ステップ
Ｓ１８） 第２過程：分裂過程（図２のステップＳ１９〜ステップ
Ｓ２５） 第３過程：再学習過程（図３のステップＳ２６〜ステッ
プＳ３４）

【００２０】概略すれば、第１の過程で従来のバックプ
ロパゲーション法により学習し、第２の過程で第１の過
程で学習したニューラルネットワークで正しい出力ニュ
ーロンが発火しないニューロンに対して新しい出力ニュ
ーロンを作成する。そして、第３の過程では第２過程で
作った新しいニューラルネットワークをバックプロパゲ
ーション法で学習する。

【００２１】＜第１の過程＞まず、ステップＳ１０で、
従来の３層ニューラルネットワークと同様に、入力デー
タのパラメータ数の入力層ｌと、任意の中間層ｍと、カ
テゴリ数に等しいｎ個のニューロンとを設定し、その結
合の重みを乱数により初期設定する。次いで、ステップ
Ｓ１１で誤り数をカウントするエラーカウントをリセッ
トする。そして、ステップＳ１２でニューラルネットワ
ークに入力データを一つ入れた後、ステップＳ１３で前
向き計算により各々の出力層ニューロンの発火状態を計
算する。

【００２２】次いで、ステップＳ１４で、教師データと
出力層ニューロンの発火状態を比較し、正解の出力ニュ
ーロンが最大の発火をしているか否かの判定を行い、正
解の出力ニューロンが最大の発火をしていると判断した
場合、２位以下のニューロンの出力に比べて正解の出力
ニューロンの出力が十分に大きいか否かの判定を行う。

【００２３】ステップＳ１４における条件を満たす場合
は、設定した重みで正しい出力ニューロンが発火してい
るので、重みの変更せずステップＳ１５に進む。これに
対してステップＳ１４における条件を満たさない場合
は、ステップＳ１６で出力層ニューロンの出力値が正解
に近づく様に重みの計算を変更する。そして、重み計算
の変更後、ステップＳ１７でエラーカウントを１インク
リメントする。この後、ステップＳ１５に進む。

【００２４】ステップＳ１５では、全てのデータが入力
されたか否かの判定を行い、全てのデータが入力されて
いないと判断すると、ステップＳ１２に戻り、全ての入
力データについて上記ステップＳ１２〜１７の処理を行
う。そして、全てのデータが入力されたと判断すると、
ステップＳ１８に進む。

【００２５】ステップＳ１８では、全ての入力データに
ついて一通り学習させた時点でステップＳ１７でカウン
トしたエラーカウント数のチェックを行う。すなわち、
エラーカウント数がαよりも小さいか否かの判定を行
う。この判定において、エラーカウント数がαよりも小
さくなければ、小さくなるまでステップＳ１１〜ステッ
プＳ１７を繰り返し行い学習させる。そして、エラー数
がαより小さくなったら学習がある程度進んだ（学習量
が所定量以上になった）と判断し、＜分裂過程＞に移
る。

【００２６】＜第２過程＞まず、ステップＳ１９，２０
で上記＜学習過程＞のステップＳ１２、１３と同様に一
つの入力データについて、ニューラルネットワークの出
力層ニューロンの値を計算する。次いで、ステップＳ２
１では、ステップＳ２０で計算した出力ニューロンの出
力値が上記＜学習選択＞のステップＳ１４と同様の条件
で正解か否かを判定する。正解であると判断すると何も
せずにステップＳ２２に進み、不正解であると判断する
とステップＳ２３に進む。

【００２７】ステップＳ２３に進むと、分裂カテゴリの
設定を行う。そして、ステップＳ２４で入力層データの
教師信号に新カテゴリの設定を行う。これらステップＳ
２３，２４の処理は、後述するステップＳ２５での出力
ニューロンの増設時に、その入力に対する新しい出力ニ
ューロンを増設する様に設定しておくための処理であ
り、また、その入力データの教師信号が新しく作る出力
ニューロンとなるように設定するための処理でもある。
ステップＳ２４の処理の終了後、ステップＳ２５に進
む。

【００２８】ステップＳ２５では全てのデータが入力さ
れたか否かの判定を行い、全てのデータが入力されてい
ないと判断すると、ステップＳ１９に戻り、全ての入力
データについて上記ステップＳ１９〜１４の処理を行
う。そして、全てのデータが入力されたと判断すると、
ステップＳ２５に進む。

【００２９】ステップＳ２５では、上記ステップＳ２
３，２４で設定された出力ニューロンを増設し、新しい
中間層→出力層の結合を作成する。この処理を行った後
＜分裂過程＞を終了し、＜再学習過程＞に移行する。

【００３０】＜再学習過程＞まず、ステップＳ２６で上
記第１過程（＜学習過程＞）のステップＳ１０の処理と
同様に入力層→中間層、中間層→出力層の結合の重みを
全て乱数発生により初期設定を行う。そして、ステップ
Ｓ２７〜ステップＳ３３で上記第１過程のステップＳ１
１〜ステップＳ１７の処理と同様に全てのデータを順に
入力し、重みの計算変更およびエラーのカウントを行
う。これらの処理を行った後、ステップＳ３４に進み、
エラー数をチェックする。エラーがあった場合、上記ス
テップＳ２７〜ステップＳ３３でさらに重みの変更（学
習）を行い、エラーがなくなるまで繰り返す。エラーが
無くなったら学習を終了する。

【００３１】第２実施例 次に、図４は本発明に係るニューラルネットワークモデ
ルの学習方法の第２実施例を説明するためのフローチャ
ートである。

【００３２】この第２実施例は、その第１過程（＜学習
過程＞）の一部が異なるだけで、その他の過程は上記第
１実施例の各過程（＜分裂過程＞、＜再学習過程＞）と
同一である。したがって、異なる点についてのみ説明す
る。

【００３３】第１実施例では、学習過程から分裂過程に
移る条件をエラー数で判定したが、入力データにバラツ
キが大きい場合、最初に設定したニューロン数では学習
の収束性が悪くなり、分裂過程に移る条件のエラー数で
も学習が進まなくなることがある。また、逆に収束性の
良い場合も第１実施例では出力層を分裂させてしまうこ
とがある。

【００３４】そこで、第２実施例は上記場合を回避でき
るようにしたもので、図４に示す学習過程のステップＳ
３５，３６で、同過程のステップＳ１１〜ステップＳ１
８の学習ループ回数をチェックし、その回数がある回数
β以上になった場合（学習回数が所定回数以上になった
場合）に分裂過程に移り、出力層ニューロンを増設して
再学習させる。これにより、β回以下の学習ループで学
習が収束するものについて分裂させることなく、学習を
終了させることができる。また、収束性の悪いものに対
しては収束性を良くすることができる。なお、上記実施
例では、分裂過程、学習過程を一回としたが、この各過
程を複数回行っても良い。

【００３５】応用例 次に、応用例について説明する。図５はニューラルネッ
トワークを音声認識に応用した一例を示すブロックであ
る。この図において、１は音声を電気信号に変換するマ
イクロフォン、２はマイクロフォン１から出力されるア
ナログ信号をディジタル信号に変換するＡ／Ｄ変換部、
３はＦＦＴ等の音声分析計算により音声特徴を抽出する
音声分析／特徴抽出部である。

【００３６】４は音声分析／特徴抽出部３で得られる音
声信号が何であるかを示す教師信号を記憶するための音
声／教師信号メモリである。この音声／教師信号メモリ
４に外部より供給される教師信号と、音声分析／特徴抽
出部３により抽出された音声特徴とが書き込まれる。５
はスイッチであり、ニューラルネットワーク６の入力層
に与える音声特徴データを、音声分析／特徴抽出部３の
出力と、音声／教師信号メモリ４の出力との間で切り換
える。

【００３７】ニューラルネットワーク６は、３層の階層
型ニューラルネットワークであり、これを音声認識に応
用する場合、入力層は音声特徴のパラメータ数、出力層
は認識対象となる語彙集になる。例えば、認識対象が
『赤』、『橙』、『黄』、『緑』、『青』、『紫』の６
語彙だとすると、出力層はそれぞれの語彙に対応させた
６個になる。

【００３８】次に、動作について説明する。ニューラル
ネットワーク６を学習させる＜学習過程＞と、学習が終
了したニューラルネットワーク６で認識させる＜認識過
程＞とからなる。

【００３９】＜学習過程＞まず、マイクロフォン１より
入力された学習させるための音声がＡ／Ｄ変換部２でデ
ィジタル信号に変換された後、音声分析特徴抽出部３で
その音声特徴が抽出される。この音声特徴と、その音声
が何であるかの教師信号のそれぞれが音声特徴教師メモ
リ４に書き込まれ、学習するデータ群が作られる。

【００４０】例えば、『赤』と発声した場合、その音声
から音声分析特徴抽出部３で求められた音声特徴とそれ
が『赤』のものだという教師信号とが音声特徴教師メモ
リ４に書き込まれる。同様にして、他の色の音声もその
音声特徴と教師信号とが音声特徴教師メモリ４に書き込
まれる。上記処理ではスイッチ５はＡ側に設定されてい
る。上記処理終了後、スイッチ５がＢ側に設定されて、
このデータ群が繰り返しニューラルネットワーク６に与
えられ、学習が行われる。

【００４１】＜認識過程＞スイッチ５がＡ側に設定さ
れ、ニューラルネットワーク６の入力層に、発声した音
声からマイクロフォン１→Ａ／Ｄ変換部２→音声分析特
徴抽出部３で抽出した音声特徴が入力され、最大発火し
た出力層ニューロンに対応した語彙が認識結果として出
力される。

【００４２】なお、上記音声認識の他、文字認識、画像
処理およびロボット制御等に適用できることは明らかで
ある。

【００４３】

【発明の効果】本発明によれば、階層型ニューラルネッ
トワークをバックプロパゲーションで学習させる場合に
おいて、学習途中や学習がある程度進んだ時点で、同一
カテゴリ中の入力データにばらつきがあれば、正しい出
力ニューロンが発火しない入力データに対して新しく出
力ニューロンを作成し、その入力データの教師データに
対してこの出力ニューロンを割り当てて再度バックプロ
パゲーションで学習させるようにしたので、学習の収束
性が向上し、また、学習終了後のネットワークを用いて
認識させる場合に正解率が向上する。

【００４４】また、学習が進んだ時点で学習しきれてい
ない入力データに対して出力ニューロンを作成すること
から、出力層の付加が必要最小となり、無駄にニューラ
ルネットワークが大きくならない。

【図面の簡単な説明】

【図１】本発明に係るニューラルネットワークモデルの
学習方法の第１実施例を説明するためのフローチャート
である。

【図２】同実施例のニューラルネットワークモデルの学
習方法を説明するためのフローチャートである。

【図３】同実施例のニューラルネットワークモデルの学
習方法を説明するためのフローチャートである。

【図４】本発明に係るニューラルネットワークモデルの
学習方法の第２実施例を説明するためのフローチャート
である。

【図５】本発明に係るニューラルネットワークモデルの
学習方法を音声認識に応用した一例のブロック図であ
る。

【図６】従来の３層型ニューラルネットワークを示す構
成図である。

【図７】従来のニューラルネットワークモデルの学習方
法を説明するためのフローチャートである。

【符号の説明】

３ 音声分析／特徴抽出部 ４ 音声／教師信号メモリ ５ スイッチ ６ ニューラルネットワーク

Claims (4)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットワークモデルを誤差逆
   向き伝播学習により学習する方法において、 入力データに対して正しい出力ニューロンが発火しない
   場合、新しくニューロンを作成し、再度誤差逆向き伝播
   学習により学習することを特徴とするニューラルネット
   ワークモデルの学習方法。
2. 【請求項２】 ニューラルネットワークモデルを誤差逆
   向き伝播学習により学習する方法において、 学習量が所定量以上になった場合、新しくニューロンを
   作成し、再度誤差逆向き伝播学習により学習することを
   特徴とするニューラルネットワークモデルの学習方法。
3. 【請求項３】 ニューラルネットワークモデルを誤差逆
   向き伝播学習により学習する方法において、 学習回数が所定回数以上になった場合、新しくニューロ
   ンを作成し、再度誤差逆向き伝播学習により学習するこ
   とを特徴とするニューラルネットワークモデルの学習方
   法。
4. 【請求項４】 前記新しく作成したニューロンが出力ニ
   ューロンである場合、入力データの教示データにその新
   しく作成した出力ニューロンを割り当てることを特徴と
   する請求項１、請求項２又は請求項３いずれかの項記載
   のニューラルネットワークモデルの学習方法。