JPH04328669A - 統合ニューラルネットワーク及びその学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】本発明は、ニューラルネットワー
ク型パターン識別装置及びその学習方式に関するもので
ある。 【０００２】 【従来の技術】ニューラルネットワーク（多層階層構造
型神経回路網）の学習方式として代表的な誤差逆伝播法
（バックプロパゲーション法）がある。（例えば、「神
経回路網モデルとコネクショニズム」甘利俊一著東京大
学出版会参照）この概要を図５のユニット内部状態説明
図により説明すると、入力層以外のユニットｉの入出力
関係は次の式で表し、ユニットｉに対する入力をＯｊ　
（ｊ＝１からＮ）、各Ｏｊ　に対する結合係数（重み）
をＷｉｊで表す。 【０００３】入力の積和　　Ｘｉ＝ΣＷｉｊＯｊ　を関
数ｆ（Ｘｉ）に適用し変換する。関数としては一般に微
分可能な次のようなシグモイド関数を使うことが多い。 ｆ（Ｘｉ）＝１／｛１＋ｅｘｐ（−Ｘｉ）｝出力　　Ｙ
ｉ＝ｆ（Ｘｉ） ここで　　Ｙｉ　の値は０から１の間の数となる。入力
層のユニットは入力値をそのまま出力値とする。 【０００４】誤差逆伝播法とは、学習パターンＸｋから
得られる出力パターンＹｉ　と学習パターンに対する所
望の出力値Ｉｉ（　以後教師パターンと言う）とのユニ
ットの２乗誤差を最小化する学習方法である。ここでは
図４のような３層構造の例について説明するが多層の場
合も同様である。結合係数の学習は次のようにする。ま
ず出力層の学習は損失関数をｌ（二乗誤差）とする。 【０００５】ｉは出力層のユニット番号、ｊは中間層の
ユニット番号、ｋは入力層のユニット番号、Ｎは１層前
のユニット数、Ｏｊは中間層の出力、Ｗｉｊは中間層と
出力層間の結合係数、Ｙｉは出力層の出力、Ｉｉは教師
パターン、 ｌ（Ｗｉｊ）＝１／２Σ（Ｙｉ−Ｉｉ　）２　Ｗはすべ
てＷｉｊのこと。 【０００６】最急降下法（確立的降下法）を適用すると
∂ｌ／∂Ｗｉｊ＝（Ｙｉ−Ｉｉ）ｆ’（ΣＷｉｊＯｊ）
Ｏｊこれを学習信号として 新Ｗｉｊ＝旧Ｗｉｊ−ｃ∂ｌ／∂Ｗｉｊと結合係数を変
えればよい。ｃは学習定数。 【０００７】ｆ（ｘ）＝１／｛１＋ｅｘｐ（−ｘ）｝ｆ
’（ｘ）＝ｆ（ｘ）（１−ｆ（ｘ））実際にはｆ（ΣＷ
ｉｊＯｊ　）＝Ｙｉであるからｆ’（ΣＷｉｊＯｊ）＝
Ｙｉ（１−Ｙｉ）∂ｌ／∂Ｗｉｊ　　＝（Ｙｉ−Ｉｉ）
Ｙｉ（１−Ｙｉ）Ｏｊ　【０００８】したがってｃ＝１
とすると新Ｗｉｊ＝旧Ｗｉｊ−（Ｙｉ−Ｉｉ）Ｙｉ（１
−Ｙｉ）ＯｊここでＤｉＪ＝（Ｉｉ−Ｙｉ）Ｙｉ（１−
Ｙｉ）とする。 したがって新Ｗｉｊ＝旧Ｗｉｊ＋Ｄ１ｉＯｊ中間層の学
習も損失関数をｌ（二乗誤差）とする。 ｌ（Ｖ）＝１／２Σ（Ｙｉ−Ｉｉ）２　ＶはすべてＶｉ
ｊのこと。 Ｖｊｋは中間層と入力層間の結合係数を表す。 Ｘｋは入力層の出力 最急降下法（確立的降下法）を適用すると【０００９】 　　∂ｌ／∂Ｖｊｋ＝∂ｌ／∂Ｏｊ　・∂Ｏｊ　／∂Ｖ
ｊｋ　　　　　　　　　　　　　　＝Σ（Ｙｉ−Ｉｉ　
）　∂Ｙｉ　／∂Ｏｊ　・∂Ｏｊ　／∂Ｖｊｋ　　　　
　　＝（Σ（Ｙｉ−Ｉｉ）ｆ’（ＷｉｊＯｊ　）Ｗｉｊ
）×ｆ’（ΣＶｊｋＸｋ）Ｘｋここで　　　　Ｄｊ＝−
（Σ（Ｙｉ−Ｉｉ）ｆ’（ＷｉｊＯｊ）Ｗｉｊ）　　　
　　　　　　　　　　　　＝ΣＤ１ｉＷｉｊとする。 またｆ’（ΣＶｊｋＸｋ）Ｘｋ＝Ｏｊ（１−Ｏｊ）Ｘｋ
ｄｌ／ｄＶｊｋ＝−ＤｊＯｊ（１−Ｏｊ）Ｘｋ　新Ｖｉ
＝旧Ｖｉ−ｃ∂ｌ／∂Ｖｊｋより【００１０】したがっ
てｃ＝１とすると新Ｖｊｋ＝旧Ｖｊｋ＋ＤｊＯｊ（１−
Ｏｊ）Ｘｋここで　　Ｄ２ｊ＝ＤｊＯｊ（１−Ｏｊ）　
　とする。したがって　　新Ｖｊｋ＝旧Ｖｊｋ＋Ｄ２ｊ
Ｘｋ結合係数の計算は、出力層のユニットから始めて、
中間層のユニットへ移り、次々に前段の中間層へ移って
いく。従って学習は次のように進む、まず学習用のパタ
ーンを入力し、結果を計算する。結果の教師パターンと
の誤差を減らすように全ての結合係数を変更する。再び
、学習用パターンを入力する。これを収束するまで繰り
返す。このように、従来はこのニューラルネットワーク
を単独で利用するか、あるいはニューラルネットワーク
を複数個構造化して利用していた。 【００１１】 【発明が解決しようとする課題】しかしながら従来の技
術では予期せぬ未知の入力パターンに対して判定結果が
予測できないことがあり、各種実用機器に応用する際重
要な問題になっている。すなわち、従来の技術では、次
のような欠点がある。 （１）　学習したパターンのいずれかに近似した入力パ
ターンは正しく判定するが、未知の入力パターンに対し
ては判定結果が予測できない。 （２）　複数の学習パターンのいずれにも近似した入力
パターンを与えると判定がいずれのものになるか予測で
きない、また複数の判定を出すことができない。 （３）　単に複数のニューラルネットワークを同一学習
パターンにより学習させただけのものを使用したのでは
、似通った傾向の結合係数からなるニューラルネットワ
ークができ、似通った判定をすることになり（１）（２
）の問題点は解決されない。 （４）　学習パターン及び学習パターンに近似したパタ
ーン以外のパターンをその他のパターンとして学習させ
る方法では、入力ユニットの組み合せでその他のパター
ンを作り出すため学習パターン数が膨大となり、従って
学習時間も膨大となり現実的ではない。 【００１２】 【課題を解決するための手段】本発明は上記目的を達成
するために、結合係数の系の異なる複数のニューラルネ
ットワークを必要数学習して作成しこれらを統合して使
用する。その学習方法であるが、まず結合係数は異なる
系の乱数により初期化する。学習パターンとしては各ニ
ューラルネットワークに対して同一の学習パターンを使
用し学習する。個々のニューラルネットワークの学習に
は誤差逆伝播法あるいはその改良型の方法などを用いる
。学習の済んだニューラルネットワークはテストパター
ンにより検査する。テストパターンはいくつかの学習パ
ターンの和結合（ユニットごとの論理和）をとったパタ
ーンを複数作りテストパターンとする方法、いくつかの
学習パターンの積結合（ユニットごとの論理積）をとっ
たパターンを複数作る方法、いくつかのテストパターン
の各部分を和結合させて作る方法等がある、もちろんこ
れらのいくつかの方法を合わせて使用してテストパター
ンを作成してもよい。各テストパターンには、その作成
に利用した学習パターンに対する教師パターンを対応さ
せておく。 【００１３】学習の済んだニューラルネットワークはテ
ストパターンにより以前に作成し合格したニューラルネ
ットワークと同一の判定をしないか検査をする。全く同
様の判定をするものは削除し、異なった判定をするもの
は合格とする。合格した各ニューラルネットワークによ
ってテストパターンに対応する各教師パターンを全て判
定し尽くした場合、あるいは指定数のニューラルネット
ワークが作成された場合、あるいは指定数の乱数の系を
使用し尽くした場合、あるいは時間や資源等の関係で設
定した各種終了条件に達した場合、全体の学習を終了と
する。 【００１４】その使用方法は、入力パターンに対して複
数のニューラルネットワークで判定しその結果を統合し
たものを最終結果とする。統合判定の方法は、大別して
２種類ある。方法１は可能な限り類似したものを捜す方
法であり、方法２は可能な限り誤判定を除去する方法で
ある。方法１は個々の全てのニューラルネットワークの
判定の（論理）和結合をとる、方法２は個々の全てのニ
ューラルネットワークの判定の（論理）積結合をとる。 ２種類の方法を両方適用しても、いずれか片方適用して
もよい。 【００１５】 【作　　用】その作用は、後述する実施例において詳細
に説明するが、ニューラルネットワークにおいて、学習
パターンよりテストパターンを作成し複数のニューラル
ネットワークを生成し実際の入力判定に際し、汎化能力
及びエラー識別能力を増すようにニューラルネットワー
クを統合化したものである。以下、本発明の統合ニュー
ラルネットワーク及び統合ニューラルネットワークの学
習方式の実施例を、図面に基づいて詳述する。 【００１６】 【実　　施　　例】図１は本発明の統合ニューラルネッ
トワークの学習方式を含む統合ニューラルネットワーク
システムの一実施例の全体の構成図を示し、入力装置５
、統合ニューラルネットワーク装置１、出力・表示を行
う装置６から構成されている。統合ニューラルネットワ
ーク装置１は、ニューラルネットワーク群１、ワーキン
グメモリ（一時的に入力あるいは演算したものを記憶し
ておく場所）２、入力制御部３、出力制御部４、統合ニ
ューラルネットワーク部７から構成されている。入力装
置５より、入力パターン、学習パターン、教師パターン
、各種設定値を入力する。入力された値は、入力制御部
３を介してワーキングメモリ２に記憶される。ニューラ
ルネットワーク群１は、ワーキングメモリー上の学習パ
ターン、教師パターン、各種設定値を基に学習をし、あ
るいは入力パターンを基に判定を行いさらに統合ニュー
ラルネットワーク部により統合判定をし、結果を出力制
御部４を介して、出力・表示を行う装置６に出力・表示
を行う。 【００１７】次に図２〜図６及び表１〜表５により本発
明の一実施例を説明する。以下、図２のフローチャート
を用いて学習を行う手順を示す。 １０１　……処理開始。 １０２　……学習パターンを用いてテストパターン作成
。 １０３　……乱数の系設定。ニューラルネットワーク番
号を１に設定する。 １０４　……ニューラルネットワーク番号に基づきニュ
ーラルネットワークを生成する。乱数の系により結合係
数初期化。学習パターン、教師パターンによりニューラ
ルネットワークを学習する。学習は学習パターンに対し
て所望の出力値が出るまで行う。 １０５　……各テストパターンに対する出力値の判定を
行う。 １０６　……各出力判定値が以前に合格したニューラル
ネットワークの各出力判定値と比較して異なるものがあ
るか？ＹＥＳのとき１０８へ、ＮＯのとき１０７へ。 １０７　……今作ったニューラルネットワークを削除。 １１２へ。 １０８　……検査に合格したのでそのニューラルネット
ワークをニューラルネットワーク群へ登録する。 １０９　……各テストパターンに対応している作成時に
使用した学習パターンに対する教師パターンを各ニュー
ラルネットワークの出力判定として全て判定したか？Ｙ
ＥＳのとき１１３へ、ＮＯのとき１１０へ。 １１０　……ニューラルネットワークの番号をカウント
アップ。 １１１　……各種終了条件のいずれかを満たすか？ＹＥ
Ｓのとき１１３へ、ＮＯのとき１１２へ。 １１２　……乱数の系を変更する。１０４へ。 １１３　……終了。 【００１８】以下、図３のフローチャートを用いて統合
判定を行う手順を示す。 ２０１　……処理開始。 ２０２　……入力パターンを各ニューラルネットワーク
に入力し出力値を計算する。出力値より判定値を決める
。 ２０３　……和結合の判定。各ニューラルネットワーク
の判定値の和（各判定の論理和）を判定とする。 ２０４　……積結合の判定。各ニューラルネットワーク
の判定値の積（各判定の論理積）を判定とする。 ２０５　……終了。 【００１９】図４は入力、中間、出力層からなる３層構
造ニューラルネットワークのユニットによる結合状態を
示す。図５は１ユニットの内部状態説明図である。この
ユニットは中間及び出力層に用い、入力層のユニットは
入力値をそのまま出力値とする。図６は統合ニューラル
ネットワーク内の個々のニューラルネットワークのユニ
ット構成の一実施例を示す。この例は３層構造で、入力
層６ユニット、中間層５ユニット、出力層５ユニットで
ある。 【００２０】表１は図６に対する学習パターンの内容と
教師パターンとの対応を示す。 【表１】 表２は表１の教師パターンの内容を示す。 【表２】 表３はテストパターンの内容と判定結果との対応を示す
。 【表３】 表４は表３の積結合を示す。 【表４】 表５は表３の部分和結合を示す。 【表５】 図６及び表１〜表２により統合ニューラルネットワーク
を表３〜表５のテストパターンで検査しながら生成する
と、統合ニューラルネットワーク内のニューラルネット
ワークは５つのネットワークより構成される。個々のニ
ューラルネットワークの判定は、最大値を出す出力ユニ
ット番号と教師パターンのユニット内で最大値を出すユ
ニット番号が一致するものとした。個々のニューラルネ
ットワークは出力値と教師パターンとの誤差の和が０．
０２以下になるように学習を行った。 【００２１】表３〜表５は図６及び表１〜表２により生
成された統合ニューラルネットワークに於て、学習パタ
ーンの各種結合により作成したテストパターンに対する
個々のニューラルネットワークの出力値と判定、および
統合ニューラルネットワークの判定を一覧図にしたもの
である。この図の出力値の数値は実際の数値を１００倍
した値を記載している。統合判定の欄は和結合及び積結
合の値を記入している。例えばテストパターン１では学
習パターンＡと学習パターンＣの論理和をとって作成し
たものであり、個々の判定はニューラルネットワーク１
、２、４、５がＣでニューラルネットワーク３がＡであ
る、統合判定では、和判定がＡとＣ、積判定が該当なし
（積判定は各判定が共通のものとなる以外は該当なし）
となる。 【００２２】ここで該当なしとはいずれの教師パターン
にも判定しないということ、つまりエラーとしてよいと
いうことである。テストパターン６では学習パターンＡ
と学習パターンＥの論理積をとって作成したものであり
、個々の判定はニューラルネットワーク１、３がＡでニ
ューラルネットワーク２、４、５がＥである、統合判定
では、和判定がＡとＥ、積判定が該当なしとなる。テス
トパターン１０では学習パターンＢの部分と学習パター
ンＣまたはＤの１部分の論理和をとって作成したもので
あり、個々の判定はニューラルネットワーク１がＤでニ
ューラルネットワーク２、３、４がＢでニューラルネッ
トワーク５がＣである、統合判定では、和判定がＢとＣ
とＤ、積判定が該当なしとなる。 【００２３】テストパターン１５では学習パターンＢの
１部分で作成したものであり、個々の判定はニューラル
ネットワーク１から５がＢである、統合判定では、和判
定がＢ、積判定もＢとなる。これらの例でわかるように
、個々のニューラルネットワークの判定は学習パターン
が同一であるのにも関わらず様々であり（テストパター
ン１の例では個々の判定はＡとＣに分かれている。）、
個々のニューラルネットワーク一つ一つでは判定しきれ
なかったものが統合ニューラルネットワークにより正確
に判定されている。 【００２４】 【発明の効果】以上説明したように本発明の統合ニュー
ラルネットワーク及び統合ニューラルネットワーク学習
方式によれば、未知のパターンに対してもかなりの精度
でエラーとしてはねることができる。また複数の学習パ
ターンのいずれにも近いパターンでは複数の教師を同時
に判定することが出来る効果がある。ニューラルネット
ワークによる認識装置では新規の未知のパターンに対し
ては無理に既知のパターンに分類することなく一旦エラ
ーとしてはね再学習することも必要であるが従来の方式
では、エラーチェックできないという重大な問題が多発
した。本発明では複数の結合係数の系の異なるニューラ
ルネットワークにより統合的に判定するのでこのような
失敗はほとんど心配しなくて済む。 【００２５】

【図面の簡単な説明】

【図１】　　本発明の統合ニューラルネットワークの学
習方式を採用したシステムの構成の一実施例を示す図で
ある。

【図２】　　本発明の統合ニューラルネットワークの学
習方式を説明するフローチャートである。

【図３】　　本発明の統合ニューラルネットワークの統
合判定動作を説明するフローチャートである。

【図４】　　３層構造ニューラルネットワークのユニッ
ト結合概説図である。

【図５】　　ユニット内部状態説明図である。

【図６】　　統合ニューラルネットワーク内の個々のニ
ューラルネットワークのユニット構成の一実施例を示す
図である。

【００２６】

【符号の説明】

１　　　　統合ニューラルネットワーク装置。 １　　　　ニューラルネットワーク群。 ２　　　　ワーキングメモリー。 ３　　　　入力制御部。 ４　　　　出力制御部。 ５　　　　入力装置。 ６　　　　出力・表示を行う装置。 ７　　　　統合ニューラルネットワーク部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　結合係数の系の異なる複数のニューラ
   ルネットワークを学習パターンと学習パターンに基づき
   作成するテストパターンにより異なった判定をするよう
   検査して必要個数学習し、それらを内部に持つことを特
   徴とする統合ニューラルネットワーク。
2. 【請求項２】　　入力パターンに対する出力の判定を、
   内部の複数のニューラルネットワークの出力の判定の論
   理和結合、論理積結合で統合して判定を行う統合判定部
   を持つことを特徴とする請求項１記載の統合ニューラル
   ネットワーク。
3. 【請求項３】　　学習パターンに基づき作成するテスト
   パターンにより異なった判定をするよう検査して必要個
   数学習し、所望の出力値が出るまで学習することを特徴
   とする統合ニューラルネットワーク学習方式。 【０００１】