JPH02244255A - ニユーロコンピユータ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像１文字、音声などのパターン認識を利用し
たロボット、各種機械の故障診断装置。

マンマシンインタフェース、データ圧縮（通信）、各種
エキスパートシステムに適用できるニューラルネットワ
ークの効果的な構成方法に関する。

〔従来の技術〕

１９５０年代初頭より神経回路モデルによる脳能カシス
テムの開発研究が開始されたが、１９５７年プリンシプ
ル　オブ　ニューロダイナミックス、スパー用５２１９
６１年（Ｐｒｉｎｃｉｐｌｅｓ　ｏｆ　Ｎｅｕｒ。

ｄｇｎａｍｉｃｓ、５ｐａｒｔａｎ　１９６１）著者　
エフ・ローゼンブラット（Ｆ、Ｒｏｇｅｎｂｌａｔｔ）
は最初のパターン学習能力を持つ″パーセプトロン″を
開発、成功した。

このモデルは多層構造にはなっているが、人力層と中間
層の結合は固定で、最終端出力層のみシナプス荷重（信
号がニューロンに伝わるときの重み）がＩＩＩｆ塑的に
形成できる構造であった。１９４９年ヘブ（）Ｉｅｂｂ
）はニューロンが興奮すると、シナプス荷重はその入力
信号と出力信号（学習信号）の積に比例して増加すると
いうＨｅｂｂの学習側を提案した（膜電位学習法）、バ
ーセプトロンでは出力信号に対して教師信号を外部から
与え１両者の差を学習信号δとしてδと入力信号の積の
大きさに比例してシナプス荷重を変化、自己組織化する
学習方式（直交学習）を用いた。バーセプトロンは一時
期待されたが、出力層のシナプスウェイト自己組織化だ
けでは排他的論理和演算ができないなど限界が指摘（証
明）され、ニューロコンピュータは１時停滞した。１９
８６年ラメルう−ト（）ｌｕｍｅｌｈａｒｔ）らは隠れ
ユニット（Ｈｉｄｄｅｎ　Ｕｎｉｔ）と呼ばれる中間層
への学習信号の逆伝搬方式（δルール）を提案した。こ
れは、ラーニング　プレゼンテーション　バイ　バック
　プロパゲイジョン　エラーズ、ネイチャー３２３，５
３３頁から５３６頁、１９８６年デー・イー・ラメルハ
ート。

ジー・イー　ヒントン　共著（Ｌｅａｒｈｉｎｇ　Ｈｅ
ｐｒｅｓｅｎｔａｔｉｏｎ　ｂｙ　Ｂａｃｋ−Ｐｒｏｐ
ａｇａｔｉｏｎ　Ｈｖｏｒｓ、Ｎａｔｕｒｅ３２３、Ｐ
５３３−Ｐ５３６　（１９８６）ｌ）、Ｅ。

）１ｕｍａｌｈａｒｔ、　Ｇ　、　Ｅ　、）Ｉｉｎｔｏ
ｎ）に記載されている。この方法は上記誤差信号の２乗
和の半分で示される誤差エネルギを最急降下的に０に近
づけてゆく学習方式でバーセブトロンと同じものである
が、最小化を数理的に可能にするため、二ニーロンモデ
ルの興奮（発火）は完全ないき値関数ではなく、いき値
付近が微分可能な単調増加関数で発生する。

バックプロパゲーションと呼ばれるこの方式はパターン
の多重記憶、Ｍ別が可能であり、多くの成功例を生んで
いる６本発明は本発明の問題点を解決する方法に関する
０本方式は今後のニューロコンピュータの本命と思われ
る。

〔発明が解決しようとする課題〕

上記従来技術は入力されるパターン信号に対して教師信
号通りの出力値に収斂させる手法が確立されていない点
に問題があった１通常パターン認識は複数パターンに対
する識別能力を必要とするが、ここでは全パターンを一
括して与え、パターンを万一なく変えながら繰りかえし
学習させる方法に関する。ニューラルネットワークは多
層構造で隣接する層間は全てのニューロンがシナプスに
より静合されている。信号伝搬は前方から後方に、学習
信号は後方から前方に並列的に伝搬されるが、これらの
結合数は各層ニューロン数の積で与えられる為演算は膨
大になる。できるだけ少ない繰りかえし学習で収斂させ
る必要があるが、実際には決った方法がなく、試行錯誤
で現在行っている。

この方法を確立すべく長時間収斂しない場合を分析した
結果、収斂しないパターン入力によるシナプス荷重両構
築の刺激、学習エネルギが不足していることが一要因と
考えられた。

本発明の目的はパターン認識演算を商法化できるニュー
ロコンピュータを提供することにある。

〔課題を解決するための手段〕

各パターン入力は中間層を介して出力層信号となるが、
教師信号との誤差エネルギがここで計算される。認識演
算開始直後はどのパターンも誤差エネルギＥＬが大きい
が、ある程度の学習が進むとパターンのうちで誤差エネ
ルギがＯ近い微少値（正数）Ｃより小さくなるものがで
てくる。

本発明は全パターンに対する収斂を促進するため、次の
３点の工夫を行ったものである。

（１）誤差エネルギＥＬがＣ以下の収斂の早いパターン
に対しては学習信号逆伝搬によるシナプス荷重の補正を
行わず、ε以上の誤差エネルギのパターンのみシナプス
補正を行う、この結果荷型補正のないパターンの誤差エ
ネルギがＣ以上になる場合が発生するが、このときはこ
のパターンの荷重補正が再開される。これにより全パタ
ーンに対する学習エネルギの平滑化、バランスが保たれ
、全パターンの収斂を飛躍的に増大させる。

（２）パターンを順送りにして１回の全パターン学習を
１ステツプと定義する。ステップ毎の全パターン学習に
おいて、各パターンの誤差エネルギＥｔ、が微小値とよ
り大きいパターンの数ＮＰを一定する。ＮＰ＝Ｏのとき
は全パターンが収斂したことであり、学習を修了する。

学習演算開始直後はネットワークは未完成であり、出力
はブタラメな値となり、ＮＰは入力パターン数に近い値
となる。ある程度学習が進むと、教師信号と同じ出力の
パターンがでてくる。この場合、ＮＰは常に低下すると
は限らない、誤差エネルギの大きいパターンによるネッ
トワーク補正を行うと今まで収斂状態にあったパターン
がネットワークに適合しなくなり、大きな誤差エネルギ
を生じる。この場合は再度誤差逆伝搬による学習を行う
、これを繰りかえしながら全体の誤差エネルギレベル和
を下げてゆき、全体のパターンを認識するネットワーク
が形成される。

以上の方法はεの設定レベルによっても左右されるが、
識別する入力パターンの数が多い場合に特に効果的に収
斂する。

〔作用〕

各パターンの誤差エネルギＥＬがＥＬ＞εのときのみシ
ナプスの荷重補正をすることはそのパターン向きのネッ
トワーク形成が進むことであり、当然補正されないパタ
ーンのネットワークによる識別レベルは低ドする。すで
にできている一方のレベルを下げて、識別できていない
方のレベルを上げることによりネットワークの自己組織
化を全パターンでバランスする様に動作するので収斂が
飛躍的に促進される。−担収斂したパターンでも他のパ
ターン学習の結果誤差エネルギが増大すれば直ちにその
パターンの学習を開始するので全パターンが完全に収斂
するまでＮＰ＝Ｏとならず、ｇ動作することはない、Ｎ
Ｐ＝Ｏは学習完了の必要十分条件である。

【実施例〕 以下、本発明の一実施例を第１図により説明する。第１
図はニューラルネットワークとして、３層構造の場合の
パターン認識・学習回路のブロックダイヤグラムを示す
、入力、中間、出力の３層をＩ、Ｊ、に層と呼ぶ、Ｉ、
Ｊ、に層を構成するニューロン数をＩＮ、ＪＮ、ＫＮと
する。ηはシナプス荷重補正をするための学習定数、α
は安定化定数である。ＮＥは全パターンの学習を１ステ
ツプとしたときのステップ数Ｎの上限値を示す。

第１図の１はこれらのデータ入力装置を示す、２は対象
とする複数パターンを人力し、記憶する人力・バッフ、
ア装置を示す、第２図はＩ、Ｊ、に層からなるニューラ
ルネットワークのシナプスによる結合状態を示す、ＷＩ
Ｊ、ＷＪＫはＩ−Ｊ、Ｊ−に層各ニューロン間のシナプ
ス荷重、前段出力Ｘ１．ＸＪにこの荷重をかけて、ニュ
ーロン内部レベルに加算される。第１図３はこれらのシ
ナプス荷重および＆重補正鴬の初期値設定器である。初
期値の設定の仕方はｔｓｍルーチンの収斂速度に大きく
影響し、重要であるが、ここでは説明を省略する。４は
カウンタ５および１１の初期値設定器である。５から１
４は複数の対象パターンを順送りに学習させる反復ルー
チンである。Ｌはパターン番号で、ＬＮはパターン総数
を示す、６では２のパターンバッファからＩＪｔ目の入
力パターンを取出しデータセットする。入力１層のニュ
ーロン数ＩＮは１つのパターンを構成するビット数ｎよ
り１つ大きくなっている。これは第２図に示すとと＜、
Ｉ、Ｊ層の工ＮＩＪＮ＃目は１．０　　ト固定して与え
る為である。この理由は第３１１’ｆｌで説明する。ニ
ューロンの内部状態Ｕは入力Ｘｔとシナプス荷重Ｗ息の
積を加算して求まる。各ニューロンにはそれぞれ独立の
興１１１（発火）レベルｕｏがあり、Ｕ　＜　Ｕ　Ｏで
は変化せず、Ｕ　）　Ｕ　Ｏで一定レベルの出力を示す
、この様子はＵを の形に書き直すと第３図（ｆｉ）の如く、Ｕ＝Ｏの前段
で出力ｙが急激に変化するいき値関数で与えられる。ニ
ューラルネットワークはこのシナプス荷重ＷＩが学習の
繰りかえしによって自己組織化し、パターン認識能力を
得る。ニューロンのしきい値ｕｏは初期値によって与え
てもよいが学習の収斂に影響し、１つ１つしきい値を与
えるのがわずられしい、そこで（１）式のｕｏを ｕｏ＝−Ｗｌｌ＋１・ＸＩｌ＋１　　　　　　　・・・
（２）とし、Ｘｎ＋１＝１．０とすればＷ　ｎ　＋　１
は他のシナプス荷重と同等に学習で自動設定され、ｕｏ
が自動的に決定されることになる。この方がプログラム
が簡単になるメリットもある。

第１図の演算器７ではパターン信号Ｘ１がシナプス荷重
ＷＩＪを掛けて加算され、いき値関数を介してＪ層出力
Ｘ−となる（第３図参照）　、　Ｘａは更にに層出力Ｘ
ｈとなる。８では５番目パターンの教師信号Ｔ　ｋ（Ｌ
）がデータセットされる。第２図に示すごとく、この学
習ではパターン出力Ｘｈに対応して教師信号１゛糺が与
えられる０両信号の誤差を学習信号δ−として出力層か
ら人力方向へ逆伝搬する。各ニューロンへの入力信号と
学習信号の積に比例してシナプス荷重が変化し、ネット
ワークを徐々に自己組織化し、認識能力を高めてゆく、
これはすでに確立されている従来の手法であり、第１図
の演算器１２．１３がこの仕事をするルーチンである。

本発明では従来の手法に対してブロック９゜１０．１１
を付加したことを１つの特徴とする。

先ず、演算器９で５番目パターン出力の誤差エネで計算
する。比較器１０は５番目パターンの誤差エネルギＥＬ
がＯに収斂しているかどうか判定する。ＥＬが正の微小
値Ｅより大きいときはカウンタ１１で収斂していないパ
ターン数ＮＰを１つカウントアツプする０次で誤差逆伝
搬、シナプス荷重補正を行う演算器１２．１３へと進む
、この後比較器１４でパターン番号りがパターン総数Ｌ
Ｎを越えているかどうか判定し、パターン総数を越えて
いなければカウンタ５に戻り、次のパターンによる学習
を行う、比較器１ｏで誤差エネルギＥＬが１以゛ドのと
きはカウンタ１１、演算器１２゜１３を無視して比較器
１４ヘジヤンプする。これは本発明のキーポイントの１
つである。これにより誤差の大きくなったパターンの学
習エネルギを常時大きく保つ、全パターンに対して硬直
をなくし、バランスのとれた軟らかなネットワーク結合
を形成させ、全パターンの収斂（学習々得）を飛躍的に
促進する。

比較器１４でパターン番号りがパターン総数ＬＮを越え
ると比較器１５へと進む。比較器１５ではカウンタ１１
で一定された誤差エネルギの大きいパターン数ＮＰがＯ
と比較される。ＮＰ＝０であれば今パターンの誤差エネ
ルギが微小値ε以下に収斂したことを意味するため、演
算は完了となる。ＮＰ≠０であれば十分収斂していない
パターンが少なくとも１つ存在することを示す、この場
合はカウンタ１６でステップ数Ｎをカウントアツプする
０次の比較器１７でステップ数Ｎがその上限設定値ＮＥ
以上であれば演算を中止、完了する。Ｎが設定値以下で
あれば初期値設定器４でカウンタ５，１１を初期化し、
全パターンによる学習演算を続行する。

第１図に示す本発明の一実施例ではカウンタ５、比較器
１４間にパターンを順送りし、学習させる一括パターン
認識方式を採用しているが、本発明の要点は２つある。

１つは各パターンの誤差エネルギを微小値εと比較する
比較器１０を設けたこと（前述）である、他の１つは各
パターンの誤差エネルギが規準値以上で、学習によるネ
ットワーク補正を必要とするパターン個数ＮＰを一定す
るカウンタ１１と全パターン学習後のカウント数Ｎ　Ｐ
を０と比較する比較器１５を設けたことである。

これにより全パターンの収斂が明確に判定でき、信頼性
の高いニューロコンピュータとできる。

〔発明の効果〕

本発明によれば入力パターン数が大きい場合のネットワ
ークの学習収斂を効率的に促進でき、全体の学習のため
の演算回路、時間を大幅に低減できる効果がある。ニュ
ーラルネットワークでは対象とするパターンすべてを認
識できることが必要であるが従来の方法では１つのパタ
ーンだけ残り、時間をかけてもできないという問題が多
発した。

本発明では収斂できないパターンに学習エネルギを集中
する為このような失敗は余り心配しなくて済む（但し初
期値の影響は皆無ではない）。

【図面の簡単な説明】

第１図は本発明の１実施例回路を含むニューロコンピュ
ータ演算制御ブロックダイヤグラム、第２図は３層構造
ニューラルネットワークのシナプス結合概説図、第３図
はニューロン内部状態説明図といき値開数機能の概説図
である。

Claims (2)

【特許請求の範囲】
1. １．相隣るニューロン層間の個々のニューロンがシナプ
   スを介してランダムに結合する多層階層構造ニューラル
   ネツトワークを有し、入力パターン信号が出力端に向つ
   て各層を伝搬するとともに、出力端出力パターンに対す
   る教師パターンが与えられ、両パターンの差を学習（誤
   差）信号として、これを入口層に向つて逆伝搬し、学習
   信号と入力信号の積に比例して個々のニューロンのシナ
   プス荷重値を自己補正し、ネツトワーク全体を信号に応
   答して自己組織化学習するニューロコンピュータにおい
   て、各入力パターンに対する出力値のその教師信号値か
   ら誤差エネルギＥ＿Ｌを求める演算器９と０に近い正の
   微小値εとＥ＿Ｌを比較する比較器１０を設け、Ｅ＿Ｌ
   ＞εのときは誤差逆伝搬とシナプス荷重補正によるネツ
   トワークの学習を行うとともに、Ｅ＿Ｌ≦εのときはネ
   ツトワークの学習ルーチンを無視する分枝回路を設けた
   ことを特徴とするニューロコンピュータ。
2. 　２．請求項１記載のニューロコンピュータにおいて、
   学習対象である複数パターンのうち、誤差エネルギＥ＿
   Ｌが微小値εより大きくなる（未収斂）パターン個数Ｎ
   Ｐを一定するカウンタ回路１１を設けるとともに、ＮＰ
   とＯを比較する比較器１５を設け、全パターン演算後の
   ＮＰが一個以上のときはパターンおよびＮＰカウンタを
   初期状態に戻し、学習演算ルーチンを繰りかえすととも
   に、ＮＰ＝０の全パターン収斂状態のときは学習演算を
   修了する分枝制御回路を有することを特徴とするニュー
   ロコンピュータ。