JPH02308359A - 多層ニューラルネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、多層ニューラルネットワーク、特に隠れ層構
造及び隠れ層に係るシナプス結合構造の自己組織手段に
関する。

［従来の技術］ 背景 近年、パターン認識、ロボットの適応制御、知識情報処
理等の情報処理を行う情報処理システムとして、生体系
情報処理の機能及び原理にならって構築されたニューロ
ン情報処理システムの理論的研究及び実用化検討がすす
められている。

このニューロン情報処理システムは、並列分散情報処理
能力及び自己組織化学習能力を特徴的能力とする情報処
理システムであって、例えばノイマン型コンピュータ等
の直列情報処理システムによっては効率的に処理するこ
とが困難な情報処理対象の処理において著しい有効性を
発揮する。

すなわち、例えばノイマン型コンピュータにおいては、
該コンピュータを構成する中央処理装置の逐次処理速度
による情報処理速度の制限（いわゆる、ノイマン・ボト
ルネック）、画像パターン等の並列情報に係る情報処理
ソフトウェアの膨張、該コンピュータを構成する半導体
デバイスの高集積化及び高速化の理論的限界への漸近等
の問題点がある。一方で、ニューロン情報処理システム
は、処理対象情報を分割して並列的に処理する並列分散
情報処理を可能とする情報処理システムであって、さら
に処理対象情報の構造に応じて自己の構造を最適化し、
最適化された自己の構造により並列分散情報処理を行う
ことを可能とする能力、すなわち自己組織化学習能力を
有している。

従って、画像データ等のパターン情報の識別、ロボット
動作の最適化、あいまいかつ多量の情報である知識情報
の処理等においては、これらの処理対象情報を並列分散
情報処理しかつＲ適化構造を学習し獲得するニューロ情
報処理システムが有意である。

従来例の概要 前記ニューロ情報処理システムの代表的な構成としては
、複数の単位情報処理装置（以下、層という）が順次接
続され、単一の階層構造を有する情報処理システムとし
て構成される多層ニューラルネットワークが知られてい
る。

この多層ニューラルネットワークは、外部装置、例えば
画像データの入力装置から供給される識別情報を取り込
む入力層と、該入力層に順次接続された隠れ層と、最後
段の隠れ層に接続され、入力層から所定個数の隠れ層を
介して供給された情報に応じて、外部装置、例えばホス
トコンピュータに識別結果情報を出力する出力層と、か
ら構成されている。すなわち、前記入力層に供給された
情報は、該人力層、前記隠れ層及び出力層において処理
され、この処理の結果に係る情報が、該出力層から外部
に出力される。

これらの層は、それぞれ分散情報の処理を行うプロセシ
ングエレメント（ｐｒｏｃｅｓｓｉｎｇ　ｅｌｅａ＋ｅ
ｎｔ）である複数のニューロンから構成され、これらニ
ューロンはそれぞれの層内で並列配置されている。

すなわち、例えばバッファメモリ等を含む構成のそれぞ
れのニューロンには、外部又は前段の層（すなわち入力
層もしくは隠れ層）を構成する他のニューロンから、例
えば画像データ等の識別情報から分割生成された複数個
の分散情報又はこの分散情報を前段の層により処理して
得られた分散情報が、入力される。そして、前記ニュー
ロンは、入力された分散情報について処理を行い、外部
又は次段の層である隠れ層もしくは出力層を構成する他
のニューロンに、該処理後の分散情報を供給する。

また、前記入力層を構成するニューロンである入力層ニ
ューロンは、入力導線である入カンナブスにより、外部
装置に接続され、他方出力導線であるシナプスにより、
次段の層である隠れ層を構成するニューロン、すなわち
隠れ層ニューロンに接続されている。例えば、画像デー
タ等の識別情報を構成する前記分散情報は、入力シナプ
スを介してそれぞれ対応する入力層ニューロンに入力さ
れ、この入力層ニューロンによる処理を経た後にシナプ
スを介して隠れ層ニューロンに出力される。

同様に、前記隠れ層ニューロンは、入力導線であるシナ
プスにより、前段の層である入力層又は隠れ層を構成す
る入力層ニューロン又は他の隠れ層ニューロンに接続さ
れ、他方出力導線であるシナプスにより、後段の層であ
る隠れ層を構成する他の隠れ層ニューロン又は出力層を
構成するニューロンである出力層ニューロンに、接続さ
れている。すなわち、前記入力層ニューロン又は前段の
隠れ層ニューロンからシナプスを介して供給される分散
情報は、前記隠れ層ニューロンによる処理を経た後に、
シナプスを介して次段の層である他の隠れ層又は出力層
を構成する隠れ層ニューロン又は出力層ニューロンに出
力される。

さらに、前記出力層ニューロンは、出力導線である出力
シナプスを介して外部に接続されている。

すなわち、前記シナプスを介して前段の層である隠れ層
から供給された分散情報は、前記出力層ニューロンによ
る処理の後、外部の装置、例えばホストコンピュータに
供給される。ここで、それぞれの出力層ニューロンの出
力に係る分散情報の総和は、前記入力層に入力された対
応する情報が並列分散情報処理された情報となる。

このようにして、前記多層ニューラルネットワークにお
いては、入力情報を所定個数の分散情報に分割して並列
に処理する並列分散情報処理が行われる。

ニューロ情報処理システムのもう一つの特徴的能力であ
る自己組織化学習能力は、前記多層ニューラルネットワ
ークにおいては、例えば後に詳述するパックプロパゲー
ション（ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　；逆伝搬
）学習則等の学習アルゴリズムにより、出力情報の最適
化制御を行うことで実現される。

従来例の構成 第４図には、このパックプロパゲーション学習則を用い
た多層ニューラルネットワークの一構成例が示されてい
る。

この従来例においては、前記入力層１０、複数個（ここ
では（Ｍ−１）個とする）設けられ、順次接続された隠
れ層１２及び前記出力層１４には、後述のパックプロパ
ゲーション学習則に即して入力層１０、隠れ層１４及び
出力層１４を制御する逆伝搬制御部１６が接続され、逆
伝搬制御部１６には学習ステップ数ｎを計数するカウン
ター８が接続されている。

すなわち、まず通常の情報処理時には、処理対象である
識別情報等の入力情報は、Ｎ個の入力分散情報１．（ｉ
−１，２，・・・、Ｎ）により構成され、この入力分散
情報１．（ｉ−１，２，・・・、Ｎ）は、入力層１０に
並列に入力される。前記入力層１０は、この入力分散情
報！、（ｉ−１，２，・・・。

Ｎ）に対応するＮ１個の分散情報　Ｘｉ　（ｉ−１゜２
、・・・、Ｎ１）を次段の隠れ層１２に出力し、該隠れ
層１２も同様に分散情報　Ｘ？（ｉ−１，２゜・・・、
Ｎ１）を次段の隠れ層１２に出力し、さらに該隠れ層１
２も同様に分散情報　Ｘ？（ｉ−１゜２、・・・、Ｎ１
）を次段に出力し、（Ｍ−１）段目の隠れ層出力である
分散情報　Ｘ〜１（ｉ−１，２゜・・・、ＮＭ）は出力
層１４に入力される。そして、前記出力層１４は、前記
入力情報に対応する出力情報を構成するＮ個の出力情報
０．（ｉ−１，２゜・・・、Ｎ）を外部出力する。

前記入力情報と出力情報の対応付け、すなわち学習は、
通常の情報処理に先立って行われこの学習時には逆伝搬
制御部１６により入力層１０、隠れＪｉＷ１２及び出力
層１４が制御される。後述のように、逆伝搬制御部１６
は入力層１０、隠れ層１２及び出力層１４の出力である
分散情報Ｘ！　（ｉ＝１．　２．・・・、　Ｎ、　；　
ｊ−１，２，・・・。

Ｊ Ｍ）及び出力分散情報０．　　（ｉ−１，２，・・・、
Ｎ）により、後述の結合シナプス係数変化量ΔＷ　’：
”：に−１）（ｉ　−１，２，・・・、Ｎ、；１０コ ｊ−１，２，・・・、Ｎ　　　　、に−１，２，・・・
、Ｍ）を演算し入力層１０、隠れ層１２及び出力層１４
に供給する。そして、カウンター８により計数される学
習ステップ毎に入力層１０、隠れ層１２及び出力層１４
における後述のシナプス結合を変化させ、所望の入力分
散情報１−（Ｌ−１，２，・・・。

Ｎ）に対応する出力分散情報０．（ｉ＝１．２゜・・・
、Ｎ）の最小自乗制御が行われる。

第５図には、隠れ層１２を構成する隠れ層ニューロンの
シナプス結合が示されている。この図においては、（Ｍ
−１）段目の隠れ層１２を構成するｉ番目の隠れ層ニュ
ーロン２０と、該隠れ層ニューロン２０に接続された出
力層ニューロン２２とに係るシナプス結合が示されてい
る。

前記隠れ層ニューロン２０には、前段との接続に係るシ
ナプス２４が所定の係数であるシナプス結合係数により
結合、いわゆるシナプス結合され、該隠れ層ニューロン
２０からの出力に係るシナプス２４は、（ｉ−１）番目
、ｉ番目及び（ｉｌｌ）番目の出力層ニューロン２２に
シナプス結合されている。

すなわち、隠れ層ニューロン２０には、（Ｍ−１）段目
の隠れ層出力である分散情報　ＸＱ−１゜一１ Ｍ−Ｉ　　　　　Ｍａｌ Ｘ、Ｘ、　　が入力され、所定の変換の後に出力層ニュ
ーロン２２に分散情報　ＸＭ　として出Ｍ−ｉ　　　　
　Ｍａｌ 力される。例えば、分散情報　Ｘ　　　、Ｘ　　　。

ＸＭ＋１の隠れ層ニューロン２０の入力に係るシナフＸ
　ｎ　全係数ｗ　Ｍ・（Ｍ−１）　　　　Ｍ・（ト１）
、Ｗ　　・ ■・（１−１）　　　　　ｒ・１　　　′Ｍ−（Ｍ−１
）を用いて前記隠れ層ニューロン２０ｗＩ・（ｉｌｌ） の出力に係る分散情報Ｘ￥　は、 Ｍ　　　　　　　０　　　　　・・・（１）Ｘｌ　軍　
ｆ　ｉ　（Ｕ、） と表わされる。ここで、ｆ、は前記隠れ層二ニー０ン２
０の出力関数、ｕＱ　　は、該ニューロン２０の内部状
態値であって、 Ｕ　−〇−・（ｎ−ｔ）　ｘ（Ｍ−１，）１　　　１・
（＋−１）　　（ｉ−１＞＋ｗ’・（Ｍ−１）　　Ｍ−
Ｉ　　　　　Ｍ・（Ｍ−１）　ｘＭ−１Ｘ゛＋Ｗ１・（
国）国 ■・１１ ・・・（２） で表わされる値である。

更に、出力層ニューロン２２は、出力シナプス２６によ
り外部に出力分散情報０．（ｉ−１，２゜なお、この図
においては、１個の隠れ層ニューロン２０に係る分散情
報がを限定されたシナプ■ ス結合により見比できる場合が示されているが、前記式
（１）、　　（２）を−膜化してｍ段目の隠れ層１２を
構成する１番目の隠れ層ニューロン２０の出力に係る分
散情報Ｘ！は、 １　　　　　　　　　　　　　　　　・・・（３）Ｘ、
−ｆ　ｉ　（Ｕ、） ■ （ｉ−１，２，−、Ｎ　　、　ｍ＝２．　３．−、　Ｍ
）と表わされる。

従来例の動作 次に、バックプロバケーション学習則に係る逆伝搬制御
部１６の動作の概略を説明する。通常の情報処理時に所
望の入力分散情報　１．（ｉ−１゜２、・・・、Ｎ）に
対応して所定出力０．（ｉ−１゜２、・・・、Ｎ）を出
力するためには、この対応関係を前記シナプス結合に係
るシナプス結合係数０や１ｌ−１ Ｗ　−−（１，２，＝−、Ｎ　　；ｍ−２，３，−−−
。

１”Ｊ　　　　　　　　　　　　　　　　　　ｍＭ）の
値として自己組織することが必要である。

この自己組織は、前述の通り出力層１４の出力分散情報
０．（ｉ−１，２，・・・、Ｎ）の最小自乗制御 御であって、装置が学習すべき出力分散情報、いわゆる
出力教師信号ｄ、（ｉ−１，２，・・・、Ｎ）を用いて
次式 により演算される自乗誤差Ｅを最小にするように、次の
ような逆伝搬制御部１６による入力層１０゜隠れ層１２
及び出力層１４の制御が行われる。

まず、出力層１４を構成するｉ番目の出力層ニューロン
２２に対応する出力層学習信号　σ″＋１（ｉ−１，２
，・・・、Ｎ）が演算される。この出力層学習信号σ弊
’（ｉ−１，２，・・・、Ｎ）は、例えば次式で演算可
能な値である。

）Ｉｌｌ （７Ｘ −（ｄ、−０，）ｄｆ、（Ｕ”１）／ｄＵｌ　　１　　
　ｔｌ　　　　　　１ （””１＋２＋　・・・、Ｎ）　　　　　　　・・・（
６）ここで、Ｕ）４＋１は式（４）により算出される出
内層ニューロン２２の内部状態値ｄｆ、／ｄＵ。

は、ｆ、の微分値である。

次に、この出力層学習信号　σ）！＋１（，１゜２、・
・・、Ｎ）により、当該出力層ニューロン２２への入力
に係るシナプス結合係数 （Ｍａｌ）　　・　’　　”ｆ（ｔ、量ａｗ　　（”４
）　　・　’（ｊ−１゜Ｗｔ　　・　コ　　　　　　　
　　　　　　　　　　　　　　１−ｊ２、・・・、ＮＭ
）が次式により演算される。

（トｌ）・Ｘ ６ｗ、　　　、　　　　　（ｎ＋１） １争Ｊ ｆｉ　［７７、（Ｍａｌ）　ｚＭ　＋ａＡＷ　（Ｍ＋り
・’（ｎ）］ｌ　　　　　Ｊ　　　　　　　１・Ｊ ・・・　（７） η、α；定数 ｉ−１，２，・・・、Ｎ ｊ−１，２，・・・、ＮＭ ここでｎはカウンター８により計数される学習ステップ
数であって、シナプス結合係数の変化量ΔＷ（Ｍ”り”
Ｍ　　＜ｊ−１，２，・・・、ＮＭ）は学習１・Ｊ ステップ数ｎの関数である。すなわち、前学習スチップ
における前記変化量により、現学習ステップにおける該
変化量が算定される。

更に、後段である出力層１４の学習信号σ）ｌＩ＋１（
ｉ−１，２，・・・、Ｎ）を用いて（Ｍ−１）段目の隠
れ層に係る学習信号　σＭ　（ｉ−１，２，・・・。

ＮＭ）が次式によって演算される。

Ｍ　　　　　　　　　　　Ｍ σ、−ｄｆ、（Ｕ、／ｄＵｉ） （ｉ−１，２，・・・、ＮＭ）　　・・・（８）この学
習信号σ”（ｉ−１，２，・・・、Ｎ）に１Ｍ より、式（７）を用いて（Ｍ−１）段目の隠れ層１２を
構成する隠れ層ニューロン２２に係るシナプス結合係数
変化量　ΔｗＭ−（Ｍ−１）　　（ｉ、。

−Ｊ ２、・・・、ＮＭ；　ｊ−１，２，・・・ＮＭ−１）が
演算される。

このような演算を逐次行うことにより、それぞれのニュ
ーロンに係るシナプス結合係数変化量ΔＷｋ°＜ｋ−ｏ
　＜　ｉ　ｓｍ　ｔ　、　２．・・・、Ｎｋ；１°Ｊ ｊ−１，２，・・・、Ｎ　　　　、に−１，２，・・・
、Ｍ）が演算される。

そして、前記逆伝搬制御部１６から、入力層１０、隠れ
層１２及び出力層１４を構成するそれぞれのニューロン
に係るシナプス結合係数変化量Δｗｋ°＜ｋ−１）（ｉ
−１，２１００，、Ｎｋ；−Ｊ ｊ−１，２，・・・、Ｎ　　　；に−１，２，・・・、
Ｍ）が、対応するニューロンに係るシナプス結合への係
数変更指令としてミ対応するニューロンに供給される。

このように、前記逆伝搬制御部１６によれば、所望の入
力情報に係る出力情報の最小自乗制御が行われ、パック
プロパゲーション学習則によるシナプス結合係数の最適
化、すなわちシナプス結合の自己組織が行われる。

従来例の効果 従って、第４図及び第５図に示される従来の多層ニュー
ラルネットワークによれば、シナプス結合係数の演算に
よるシナプス結合の自己組織が行われ、所望の入力情報
に所定の出力情報の対応付けに係る自己構造をＮ（ｑし
、入力情報のパターン認識等の並列分散情報処理を行う
ことが可能となる。

［発明が解決しようとする課＋８］ しかしながら、このような構成を有する従来の多層ニュ
ーラルネットワークにおいては、次のような問題点があ
った。

（１）隠れ層ニューロンの個数が、経験的に決定された
個数に設定され、学習時のオペレータ（いわゆる教育者
）の経験により学習確が変動し、必ずしも最適の自己構
造が獲得できないという学習確度に係る問題点。

（２）隠れ層ニューロンに係るシナプス結合が、一般的
には前後段の前ニューロンと接続するように設定される
ため、シナプスを介した分散情報伝送に係る個々の分散
情報の相互干渉が発生しやすく、入力情報の誤伝送が生
じるという処理確度に係る問題点。

（３）（２）と同じ理由による個々の情報の相互干渉に
より、追学習により自己再組織することが困難であると
いう追学習に係る問題点。

（４）学習時において、十分に学習がなされたかどうか
を判定する手段がなく、学習を最適な時点で終了するこ
とができないという学習時の操作性に係る問題点。

本発明は、このような問題点を解決することを課題とし
てなされたものであり、学習確度及び処理確度が向上さ
れ、追学習を効果的に行うことができ、学習終了を適確
に行うことができる多層ニューラルネットワークを提供
することを目的とする。

［課題を解決するための手段］ 前記目的を達成するために、本発明は、学習時に隠れ層
ニューロンの個数及びこの隠れ層ニーロンに係るシナプ
ス結合係数を最適化制御する最適化制御手段を含み、前
記隠れ層ニーロンにより構成される隠れ層の構造及びこ
の隠れ層に係るシナプス結合の構造を自己組織すること
を特徴とする。

また、本発明は、前記最適化制御手段が、学習開始時に
隠れ層ニューロンの個数を初期設定し、学習開始後は前
記学習ステップ数に応じてこの隠れ層ニュ−ロンの個数
を漸次増加させて、前記隠れ層ニューロンの生成を制御
するニューロン制御手段と、隠れ層ニューロンの生成時
にはこの隠れ層ニューロンと後続層ニューロンとをシナ
プス結合し、このシナプス結合に係るシナプス結合係数
はこの隠れ層ニューロンと前層ニューロンとのシナプス
結合に係るシナプス結合係数より小さい値に設定して、
隠れ層ニューロンと後続層ニューロンのシナプス結合に
係るシナプス結合係数を初期設定するシナプス制御手段
と、を有し、学習開始時に前記隠れ層ニューロンの個数
及びシナプス結合係数を初期設定し、学習開始後は隠れ
層ニューロンの個数を漸増させて、前記自己組織を行う
ことを特徴とする。

本発明は、前記ニューロン制御手段が、前記学習制御手
段により決定された自己の出力に係る分散情報が所定の
値であるニューロン削除しきい値より小さい隠れ層ニュ
ーロンを削除し、前記シナプス制御手段が、前記シナプ
ス結合係数を逐次監視してこのシナプス結合係数が所定
の値であるシナプス削除しきい値より小さいときにはこ
のシナプス結合係数を零に再設定し、複数の前記隠れニ
ューロン及びシナプス結合のうち、自己に係るシナプス
結合係数の小さい隠れ層ニューロン及びシナプス結合を
排除して、前記自己組織を行うこ、とを特徴とする。

さらに本発明は、前記ニューロン制御手段が、追学習時
には前記ニューロン削除しきい値による隠れ層ニューロ
ン削除を禁止し、前記シナプス制御手段が、追学習時に
は前記シナプス削除しきい値によるシナプス結合係数の
零再設定を禁止し、追学習時には、前記隠れ層ニューロ
ンの生成及びシナプス結合の初期設定のみを行い、学習
時に前記自己組織により獲得した隠れ層の構造及びこの
隠れ層に係るシナプス結合の構造を損うことなく自己再
組織を行うことを特徴とする特 ［作用コ 本発明に係る多層ニューラルネットワークにおいては、
隠れ層ニューロンの個数及び隠れ層ニューロンに係るシ
ナプス結合係数を最適化することにより、隠れ層構造及
びこの隠れ層に係るシナプス結合構造が自己組織される
。

また、前記隠れ層ニューロンの個数を学習開始時に初期
設定し、学習開始後はこの個数を漸増させ、隠れ層ニュ
ーロンの生成時には、この隠れ層ニューロンと前層ニュ
ーロンとのシナプス結合係数より小のシナプス結合係数
で、該隠れ層ニューロンと後続層ニューロンとをシナプ
ス結合して前記自己組織が行われる。

さらに、生成された隠れ層ニューロンに係るシナプス結
合係数の総和が削除しきい値より小さいときにはこの隠
れ層ニューロンが削除され、シナプス結合係数がシナプ
ス削除しきい値より小さいときにこのシナプスのシナプ
ス結合係数が零に再設定される。

また、追学習時には、隠れ層ニューロンの削除及びシナ
プス結合係数の零再設定が禁止され、学習時に獲得され
た構造を破壊することな（自己再組織が行われる。

［実施例］ 以下、本発明の一実施例を図面を用いて説明する。第４
図及び第５図に示される従来例と同一の構成には同一の
符号を付し、説明を省略する。

実施例の構成 第１図には、本発明の第１の実施例に係る多層ニューラ
ルネットワークの構成が示されている。

この図においては、本発明の特徴に係る最適化制御部２
８が、隠れ層１２、出力層１４及びカウンタ１８に接続
されている。すなわち、最適化制御部２８には、隠れ層
１２及び出力層１４から分散情報Ｘ　ｊ（ｉ−１，２，
・・・、Ｎｊ　；　ｊ−１，２゜・・・、Ｎｋ、；に−
１，２，・・・、Ｍ）が入力され、最適化制御部２８は
、これらの値を監視してしきい値判定を行い、隠れ層ニ
ューロン２０の削除又は隠れ層ニューロンに係るシナプ
ス結合係数の零設定が必要と判定したときには、それぞ
れシナプス削除指令信号Ｉｘ又は、シナプス結合削除指
令信号１．ｄを発して、隠れ層ニューロン２０の個数及
びシナプス結合係数の制御を行う。

実施例の動作 次に、この実施例に係る最適化制御部２８の動作を説明
する。

（１）学習時の動作 第２図には、この実施例に係る最適化制御部２８による
実施例の学習時の動作が示されている。

まず、学習開始（１００）に伴い、隠れ層ニューロン２
０の個数が初期設定される（１１０）。

例えば、隠れ層ニューロン２０は零個に設定される。

次に、隠れ層ニューロン２０が、所定個数だけ生成され
る（１２０）。例えば、１回の生成につき１個の割合で
隠れ層ニューロン２０を生成する場合には、初期化過程
１１０直後には１個の隠れ層ニューロン２０が生成され
る。

隠れ層ニューロン生成に伴い、この生成された隠れ層ニ
ューロン２０が、相前後する層を構成するニューロンと
シナプス結合される（１３０）。

このシナプス結合は、例えば前後層の全ニューロンと結
合するように行われ、さらに後続層とのシナプス結合は
、前層とのシナプス結合に比べ、シナプス結合係数Ｗが
小さいように行われる。

生成された隠れ層ニューロン２０及びシナプス結合を用
いて、通常のパックプロパゲーション学習が行われる（
１４０）。さらに、このパックプロパゲーション学習過
程１４０は、該学習１４０に係る学習ステップ毎のパッ
クプロパゲーション過程１４２と、該過程１４２を前記
カウンタ１８により計数される学習ステップ数ｎに応じ
て繰り返し実行するためのループ判定過程１４４とから
構成されている。

パックプロパゲーション学習過程１４２においては、第
４図に示される構成を有する従来の多層ニューラルネッ
トワークにおけるバックブロゲーション学習と同様に、
個々のニューロンに係るシナプス結合係数Ｗが学習信号
σにより演算され、該係数Ｗにてそれぞれのシナプス２
４に係るシナブス結合が行われる。また、ループ判定過
程１４４においては、学習ステップ数ｎが所定の整数で
ある単位学習ステップ数ｎ　の整数倍に等しいかυ 否かが判定される。この判定の結果、「等しい」と判定
された場合には次に述べるシナプス削除過程１６０に移
り、これ以外の場合にはパックプロパゲーション過程１
４２に戻り引続きバックプロパゲーション学習過程１４
０が実行される。

次に、シナプス結合係数Ｗの小さいシナプス結合の該係
数Ｗが零に再設定され、従って該シナプス結合が実質的
に削除される（１６０）。このシナプス削除過程１６０
は、シナプス結合係数Ｗが所定の値であるシナプス削除
しきい値λ　より大■ か否かを判定するシナプス結合監視過程１６２と、該過
程１６２の判定結果に応じ該係数Ｗを零に再設定する係
数再設定過程１６４と、この実施例の装置に係るシナプ
ス結合の個数ｎ　によりシナプス削除過程１６０の終了
可否を判定するシナプスループ判定過程１６６とから構
成されている。

すなわち、前記パックプロパゲーション学習過程１４０
の後に、シナプスループ判定過程１６６を経てシナプス
結合監視過程１６２が実行される。

この過程１６２においては、個々のシナプス結合に係る
シナプス結合係数Ｗがシナプス削除しきい値λ　より大
であるか否かが判定される。例えば、シナプス結合係数
ＷがＯから１の範囲に属するように設計的に定められ、
シナプス削除しきい値λ　が０．２に予め定められてい
る場合には、個々のシナプス結合に係るシナプス結合係
数Ｗが０．２より大であるか否かが判定される。この判
定の結果、シナプス結合係数Ｗがシナプス削除しきい値
λ　より大である場合にはシナプスループ判定過程１６
６に移り、これ以外の場合には係数再設定過程１６４に
移る。係数再設定過程１６４においては、シナプス削除
しきい値λ　以下であると判定されたシナプス結合に係
るシナプス結合係数Ｗが、最適化制御部２８から隠れ層
１２又は出力層１４に供給される指令信号Ｉ　により、
零に再設■ 定される。このとき、例えば式（４）によるニューロン
内部状態値Ｕにおいては、零再設定に係るシナプス結合
の寄与分が零となるため、該シナプス結合はパックプロ
パゲーション学習においては実質的に削除されたと同様
の状態になる。係数再設定過程１６４及び前記シナプス
結合監視過程１６２の後に実行されるシナプスループ判
定過程１６６においては、この実施例に係る多層ニュー
ラルネットワークに属するシナプスのすべてについて、
該過程１６２及び１６４の処理が終了したかどうかが判
定され、終了と判定されるまで、引き続き、シナプス削
除過程１６０が実行される。

前記シナプスループ判定過程１６６において終了と判定
された後に、後述のニューロン削除過程１８０に移行す
るか否かが学習ステップ数ｎにより判定される（１７０
）。すなわち、前記単位学習ステップ数ｎ　（例えば１
００）の整数（例えば２）倍に設定された整数（例えば
２００）であるニューロン削除移行定数ｎｂの整数倍に
、前記学習ステップ数ｎが等しい場合には、ニューロン
削除過程１８０に移り、これ以外の場合には、バックプ
ロパゲーション学習過程１４０に戻り、学習が継続され
る。このバックプロパゲーション学習過程１４０に戻る
場合において、シナプス結合は前記シナプス削除過程１
６０により自己組織されているため、バックプロパゲー
ション学習過程１４０においては、例えば式（７）によ
り演算されるシナプス結合係数Ｗの変化量ΔＷがより好
適なものとなる。

出力に係る分散情報Ｘの値が小さい隠れ層ニューロン２
０を削除するニューロン削除過程１８０は、該分散情報
Ｘの値が所定の値であるニューロン削除しきい値λ　よ
り大か否かを判定する二ニ−ロン監視過程１８２と、該
過程１８２の判定結果に応じ隠れ層ニューロン２０を削
除する削除過程１８４と、この実施例の装置に係る隠れ
層ニューロン２０の個数ｎ　によりニューロン削除過程
１８０の終了可否を判定するニューロンループ判定過程
１８６と、から構成されている。

すなわち、前記移行判定過程１７０の後、ニューロンル
ープ判定過程１８６を経てニューロン監視過程１８２が
実行される。この過程１８２においては、個々の隠れ層
ニューロン２０の出力である分散情報Ｘがニューロン削
除しきい値λ　より第であるか否かが判定される。例え
ば、分散情報ＸがｒｌＪ、　　ｒＯＪ２値のデジタルデ
ータであり、ニューロン削除しきい値λ　が０，５に設
定されている場合には、−の隠れ層ニューロン２０から
出力される複数の分散情報Ｘがすべて０，５より大であ
るか否かが判定される。この判定の結果、分散情報Ｘが
すべてニューロン削除しきい値λ　より大である場合に
はニューロンループ判定過程１８６に移り、これ以外の
場合には削除過程１８４に移る。削除過程１８４におい
ては、出力に係る分散情報Ｘがすべてニューロン削除し
きい値λ　以下であると判定された隠れ層ニューロン２
０が、最適化制御部２８から隠れ層１２に供給される指
令信号■　により、削除される。この隠れ層二ニ−ロン
２０は、最適化制御部２８から供給される信号■　によ
り接続／解除可能なバッファメモリ等の情報処理素子で
ある。このとき、例えば式（３）及び（４）による後続
層ニューロンの出力に係る分散情報Ｘへの前記隠れ層ニ
ューロン２０の寄与分が零となり、パックプロパゲーシ
ョン学習には削除された隠れ層ニューロン２０は寄与し
なくなる。ニューロンループ判定過程１８６においては
、この実施例に係る多層ニューラルネットワークに属す
る隠れ層ニューロン２０のすべてについて、前記過程１
８２及び１８４の処理が終了したかどうかが判定され、
終了と判定されるまで、引続き、ニューロン削除過程１
８０が実行される。

そして、隠れ層ニューロン２０の個数変化により、学習
終了可否が判定され（１９０）　、該判定結果が終了可
とするものである場合には、学習が終了される（２０　
Ｑ）。

すなわち、前記隠れ層ニューロン生成過程１２０による
生成及びニューロン削除過程１８０による削除により、
隠れ層ニューロン２０の個数が増加減少するため、この
増加減少の振幅が小さい場合には、必要な学習が充分な
程度終了したとみなすことができる。このような判定の
結果、学習終了可とみなすことができない場合には、隠
れ層ニューロン生成過程１２０から繰り返し学習が行わ
れる。この場合において、隠れ層ニューロン２０は前記
隠れ層ニューロン生成過程１２０及びニューロン削除過
程１８０により自己組織されているため、パックプロパ
ゲーション学習過程１４０においては、例えば式（７）
により演算されるシナプス結合係数Ｗの変化量ΔＷがよ
り好適なものとなる。

（２）追学習時の動作 第３図には、第２図のように行われる学習の後に、別の
内容の学習を追加的に行う場合、いわゆる追学習の際の
動作が示されている。

この図においては、まず第２図において獲得された自己
構造を初期状態として学習が開始（２１０）され、第２
図による学習と同様に隠れ層ニューロン生成過程１２０
、シナプス結合生成過程１３０及びパックプロパゲーシ
ョン学習過程１４０が順次実行される。

さらに、この追学習時においては、第２図におけるシナ
プス削除過程１６０、移行判定過程１７０及びニューロ
ン削除過程１８０を経ることなく、直接に終了判定過程
１９０が実行される。すなわち、追学習時においては、
シナプス及びニューロンの削除が行われることなく、自
己組織による構造最適化が行われる。

実施例の効果 この実施例に係る多層ニューラルネットワークによれば
、以下のような効果を得ることができる。

（１）隠れ層ニューロンの個数の最適化最適化制御部２
８により、隠れ層ニューロン２０の個数が最適化制御さ
れ、所望の好適な隠れ層構造が獲得されることにより、
教育者の経験を排除して学習確度を向上させることがで
きる。

（２）シナプス結合の最適化 最適化制御部２８により、シナプス結合係数Ｗが最適化
制御され、所望の好適なシナプス結合構造が獲得される
ことにより、シナプス２４相互の干渉による誤伝送が防
止され、伝送に係る処理確度を向上させることができる
。

（３）追学習容易化 （２）により、追学習時にも誤伝送による誤った自己再
組織が防止され、追学習時の自己再組織を容易に行い効
果的に追学習を行うことができる。

（４）非破壊的自己再組織 追学習時に隠れ層ニューロン２０及びシナプス結合の削
除を禁止することにより、学習時に獲得された自己構造
を破壊することなく、効果的な追学習を行うことが可能
となる。

（５）学習ステップ数ｎの削減 各層ニューロン２０の漸増及び生成された隠れ層ニュー
ロン２０に係るシナプス結合係数Ｗの条件的初期設定に
より、自己組織の目標である最適な自己構造への接近速
度の向上、すなわち所要の学習ステップ数ｎの削減が可
能となる。

（６）学習終了の判定 隠れ層ニューロン２０の生成及び削除により、該ニュー
ロン２０の個数が増加減少し、この増加減少の振幅によ
り学習進度を監視することができ、所定の学習進度で学
習終了と判定することが可能となる。

なお、この実施例においては、隠れ層ニューロン２０及
びシナプス結合の監視をシーケンシャルに行う動作が示
されているが、これらは例えば並列的に行うことも可能
である。

また、この監視は常に全数について行う必要はなく、適
当な隠れ層ニューロン２０及びシナプス結合を抽出して
監視することも可能である。

［発明の効果］ 以上述べたように、本発明によれば、次のような効果を
得ることができる。

最適化制御手段により、隠れ層ニューロンの個数が最適
化制御され、教育者の経験を排除して学習確度を向上さ
せることができる。

最適化制御手段により、シナプス相互の干渉による誤伝
送が防止され、伝送に係る処理確度を向上させることが
できる。

隠れ層ニューロンの漸増及び生成された隠れ層ニューロ
ンに係るシナプス結合係数の条件的初期設定により、学
習ステップ数の削減が可能となる。

隠れ層ニューロンの生成及び削除により、所定の学習進
度で学習終了と判定することが可能となる。

前記シナプス結合係数の最適化制御により、誤伝送によ
る追学習障害が排除され、追学習を容易かつ効果的に行
うことが可能となる。

追学習時に隠れ層ニューロン及びシナプス結合の削除を
禁止することにより、学習時に獲得された自己構造を破
壊することなく、効果的な追学習を行うことが可能とな
る。

【図面の簡単な説明】

第１図は、本発明の一実施例に係る多層ニューラルネッ
トワークの構成を示すブロック図、第２図は、この実施
例の学習時の動作を示すフローチャート図、 第３図は、この実施例の追学習時の動作を示すフローチ
ャート図、 第４図は、従来の多層ニューラルネットワークの一構成
例を示すブロック図、 第５図は、この従来例に係る隠れ層ニューロン及びこの
隠れ層ニューロンに係るシナプス結合を示す構成図であ
る。 １２　・・・　隠れ層 １６　・・・　逆伝搬制御１３ ２０　・・・　隠れ層ニューロン ２４　・・・　シナプス ２８　・・・　最適化制御部 ｎ　・・・　学習ステップ数 ｎ　　・・・　隠れ層ニューロンの個数Ｗ　・・・　シ
ナプス結合係数 σ　・・・　学習信号

Claims (4)

【特許請求の範囲】
1. （１）学習信号によりシナプス結合係数を演算決定して
   、シナプス結合係数の最小自乗制御を行う学習制御手段
   を有する多層ニューラルネットワークにおいて、 学習時に隠れ層ニューロンの個数及びこの隠れ層ニュー
   ロンに係るシナプス結合係数を最適化制御する最適化制
   御手段を含み、 前記隠れ層ニューロンにより構成される隠れ層の構造及
   びこの隠れ層に係るシナプス結合の構造を自己組織する
   ことを特徴とする多層ニューラルネットワーク。
2. （２）請求項（１）の多層ニューラルネットワークにお
   いて、 前記最適化制御手段は、 学習開始時に隠れ層ニューロンの個数を初期設定し、学
   習開始後は前記学習ステップ数に応じてこの隠れ層ニュ
   ーロンの個数を漸次増加させて、前記隠れ層ニューロン
   の生成を制御するニューロン制御手段と、 前記隠れ層ニューロンの生成時にはこの隠れ層ニューロ
   ンと後続層ニューロンとをシナプス結合し、このシナプ
   ス結合に係るシナプス結合係数はこの隠れ層ニューロン
   と前層ニューロンとのシナプス結合に係るシナプス結合
   係数より小さい値に設定して、前記隠れ層ニューロンと
   後続層ニューロンのシナプス結合に係るシナプス結合係
   数を初期設定するシナプス制御手段と、 を有し、 学習開始時に前記隠れ層ニューロンの個数及び隠れ層ニ
   ューロンに係るシナプス結合のシナプス結合係数を初期
   設定し、学習開始後は隠れ層ニューロンの個数を漸増さ
   せて、前記自己組織を行うことを特徴とする多層ニュー
   ラルネットワーク。
3. （３）請求項（２）の多層ニューラルネットワークにお
   いて、 前記ニューロン制御手段は、自己の出力に係る分散情報
   が所定の値であるニューロン削除しきい値より小さい隠
   れ層ニューロンを削除し、 前記シナプス制御手段は、前記シナプス結合係数を逐次
   監視してこのシナプス結合係数が所定の値であるシナプ
   ス削除しきい値より小さいときにはこのシナプス結合係
   数を零に再設定し、 複数の前記隠れニューロン及びシナプス結合のうち、自
   己に係るシナプス結合係数の小さい隠れ層ニューロン及
   びシナプス結合を排除して、前記自己組織を行うことを
   特徴とする多層ニューラルネットワーク。
4. （４）請求項（３）の多層ニューラルネットワークにお
   いて、 前記ニューロン制御手段は、追学習時には前記ニューロ
   ン削除しきい値による隠れ層ニューロン削除を禁止し、 前記シナプス制御手段は、追学習時には前記シナプス削
   除しきい値によるシナプス結合係数の零再設定を禁止し
   、 追学習時には、前記隠れ層ニューロンの生成及びシナプ
   ス結合の初期設定のみを行い、学習時に前記自己組織に
   より獲得した隠れ層の構造及びこの隠れ層に係るシナプ
   ス結合の構造を損うことなく自己再組織を行うことを特
   徴とする多層ニューラルネットワーク。