JPH03246747A - ネットワーク構成データ処理装置の学習処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 ネットワーク構成データ処理装置のネットワーク構造部
に割り付けられる内部状態値を学習するための学習処理
方式に関し、 内部状態値の学習をより確実に遂行できるようにするこ
とを目的とし、 データ処理ユニントをなすニューロンの内部結合により
構成されるネットワーク構造部に従ってデータ変換処理
を実行するネットワーク構成データ処理装置と、学習信
号の提示に対して出力されるネットワーク構成データ処
理装置からの出力信号が所望のものとなる内部状態値を
学習する学習処理装置とを備える学習処理システムにお
いて、内部状態値の学習途中において非活性なニューロ
ンとして動作するニューロンを特定する非活性ニューロ
ン特定手段と、この非活性ニューロン特定手段により特
定されたニューロンに関しての内部結合に割り付けられ
る内部状態値のすべて若しくは一部に対して乱数値を設
定する内部状態値変更手段とを備えるよう構成する。

（産業上の利用分野〕 本発明は、ネットワーク構成データ処理装置のネットワ
ーク構造部に割り付けられる内部状態値を学習するため
のネットワーク構成データ処理装置の学習処理方式に関
し、特に、内部状態値の学習をより確実に遂行すること
を可能とならしめる’ｊＡ　ノ）ワーク構成データ処理
装置の学習処理方式％式％ 従来の逐次処理コンピュータ（ノイマン型コンピュータ
）では、使用方法や環境の変化に応じてデータ処理機能
を調節することができないので、パターン認識や適応フ
ィルタ等の分野を中心に、階層ネットワーク構造による
並列分散処理方式に代表されるような適応性を有する不
、トワーク構成データ処理装置が提案されてきている。

このような適応性を有するネットワーク構成データ処理
装置では、データ処理機能を規定するところの内部状態
値を学習処理により求めてい（必要があるが、ネットワ
ーク構成データ処理装置の実用性を高めていくためには
、内部状態値の学習処理が確実に遂行されるようにする
ための手段を用意していく必要があるのである。

〔従来の技術〕

階層ネットワーク構成をとる階層ネットワーク構成デー
タ処理装置に従って従来技術を説明する。

階層ネットワーク構成をとるデータ処理装置では、基本
ユニットにニューロンの一態様をなす）と呼ぶ一種のノ
ードと、内部状態値に相当する重み値を持つ内部結合と
から階層ネットワーク構造部を構成している。第８図に
、基本ユニット１の基本構成を示す。この基本ユニット
ｌは、多大カー出力系となっており、複数の入力に対し
夫々の内部結合の重み値を乗算する乗算処理部２と、そ
れらの全乗算結果を加算する累算処理部３と、この累算
値に非線型の閾値処理を施して一つの最終出力を出力す
る闇値処理部４とを備える。

ｈ層を前段層としｉ層を後段層とすると、ｉ層のｉ番目
の基本ユニットｌの累算処理部３では下記の（１）式の
演算を実行し、闇値処理部４では例えば下記の（２）式
の演算を実行する。

Ｘｐｉ−ΣＦｐｂＷ＝ｈ　　　　　　　　　　（１）弐
Ｖ　ｅ＝　＝１７　（１＋　ｅｘｐ（ｘ　ｐｔ＋θｉ）
）　　（２）式ｈ　：ｈ層のユニット番号 ｐ　：入力信号のパターン番号 θ、＝ｉ層の１番ユニットの闇値 Ｗｉｋ：　ｈ−ｉ層間の内部結合の重み値）’ｐｂ’Ｐ
番目パターンの入力信号に対するｈ層のｈ番ユニットか
らの出力 そして、階層ネットワーク構成データ処理装置では、こ
のような構成の多数の基本ユニット１が、入力信号値を
そのまま分配して出力する入カニニットｌ゛を入力層と
して、第９図に示すように階層的に接続されることで階
層ネットワーク構造部を構成して、入力パターンを対応
する出力パターンに変換するという並列的なデータ処理
機能を発揮することになる。

ネットワーク構成のデータ処理装置では、データ変換機
能を規定するところのネットワーク構造部の重み値を学
習処理により求めていく必要がある。階層ネットワーク
構成データ処理装置の重み値の学習処理方式として、特
に、バック・プロパゲーション法と呼ばれる学習処理方
式がその実用性の高さから注目されている。

このバンク・プロパゲーション法では、第９図に示すｈ
層−１層−ｊ層という３層構造の階層ネットワーク構造
部で説明するならば、学習用の入力パターンが提示され
たときに出力される出力層からの出力パターンｙ□と、
その出力パターンｙ、Ｊのとるべき信号である教師パタ
ーンｄｐｊとが定まると、先ず最初に、出力パターンＹ
ｐｉと教師パターンｄｐｊとの差分値（ａｐＪ−ｙｓ＝
）を算出し、次に、 αｐＪ−ｙｐＪＮ　　　ｙｗ、）＜ｄｗ＝　　ｙｐＪ）
を算出し、続いて、 ΔＷ、、（ｔ）−εΣαｌ’ｊ　）’　ｐｉ±ζΔＷ、
ｔ、（ｔ−１）に従って、ｉ層＝ｊ層間の重み値の更新
量ΔＷ　ｊ　１（１）を算出する。ここで、ｔは学習回
数を表しており、前回の更新サイクル時に決定された重
み値の更新量に係るものを加電するのは学習の高速化を
図るためである。

続いて、算出したα、１を用いて、先ず最初に、βｐｉ
　＝ｙ　ｐｉ　（１ｙ　ａｔ）Σα、、ＷＪｔ（ｔ−１
）を算出し、次に、 ΔＷｔｂ（ｔ）−εΣβｐｉ　３’　ｏｈ＋ζΔＷ、、
（ｔ−ｔ）に従って、ｈ層−１層間の重み値の更新量Δ
Ｗ。

（１）を算出する。

続いて、この算出した更新量に従って次の更新サイクル
のための重み値 Ｗｊｌ（ｔ）　＝ＷＪ、（ｔ−１）＋ΔＷＪ、（ｔ）Ｗ
ｉｂ（ｔ）　＝Ｗ、ｈＯ−１）＋ΔＷｔｈ（ｔ）を決定
していく方法を繰り返していくことで、学習用の入力パ
ターンを提示したときに出力される出力層からの出力パ
ターンｙｐｊと、その出力パターンｙ、Ｊのとるべき信
号である教師パターンｄｐｊとが一致することになる重
み値Ｗ　Ｊ　１１　Ｗ　ｉ　）１及び閾値θ、、θ、を
学習するよう処理することになる。

なお、本出願人は、先に出願の「特願昭６２−３３３４
８４号（昭和６２年１２月２８日出願、“ネットワーク
構成データ処理装置”）」で開示したように、入力側の
ｈ層に常に“ｌ”を出力するとともにその出力に対して
閾値θを重み値として割り付けるユニットを設けること
で、閾値θを重み値Ｗの中に組み込んで閾値θを重み値
として扱うようにすることを提案した。これから、閾値
θの学習もまた重み値Ｗの学習と同様の学習処理により
学習されることになる。

〔発明が解決しようとする課題〕

しかるに、バンク・プロパゲーション法により階層ネッ
トワーク構造部の内部結合の重み値の学習処理を実行し
ていくと、重み値の学習回数ｔをいくら増加させても、
階層ネットワーク構造部の出力層から出力される出力パ
ターンが、その出力パターンのとるべき信号である教師
パターンに収束しないことが起こることがある。このこ
とは、階層ネットワーク構成データ処理装置に限られる
ことなく、他のネットワーク構成データ処理装置でも起
こることである。

このようなことが起こると、従来技術では、例えば、学
習開始前に設定することになる各内部結合の重み値の初
期値を、学習が成功しなかったときのものとは変えて学
習を再度実行するとか、あるいは、階層ネットワーク構
造部の中間層（人力層と出力層との間に位置する層）の
層数を増加させて学習を再度実行するとか、あるいは、
１又は複数の層の基本ユニット１の数を増加させて学習
を再度実行するという方法により、重み値の学習を成功
させるよう処理していた。

しかしながら、このような方法では、最初から重み値の
学習を実行し直さなくてはならないことから、重み値の
学習値が得られるまで長い時間を要することになるとい
う問題点があった。そして、階層ネットワーク構造部の
層数や基本ユニット数を増加させるという方法では、用
意しである階層ネットワーク構造部の構造そのものを変
更しなければならないという問題点があったのである。

本発明はかかる事情に鑑みてなされたものであって、ネ
ットワーク構成データ処理装置における重み値の学習処
理において、ネットワーク構造部の出力層から出力され
る出力パターンが所望の教師パターンに収束しないこと
が起こるときに、学習を最初から再実行しなくともその
収束を可能とならしめる新たなネットワーク構成データ
処理装置の学習処理方式の提供を目的とするものである
。

［課題を解決するための手段］ 第１図は本発明の原理構成図である。

図中、１０はネットワーク構成データ処理装置であって
、ネットワーク構成に従って適応的なデータ処理を実行
するもの、１１はネットワーク構成データ処理装置１０
の備えるネットワーク構造部であって、１つ又は複数の
入力と該入力に対して乗算されるべき内部状態値とを受
け取って積和値を得るとともに、この積和値を所定の関
数によって変換して出力値を得るニューロンの内部結合
により構成されて、入力パターンに対応する出力パター
ンを算出して出力するもの、１２はネットワーク構成デ
ータ処理装置１０の備える内部状態値格納手段であって
、ネットワーク構造部１１がデータ変換処理の実行時に
必要とする内部状態値を管理するもの、２０は学習処理
装置であって、内部状態値格納手段１２に格納される内
部状態値を学習処理により求めるもの、２１は学習処理
装置２０の備える非収束検出手段であって、内部状態値
の学習値が求められない状態にあることを検出するもの
である。

３０はニューロン活性化装置であって、ネットワーク構
造情報管理手段３１と、内部状態値読取手段３２と、非
活性ニューロン特定手段３３と、乱数発生手段３４と、
内部状態値変更手段３５とを備えるものである。このネ
ットワーク構造情報管理手段３１は、ネットワーク構造
部１１のネットワーク構造情報を管理し、内部状態値読
取手段３２は、内部状態値格納手段１２に格納される内
部状態値を読み取るよう処理し、非活性ニューロン特定
手段３３は、内部状態値の学習途中において、ネットワ
ーク構造部１１中の非活性なニューロンとして動作する
ニューロンを特定するよう処理し、乱数発生手段３４は
、内部状態値として存在する可能性のある数値を乱数的
に発生するよう処理し、内部状態値変更手段３５は、非
活性ニューロン特定手段３３により特定された非活性な
ニューロンに関しての内部結合に割り付けられる内部状
態値のすべて若しくは一部に対して、乱数発生手段３４
により発生される乱数値を割り付けて内部状態値格納手
段１２に格納するよう処理する。

〔作用〕

本発明では、学習処理装置２０が学習対象の入力パター
ン群をネットワーク構造部１１に提示するとともに、こ
の提示に従って出力されるネットワーク構造部１１から
の出力パターン群と、この出力パターン群のとるべきパ
ターンを示す教師バターン群との間の誤差値を算出し、
この誤差値に基づいて内部状態値格納手段１２の内部状
態値を順次更新していくことで、所望のデータ変換処理
を実現するネットワーク構造部１１の内部状態値の学習
処理を実行する。

非収束検出手段２１は、この学習処理にあって、内部状
態値の更新を所定の回数実行してもネットワーク構造部
１１からの出力パターン群と教師パターン群との間の誤
差値が十分小さくならない状態にあることを検出すると
、ニューロン活性化袋２３０を起動する。

このようにして起動されると、非活性ニューロン特定手
段３３は、ネットワーク構造部１１を構成するニューロ
ンの内で非活性なニューロンとして動作しているニュー
ロンを特定する。この特定処理は、例えば、ネットワー
ク構造情報管理手段３１の管理情報を参照しつつ順次１
つのニューロンを選択するとともに、内部状態値読取手
段３２を介して内部状態値格納手段１２からその選択し
たニューロンの入力側と出力側の内部結合に割り付けら
れている全内部状態値（学習途中のものである）を読み
出し、この読み出した入力側の内部結合の全内部状態値
がゼロ値に近い値をとるものであるときには、そのニュ
ーロンを入力に応答しない非活性なものとして検出し、
また、この読み出した出力側の内部結合の全内部状態値
がゼロ値に近い値をとるものであるときには、そのニュ
ーロンが出力を出さない非活性なものとして検出すると
いうことで行う。

また、別の非活性ニューロンの特定処理方法としては、
例えば、ネットワーク構造情報管理手段３１の管理情報
を参照することでネットワーク構造部１１のニューロン
の内の入出力先が同じ形態をとるニューロン群を特定す
るとともに、内部状態値読取手段３２を介して内部状態
値格納手段１２からその特定したニューロン群の各ニュ
ーロンの入出力の内部結合に割り付けられる全内部状態
値を読み出し、この入出力先が同じ形態をとるニューロ
ン群の内で概略同一の内部状態値の値をとるニューロン
群があるときには、これらのニューロン群は本来１つの
ニューロンにより代用できるものであって１つ以外のニ
ューロンは非活性なものであるとして検出するというこ
とで行う。

また、別の非活性ニューロンの特定処理方法としては、
例えば、ネットワーク構造情報管理手段３１の管理情報
を参照することで順次１つのニューロンを選択するとと
もに、学習対象の入力パターン群の提示に対して出力さ
れるその選択したニューロンのネットワーク構造部１１
のネットワーク出力データを読み出し、この読み出した
ネットワーク出力データの出力値の変化が小さいもので
あるときには、そのニューロンが有効な動作を行ってい
ない非活性なものであるとして検出することで行う。

このようにして、非活性ニューロン特定手段３３がネッ
トワーク構造部ｌｌ中の非活性なニューロンとして動作
しているニューロンを特定すると、内部状態値変更手段
３５は、非活性なものとして特定されたニューロンに割
り付けられる内部状態値のすべて若しくは一部に対して
、乱数発生手段３４により発生される乱数値を割り付け
るとともに、この割り付けた乱数値に従って内部状態値
格納手段１２の内部状態値を変更するよう処理する。

この処理により、階層ネットワーク構造部１１中の非活
性なニューロンが活性化されることになる。

そして、この処理が終了すると、ニューロン活性化装置
３０は、学習処理装置２０に対して内部状態値の求まら
なかったネットワーク構成データ処理装置１０に対して
の学習処理の続行を指示し、この指示に従って、学習処
理装置２０は、活性化されたニューロンの作用により所
望のデータ変換処理を実現するネットワーク構造部１１
の内部状態値の学習を実現できることになる。

このように、本発明によれば、ネットワーク構成データ
処理装置における重み値の学習処理において、ネットワ
ーク構造部の出力層から出力される出力パターンが所望
の教師パターンに収束しないことが起きても、学習を最
初から再実行したり、ネットワーク構造部の構造を変更
しなくてもその収束を可能とすることができるようにな
る。

［実施例］ 以下、階層ネットワーク構成データ処理装置に適用した
実施例に従って本発明の詳細な説明する。

第２図に、本発明の一実施例を図示する。図中、第１図
、第８図及び第９図で説明したものと同じものについて
は同一の記号で示しである。１０ａは階層ネットワーク
構成に従って適応的なデータ処理を実行する階層ネット
ワーク構成データ処理装置、ｌｌａは第９図で説明した
ような構造をもつ階層ネットワーク構造部、１２ａは第
１図の内部状態値格納手段１２に相当する重み値格納手
段、２０ａはハック・プロパゲーション法に従って階層
ネットワーク構造部１１ａの重み値の学習を実行する学
習処理装置、３０ａは第１図のニューロン活性化装置３
０に対応するユニット活性化装置である。

学習処理装置２０ａは、第１図で説明した非収束検出手
段２１と、学習信号格納手段２２と、学習信号提示手段
２３と、重み値学習手段２４とを備える。この学習信号
格納手段２２は、重み値の学習のために用いられる学習
信号を格納し、学習信号提示手段２３は、学習信号格納
手段２２から学習信号を読み出して、その内の学習提示
信号を階層ネットワーク構造部１１ａに提示するととも
に、対をなすもう一方の学習教師信号を非収束検出手段
２１及び重み値学習手段２４に提示するよう処理し、非
収束検出手段２１は、階層ネットワク構造部１１ａから
出力される出力信号と学習信号提示手段２３からの学習
教師信号とを受けて、階層ネットワーク構造部１１ａの
データ処理機能の誤差が許容範囲に入ったか否かを判定
してその判定結果を学習信号提示手段２３に通知するよ
う処理し、重み値学習手段２４は、学習信号提示手段２
３からの学習教師信号と階層ネットワーク構造部１１ａ
のネットワーク出力データとを受けて、バンク・プロパ
ゲーション法に従って重み値の更新量を算出し、該更新
量に従って重み値を更新していくことで重み値を収束さ
せるべく学習するよう処理し、更に、非収束検出手段２
１は、例えば、重み値の更新回数（学習信号の提示回数
）が所定の回数になっても、階層ネットワーク構造部１
１ａのデータ処理機能の誤差が許容範囲に入らないこと
を検出する等の方法により、階層ネットワーク構造部１
１ａに割り付けられる重み値の学習値が求められない状
態にあることを検出すると、ユニット活性化装置３０ａ
を起動するよう処理する。

本発明に特徴的なユニット活性化装置３０ａは、階層ネ
ットワーク構造部１１ａの階層ネットワーク構造情報を
管理する階層ネットワーク構造情報管理手段３１ａと、
プログラム手段で構成されて、非収束検出手段２１から
の起動要求に応して階層ネットワーク構造部１１ａ中の
非活性な基本ユニント１を特定すべく処理する非活性ユ
ニント特定手段３３ａと、乱数発生手段３４と、非活性
ユニット特定手段３３ａの処理結果を受けて、重み値格
納手段１２ａに格納される学習途中の重み値の変更処理
を実行する重み値変更手段３５ａと、非活性ユニント特
定手段３３ａが必要とする判断値を管理する判断データ
格納手段３６とを備えるよう構成される。

そして、この非活性ユニット特定手段３３ａは、階層ネ
ットワーク構造部１１ａ中の非活性な基本ユニント１を
特定すべく処理する第１の非活性ユニット特定手段３３
１、第２の非活性ユニット特定手段３３２、第３の非活
性ユニット特定手段３３３及び第４の非活性ユニット特
定手段３３４を備えるよう構成される。これらの非活性
ユニット特定手段は、例えば、オペレータからの指示に
従って動作するものが選択されることになる。

第３図に、第１の非活性ユニット特定手段３３１の実行
するフローチャート、第４図に、第２の非活性ユニント
特定手段３３２の実行するフローチャート、第５図に、
第３の非活性ユニット特定手段３３３の実行するフロー
チャート、第６図に、第４の非活性ユニット特定手段３
３４の実行するフローチャート、第７圀に、重み値変更
手段３５ａの実行するフローチャートを図示する。

次に、この第３図ないし第７図に示すフローチャートに
従って、ユニット活性化装置３０ａが実行する処理につ
いて詳細に説明する。

第１の非活性ユニット特定手段３３１は、非収束検出手
段２１からの起動要求を受け取ると、第３図のフローチ
ャートに示すように、ステップ３０で活性か非活性かの
決定をしていない基本ユニットｌを１つ選択し、次に、
ステップ３１で、その基本ユニット１から出力されるす
べての内部結合に割り付けられる学習途中の重み値の学
習値α。

（ｌ≦ｉ≦ｎ）を重み値格納手段１２ａから読み取る。

続いて、ステップ３２で、その基本ユニット１に割り付
けられている判断値Ｔと距離関数ｆ（α、）（基本ユニ
ソ）１毎や階層構造の段数を単位にして設定することが
可能である）とを判断データ格納手段３６から読み出す
。続いて、ステップ３３で、ステップ３１で読み取った
重み値（ｎ次元空間をなす）をこの読み出した距離関数
ｆ（α８）に代入することで、読み取った重み値の原点
からの距＃Ｋを算出する。ここで、距離関数ｆ（α８）
は様々に定義することが可能であって、例えば、 ｆ（α、）−（Σα、２）　Ｉ／！ ｆ　（αｔ）＝ＭＡＸ　ｌ　ａｌ　　但し、■≦ｉ≦ｎ
や ｆ（α、）＝Σ　　α８ の関数式に従って算出されることになる。

このようにして、選択された基本ユニット１の出力側の
内部結合に割り付けられる重み値のｎ次元重み空間にお
ける原点からの距離Ｋが求まると、続くステップ３４で
、この距離Ｋがステップ３２で読み出した判断値Ｔより
も小さいか否かを判断する。そして、判断値Ｔよりも小
さいと判断するときには、ステップ３５に進んで選択し
た基本ユニット１が非活性なものであると決定するとと
もに、判断値Ｔよりも大きいと判断するときには、ステ
ップ３６に進んで選択した基本ユニットｌが活性なもの
と決定し、次のステップ３７で、その決定結果を重み値
変更手段３５ａに通知する。そして、ステップ３８で、
すべての基本ユニット１に対して活性か非活性かの決定
をしていないことを検出するときには、ステップ３０に
戻るよう処理することで、階層ネットワーク構造部１１
ａのすべての基本ユニッ）ｌに対して活性か非活性かの
決定を実行する。

このように、第１の非活性ユニット特定手段３３１は、
基本ユニット１の出力側の内部結合の全内部状態値の学
習値がゼロ値に近い値を持つときには、その基本ユニッ
トｌは出力を出さない非活性なものであると決定してい
くよう処理するものである。

これに対して、第２の非活性ユニット特定手段３３２は
、非収束検出手段２１からの起動要求を受け取ると、第
４図のフローチャートを実行することで、基本ユニット
１の入力側の内部結合の全内部状態値の学習値がゼロ値
に近い値を持つときには、その基本ユニットｌは入力を
受け付けない非活性なものであると決定していくよう処
理するものである。第４図のフローチャートと第３図の
フローチャートとの違いは、第３図のフローチャートの
ステップ３１では、選択された基本ユニット１から“出
力”されるすべての内部結合に割り付けられる学習途中
の重み値の学習値α、を読み取るのに対して、第４図の
フローチャートのステップ４１では、選択された基本ユ
ニット１に“入力°゛されるすべての内部結合に割り付
けられる学習途中の重み値の学習値α、を読み取る点に
あるだけである。なお、基本ユニット１の゛閾値の学習
値は、この読み取る重み値の学習値に含めることを要し
ない。

第３の非活性ユニット特定手段３３３は、非収束検出手
段２１からの起動要求を受け取ると、第５図のフローチ
ャートに示すように、ステップ５０で第２段目の中間層
の基本ユニットｌのグループといったように、同じ重み
空間を持つ基本ユニットｌのグループ（同一の基本ユニ
ット１群との間に内部結合するグループ）の中の１つの
グループを選択する０次に、ステップ５１で、そのグル
ープに割り付けられている判断値Ｔと距離関数ｆ（α１
．α゛、）（グループ毎に設定することが可能である）
とを判断データ格納手段３６から読み出す。続いて、ス
テップ５２で、選択したグル−ブの基本ユニットｌの中
から１つの基本ユニット１を基準ユニットとして選択し
、続くステップ５３で、その選択した基準ユニットを活
性化されたものと決定する。

次に、ステップ５４で、未決定未選択の基本ユニット１
の中から基本ユニット１を１つ選択し、続くステップ５
５で、重み値格納手段１２ａから読み取られる学習途中
の基準ユニットの重み値α、（ｎ次元空間をなす）とこ
の選択された基本ユニット１の重み値α′、（ｎ次元空
間をなす）とを読み出した距離間数ｒ（α１．α”、）
に代入することで、基準ユニットとステップ５４で選択
された基本ユニット１との間の距離Ｋを算出する。ここ
で、闇値については重み値に含めることが好ましいが、
寄与度が小さいことがら含めないようにするものであっ
てもよい。また、距離関数ｆ（α。

α“、）は様々に定義することが可能であって、例えば
、 ｆ　（ｃｒｉ＋α’ｔ）　　＝［Σ（ｌｌｒｉ　−α’
　ｉ）”］　”’や ｆ（α８．α　、）＝ＭＡＸ１α、−α′。

但し、１≦ｌ≦ｎ や ｆ（αｌｌα°ｌ）＝Σ］α１−α′。

の関数式に従って算出されることになる。

基準ユニットとステップ５４で選択された基本ユニット
１との間の距離Ｋが求まると、続くステップ５６で、こ
の距離Ｋがステップ５１で読み出した判断値Ｔよりも小
さいが否かを判断する。そして、判断値Ｔよりも小さい
と判断するときには、ステップ５７に進んで、選択した
基本ユニット１が基準ユニットと同一の機能（基準ユニ
ットの重み値を増加すれば省略できる機能である）を果
たすものに過ぎないことから非活性化なものであると決
定し、一方、判断値Ｔよりも大きいと判断するときには
、何も決定せずに未決定のままにしておく。そして、続
くステップ５８で、未決定の基本ユニン）１のすべてを
選択したか否かを判断して、選択されていないものがあ
るときにはステップ５４に戻るよう処理する。

ステップ５８の判断ですべて選択したと判断するときに
は、続くステップ５９で、ステップ５゜で選択したグル
ープの基本ユニット１の内に未決定の基本ユニット１が
残されているか否かを判断して、残されているときには
、ステップ５２に戻って、その残されているものの中か
ら基準ユニットを選択して、その残されているものの中
でその選択された基準ユニットと同一の機能を果たす余
剰の基本ユニット１があるか否かを調べていくよう処理
する。そして、ステップ５９の判断で未決定の基本ユニ
ット１が残されていないことを判断するときには、ステ
ップ６０に進んで、同じ重み空間を持つ基本ユニット１
のグループのすべてを処理したのかを判断して、処理し
ていないことを検出するときには、ステップ５０に戻る
よう処理することで、階層ネットワーク構造部１１ａの
すべての基本ユニット１に対して活性か非活性かの決定
を実行して、ステップ６１でその決定結果を重み値変更
手段３５ａに通知する。

このように、第３の非活性ユニット特定手段３３３は、
階層ネットワーク構造部１１ａの基本ユニットｌに対し
て同一の機能を果たすもの同士をグルーピングして、そ
のグルーピングした基本ユニット１の内の１つのみを活
性化されたものと決定するとともに、残りの基本ユニッ
ト１を非活性なものであると決定していくよう処理する
ものである。

第４の非活性ユニット特定手段３３４は、非収束検出手
段２１からの起動要求を受け取ると、第６図のフローチ
ャートに示すように、ステップ７０で活性か非活性かの
決定をしていない基本ユニット１を１つ選択し、次に、
ステップ７１で、その基本ユニット１に割り付けられて
いる判断値Ｔ（基本ユニット１毎や階層構造の段数を単
位にして設定することが可能である）を判断データ格納
手段３６から読み出す。続いて、ステップ７２で、学習
信号提示手段２３に対して階層ネットワーク構造部１１
ａへの学習提示信号の提示を指示するとともに、この指
示に応答して出力される選択をした基本ユニット１から
の出力値の最大値と最小値とを求めるよう処理する。そ
して、続くステップ７３で、この求めた最大値と最小値
の差分値がステップ７１で読み取った判断値Ｔより小さ
いか否かを判断して、判断値γより小さいと判断すると
きには、ステップ７４に進んで選択した基本ユニット１
が非活性なものであると決定するとともに、判断値γよ
りも大きいと判断するときには、ステップ７５に進んで
選択した基本ユニ、ト１が活性なものと決定し、次のス
テップ７６で、その決定結果を重み値変更手段３５ａに
通知する。そして、ステップ７７で、すべての基本ユニ
ット１に対して活性か非活性かの決定をしていないこと
を検出するときには、ステップ７０に戻るよう処理する
ことで、階層ネットワーク構造部１１ａのすべての基本
ユニット１に対して活性か非活性かの決定を実行する。

このように、第４の非活性ユニット特定手段３３４は、
階層ネットワーク構造部１１ａに入力される入力パター
ンに対して殆ど出力値を変化させない基本ユニット１は
データ処理に寄与していない非活性なものであると決定
していくよう処理するものである。

次に、第７図のフローチャートに従って、非活性として
検出された基本ユニット１の通知を受け取る重み値変更
手段３５ａの実行する処理について説明する。

重み値変更手段３５ａは、非活性ユニット特定手段３３
ａから非活性な基本ユニットｌの識別子を受け取ると、
第７図のフローチャートに示すように、ステップ８０で
、通知された非活性な基本ユニット１の中から１つの基
本ユニットｌを選択する処理を実行する０次に、ステッ
プ８１で、重み値格納手段１２ａからその選択された基
本ユニット１の入出力の内部結合に割り付けられる重み
値（闇値も含む）を読み取る。そして、続くステップ８
２で、オペレータからの指定されるモードに従って、読
み取った重み値（闇値）の中から初期化対象とする重み
値（闇値）を決定する。すなわち、オペレータから重み
値のみを初期化対象にするという指示があれば、読み取
った重み値のみを初期化対象と決定し、また、オペレー
タから闇値のみを初期化対象にするという指示があれば
、読み取った闇値値のみを初期化対象と決定し、また、
オペレータから特定の割合の重み値を初期化対象にする
という指示があれば、読み取った重み値の内のその割合
の重み値を初期化対象と決定し、また、オペレータから
特定の割合の闇値を初期化対象にするという指示があれ
ば、読み取った閾値の内のその割合の闇値を初期化対象
と決定するように処理するのである。

続いて、重み値変更手段３５ａは、ステップ８３で、初
期化対象とする重み値（闇値）と初期化対象としない重
み値（闇値）とを振り分けて、初期化対象とする重み値
（閾値）については、続くステップ８４で、乱数発生手
段３４により発生される乱数値を新たな重み値（閾値）
として設定して、重み値格納手段１２ａの対応する重み
値（閾値）を書き換える処理を実行する。そして、続く
ステップ８５で、ステップ８１で読み取った重み４１！
　（閾値）のすべてを処理したかを判断して、処理して
いないと判断するときにはステップ８１に戻るよう処理
する。一方、初期化対象としない重み値（閾値）につい
ては、ステップ８４の処理を実行することなくステップ
８５に進むよう処理する。そして、ステップ８５で、ス
テップ８１で読み取った重み値（閾値）のすべてを処理
したと判断するときには、続くステップ８６で、非活性
ユニット特定手段３３ａから通知された非活性な基本ユ
ニッ）１のすべてを処理したのかを判断して、処理して
いないと判断するときにはステップ８０に戻るよう処理
する。

このようにして、非活性と判断された基本ユニット１の
内部結合に割り付けられる重み値（閾値）を変更すると
、重み値変更’ＦＦｊ３５　ａは、学習信号提示手段２
３に対して学習信号の再提示を指示することで、収束し
なかった学習処理の再実行を指示するのである。このよ
うにして、再起動されるときにあって、非活性なものと
して判断された基本ユニット１は、別な重み値（闇値）
をもつ基本ユニットｌとして活性化されることになるこ
とから、収束しなかった重み値（闇値）が収束するこ値
）が求められることになるのである。

図示実施例について説明したが、本発明はこれに限定さ
れるものでない。例えば、本出願人は、先に出願の［特
願昭６３−２２７８２５号（昭和６３年９月１２日出願
、“ネットワーク構成データ処理装置の。

学習処理方式′）」で、バック・プロパゲーション法の
改良を図ってより短時間で重み値の学習処理を実現でき
るようにする発明を開示したが、本発明はこのような改
良されたハック・プロパゲーション法やバック・プロパ
ゲーション法以外の別の重み値の学習方式も利用するこ
とができる。また、本発明は階層ネットワーク構成デー
タ処理装置に限られることなく、他の７７トワーク構成
データ処理装置に対してもそのまま通用できるのである
。

そして、本発明の適用を受けるニューロンは、実施例で
説明したような闇値変換処理を行う基本ユニ、トに限ら
れるものではなく、他の関数変換処理を行うものであっ
てもよいのである。

〔発明の効果］ 以上説明したように、本発明によれば、ネットワーク構
成データ処理装置における重み値の学習処理において、
ネットワーク構造部の出力層から出力される出力パター
ンが所望の教師パターンに収束しないことが起きても、
学習を最初から再実行したり、ネットワーク構造部の構
造を変更しなくてもその収束を可能とすることができる
ようになるのである。

【図面の簡単な説明】

第１図は本発明の原理構成図、 第２図は本発明の一実施例、 第３図は第１の非活性ユニット特定手段の実行するフロ
ーチャート、 第４図は第２の非活性ユニット特定手段の実行するフロ
ーチャート、 第５図は第３の非活性ユニット特定手段の実行するフロ
ーチャート、 第６図は第４の非活性ユニット特定手段の実行するフロ
ーチャート、 第７図は重み値変更手段の実行するフローチャート、 第８図は基本ユニットの基本構成図、 第９図は階層ネットワーク構造部の基本構成図である。 図中、■は基本ユニット、１０はネ・７トワーク構成デ
ータ処理装置、１０ａは階層ネットワーク構成データ処
理装置、１１はネットワーク構造部、１１ａは階層ネッ
トワーク構造部、１２は内部状態値格納手段、１２ａは
重み値格納手段、２０及び２０ａは学習処理装置、２１
は非収束検出手段、３０はニューロン活性化装置、３０
ａはユニ、ト活性化装置、３３は非活性ニューロン特定
手段、３３ａは非活性ユニット特定手段、３５は内部状
態値変更手段、３５ａ重み値変更手段である。

Claims (4)

【特許請求の範囲】
1. （１）１つ又は複数の入力と該入力に対して乗算される
   べき内部状態値とを受け取って積和値を得るとともに、
   該積和値を所定の関数によって変換して出力値を得るニ
   ューロンの内部結合により構成されるネットワーク構造
   部（１１）に従って、入力パターンに対応する出力パタ
   ーンを算出して出力するネットワーク構成データ処理装
   置（１０）と、学習対象の入力パターン群を上記ネット
   ワーク構成データ処理装置（１０）に提示するとともに
   、該提示に従って出力される上記ネットワーク構成デー
   タ処理装置（１０）からの出力パターン群と、該出力パ
   ターン群のとるべきパターンを示す教師パターン群との
   間の誤差値を算出し、該誤差値に基づいて内部状態値を
   順次更新していくことで該誤差値が許容範囲となる内部
   状態値を学習する学習処理装置（２０）とを備えるネッ
   トワーク構成データ処理システムにおいて、 内部状態値の学習途中において、非活性なニューロンと
   して動作するニューロンを特定する非活性ニューロン特
   定手段（３３）と、 該非活性ニューロン特定手段（３３）により特定された
   ニューロンに関しての内部結合に割り付けられる内部状
   態値のすべて若しくは一部に対して、乱数発生手段（３
   ４）により発生される乱数値を設定する内部状態値変更
   手段（３５）とを備えることで、学習途中の非活性なニ
   ューロンを活性化して内部状態値の学習の実現を図るよ
   う構成されてなることを、 特徴とするネットワーク構成データ処理装置の学習処理
   方式。
2. （２）請求項（１）記載のネットワーク構成データ処理
   装置の学習処理方式において、 非活性ニューロン特定手段（３３）は、入力若しくは出
   力の内部結合に割り付けられる全内部状態値がゼロ値に
   近いものをもつニューロンを非活性なニューロンとして
   特定することを、 特徴とするネットワーク構成データ処理装置の学習処理
   方式。
3. （３）請求項（１）記載のネットワーク構成データ処理
   装置の学習処理方式において、 非活性ニューロン特定手段（３３）は、入出力先が同じ
   形態をとるニューロン群の内、入出力の内部結合に割り
   付けられる内部状態値が概略同一値をとるニューロン群
   の１つ以外のニューロンを非活性なニューロンとして特
   定することを、 特徴とするネットワーク構成データ処理装置の学習処理
   方式。
4. （４）請求項（１）記載のネットワーク構成データ処理
   装置の学習処理方式において、 非活性ニューロン特定手段（３３）は、学習用の入力パ
   ターン群の提示に応答して出力する出力値の変化が小さ
   いニューロンを非活性なニューロンとして特定すること
   を、 特徴とするネットワーク構成データ処理装置の学習処理
   方式。