JPH0264846A - ネットワーク構成データ処理装置の学習処理監視装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　要〕 複数の入力と重みとの積和を闇値関数によって変換する
基本ユニットを基本単位にして階層ネットワークを構成
することで、入カバターンに対しての所望の出カバター
ンを得るよう処理するネットワーク構成データ処理装置
において 重みの値が学習により設定されていく際に、より学習の
実現状況を視覚的に表示できるようにすることを目的と
し 入力層の基本ユニットに対して入力信号を供給すること
で、出力層の基本ユニットから対応する出力信号とこの
出力信号がとるべき値を指示する教師信号とを使い、２
つの信号の不一致の大きさを表す誤差値を算出し、算出
された誤差値の総和に基づいて算出することになる重み
の更新量に従って１重みを初期値から順次更新してい（
ことで。

誤差値の総和が所定の許容範囲に入ることになる重みの
値を求めるよう処理する重み学習手段とを備えると共に
、上記階層ネットワークの構造に関する情報と学習パタ
ーン保持部に保持されている学習パターンに関する情報
とを受取って、任意適宜に選択された少数個の結合の重
みの変化に対応して、学習の進捗状況を表わす評価関数
の分布を視覚的に表示可能にする評価関数分布表示部と
重み学習手段による学習の進捗にともなって変化する結
合の重みを受取って、上記評価関数分布表示部によって
得られた表示画像上にプロットする重み探索経路表示部
とを備え、学習の進捗状況に影響を与える係数（ε及び
／又はα）の設定の良否を視覚的に観察できるよう構成
する。

〔産業上の利用分野〕

本発明は、ネットワーク構成データ処理装置の学習処理
監視装置に関するものである。

従来の逐次処理コンピュータ　（ノイマン型コンピュー
タ）では、使用方法や環境の変化に応じてコンピュータ
のデータ処理機能を調節することが難しいので、適応性
を有するデータ処理方式として、新たに階層ネットワー
クによる並列分散処理方式が提唱されてきている。特に
、バック・プロパゲーション法と呼ばれる処理方式（Ｄ
、　Ｅ。

Ｒｕｍｅｌｈａｒｔ、　Ｇ、　Ｅ、　Ｈ４ｎｔｏｎ、　
ａｎｄ　Ｒ，Ｊ、　Ｗｉｌｌｉａｍｓ。

”　Ｌｅａｒｎｉｎｇ　Ｉｎｔｅｒｎａｌ　Ｒｅｐｒｅ
ｓｅｎｔａｔｉｏｎｓ　ｂｙ　ＥｒｒｏｒＰｒｏｐａｇ
ａｔｉｏｎ、”ＰＡＲＡＬＬＥＬ　ＤＩＳＴＲＩＢｔｌ
ＴＥＤＰＲＯＣＥＳＳＩＮＧ、　Ｖｏｌ、１．　Ｐｐ、
　３１８−３６４．　Ｔｈｅ　ＭＩＴＰｒｅｓｓ、　１
９８６）がその実用性の高さから注目されている。

バック・プロパゲージジン法では、基本ユニソトと呼ぶ
一種のノードと重みを持つ内部結合とから階層ネットワ
ークを構成している。第８図に基本ユニット１の基本構
成を示す。この基本ユニノ）１は、多大カー出力系とな
っており、複数の入力に対し夫々の内部結合の重みを乗
じてそれらの全乗算結果を和算する累算処理部２と、こ
の累算値に非線型の闇値処理を施して一つの最終出力を
出力する闇値処理部３とを備える。そして、このような
構成の多数の基本ユニット１が、第９図に示すように階
層的に接続されることで階層ネットワークが構成され、
入力信号のパターンを対応する出力信号のパターンに変
換するというデータ処理機能を発揮することになる。

このバック・プロパゲーション法では２選択された入力
信号に対しての出力信号が、とるべき信号値を指示する
教師信号となるように、所定の学習アルゴリズムに従っ
て階層ネットワーク中の内部結合の重みを決定していく
ことになる。そして。

この処理により重みが決定されると３例え想定していな
かった入力信号が入力されることになっても、この階層
ネットワークから、それらしい出力信号を出力すること
で、゛柔らかい°゛並列分散のデータ処理機能が実現さ
れるのである。

このような構成のネットワーク構成データ処理装置を実
用的なものにしていくためには９重みの学習処理をより
短時間で実現できるようにしていく必要がある。このこ
とは、複雑なデータ処理を実現していくために３階層ネ
ットワークをより大規模にしていく必要があるという背
景のもとで。

どうしても解決していかなくてはならない課題の１つな
のである。

〔従来の技術〕

ｈｌｉを前段層としてｉ層を後段層とすならば。

基本ユニット１の累算処理部２で行われる演算は。

次の（１）式に示すものであり、また、闇値処理部３で
行われる演算は次の（２）式に示すものである。

Ｘｐｉ＝Σ）’ｐｂＷｔｂ−θ、（１）式ｙ、、ｗ　１
　／　（１＋ｅｘｐ（Ｘｐｔ　））　　　　　（２）式
但し。

ｈ　：ｈ層のユニット番号 ：ｉ層のユニット番号 Ｐ　：入力信号のパターン番号 θ、：ｉＪｉのｉ番目のユニットの闇値ＷＩｈ：ｈ　　
ｉ層間の内部結合の重みＸｐｉ’Ｐ番目パターンの入力
信号に関して、ｈ層の各ユニットからｉ層の１番目ユニ
ットへの人力の積和 ）’ｐｈ’Ｐ番目パターンの入力信号に対するｈｌＨの
出力 ）’ｐｔ’Ｐ番目パターンの入力信号に対するｉ層の出
力 バック・プロパゲーション法では、この重みＷ８．と閾
値θえとを誤差のフィードバックにより適応的に自動調
節することになる。この（１）式及び（２）式から明ら
かなように１重みＷＬｈと閾値θｉとの調節は同時に実
行される必要があるがこの作業は、相互に干渉する難し
い作業となる。

次に３重みの学習処理の従来技術について説明する。こ
の説明は、第１０図に示すようなｈ層−１層−ｊ層とい
う構造の階層ネットワークをもって行うことにする。

重みの学習処理では、最初に、下式に従って。

教師信号と出力層からの出力信号との誤差の二乗和であ
る誤差ベクトルＥ、を２階層ネットワークの誤差として
計算する。ここで、教師信号とは。

出力信号のとるべき信号となるものである。

Ｅ、　＝＝！４Σ（３’ｐ＝−（Ｌ＝）”　　　　　　
　（３）式Ｅ＝ΣＥ、　　　　　　　　　　　　　（４
）式但し。

Ｅｐ’Ｐ番目パターンの入力信号に対しての誤差ベクト
ル Ｅ　：全パターンの入力信号に対しての誤差ベクトルの
総和（評価関数に相当する） ｄｓ＋ｊｊＰ番目パターンの入力信号に対するｊ層ｊ番
目ユニットへの教師信号 ここで、誤差ベクトルと出力信号との関係を求めるため
、（３）式をｙ□に関して偏微分すると。

８ｙ□ を得る。更に、誤差ベクトルＥ、とｊ層への入力との関
係を求めるため、誤差ベクトルＥ、をＸｐｊで偏微分す
ると。

８Ｅ、　　　　θＥｐ　　　　　ｆ３ｙｐｊａＸｐｊ　
　　　ａ　Ｙｐｊ　　　　ａ　Ｘｐｊ−δｐｊ）’ｐ＝
　（Ｉ　　Ｖｐｉ）　　　　（６）式を得る。更に、誤
差ベクトルＥ、とｉ−ｊ層間の重みとの関係を求めるた
め、誤差ベクトルＥｌ、をＷ、Ｉで偏微分すると。

ａ　Ｅｐ　　　　ａ　Ｅｐ　　　　ａ　Ｘｐｊａ　Ｗ、
＋ｉ　　　　ａ　Ｘ　ｐｊ　　　　ａ　ＷＪｉ−δｐｊ
ｙｐｊ（１ｙｐｉ）　Ｖｅｒ　　（７）式の積和で表さ
れる解を得る。

次に、ｉ層の出力）’＋＋ｉに対する誤差ベクトルＥｐ
の変化を求めると。

ａｘｐｉ　　　　’　　ａＸｐｊ　　　　　ａｙｐ＝−
ΣδｐＪ）’　ｐｊ　（１）’　ｐｊ）　Ｗａ＋（８）
式 を得る。更に、ｉ屑入カニニットへの総和Ｘｐｔの変化
に対する誤差ベクトルの変化を計算すると。

ａ　Ｘｐｔ　　　　’　　ａｙｐｊ　　　　　ａｘｐｔ
−（Σδａｊｙｐ＝（１−ｙ□）　Ｗ、Ｉ’）　　ｙ　
ｐ＋（１ｙ　ｐ；）（９）弐 の積和で表される解を得る。更に、ｈ−１層間の重みの
変化に対する誤差ベクトルの変化の関係を求めると。

ａＷｌｈ　　　　　　　’　　　　ａｘｐｉ　　　　　
　　　ａＷｉｈ＝（ΣδｐＪＹｐ、（１−ｙ□）　ＷＪ
ｉ）　　ｙｐ；（１−ｙｐｔ）　　ｙｐｈ（１０）式 の積和で表される解を得る。

これらから、全人カバターンに対する誤差ベクトルとｉ
−ｊ層間の重みとの関係を求めると、以下のようになる
。

ａ　ＷＪ、　　　　　　　ａ　Ｗｊム また。全入カバターンに対する誤差ベクトルとｈ−ｊ層
間の重みとの関係を求めると、以下のようになる。

して２次の如きものも利用される。

θＷ、ｈ　　　　　　ａ　Ｗｉｈ （１１）式及び（１２）式は、各層間の重みの変化に対
する誤差ベクトルの変化率を示していることから。

この値が常に負になるように重みを変化させると、公知
の勾配法により、誤差ベクトルの総和（評価関数）巳を
漸近的にＯとすることができる。

そこで、従来のバンク・プロパゲーション法では重みの
一回当たりの更新量ΔＷＪ、とΔＷ、１とを以下のよう
に設定し、この重みの更新を反復することにより、誤差
ベクトルの総和Ｅを掻小値に収束させている。

３　ｗ、。

ａＷ、ｈ 但し、εは学習の制御パラメータに対応する係数である
。

更に、　（１３）弐及び（１４）式を発展せしめたもの
と但し、αは制御パラメータに対応する係数である。ま
た、ｔは更新回数である。

第１１図は学習処理を表すフローチャートを示している
。

〔発明が解決しようとする課題〕

バック・プロパゲーション法の最大の問題点は。

収束に要するまでの学習回数が長いことにある。

この問題点は、ネットワーク構造を大規模にすればする
ほど大きなものとなる。

上記制御パラメータに対応する係数のεとαとを十分小
さくすれば、はぼ確実に誤差ベクトルの総和Ｅは収束す
ることになるが２収束するまでの学習回数は多くなって
しまうことになる。一方学習回数を減らそうとして両パ
ラメータを大きくとると、今度は、誤差ベクトルの総和
Ｅが振動してしまうというおそれがでてくる。人力層の
ユニット数が“１３″で、中間層のユニット数が“８ｍ
で。

出力層のユニット数が７″という階層ネットワークを想
定し、６２個の入カバターン信号とそれに対応する教師
パターン信号とを使って学習したときの学習結果を第１
２図に示す。この第１２図において。

横軸は学習回数で、縦軸はそのときの誤差ベクトルの総
和である。ここで、制御パラメータに対応する係数は、
ε＝０．３　、　　α＝０．２に設定した。

この第１２図からも明らかとなるように、バラメークの
設定の違いにより多少の違いはでるものの。

最適の重みが決定されるまでに相当回数の学習が繰返さ
れる。そして、上記係数ε及び／又はαΦ値を如何に設
定するかが、最適の重みが得られるまでの学習回数に大
きく影響する。

このことから、上記係数ε及び／又はαの値を。

複数個の夫々の重みＷ、やＷｊｉ毎に如何に選ぶかによ
って、上記学習がどのような状況を経つつ完成していく
かを、視覚的に表示し、上記係数ε及び／又はαの値の
設定の良否を例えばオペレーション訓練要員に自覚させ
ることが望まれる。

本発明は、ネットワーク構成データ処理装置において１
重みの値が学習によって設定されていく際に、学習の実
現状況を視覚的に表示できるようにすることを目的とし
ている。

［課題を解決するための手段〕 第１図は本発明の原理構成図である。

図中、１は階層ネットワークの基本単位をなす基本ユニ
ットであり、？３［数の入力とこれらの入力に対して乗
算されるべき重みとを受は取って積和を得るとともに、
この得られた積和値を闇値関数によって変換して最終出
力を得るよう処理する。

１−ｈは人力層を構成する複数個の基本ユニット１−ｉ
　は１つ又は複数段の中間層を構成する複数個の基本ユ
ニット、１〜ｊは出力層を構成する１つ又は複数個の基
本ユニットである。基本ユニット１−ｈと基本ユニット
１−ｉ　との間、基本ユニット１−ｉ　の相互間、基本
ユニット１−ｉ　と基本ユニット１−ｊ　との間で接続
がなされ、かつこの各接続に対応して設定される重みに
より、　１０で示される階層ネットワークが構成される
ことになる。

２０は重みの学習処理のために必要となる学習パターン
を保持する学習パターン保持部であって。

複数の所定の人力信号を保持する入力信号（又は入力信
号保持域）２１と、この所定の入力信号に対しての出力
信号となるべき教師信号を保持する教師信号（又は教師
信号保持域）２２とを備えるもの。

１３は出力信号導出手段であって９人力層号保持域２１
が保持する入力信号を階層ネットワーク１０に対して供
給した結果の各層のユニットの出力を得るもの、１２は
結合の重みであって上述のＷｉｈやＷｊｉを保持するも
の、　３０は重み学習手段であり、３３は誤差値算出手
段であって出力信号導出手段１３からの出力信号と保持
されている教師信号２２とからこの２つの信号の不一致
度合を表す誤差値を算出するとともに供給されるすべて
の入力信号の誤差値の総和を求めるよう処理するもので
ある。

重み学習手段３０は１重み更新量ΔＷ算出のための制御
パラメータ（係数ε、α）３２と重み更新のための更新
規則３１とを備え１階層ネットワーク１０における結合
の重み１２を初期値から学習回数が進む毎に順次更新し
て、新しい結合の重み１２として格納する。即ち。

８Ｗムｈ や。

にしたがって、結合の重みＷ、ＬｈやＷハを更新してい
く。

評価関数分布表示部５０は、評価関数の分布の算出処理
５１と、切断平面の算出処理５２と、評価関数の分布の
表示処理５３とを行うものである。

階層ネットワーク１０の構造が与えられ、かつ学習パタ
ーンが与えられると、上述の個々の結合の重みＷ８．や
Ｗ　ｊ　Ｌが如何なる値にあるときに、上記誤差ヘクト
ルの総和即ち評価関数Ｅが如何なる値をとるかについて
は２知ることができる。即ち。

数多くの結合の重みについて、いわばカット・アンド・
ｌ・ライによって評価関数Ｅの値を算出することができ
る。本発明の監視装置の場合には、このような評価関数
の分布の算出は、オフライン処理的に実行され終ってい
るものと考えてもよい。

評価関数の分布の状況が算出されると、上述の如く数多
く存在する結合の重みのうちのいずれの重みが、当該重
みの変化にもとづいて上記の評価間と 数Ｅの値が大きく影チ草けているかについて知ることが
できる。本発明の監視装置の場合には、成る結合の重み
Ｗ、を選択的に抽出し、当該重みＷＸを学習的に決定さ
せていく上での上述の係数ε及び／又はαを選定した際
に、学習が進捗していく毎に、当該重みが、あるべき最
適の重みに対して如何なる経路をへて近づいていくかを
視覚的に表示できるようにする。

このことから２図示の切断平面の算出処理５２において
は、所望する成る重みＷつについての監視を行うべく当
該重みＷ８に注目した際に、視覚的な表示を２次元平面
上で行う上で好ましい平面を決定する。そして、評価関
数の分布の表示処理５３は、当該決定された平面上で重
みＷ８の値に対応して評価関数の値がどのように対応す
るかを表示する図形を得る。

重み探索経路表示部６０は５重み学習手段３０が学習回
数が進む毎に新しい結合の重みを生成する状況を受取り
、上記評価関数分布表示部５０において表示しようとし
ている図形上で、上記新しい結合の重みがどのような位
置に位置するかを算出する。この算出は２図示の重み探
索経路の算出処理６１において行われる。そして、算出
された結果にもとづいて９重み探索経路の表示処理６２
は、上記図形上での新しい結合の重みの位置をプロット
する。

これらの結果が表示装置７０において表示される。

即ち、係数ε及び／又はαとして成る値を設定した際に
１重み学習手段３０による学習回数が進捗していくにつ
れて、上記プロットの位置がどのような状況の下で、最
適な重みに近づいていくかが視覚的に表示される。

勿論８本発明の前堤としては、最適な重みについては予
め判明しているものであるが、上記係数ε及び／又はα
の値の設定の如何によって、如何に最適な重みに近づい
ていくかを訓練者に知らせるようにする。

〔作　用〕

階層ネッ］・ワーク１０の構造に関する情報と学習パタ
ーン保持部２０の内容とが評価関数分布表示部５０に与
えられ、所望する平面でみたときの評価関数の分布が例
えば２次元図形の等筋線を表す如く表示される。そして
、対応する重みＷＸについての係数ε及び／又はαが制
御パラメータ３２として設定され、かつ結合の重み１２
として初期値がセントされる。

この状態の下で２重み学習手段３０における学習が進捗
する毎に（あるいは適当な回数毎に）１重み探索経路表
示部６０が、新しく生成された重みＷ８についての上記
図形上の位置をプロットしていく。

上記係数ε及び／又はαの値の与え方の如何によっては
、非所望な発振が生じることも視覚的に判る。

〔実施例］ 評価関数の分布についての特徴が把握されている状態で
、その特徴が良く現われるような表示を行うために、第
１図図示の切断平面の算出処理５２が行われる。上記の
如く特徴が良く現われるような表示を得るための平面を
得るに当って２次の２つの方式が考慮される。

（八）切断平面選択方式（その１） 今仮に、３種類の重みＷ、、Ｗ、、Ｗ、について最適な
重みを得るものとし、最適な重みＷｃが座標（Ｗ　ｃ＋
　、　Ｗ　ｃ！　、　Ｗ　ｃ３　＋で与えられているも
のとすると、最適な重みについての位置ベクトルは。

第２図図示（Ｗｃ）の如く表わされる。このことから、
当該位置ベクトル（Ｗｃ）を含むような平面Ｓを考慮す
る。当該位置ベクトル（Ｗｃ）を含む平面はいわば無限
に存在するが、今任意のベクトル（Ｗ８）を考慮して、
ベクトル（Ｗｃ）とベクトル（Ｗ８）とを含む平面を切
断すべき平面とすると、当該平面Ｓ上の任意の点Ｗ、は
ｗ、＝ａＷｃ　＋ｂＷ＊ （但し、ａ、ｂは任意の実数） で表わされる。このような平面Ｓを選んだ場合には、最
適な重みに対応する位置ベクトル（Ｗｃ）の先端に向う
ように学習が行われることが好ましいものであり、実際
の学習に当って、当該先端に向って如何なる経路をへて
学習が進んでいくかを効率よく監視することができる。

（Ｂ）切断平面選択方式（その２） 今、最適な重みについて座標（Ｗｃ、、　Ｗｃ、。

ｗ　ｃ、ｌが与えられているとし２例えば重みＷ２につ
いては固定値Ｗｃｔに固定しておいて重みＷＩとＷ、と
について値を変化するものと考え、第３図図示の如く、
固定値ＷＣＺを通る平面Ｓ′を切断面に選定する。この
ように平面Ｓ′を選択しておくと、当該平面Ｓ′上の点
（位置ベクトル（Ｗｃ）の先端）に向うように学習が行
われることが好ましいものであり、実際の学習に当って
、当該先端に向って如何なる経路をへて学習が進んでい
くかを効率よく監視することができる。

この切断方式について一般的に表わすと９次のようにな
る。即ち。

上記（１）式において、Ｘ□は’／ｐｈについて線形で
ある。このことから、Ｘ９、とｙ。とを座標軸とする空
間で考えると、（１）式は超平面の方程式となる（但し
、ｐとｉとは固定する）。仮に、ｙいが２次元でＸ□が
１次元であるとして。

χｐ＋＝Ｗｔ＋　ｙｐｌ　＋　ｗｉｌｙ　ｐｇ−〇五で
あると考えると、第４図図示の如＜＋Ｘｐｉはｘｐ＋＝
Ｗ＋＋ｙｐ＋　＋Ｗｉｚ）’ｐｇ−θ、＝Ｏなる直線を
含みかつ座標軸（ｘｐｔ）をθ１できる平面となる。

上記Ｘ−一〇なる直線の位置はＷｉｈとθ、との間の比
だけに依存し、Ｘ□の絶対値の変化には影響されない。

この絶対値に依存するのは超平面の（頃きである。

したがって、第４図に代えて、Ｘｐｉとｙ２．との間の
闇値関数として階段関数を用いたものを第５図に示すと
、第５図においても、成る入力についての重みｗｔｈと
閾値θ１との間の比のみに依存することになる。闇値関
数として１階段関数を鈍らせたＳ字状関数とすると１位
置関係はＷ、ｈとθ１との比に依存し、絶対値ｌｙ９．
１はその錬りの効果が反映されたものとなる。

したがって１階層ネットワークの使用目的が識別にある
場合、境界線を決定するのに寄与するものは重み同士の
比であり、絶対値は境界線の曖昧さに寄与する。したが
って２例えば２つの重みを２次元座標軸として、その２
次元平面上の各点について上述の評価関数Ｅの値をプロ
ットした３次元図形を考えると、当該３次元図形は、座
標の原点から放射状に拡がる峡谷または円錐状の分布を
もつ形が現われる。

第６図はベクトルＷｃとＷ、、とに対応する評価関数Ｅ
の図形の一例を示している。

ａ　Ｗｃ　＋　ｂ　Ｗｘ で与えられる点での評価関数Ｅの値が示され、３次元図
形となっている。

第７図は第６図図示の３次元図形に対して切断平面選択
方式（その１）に対応した平面を考慮して評価関数Ｅの
値を等直線で表した表示図形を示している。この表示図
形上に、学習によって新しく生成された重みをプロット
していき、学習の進捗状況を監視する。上記切断平面選
択方式（その１）の場合には、上述した「座標の原点か
ら放射状に拡がる峡谷又は円錐状の分布をもつ形」の縦
断面をみることとなり、最適重み探索過程がほぼその切
断平面上に載る。第７図図示の場合には図示右斜め上方
に延びる峡谷の谷に沿って進む如（学習が進捗するのが
好ましい形である。

なお上述の切断平面選択方式（その２）に対応した平面
をもって表示する図形の場合には上記峡谷又は円錐につ
いての横断面をみることとなる。

この表示図形上に、上述の如く新しく生成された重みが
プロットされていく。

〔発明の効果］ 以上説明した如く１本発明によれば、学習の進捗状況を
視覚的にみることが可能となり、オペレション訓練者が
自己の与えた係数ε及び／又はαの値についての良否を
観察することが可能となる。

【図面の簡単な説明】

第１図は本発明の原理構成図、第２図及び第３図は夫々
切断平面の選択方式について説明する説明図２第４図及
び第５図はユニットにおける計算を説明する説明図、第
６図は評価関数Ｅを表わす図形、第７図は切断平面選択
方式に対応した平面で表わした表示図形、第８図は基本
ユニットの構成図、第９図は階層ネットワークの構成図
、第１０図はバンク・プロパゲーション法の説明図、第
１１図は学習処理を表わすフローチャート第１２図は学
習により重みが変化していく状況を表わす図を示す。 図中、１は基本ユニット、２は累算処理部、３は闇値処
理部、１０は階層ネットワーク、２０は学習パターン保
持部、　３０は重み学習手段、５０は評価関数分布表示
部３６０は重み探索経路表示部、７０は表示装置を表わ
す。

Claims (1)

1. 【特許請求の範囲】 前段層からの１つ又は複数の入力と当該入力に対して乗
   算されるべき結合の重み（１２）とを受取って積和を得
   るとともに、当該得られた積和値を閾値関数によって変
   換して最終出力を得る基本ユニット（１）を基本単位と
   し、 複数個の当該基本ユニット（１−ｈ）を入力層とし、か
   つ複数個の当該基本ユニット（１−ｉ）を中間層として
   １つ又は複数段の中間層を備え、かつ１つ又は複数個の
   当該基本ユニット（１−ｊ）を出力層とし、入力層と最
   前段の中間層との間、中間層相互間、及び最終段の中間
   層と出力層との間で内部結合を構成するとともに、当該
   内部結合に対応して上記重みが設定されることで階層ネ
   ットワーク（１０）を構成するデータ処理装置において
   、 上記入力層の基本ユニット（１−ｈ）に対して複数の所
   定の入力信号（２１）を供給することで、上記出力層の
   基本ユニット（１−ｊ）から当該入力信号に対応する出
   力信号を得る出力信号導出手段（１３）と、当該出力信
   号導出手段（１３）により得られた各層ユニットの出力
   信号と学習パターン保持部（２０）に保持されている所
   の当該出力信号がとるべき値を指示する教師信号（２２
   ）とを使い、２つの信号の不一致の大きさを表す誤差値
   を算出する誤差値算出手段（３３）と、 当該誤差値算出手段（３３）により算出された当該誤差
   値の総和に基づいて算出することになる重みの更新量に
   従って、上記結合の重み（１２）を初期値から順次更新
   していくことで、当該誤差値の総和が所定の許容範囲に
   入ることになる上記重みの値を求めるよう処理する重み
   学習手段（３０）とを備え、当該重み学習手段（３０）
   が、少なくとも前回の更新サイクル時に決定された当該
   重みの更新量に係るデータ因子を考慮して、現時点の更
   新サイクル時の当該重みの更新量を決定するよう処理す
   ると共に、 上記階層ネットワーク（１０）における構造に関する情
   報と、上記学習パターン保持部（２０）に保持されてい
   る学習パターンに関する情報とを受取って、上記結合の
   重み（１２）を変化せしめた際に生じる上記入力信号（
   ２１）と上記教師信号（２２）との誤差値にもとづいて
   、当該誤差値を変数とする評価関数を上記結合の重み（
   １２）を座標軸とした評価関数の分布を得た上で、上記
   評価関数の値に比較的大きい影響を与える任意の少数の
   結合の重みを特定し、当該特定された結合の重みを座標
   軸とする切断平面上で上記評価関数を投影して表示した
   評価関数の分布の表示画像を得る評価関数分布表示部（
   ５０）と、上記重み学習手段（３０）によって学習が進
   行する間における上記結合の重み（１２）の変化状況を
   受取り、上記評価関数の分布の表示と対応する表示画像
   上に、上記結合の重み（１２）の変化状況をプロットす
   る重み探索経路表示部（６０）と、 上記評価関数分布表示部（５０）で得られている評価関
   数の分布の表示画像と、上記重み探索経路表示部（６０
   ）で得られたプロットとを視覚的に表示する表示装置（
   ７０）とをそなえ、 上記重み学習手段（３０）による上記結合の重み（１２
   ）の変化状況に影響を与える係数（ε及び／又はα）に
   対して値を設定する当該値設定の良否を視覚的に観察で
   きるようにした ことを特徴とするネットワーク構成データ処理装置の学
   習処理監視装置。