JP2763317B2 - データ処理装置の学習処理方式 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、データ処理機能を実現するパターン変換部
を規定するところの内部状態値を学習により決定するた
めのデータ処理装置の学習処理方式に関し、特に、内部
状態値の学習がより短い時間で実行できるようにするデ
ータ処理装置の学習処理方式に関するものである。

従来の逐次処理コンピュータ（ノイマン型コンピュー
タ）では、使用方法や環境の変化に応じてデータ処理機
能を調節することができないので、パターン認識や適応
フィルタ等の分野を中心に、ネットワーク構造による並
列分散処理方式に代表されるような適応性を有するデー
タ処理装置が提案されてきている。このような適応性を
有するデータ処理装置では、データ処理機能を規定する
ところの内部状態値を学習処理により求めていく必要が
ある。

ネットワーク構造をとるデータ処理装置の内部状態値
の学習処理方式の中では、特に、バック・プロパゲーシ
ョン法と呼ばれる処理方式（D.E.Rumelhart,G.E.Hinto
n,and R.J.Williams,“Learning Internal Representat
ions by Error Propagation,"PARALLEL DISTRIBUTED PR
OCESSING,Vol.1,pp.318−364,The MIT Press,1986）が
その実用性の高さから注目されている。

この階層ネットワーク構造をとるデータ処理装置で
は、基本ユニットと呼ぶ一種のノードと、内部状態値に
相当する重み値を持つ内部結合とから階層ネットワーク
を構成している。第９図に、基本ユニット１の原理構成
を示す。この基本ユニット１は、多入力一出力系となっ
ており、複数の入力に対し夫々の内部結合の重み値を乗
算する乗算処理部２と、それらの全乗算結果を加算する
累算処理部３と、この累算値に非線型の閾値処理を施し
て一つの最終出力を出力する閾値処理部４とを備える。
そして、このような構成の多数の基本ユニット１が、第
10図に示すように階層的に接続されることで階層ネット
ワークが構成され、入力信号（入力パターン）を対応す
る出力信号（出力パターン）に変換するというデータ処
理機能を発揮することになる。この階層ネットワークに
対して、バック・プロパゲーション法では、学習用に用
意された入力信号に対しての出力信号が、とるべき信号
値を指示する教師信号（教師パターン）となるべく、所
定の学習アルゴリズムに従って階層ネットワーク中の内
部結合の重み値を決定していくことになる。そして、こ
の処理により重み値が決定されると、想定していなかっ
た入力信号が入力されることになっても、この階層ネッ
トワークから、それらしい出力信号を出力するという
“柔らかい”データ処理機能が実現されることになる。

このような階層ネットワーク構造のデータ処理装置に
代表されるような、適応性を有するデータ処理装置を実
用的なものにしていくためには、データ処理機能を規定
する内部状態値の学習処理をより短時間で実現できるよ
うにしていく必要がある。このことは、複雑なデータ処
理を実現していくために、階層ネットワーク構造等をよ
り多層にするなど複雑なものとしていく必要があるとい
う背景のもとで、どうしても解決していかなくてはなら
ない課題の１つなのである。

〔従来の技術〕

階層ネットワーク構造をとるデータ処理装置に対して
のバック・プロパゲーション法を具体例にしながら、こ
のような適応性を有するデータ処理装置の内部状態値の
学習処理の従来技術について説明する。

ｈ層を前段層としｉ層を後段層とするならば、基本ユ
ニット１の累算処理部３で行われる演算は、次の（１）
式に示すものであり、また、閾値処理部４で行われる演
算は次の（２）式に示すものである。

但し、 ｈ :h層のユニット番号 ｉ :i層のユニット番号 ｐ ：入力信号のパターン番号 θ_i:i層のｉ番ユニットの閾値 W_ih:h−ｉ層間の内部結合の重み値 x_pi:h層の各ユニットからｉ層のｉ番ユニットへの入力
の積和 y_ph:p番目パターンの入力信号に対するｈ層のｈ番ユニ
ットからの出力 y_pi:p番目パターンの入力信号に対するｉ層のｉ番ユニ
ットからの出力 バック・プロパゲーション法では、この重み値W_ihと
閾値θ_ｉとを誤差のフィードバックにより適応的に自動
調節することになる。この（１）式及び（２）式から明
らかなように、重み値W_ihと閾値θ_ｉとの調節は同時に
実行される必要があるが、この作業は、相互に干渉する
難しい作業となる。そこで、本出願人は、先に出願の
「特願昭62−333484号（昭和62年12月28日出願、“ネッ
トワーク構成データ処理装置”）」で開示したように、
入力側の層に常に“1"を入力信号として持つ基本ユニッ
ト１を設け、閾値θ_ｉを重み値W_ihの中に組み込むよう
にすることで、閾値θ_ｉを表に出さないようにすること
を提案した。このようにすることで、上述の（１）式及
び（２）式は、 で表されることになる。

次に、この（３）式及び（４）式に従って、重み値の
学習処理の従来技術について説明する。この説明は、第
11図に示すようなｈ層−ｉ層−ｊ層という構造の階層ネ
ットワークをもって行うことにする。

（３）式及び（４）式からの類推によって次の式が得
られる。すなわち、 但し、 ｊ :j層のユニット番号 W_ji:i−ｊ層間の内部結合の重み値 x_pj:i層の各ユニットからｊ層のｊ番ユニットへの入力
の積和 y_pj:p番目パターンの入力信号に対するｊ層のｊ番ユニ
ットからの出力 重み値の学習処理では、最初に、下式に従って、教師
信号と出力層からの出力信号との誤差の二乗和である誤
差ベクトルE_pを、階層ネットワークの誤差として計算す
る。ここで、教師信号とは、出力信号のとるべき信号と
なるものである。

但し、 E_p:p番目パターンの入力信号に対しての誤差ベクトル Ｅ ：全パターンの入力信号に対しての誤差ベクトルの
総和 d_pj:p番目パターンの入力信号に対するｊ層ｊ番目ユニ
ットへの教師信号 ここで、誤差ベクトルと出力信号との関係を求めるた
め、（７）式をy_pjに関して偏微分すると、 を得る。更に、誤差ベクトルE_pとｊ層への入力との関係
を求めるため、誤差ベクトルE_pをx_pjで偏微分すると、 を得る。更に、誤差ベクトルE_pとｉ−ｊ層間の重み値と
の関係を求めるため、誤差ベクトルE_pをW_jiで偏微分す
ると、 の積和で表される解を得る。

次に、ｉ層の出力y_piに対する誤差ベクトルE_pの変化
を求めると、 を得る。更に、ｉ層入力ユニットへの総和x_piの変化に
対する誤差ベクトルの変化を計算すると、 の積和で表される解を得る。更に、ｈ−ｉ層間の重み値
の変化に対する誤差ベクトルの変化の関係を求めると、 の積和で表される解を得る。

これらから、全入力パターンに対する誤差ベクトルと
ｉ−ｊ層間の重み値との関係を求めると、以下のように
なる。

また、全入力パターンに対する誤差ベクトルとｈ−ｉ層
間の重み値との関係を求めると、以下のようになる。

（15）式及び（16）式は、各層間の重み値の変化に対
する誤差ベクトルの変化率を示していることから、この
値が常に負になるように重みを変化させると、公知の勾
配法により、誤差ベクトルの総和Ｅを漸近的に０とする
ことができる。そこで、従来のバック・プロパゲーショ
ン法では、重み値の一回当たりの更新量ΔW_jiとΔW_ihと
を以下のように設定し、この重み値の更新を反復するこ
とにより、誤差ベクトルの総和Ｅを極小値に収束させて
いる。

但し、ε（＞０）は学習パラメタの学習定数を表す。

更に、従来のバック・プロパゲーション法では、この
極小値への収束の加速を図るために、（17）式及び（1
8）式に、前回の更新サイクル時に決定された重み値の
更新量に係るデータ因子を付け加えて、ΔW_ihとΔW_jiと
を以下のように設定する更新規則をとることが行われて
いる。

但し、ζ（＞０）は学習パラメタのモーメンタムを表
し、ｔは更新回数を表す。

このようなバック・プロパゲーション法による重み値
の学習処理では、用意された学習用の学習信号（入力信
号と教師信号との対）のグループに対してバック・プロ
パゲーション法を適用していけば、誤差ベクトルの総和
Ｅを極小値に収束できることが証明されている。すなわ
ち、教師信号に相当する出力信号が出力できることにな
る。これから、従来のバック・プロパゲーション法によ
る重み値の学習処理では、学習用のための学習信号を最
初に画定してから、重み値の学習処理に入るようにして
いた。そして、階層ネットワーク構造をとるデータ処理
装置に限らずに、他のネットワーク構造をとるデータ処
理装置や他の適応性を有するデータ処理装置の内部状態
値の学習処理にあっても、このように、内部状態値の学
習のために用いる学習信号を最初に画定してから、内部
状態値の学習処理に入るという構成が採られていたので
ある。

〔発明が解決しようとする課題〕

しかしながら、このような従来技術では、上述のバッ
ク・プロパゲーション法の説明からも明らかなように、
内部状態値の学習のために用意する学習信号の増加に伴
って、学習処理のための計算ステップ数が指数関数的に
急激に増加してしまうことになる。これから、高度のデ
ータ処理機能を実現すべく階層ネットワーク等を複雑化
すると、内部状態値の決定のためにより多くの学習信号
が必要となることに対応して、学習処理に極めて長い時
間がとられることになるという問題点があったのであ
る。

また、従来技術では、当初予想していなかったような
学習信号がでてくると、それまでの学習用の学習信号に
この学習信号を加えたものを新たな学習用の学習信号に
して、最初から内部状態値の学習をやり直すということ
になる。しかるに、このような適応性を有するデータ処
理装置を使う状況下にあっては、発生する可能性のある
学習信号を最初から全部揃えるということの方が無理な
ことである。これから、従来技術では、新たな学習信号
が求まる毎に、何度も何度も長い学習処理時間を要求さ
れてしまうことになるという問題点もあったのである。

本発明はかかる事情に鑑みてなされたものであって、
適応性を有するデータ処理装置のデータ処理機能を規定
する内部状態値を学習により決定していくときにおい
て、より短い処理時間で内部状態値の学習が実現できる
ようにするデータ処理装置の学習処理方式の提供を目的
とするものであり、そして、新たな学習信号が見つかる
ようなときにあっても、より短い処理時間で内部状態値
の学習が実現できるようにするデータ処理装置の学習処
理方式の提供を目的とするものである。

〔課題を解決するための手段〕

第１図は本発明の原理構成図である。

図中、20は本発明の処理対象となる適応性を有するデ
ータ処理装置、21はデータ処理装置20が備えるパターン
変換部であって、内部状態値により規定されるデータ変
換機能に従って、入力パターンに対応する出力パターン
を算出して出力するもの、25はデータ処理装置20が備え
る内部状態値格納部であって、パターン変換部21がデー
タ変換処理の実行時に必要とする内部状態値を管理する
ものである。このパターン変換部21が階層ネットワーク
構造をとるときは、複数の入力とこれらの入力に対して
乗算されるべき内部状態値（重み値）とを受け取って積
和を得るとともに、この得られた積和値を閾値関数によ
って変換して最終出力を得るよう処理する基本ユニット
１を基本単位にして、複数個の基本ユニット１−ｈによ
り入力層が構成され、複数個の基本ユニット１−ｉによ
り１つ又は複数段設けられる中間層が構成され、複数個
の基本ユニット１−ｊにより出力層が構成されるととも
に、基本ユニット１−ｈと基本ユニット１−ｉとの間、
基本ユニット１−ｉの相互間、基本ユニット１−ｉと基
本ユニット１−ｊとの間で接続がなされ、かつ、この各
接続に対応して設定される内部状態値に従って、階層ネ
ットワーク構造が実現されることになる。

32は内部状態値の学習処理のために必要となる学習パ
ターンを格納する学習パターン格納部であって、学習処
理のために用意された複数の入力パターンを格納する入
力パターン格納部321と、この入力パターンに対しての
出力パターンとなるべき教師パターンを格納する教師パ
ターン格納部322とを備えるもの、33はパターン提示部
であって、学習対象の学習パターン群を学習パターン格
納部32から読み出して、その内の入力パターン群をパタ
ーン変換部21に提示するとともに、その内の教師パター
ン群を後述する誤差値算出部261に提示するものであ
る。パターン提示部33は、この提示処理の実行のため
に、提示パターン決定部331、提示パターン送出部332及
び提示済パターン管理部333を備える。この提示パター
ン決定部331は、学習パターン格納部32に格納される学
習パターン群を少なくとも２組以上に分割して管理する
とともに、その分割した組を単位にして提示する学習パ
ターン群を決定し、提示パターン送出部332は、提示パ
ターン決定部331により決定された学習パターン群の提
示処理を実行し、提示済パターン管理部333は、既に提
示パターン送出部332により提示の終了した学習パター
ン群を管理する。

261は誤差値算出部であって、入力パターン群からの
提示に従って出力されるパターン変換部21からの出力パ
ターン群と、パターン提示部33から提示される教師パタ
ーン群との間の不一致の大きさを表す誤差値を算出する
もの、262は内部状態値更新部であって、内部状態値格
納部25に格納される内部状態値を更新サイクルの進行に
同期させて更新していくもの、263は内部状態値更新部2
62が備える更新量算出部であって、誤差値算出部261に
より算出される誤差値に基づいて、次の更新サイクルの
内部状態値の決定のために必要となる内部状態値の更新
量を算出するもの、264は内部状態値更新部262が備える
更新値算出部であって、更新量算出部263により算出さ
れる更新量に従って、次の更新サイクルで用いる内部状
態値の値を算出するものである。

〔作用〕

本発明では、提示パターン決定部331は、誤差値算出
部261から、新たな組の学習パターン群の選択の指示を
受け取ると、分割した組の中から未だ選択されていない
組の１つを選択して、その選択した組の学習パターン群
を次の学習用の学習パターン群として決定する。この決
定を受けると、提示パターン送出部332は、決定された
入力パターン群の各入力パターンを順序よくパターン変
換部21に提示するとともに、提示される入力パターンと
対をなす教師パターンを順序よく誤差値算出部261に提
示するよう処理する。

この学習用の入力パターン群の提示を受けると、パタ
ーン変換部21は、内部状態値格納部25の内部状態値を参
照して、各入力パターン毎に、出力パターンを算出して
出力する。誤差値算出部261は、このようにして、提示
された入力パターン群に関しての出力パターンとそれに
対応する教師パターンとを受け取ると、誤差値の算出を
行うとともに、この誤差値若しくはそれに関する値が所
定の範囲内に入ったのか否かを判断する。この判断で、
所定の範囲内に入ったと判断するときには、誤差値算出
部261は、学習中の内部状態値が収束したと判断して、
パターン提示部33に対して、次の新たな学習パターン群
の選択を指示する。一方、所定の範囲内に入っていない
と判断するときには、更新量算出部263は、内部状態値
の更新量を算出し、更新値算出部264は、この算出され
る更新量に従って、次の更新サイクルで用いる内部状態
値を求めて内部状態値格納部25に設定するとともに、誤
差値算出部261は、内部状態値の収束を実現すべく、パ
ターン提示部33に対して再度同じ学習パターン群の提示
を指示する。

誤差値算出部261から、次の学習パターン群の選択の
指示を受け取ると、提示パターン決定部331は、今度
は、提示済パターン管理部333を参照することで、それ
までに提示したすべての組に属する学習パターン群を次
の学習用の学習パターン群として決定する。このよう
に、本発明では、先に提示した組の学習パターン群の提
示に続いて、それまでに提示したすべての組に属する学
習パターンを提示していくという提示方式を基本単位に
して、学習パターン群の提示を実行するよう処理する。
ここで、一番最初に提示する組の学習パターン群につい
ては、単独で提示することになる。このような順序に従
って分割された学習パターン群が提示されていくときに
あって、本発明の内部状態値更新部262は、前回提示の
学習パターン群に従って求まった収束された内部状態値
を初期値として、提示された学習パターン群に対しての
収束される内部状態値を求めていくよう処理することに
なる。

すなわち、本発明では、少ない個数の学習パターンか
らなる学習パターン群を順次提示していくことで、内部
状態値を最終的なものへと順次近づけていくとともに、
それまでの提示に従って最終的な内部状態値にと近づい
ていたものに狂いがでてきてしまうのを防ぐために、そ
れまでに提示したすべての組に属する学習パターン群の
提示を対として行うよう構成するのである。

このような構成をとることから、内部状態値の学習の
終了後や学習処理の途中で新たな学習パターンが追加さ
れるようなことが起きても、提示パターン決定部331
は、追加される入力パターンを１つの組として、あるい
は、複数の組に分割して、あるいは、もともとの入力パ
ターンと組み合わせる態様で分割してパターン変換部21
に提示することで、従来に比べて極めて短い処理時間で
必要とされる新たな内部状態値を求めることができるこ
とになる。

このように、本発明によれば、少ない個数の学習パタ
ーンからなる学習パターン群の提示に従って学習を進め
ていくので、個々の提示に対しての収束内部状態値を大
幅に少ない計算ステップ数で求められるとともに、狂い
を戻すための提示に対しての収束内部状態値について
も、殆ど収束内部状態値に近づいているので、大幅に少
ない計算ステップ数で求められることになる。これか
ら、従来に比べて、内部状態値の学習をより短い時間で
実行できるようになる。そして、当初予想していなかっ
た学習パターンが見つかるようなことがあっても、従来
に比べて、内部状態値の学習をより短い時間で実行でき
るようになるのである。

なお、以上の説明にあって、誤差値算出部261が備え
ることで説明した各学習パターン群についての学習終了
の検出機能は、パターン提示部33の側で備えてもよく、
このようにパターン提示部33の側で備えるよう構成する
ときには、誤差値算出部261がパターン提示部33に対し
て学習パターンの提示要求をする必要はなくなることに
なる。

〔実施例〕

以下、階層ネットワーク構造をとるデータ処理装置の
バック・プロパゲーション法に適用した実施例に従っ
て、本発明を詳細に説明する。

第２図に、本発明の適用を受ける学習処理装置を実装
する階層ネットワーク構造データ処理装置20aの装置構
成を示す。図中、第１図で説明したものと同じものにつ
いては、同一の記号で示してある。21aは第11図で説明
した階層ネットワーク構造をとる階層ネットワーク部で
あって、重み値により規定されるデータ変換機能に従っ
て、入力パターンに対応する出力パターンを算出して出
力するもの、22はパターン入力部であって、学習パター
ン提示装置30から提示される学習パターンの内の入力パ
ターンを階層ネットワーク部21aに入力するとともに、
教師パターンを後述する内部状態値変更部26に入力する
もの、23はパターン出力部であって、階層ネットワーク
部21aからの出力パターンを学習パターン提示装置30に
出力するとともに、内部状態値変更部26に出力するも
の、24は学習パラメタ格納部であって、上述のバック・
プロパゲーション法で説明した学習パラメタの学習定数
“ε”とモーメンタム“ζ”とを格納するもの、26は内
部状態値変更部であって、第１図で説明した誤差値算出
部261及び内部状態値更新部262の機能（但し、この実施
例にあっては、誤差値算出部261の機能の一部として説
明した重み値についての収束の判定機能は、後述する学
習収束判定部36で実現している）を備えることで、階層
ネットワーク部21aの内部結合の重み値を収束する所望
の値へと更新していくよう処理するものである。なお、
階層ネットワーク部21aに対応して、内部状態値格納部2
5は、内部状態値として階層ネットワークの重み値を格
納するとともに、内部状態値変更部26は、この重み値を
更新していくことになる。

この第２図に示すように、本発明の適用を受ける学習
処理装置の装置構成については、従来技術と基本的に変
わるところはない。

第３図に、本発明を実装する学習パターン提示装置30
の装置構成を示す。この学習パターン提示装置30は、階
層ネットワーク構成データ処理装置20aに対して、入力
パターンと教師パターンとの対によりなる学習パターン
を提示していくことで、本発明の学習処理方式を実現す
ることになる。図中、第１図で説明したものと同じもの
については、同一の記号で示してある。31は受付処理部
であって、学習パターンとして入力されてくるパターン
の受付処理、追加の学習パターンとして入力されてくる
パターンの受付処理、学習パターン格納部32に格納され
ている学習パターンに対しての分割の指示の受付処理等
の受付処理を実行するもの、34はパターン提示制御部で
あって、受付処理部31により受け付けられた分割の指示
に従って、パターン提示部33に対して提示する学習パタ
ーンの種類を指定するパターン提示命令を送出するも
の、35は学習パラメタ設定部であって、階層ネットワー
ク構成データ処理装置20aの学習パラメタ格納部24に学
習パラメタを設定するもの、36は学習収束判定部であっ
て、階層ネットワーク構成データ処理装置20aのパター
ン出力部23からの出力パターンを受けて、学習中の重み
値が許容範囲に入ったか否かを判定して、その判定結果
をパターン提示制御部34に通知するものである。

本発明では、重み値の学習のために用いる学習パター
ンをいくつかの組に分けて管理することを特徴とする。
この分割による管理は、当初から画定されている学習パ
ターンに対して行われるとともに、後から追加されるよ
うなことがあるときには、それらの学習パターンに対し
ても行われることになる。この追加の場合における分割
の指定方法には、様々な方法をとることが可能で、例え
ば、追加される学習パターン群を１つの組として扱う指
定方法や、あるいは、追加される学習パターン群を複数
の組に分割して扱う指定方法や、あるいは、当初から画
定されている学習パターン群の学習の途中に追加される
ような場合には、もともとの学習パターン群と組み合わ
せる態様で分割して扱う指定方法等がある。

受付処理部31は、オペレータから入力されるこの分割
の指定の受付処理を実行することになる。第４図に、受
付処理部31が実行する受付処理のフローチャートの一例
を示す。このフローチャートでは、当初から画定されて
いる学習パターンの学習の終了後に学習パターンが追加
されるときの受付処理を示してある。このフローチャー
トに示すように、受付処理部31は、ステップ１で、新し
い学習パターンが入力されてくることを検出すると、続
くステップ２で、この受け付けた学習パターンを学習パ
ターン格納部32に追加して格納する。続いて、ステップ
３で、この学習パターンに対して分割の指示があるのか
否かを判断する。分割の指示があるときには、次のステ
ップ４で、その指示に従ってこの新しく入力されてきた
学習パターンを組分けして、続くステップ６で、その組
分け方をパターン提示制御部34に伝える。逆に、分割の
指示がないときには、次のステップ５で、元の指示に従
ってこの新しく入力されてきた学習パターンを組分けし
て、続くステップ６で、その組分け方をパターン提示制
御部34に伝える。そして、最後に、ステップ７で、学習
パターン格納部32が管理する格納パターン数を新たなも
のにセットして、ステップ１に戻るよう処理する。

このようにして、本発明のパターン提示制御部34は、
学習パターン格納部32に格納される複数の学習パターン
を、指示された方法に従って、複数の組に分割して管理
することになる。ＡからＺまでの26文字のアルファベッ
トの学習パターンの例で説明するならば、従来技術であ
れば、この26文字が学習パターンとして一括して管理さ
れていたのに対して、本発明では、例えば、 α＝｛A,B,C,D,E,F,G｝ β＝｛H,I,J,K,L,M｝ γ＝｛N,O,P,Q,R,S,T｝ δ＝｛U,V,W,X,Y,Z｝ というように、複数の組で組分けされて管理されること
になるのである。

本発明のパターン提示制御部34は、パターン提示命令
に従ってパターン提示部33を制御することで、パターン
提示部33が、この分割された組の１つを順次選択し、そ
の選択した組の学習パターン群を学習パターン格納部32
から読み出して、学習用のパターンとしてパターン入力
部22に提示していくよう処理するとともに、先に提示し
た組の学習パターン群の提示に続いて、それまでに提示
したすべての組に属する学習パターン群を提示していく
という提示方式を基本単位にして、学習パターン群の提
示を実行するよう処理する。ここで、一番最初に提示す
る組の学習パターン群については、単独で提示すること
になる。

第５図に、学習パターン群が２つに分割されている場
合においての、この提示処理の制御のフローチャートを
示す。学習パターン群が２つに分割されているときに
は、パターン提示制御部34は、このフローチャートに示
すように、最初に、パターン提示部33を制御すること
で、一方の組である組Ａに属する学習パターン群の各学
習パターンをパターン入力部22に対して提示する。この
提示を受けて、内部状態値変更部26は、その組Ａに属す
る学習パターン群に対して収束する階層ネットワークの
重み値を学習することになる。続いて、パターン提示制
御部34は、もう一方の組である組Ｂに属する学習パター
ン群の各学習パターンをパターン入力部22に対して提示
する。この提示を受けて、内部状態値変更部26は、その
組Ｂに属する学習パターン群に対して収束する階層ネッ
トワークの重み値を学習することになる。そして、最後
に、パターン提示制御部34は、組Ａと組Ｂに属する学習
パターン群の各学習パターンをパターン入力部22に対し
て提示する。この提示を受けて、内部状態値変更部26
は、最終的な階層ネットワークの重み値を学習すること
になる。

第６図に、学習パターン群が２つ以上に分割されてい
る場合においての、学習パターンの提示処理の制御のフ
ローチャートを示す。学習パターン群が２つ以上に分割
されているときには、パターン提示制御部34は、上述
し、かつこのフローチャートにも示すように、組Ａ
（ｉ）に属する学習パターン群の各学習パターンをパタ
ーン入力部22に対して提示し、続いて、それまでに提示
したすべての学習パターン群である〔組Ａ（１）＋・・
＋組Ａ（ｉ）〕に属する学習パターン群の提示を行う提
示処理を基本単位にして、学習パターン群の提示を実行
していくことになる。すなわち、上述したアルファベッ
ト26文字の学習パターンの分割例である α＝｛A,B,C,D,E,F,G｝ β＝｛H,I,J,K,L,M｝ γ＝｛N,O,P,Q,R,S,T｝ δ＝｛U,V,W,X,Y,Z｝ で具体的に説明するならば、 （１） 組αの学習パターンを提示する。

（２） 組βの学習パターンを提示する。

（３） 組α，組βの学習パターンを合わせて提示す
る。

（４） 組γの学習パターンを提示する。

（５） 組α，組β，組γの学習パターンを合わせて提
示する。

（６） 組δの学習パターンを提示する。

（７） 組α，組β，組γ，組δの学習パターンを合わ
せて提示する。

という順序に従って学習パターンの提示を行うことにな
る。

学習パターンの提示に従って実行に入る内部状態値変
更部26の重み値の更新処理は、それまでの提示に従って
求められた重み値を重み値の初期値といて用いるという
点を除けば、従来のバック・プロパゲーション法と変わ
ることなく実行されることになる。

すなわち、パターン提示部33が選択された学習パター
ン群の各学習パターン（入力パターンと教師パターンと
の対からなる）を順次提示してくるので、階層ネットワ
ーク部21aは、各入力パターン毎に、階層ネットワーク
構造からの出力である“y_ph",“y_pi",“y_pj"を求める。
そして、内部状態値変更部26は、この“y_pj"と教師パタ
ーン“d_pj"との間の誤差である“δ_pj"を求める。

続いて、内部状態値変更部26は、求められた“δ_pj",
“y_ph",“y_pi",“y_pj"とを使い、（11）式に従って、 を算出するとともに、（14）式に従って、 を算出する。この算出処理を、選択された学習パターン
群のすべての学習パターンについて行う。

続いて、内部状態値変更部26は、この算出処理により
求まる値を使い、（15）式に従って、 を算出するとともに、（16）式に従って、 を算出する。そして、下式に従って、この誤差ベクトル
の総和の“E"を減少させることになる重み値の更新量Δ
W_ji（ｔ）及びΔW_ih（ｔ）を求め、 この求めた重み値の更新量ΔW_ji（ｔ），ΔW_ih（ｔ）を
使って、新たな重み値である W_ji（ｔ）＝W_ji（ｔ−１）＋ΔW_ji（ｔ） W_ih（ｔ）＝W_ih（ｔ−１）＋ΔW_ih（ｔ） を求める。そして、この求めた重み値を内部状態値格納
部25に格納する。

一方、学習収束判定部36は、内部状態値変更部26と同
様の処理により、選択された学習パターン群の各学習パ
ターン毎に、階層ネットワーク部21aからの出力パター
ンと教師パターンとの間の誤差である“δ_pj"を求め
る。そして、この求められた“δ_pj"を使い、（７）式
及び（８）式に従って、誤差ベクトルの総和の“E"を求
めて、この値が許容できるものになったのか否かを判定
することで、重み値が収束したのか否かを判定して、そ
の判定結果をパターン提示制御部34に通知するよう処理
する。このとき、この収束判定方法に代えて、すべての
“δ_pj"が所定の値より小さくなったことをもって、収
束の判定を行うことも可能である。

このようにして、学習収束判定部36から非収束の通知
を受け取ると、パターン提示制御部34は、選択した学習
パターン群に関しての学習処理が終了していないと判断
して、従来通り、収束の実現を図るべく、再度同じ学習
パターン群の提示に入るためのパターン提示命令をパタ
ーン提示部33に送出する処理を行う。一方、学習収束判
定部36から収束の通知を受け取るときには、パターン提
示制御部34は、選択した学習パターン群に関しての学習
処理が終了したと判断して、上述したアルゴリズムに従
って、次に提示する組の学習パターン群を決定して、そ
の決定された学習パターン群の提示に入るためのパター
ン提示命令をパターン提示部33に送出する処理を行う。
これにより、前回提示の学習パターン群に対しての処理
と同じ学習処理により、重み値の学習が進められること
になるが、このときの重み値の初期値としては、前回提
示の学習パターン群に関しての収束された重み値が用い
られることになる。

このように、本発明では、少ない個数の学習パターン
からなる学習パターン群を順次提示していくことで、重
み値を最終的なものへと順次近づけていくとともに、そ
れまでの提示に従って最終的な重み値にと近づいていた
ものに狂いがでてきてしまうのを防ぐために、その各々
の提示に続いて、それまでに提示したすべての組の学習
パターン群の提示を行うよう構成することを特徴とする
ものである。

次に、このような学習パターンの提示方式をとる本発
明の効果を実験データに従って説明することにする。

実験は、８×８ドットのアルファベット26文字の識別
を行える重み値の学習回数を比較することで行った。第
７図に、実験に用いたアルファベット26文字の入力パタ
ーンと、その教師パターンの一例を示す。実験に用いた
階層ネットワーク部21aの階層ネットワーク構造は、入
力層の基本ユニット数は８×８ドットに合わせて64ユニ
ットとし、出力層の基本ユニット数は26文字に合わせて
26ユニットとし、中間層の基本ユニット数は15ユニット
とした。

また、アルファベット26文字の分割方法は、分割しな
いものの他に、下記の２つに分割するものと、 α＝｛A,B,C,D,E,F,G,H,I,J,K,L,M｝ β＝｛N,O,P,Q,R,S,T,U,V,W,X,Y,Z｝ 下記の３つに分割するものと、 α＝｛A,B,C,D,E,F,G,H,I｝ β＝｛J,K,L,M,N,O,P,Q,R｝ γ＝｛S,T,U,V,W,X,Y,Z｝ 上述の４つに分割するものである α＝｛A,B,C,D,E,F,G｝ β＝｛H,I,J,K,L,M｝ γ＝｛N,O,P,Q,R,S,T｝ δ＝｛U,V,W,X,Y,Z｝ で実験を行った。

第８図に、実験結果を示す。第８図（Ａ）は、重み値
の学習が完了するまでに提示した学習パターンの提示回
数と、重み値の学習が完了するまでに要した総計算量の
実験結果のデータである。ここで、学習パラメタの学習
定数εの値は“0.2"、学習パラメタのモーメンタムζの
値は“0.4"に設定した。また、学習の収束の判定は、出
力信号と教師信号との差が、各ユニットで0.5未満にな
ったことをもって判定した。図中の“１分割”とあるの
は、分割しないで従来通りの提示を行った場合のデータ
である。そして、図中の“seed"とあるのは、乱数の発
生用のseedである。最初に提示する学習パターン群のた
めの重み値の初期値を、乱数の発生（〔−0.1,0.1〕か
らランダムに取る）により設定したので、その乱数の発
生系列の違いによる影響をみるために実験したものであ
る。従って、同一のseedであれば、学習開始時の階層ネ
ットワークの構造が同じとなる。これから、学習パター
ンの分割による効果を正確にみるためには、同一のseed
の提示回数，総計算量を比較する必要がある。

第８図（Ｂ）は、第８図（Ａ）のデータの平均値をプ
ロットしたものであり、横軸は分割数、縦軸は提示回数
を表している。この第８図（Ｂ）のグラフからも明らか
なように、本発明によれば、重み値の学習が終了するま
での学習パターンの提示回数が、従来に比べて著しく少
なくできるようになる。従って、従来に比べて著しく短
い時間で重み値の学習を終了できることになるのであ
る。

このように、本発明では、少ない個数の学習パターン
からなる学習パターン群の提示に従って学習を進めてい
くので、個々の提示に対しての収束する重み値を極めて
少ない計算ステップ数で求められるとともに、狂いを戻
すための提示に対しての収束する重み値についても、殆
ど収束値に近づいているので、極めて少ない計算ステッ
プ数で求められることになる。これから、従来に比べ
て、重み値の学習のために要する時間を大きく短縮でき
るようになるのである。

そして、このような分割による学習パターンの提示方
法をとることから、当初予想していなかった学習パター
ンが見つかるようなことがあっても、それまでに求めら
れている重み値を初期値として、同様な提示処理を行う
ことで学習を実現することにより、その新たな学習パタ
ーンも含めた学習パターンに対しての所望の重み値を、
従来に比べて著しく短い時間で学習できるようになるの
である。

本出願人は、先に出願の「特願昭63−227825号（昭和
63年９月12日出願、“ネットワーク構成データ処理装置
の学習処理方式”）」で、バック・プロパゲーション法
の改良を図って、より短時間で重み値の学習処理を実行
できるようにする発明を提案した。具体的には、この発
明は、重み値の更新量の算出を上述の（19）式及び（2
0）式に従って実行するのではなくて、下式に従って実
行することを提案するものである。すなわち、 但し、ηはεやζと同じ学習パラメータである。この提
案のバック・プロパゲーション法に対しても、本発明
は、そのまま適用できることになる。そして、この提案
のバック・プロパゲーション法に対して適用すれば、更
に短い時間で重み値の学習処理が実現できるようにな
る。

次に、このようにして決定された重み情報を使って実
行されることになるネットワーク構成データ処理装置の
データ処理内容について、実施例に従って詳細に説明す
る。

第12図に、第９図に原理構成を示した基本ユニット１
の実施例構成を示す。図中の乗算処理部２は、乗算型D/
Aコンバータ2aで構成され、前段層の基本ユニット１か
ら、あるいは後述する初期信号出力回路13からのアナロ
グ信号（入力スイッチ部７を介して入力される）の入力
と、その入力に対して乗算されるべきディジタル信号の
重み情報（重み保持部８を介して入力される）との乗算
を行って、得られた乗算結果をアナログ信号で出力する
よう処理するもの、累算処理部３は、積分器で構成され
るアナログ加算器3aとアナログ加算器3aの加算結果を保
持するサンプルホールド回路（保持回路）3bとにより構
成され、アナログ加算器3aは、乗算型D/Aコンバータ2a
の出力と、前回に求められてサンプルホールド回路3bに
保持されている加算値とを加算して新たな加算値を求め
るもの、サンプルホールド回路3bは、アナログ加算器3a
が求めた加算値をホールドするとともに、そのホールド
値を前回の加算値としてアナログ加算器3aにフィードバ
ックするものであり、これらの加算処理は制御回路９よ
り出力される加算制御信号に同期して実行される。閾値
処理部４は、アナログの関数発生回路である非線型関数
発生回路4aで構成され、入力に対してシグモイド関数等
の非線型信号を出力するものであり、入力スイッチ部７
を介して入力されるアナログ信号に対する乗算型D/Aコ
ンバータ2aによる乗算及びこれらの乗算結果の累算が終
了したときに、サンプルホールド回路3bにホールドされ
ている加算値Ｘに対して演算処理を施してアナログ出力
値Ｙを得るもの、出力保持部５は、サンプルホールド回
路3bで構成され、後段層の基本ユニット１への出力とな
る非線型関数発生回路4aのアナログ信号の出力値Ｙをホ
ールドするものである。

また、６は出力スイッチ部であり、制御回路９よりの
出力制御信号を受けて一定時間ONすることで、出力保持
部５が保持するところの最終出力をアナログバス上に出
力するよう処理するもの、７は入力スイッチ部であり、
制御回路９よりの入力制御信号を受けて前段層の基本ユ
ニット１から最終出力、あるいは初期信号出力回路13か
らのアナログ出力が送られてくるときにONすることで入
力の受付を行い、このアナログ値を乗算型D/Aコンバー
タ2aに与えるもの、８は重み保持部であり、パラレルア
ウトシフトレジスタ等により構成され、後述する主制御
回路60から送られてくる重み信号がトライステートバッ
フア8aのゲートがオープン（制御回路９による重み入力
制御信号がオン）された時に、この重み信号を乗算処理
部２が必要とする重みとして保持するもの、９は制御回
路で、これらの基本ユニット１の処理機能の制御を実行
する。

乗算処理部２、累算処理部３及び閾値処理部４が実行
する演算処理は、上述したように、基本ユニット１に接
続される複数の入力をYi、この各接続に対応して設定さ
れる重みをWiとするならば、乗算処理部２は、 Yi・Wi を算出し、累算処理部３は、 Ｘ＝ΣYi・Wi を算出し、閾値処理部４は、最終出力をＹとするなら
ば、 Ｙ＝1/（１＋exp（−Ｘ＋θ）） を算出することになる。

このように構成されることで、第12図の信号処理構成
を採る基本ユニット１の入出力がアナログ信号でもって
実現されることになるのである。

なお、乗算型D/Aコンバータ2aは、ディジタル信号の
重み情報をパラレルで受け取るようにするものでもよい
し、重み情報をシリアルで受け取ってからパラレル変換
するようにするものでもよい。あるいは、重み情報をア
ナログ信号で構成するならば、乗算型D/Aコンバータ2a
の換わりに、アナログ乗算器を用いることができる。

第13図に、第10図に原理構成を示した階層ネットワー
クの実施例構成を示す。この実施例は、階層ネットワー
クの階層構造間の電気的な接続を、１本の共通なアナロ
グバス15（識別子としてａないしｃが付くことがある）
をもって実現する実施例である。従って、基本ユニット
１の出力スイッチ部６から出力される最終出力値（これ
が、後段層に位置する基本ユニット１への入力となる）
は、アナログ信号の出力モードで出力されるよう構成さ
れる。なお、この実施例では、３層構造の階層ネットワ
ークを開示しており、第10図に合わせて、入力層をｈ
層、中間層をｉ層、出力層をｊ層として示してある。

図中、11は各基本ユニット１毎に設けられる重み出力
回路で、基本ユニット１の重み保持部８のための重みを
出力するもの、12は重み信号線で、重み出力回路11の出
力を重み保持部８に接続するもの、13（識別子としてａ
ないしｎが付くことがある）は入力パターンの次元数に
合わせて設けられる初期信号出力回路で、階層ネットワ
ークの入力層に対して入力パターンとなる初期信号を出
力するもの、14（識別子としてａないしｄが付くことが
ある）は同期制御信号線で、データ転送の制御を実行す
る主制御回路60からの同期制御信号を、重み出力回路1
1、初期信号出力回路13及び基本ユニット１の制御回路
９に伝えるための信号線である。なお、この同期制御信
号線14 は、図中では共通線で示してあるが、詳細には、各回路
に対し主制御回路60と個別の信号線で接続されている。

第14図に、主制御回路60の詳細なシステム構成を示
す。

図中の主制御回路60は、外部バスインタフェイス回路
60a、マイクロコードメモリ60b、プログラムシーケンサ
60c、制御パターンメモリ60d、重みデータメモリ60eを
含んで構成される。外部バスインタフェイス回路60a
は、メインバス70を介してホストコンピュータ80、外部
記憶装置90と接続されており、ホストコンピュータ80か
らの動作指示を受け取るもの、マイクロコードメモリ60
bは、プログラムシーケンサ60cの動作を規定するマイク
ロコードを格納するもの、プログラムシーケンサ60c
は、マイクロコードメモリ60b内のマイクロコードに応
じて制御パターンメモリ60d及び重みデータメモリ60eを
コントロールするもの、制御パターンメモリ60dは、そ
の出力信号線が初期信号出力回路13、入力層、中間層、
出力層における基本ユニット１のそれぞれに個別に接続
されており、プログラムシーケンサ60cからの指示に応
じて、各組毎、すなわち、初期信号出力回路13の組、入
力層の組、中間層の組、出力層の組毎に、各組のうちの
１つの回路、あるいは基本ユニット１を時分割に選択す
るように出力信号線のオン、オフを設定するためのも
の、重みデータメモリ60eは、プログラムシーケンサ60c
の指示に応じて、時分割入力信号に同期して各基本ユニ
ット１に重みが与えられるように、各重み出力回路11に
重み（ディジタルデータ）を出力するものである。な
お、ホストコンピュータ80は、また、初期信号出力回路
13に対して入力パターンY_iを与える。

次に、第15図に示すタイミングチャートに従って、こ
のように構成される第13図の実施例の動作処理について
説明する。

ホストコンピュータ80からメインバス70を介して出力
パターンへの変換要求が与えられると、主制御回路60
は、初期信号出力回路13に対して出力制御信号を時系列
的にサイクリックに送出することで、複数の初期信号出
力回路13を順次、時系列的にサイクリックに選択してい
くよう処理する。すなわち、主制御回路60は、プログラ
ムシーケンサ60cの指示に応じて、制御パターンメモリ6
0dから、まず、入力層の基本ユニット１に対して同期制
御信号を同時に与えるとともに、初期信号出力回路13を
順々に選択するべく、同期制御信号線14aを順々に各初
期信号出力回路13毎にオンさせる。つまり、まず、初期
信号出力回路13aに与えられる入力パターンY₁をアナロ
グバス15に出力すべく、ｎ本の同期制御信号線14aのう
ち、初期信号出力回路13aのゲートをオープンする同期
制御信号線14a（図中では、14a−１で表している）のみ
をオンし、他の同期制御信号線14aはオフにする。続い
て、初期信号出力回路13bに与えられる入力パターンY₂
をアナログバス15に出力すべく、初期信号出力回路13b
のゲートをオープンする同期制御信号線14a（図中で
は、14a−２で表している）のみをオンし、他の同期制
御信号線14aはオフにする。以下同様にして、初期信号
出力回路13nの入力パターンY_nをアナログバス15に出力
するまで、同期制御信号線14aのオン、オフ動作を行
う。また、これと同時に、入力層の各基本ユニット１の
各重み出力回路11に対して重みを与えるべく、各同期制
御信号線14aのオン動作に同期して、同期制御信号線14b
を介して各重み出力回路11毎に重みデータメモリ60eの
出力を同時にセットする。

第15図（Ａ）では、この同期制御信号線14aの同期制
御信号をYi出力制御信号（ｉ＝１〜ｎ）で表して、初期
信号出力回路13を時系列的にサイクリックに選択してい
く過程を図示している。ここで、ｎは初期信号出力回路
13の個数である。このようにして選択される初期信号出
力回路13は、入力層との間に設けられるアナログバス15
（図中では、入力層アナログバス15aという）上に、入
力パターンとして与えられたアナログ信号Yiを送出する
よう処理する。この入力パターンは、ホストコンピュー
タ80を介して与えられる。従って、第15図（Ａ）に示す
ように、入力層アナログバス15a上には、アナログ信号Y
iが、初期信号出力回路13の個数分順序よく送出される
とともに、最初の入力パターンのYi、続いて次の入力パ
ターンのYi、そして次の入力パターンのYiというよう
に、次々と繰り返し送出されていくことになる。

入力層の各基本ユニット１の乗算処理部２は、この送
出されてくるアナログ信号Yiを受け取ると、主制御回路
60からセットされることになる重み保持部８の重みWiを
使い、上述した演算処理の（Yi・Wi）を実行することに
なる。この重みWiは、上述した本発明の学習処理法に従
って、初期信号出力回路13と入力層の基本ユニット１と
の間の接続毎に指定されているものである。

従って、主制御回路60は、第15図（Ｂ）に示すよう
に、初期信号出力回路13の選択処理と同期させて、重み
出力回路11を介して、その選択された初期信号出力回路
13に応じた重みWiを、入力層の各基本ユニット１の重み
保持部８にセットしていくことになる。この基本ユニッ
ト１への重みの設定処理は、アナログ信号かディジタル
信号のいずれのモードに従って実現することも可能であ
る。なお、重みは、接続毎に指定されるものであること
から、上述したように、正確にはWij（ｊは入力層の基
本ユニット番号）と表すべきであるが、説明を簡単にす
るためにWiとしてある。

ここで、第16図に示される基本ユニット１の信号処理
のタイミングチャートに従って、その処理動作について
説明する。なお、ここでは、入力層における基本ユニッ
ト１（図中の1a）について説明するものとする。

まず、制御回路９は、主制御回路60の制御パターンメ
モリ60dから同期制御信号線14b（図中の14b−１）を介
して与えられる同期制御信号を受け取ると、入力制御信
号（ｃ）をオンにし、入力スイッチ部７を導通させると
同時に、トライステートバッフア8aのゲートをオープン
する重み入力制御信号（ｄ）、出力スイッチ部６を導通
させる出力制御信号（h₁）をオンにする。このとき、主
制御回路60は、クロック（ａ）と同期して前述した同期
制御信号線14aを順次オンにするので、このクロック
（ａ）に同期して初期信号出力回路13a,13b,……,13nに
保持されている入力パターン信号Y_iが、アナログバス1
5、入力スイッチ部７を介して乗算型D/Aコンバータ2aに
与えられる。

一方、主制御回路60は、同様に、重みデータメモリ60
eの重みを同期制御信号線14b（図中の14b−２）を介し
て重み出力回路11に与えているので、この重み（ディジ
タルデータ）W_iがトライステートバッフア8aを通して重
み保持部８に格納される。また、このとき、出力制御信
号（h₁）がクロック（ａ）の１周期分だけオンになるの
で、基本ユニット１の出力保持部５のサンプルホールド
回路のアナログゲートがこの間オープン状態となり、保
持されていたアナログ値が出力スイッチ部６を介して中
間層アナログバス15b上に出力される。さて、重み保持
部８にディジタル値の重みW₁が格納されると、乗算制御
信号（ｅ）がオンとなるので、乗算型D/Aコンバータ2a
は、入力スイッチ部７を介して与えられるアナログ信号
Y₁と重みW₁との乗算を行い、乗算結果をアナログ信号と
して出力する。続いて、加算制御信号（ｆ）がオンにな
るので、積分器で構成されるアナログ加算器3aが動作
し、サンプルホールド回路3bに以前保持されていたアナ
ログ値（最初はクリアされており、ゼロである）と乗算
型D/Aコンバータ2aの乗算結果との加算が行われ、加算
結果がサンプルホールド回路3bに再格納される。

以上の動作により、１バスサイクルが終了し、次のク
ロック（ａ）に同期して、入力スイッチ部７からは初期
信号出力回路13bの入力パターンY₂が与えられ、重み出
力回路11からはこの入力パターンY₂に対応する重みW₂が
与えられるので、入力パターンY₂と重みW₂との乗算が行
われ、そして、この乗算結果とサンプルホールド回路3b
のホールド値との加算が行われる。この時に、基本ユニ
ット１（図中の1b）の出力制御信号（h₂）がオンとな
る。そして、これ以降、初期信号出力回路13nの入力パ
ターンY_nに対する処理が終了するまでこの動作を繰り返
す。そして、入力パターンY_nとW_nとの乗算が終了する
と、変換制御信号（ｇ）がオンになるので、この乗算結
果を累算した値が、閾値処理部４の非線型関数発生回路
4aに入力され、対応するＹ値が出力保持部５に保持され
る。すなわち、閾値処理部４は、上述した Ｙ＝1/（１＋exp（−Ｘ＋θ）） という演算処理を行い、これにより、基本ユニット１の
最終的な演算出力である最終出力値Ｙが求められ、出力
保持部５に保持される。この値Ｙが求まると、累算処理
部３の累算値（サンプルホールド回路3bの保持内容）
は、次の初期信号出力回路13の選択サイクルと同期し
て、入力される同期制御信号によりクリアされる。

以上に説明したような動作を行うことにより、各基本
ユニット１は、入力パターンY_iと重みW_iから最終出力値
Ｙを得る。

これ以降、第13図に示される実施例の構成に戻って説
明する。第16図を用いて詳述したように、全ての初期信
号出力回路13にセットされた入力パターンに対する処理
が終了すると、再度主制御回路60から各基本ユニット１
（識別子としてａないしｎが付くことがある）に対して
同期制御信号が与えられるので、初期信号出力回路13に
新たに与えられる入力パターンY_iとホストコンピュータ
80から、メインバス70、外部バスインタフェイス回路60
aを介して与えられる新たな重みW_iに従って同様の動作
を実行する。

一方、このようにして求められる入力層の基本ユニッ
ト１の最終出力値Ｙは、出力保持部５に保持されて、初
期信号出力回路13に対してなされた処理とまったく同じ
処理により、アナログバス15を介して、次段に位置する
中間層の基本ユニット１にと時分割の送信形式に従って
送出されていくことになる。すなわち、主制御回路60
は、入力層の各基本ユニット1a〜1nの制御回路９に対し
て同期制御信号線14b（図中の14b−１）を介して出力制
御信号h₁〜h_n（第16図）を時系列的にサイクリックに送
出することで、各基本ユニット1a〜1nの出力スイッチ部
６を順次、時系列的にサイクリックにONする。これによ
り、各基本ユニット1a〜1nの出力保持部５に保持されて
いる最終出力値のアナログ信号が、中間層の各基本ユニ
ット1a〜1nの乗算処理部２に時分割の送信形式で送られ
ることになる。

中間層の各基本ユニット1a〜1nは、前述したと同様の
処理動作を実行し、この処理により求められる中間層の
基本ユニット１の最終出力値Ｙを使い、中間層の基本ユ
ニット１に対して同様の時分割の送信処理を実行するこ
とで、出力層の基本ユニット１の最終出力値Ｙが求めら
れることになる。すなわち、主制御回路60は中間層、出
力層の各基本ユニット１に個別に接続された同期制御信
号線14c,14dを介して、同様に各基本ユニット1a〜1nの
制御を行う。第15図（Ａ）に、初期信号出力回路13への
Yi出力制御信号と対応させて、入力層の基本ユニット１
への出力制御信号のタイミングチャートを示すととも
に、中間層との間に設けられるアナログバス15（図中で
は、中間層アナログバスという）上に送出される入力層
の基本ユニット１の最終出力値Ｙのタイミングチャート
を示すことにする。

以上に説明した実施例により、本発明の学習処理方式
により決定される重み情報を用いて、第10図に原理構成
を示したネットワーク構成データ処理装置のデータ処理
が実現されることになる。

本発明の学習処理方式は、様々な実装方式が考えられ
る。１つの実装方式としては、計算機上に内部状態値の
設定専用のデータ処理装置モデルを構築し、この構築さ
れたモデルに対して学習処理のアルゴリズムを適用して
内部状態値を求め、そして、その求められた内部状態値
を、実際のデータ処理装置に移植していくという方式に
より実現することが考えられる。また、他の実装方式と
しては、実際のデータ処理装置が備えるコンピュータ
（例えば、第14図のホストコンピュータ80）に学習処理
のアルゴリズムのプログラムを実装させて、このコンピ
ュータが実際のデータ処理装置を使って内部状態値の更
新量を算出して新たな内部状態値を求めていき、そし
て、最終的に求められた内部状態値をデータ処理実行時
の内部状態値としてセットしていくという方式により実
現するということが考えられる。

以上、図示実施例について説明したが、本発明はこれ
に限定されるものではない。例えば、本発明は、階層ネ
ットワーク構造のデータ処理装置に限られることなく、
あらゆる適応性を有するデータ処理装置に対して適用可
能となるものである。

〔発明の効果〕

このように、本発明によれば、適応性を有するデータ
処理装置のデータ処理機能を規定する内部状態値を学習
により決定していくときにおいて、従来に比べて著しく
短い処理時間で内部状態値の学習が実現できるようにな
る。そして、新たな学習パターンが後から追加されるよ
うなときにあっても、従来に比べて著しく短い処理時間
で内部状態値の学習が実現できるようになる。

【図面の簡単な説明】

第１図は本発明の原理構成図、 第２図は本発明の適用を受ける学習処理装置の装置構成
図、 第３図は本発明を実装する学習パターン提示装置の装置
構成図、 第４図は本発明の受付処理部が実行するフローチャー
ト、 第５図及び第６図は本発明のパターン提示制御部が実行
するフローチャート、 第７図は実験に用いた入力パターンと教師パターンの一
例の説明図、 第８図は実験結果の説明図、 第９図は基本ユニットの原理構成図、 第10図は階層ネットワークの原理構成図、 第11図はバック・プロパゲーション法の説明図、 第12図は基本ユニットの実施例構成図、 第13図はネットワーク構成データ処理装置の実施例構成
図、 第14図は主制御回路のシステム構成図、 第15図は第13図の実施例の信号処理のタイミングチャー
ト、 第16図は基本ユニットの信号処理タイミングチャートで
ある。 図中、１は基本ユニット、２は乗算処理部、３は累算処
理部、４は閾値処理部、20はデータ処理装置、30は学習
パターン提示装置、21はパターン変換部、25は内部状態
値格納部、261は誤差値算出部、262は内部状態値更新
部、32は学習パターン格納部、33はパターン提示部、33
1は提示パターン決定部、333は提示済パターン管理部で
ある。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川村 旭 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 浅川 和雄 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 棚橋 純一 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】内部状態値の規定するデータ変換機能を持
   つパターン変換部を備えるデータ処理装置を学習対象と
   するデータ処理装置の学習処理方式において、 学習対象の入力パターン群を少なくとも２組以上に分割
   し、該分割した組の中から未処理のものを１つ選択し
   て、該選択した組の入力パターン群を上記パターン変換
   部に提示するとともに、該提示に応答して収束する内部
   状態値が求められるときに、続いて、それまでに提示し
   た全ての組に属する入力パターン群を提示していく提示
   方式を基本単位として、学習対象の入力パターン群を上
   記パターン変換部に提示する学習パターン提示部と、 上記学習パターン提示部が新たな入力パターン群を提示
   するときに、前回提示された入力パターン群で求めた内
   部状態値を初期値として用いて、上記学習パターン提示
   部の提示に応答して上記パターン変換部から出力される
   出力パターン群と、該出力パターン群のとるべきパター
   ンを示す教師パターン群との誤差値を算出し、該誤差値
   に基づいて内部状態値を更新していくことで該誤差値が
   許容範囲に入る内部状態値を算出する内部状態値学習部
   とを備えることを、 特徴とするデータ処理装置の学習処理方式。
2. 【請求項２】請求項１記載のデータ処理装置の学習処理
   方式において、 学習パターン提示部は、内部状態値の学習処理の終了
   後、あるいは学習処理の途中で、新たな学習対象の１つ
   又は複数の入力パターンが追加されるときに、該追加さ
   れる入力パターンを１つの組とし、あるいは、複数の組
   に分割し、あるいは、追加先の入力パターンと組み合わ
   せてそれを複数の組に分割して、パターン変換部に提示
   することを、 特徴とするデータ処理装置の学習処理方式。
3. 【請求項３】請求項１又は２記載のデータ処理装置の学
   習処理方式において、 パターン変換部は、前段層からの１つ又は複数の入力と
   該入力に対して乗算されるべき内部状態値とを受取って
   積和を得るとともに、該得られた積和値を閾値関数によ
   って変換して最終出力を得る基本ユニットの階層ネット
   ワークで構成されることを、 特徴とするデータ処理装置の学習処理方式。