JPH05128082A

JPH05128082A - 階層ネツトワーク構成データ処理装置とその学習処理方法

Info

Publication number: JPH05128082A
Application number: JP3179116A
Authority: JP
Inventors: Daiki Masumoto; 大器増本; Hiromoto Ichiki; 宏基市來; Hideki Yoshizawa; 英樹吉沢; Hideki Kato; 英樹加藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-07-19
Filing date: 1991-07-19
Publication date: 1993-05-25

Abstract

(57)【要約】【目的】本発明は、基本ユニットの階層接続から構成さ
れる階層ネットワーク構成データ処理装置の内部状態値
をデータ処理目的遂行のものに学習するための学習処理
方法に関し、高精度の学習を実行できるようにすること
を目的とする。【構成】計算機上に学習対象のデータ処理装置を写像す
ることで写像データ処理装置を生成し、計算機上に基本
ユニットそのものを階層型のデータ処理装置として写像
するとともに、各基本ユニットの実際の入出力信号関係
を教師データとして用いてこのデータ処理装置の持つ内
部状態値を学習することで、各基本ユニットと等価とな
る等価データ処理装置を生成し、写像データ処理装置上
の各基本ユニットを等価データ処理装置に置き換えて、
この等価データ処理装置の持つ内部状態値を固定値と扱
いつつ、写像データ処理装置の入出力信号特性が教師デ
ータの入出力信号関係となるべく内部状態値を学習して
いくように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ハードウェアから構成
されて、１つ又は複数の入力と該入力に乗算されるべき
内部状態値とを受け取って積和を得るとともに、該積和
値を規定関数によって変換して最終出力を得る基本ユニ
ットを基本単位にして、該基本ユニットの階層接続から
構成される階層ネットワーク構成データ処理装置の持つ
内部状態値をデータ処理目的を遂行できるように学習す
るための階層ネットワーク構成データ処理装置の学習処
理方法と、その学習処理方法により学習された内部状態
値を設定する階層ネットワーク構成データ処理装置に関
し、特に、内部状態値を高精度に学習できるようにする
階層ネットワーク構成データ処理装置の学習処理方法
と、その学習処理方法により学習された内部状態値を設
定する階層ネットワーク構成データ処理装置に関するも
のである。

【０００２】階層ネットワーク構成データ処理装置とし
て用いられるニューロコンピュータをハードウェアで実
現する場合に、ニューロコンピュータのデータ処理機能
を決定付ける重み値の学習は汎用計算機上のシミュレー
ションで行い、学習された重み値をニューロコンピュー
タに設定して実行のみをニューロコンピュータで行わせ
る方法と、学習と実行を共にニューロコンピュータで行
わせる方法という２つの方法がある。予め分かっている
パターンを認識する場合等には、最初に一度学習を行う
ことで重み値を決定してそれ以降はその重み値を使い続
ければよいので、後者の方法を使用することが可能であ
る。一方、ロボットを周囲の環境変化に適応させながら
制御する場合等には、制御方法そのものを学習し直す必
要があるので、前者の方法を用いなければならない。

【０００３】このいずれの方法を採るにしても、重み値
の学習を高精度で行うことは、ニューロコンピュータの
データ処理精度を高めるためにも不可欠なことであり、
ニューロコンピュータの適用範囲の拡大を図るためにも
不可欠なことである。特に、前者の方法に従う場合に
は、ハードウェアで実現されたニューロコンピュータ
と、シミュレーションで仮定するニューロコンピュータ
との間のズレが避けられないので、このズレの解決を図
って、ニューロコンピュータが高精度のデータ処理機能
を持つようにしていく必要がある。

【０００４】

【従来の技術】階層ネットワーク構成データ処理装置と
して用いられるニューロコンピュータは、図１０に示す
ような、１つ又は複数の入力とこの入力に乗算されるべ
き重み値とを受け取って積和を得るとともに、この積和
値を規定関数（シグモイド関数等）によって変換して最
終出力を得る基本ユニット１を基本単位にして、図１１
に示すように、この基本ユニット１が階層的にネットワ
ーク接続されることで構成されるものである。ここで、
図１１において、最前段の入力層に位置する入力ユニッ
ト２は、ニューロコンピュータに入力されてくる入力信
号を次段の中間層の基本ユニット１に分配するものであ
る。また、この図のニューロコンピュータでは、最終段
の出力層の基本ユニット１の個数を１つで示してある
が、データ処理機能によっては、複数備えられることが
あり、そして、中間層は、この図のように１段でもって
構成されることばかりではなくて、１つ又は複数の基本
ユニット１を１段として、１つ又は複数段でもって構成
されることもある。

【０００５】このニューロコンピュータは、この各ユニ
ット間に割り付けられる重み値に従ってそのデータ処理
機能を変化するものであり、この重み値は、データ処理
目的を実現する入出力信号の対応関係を持つ教師データ
が与えられると、バックプロパゲーション法（誤差逆伝
播学習則）によってデータ処理目的を遂行するものに学
習されていくことになる。

【０００６】ニューロコンピュータの重み値の学習を汎
用計算機上のシミュレーションで行って、学習された重
み値をハードウェア構成のニューロコンピュータに設定
してデータ処理を実行していく方法を採る場合、従来で
は、上述の基本ユニット１の理想的なモデルを仮定し
て、そのモデルを対象にしてシミュレーションで学習を
行う構成を採っていた。すなわち、計算機上に基本ユニ
ット１のデータ処理機能をモデル化することで学習対象
のニューロコンピュータを計算機上に写像して、この写
像されたニューロコンピュータに対して教師データを用
いてバックプロパゲーション法を適用することで重み値
を決定して、その決定した重み値を実際のハードウェア
構成のニューロコンピュータに反映させていくという方
法を採っていたのである。

【０００７】

【発明が解決しようとする課題】しかしながら、ハード
ウェアで構成される実際の基本ユニット１と、シミュレ
ーションで仮定する基本ユニット１のモデルとの間に
は、特性にズレのでることは避けられないことである。
これから、このような従来技術に従っていると、ニュー
ロコンピュータに対して、所望のデータ処理機能を実現
する重み値を設定することができないために、所望のデ
ータ処理機能を持たすことができないという問題点があ
った。

【０００８】この問題点を解決するための一方法とし
て、ハードウェアで構成される実際の基本ユニット１
と、シミュレーションで仮定する基本ユニット１のモデ
ルとの間の特性のズレを正確に見積もって、それに基づ
いてシミュレーションモデルを訂正していく方法を採る
ことが考えられる。しかしながら、この特性のズレを正
確に見積もることは、ハードウェアで構成される実際の
基本ユニット１がアナログ演算を用いている場合には現
実には不可能なことである。

【０００９】また、この問題点を解決するための別の方
法として、実際のニューロコンピュータの出力層からの
出力信号をサンプリングして、それを元にしてシミュレ
ーションにより学習を実行していくという方法を採るこ
とが考えられる。しかしながら、この方法では、シミュ
レーションで仮定する基本ユニット１のモデルを訂正す
るわけではないので、シミュレーションモデルと実際の
ハードウェア特性とのズレ方によっては、学習時に誤差
が振動してしまう等うまく学習が実行できない場合がで
てくる。例えば、基本ユニット１が積和値を変換する規
定関数としてシグモイド関数を用いている場合、このシ
グモイド関数は入力０の付近で勾配が急であることか
ら、ほんの少しのズレが大きく影響することで学習時に
誤差が振動してしまうのである。

【００１０】本発明はかかる事情に鑑みてなされたもの
であって、階層ネットワーク構成データ処理装置のデー
タ処理機能を規定する内部状態値を高精度に学習できる
ようにする新たな階層ネットワーク構成データ処理装置
の学習処理方法の提供と、その学習処理方法により学習
された内部状態値を設定する新たな階層ネットワーク構
成データ処理装置の提供を目的とするものである。

【００１１】

【課題を解決するための手段】図１に本発明の原理構成
を図示する。図中、Ｐ１は第１の処理過程、Ｐ２は第２
の処理過程、Ｐ３は第３の処理過程、Ｐ４は第４の処理
過程である。

【００１２】１は基本ユニットであって、ハードウェア
から構成されて、１つ又は複数の入力とこの入力に乗算
されるべき内部状態値とを受け取って積和を得るととも
に、この積和値を規定関数によって変換して最終出力を
得るもの、１０はハードウェアから構成される学習対象
の階層ネットワーク構成データ処理装置であって、基本
ユニット１の階層接続から構成されて、ユニット間に割
り付けられる内部状態値により規定されるデータ処理機
能に従って、入力信号に対応する出力信号を算出して出
力するものである。

【００１３】１１は第１の処理過程Ｐ１により計算機上
に生成される写像データ処理装置であって、階層ネット
ワーク構成データ処理装置１０を計算機上でシミュレー
トするものである。この写像データ処理装置１１におい
て、ハードウェアにより構成される基本ユニット１は、
基本ユニット１の数学的に理想的なモデルとなるモデル
基本ユニット１ａとしてシミュレートされることにな
る。１２は第２の処理過程Ｐ２により計算機上に生成さ
れる等価データ処理装置であって、階層ネットワーク構
成データ処理装置の展開形態をとって、基本ユニット１
の実際の入出力信号特性と同一の入出力信号特性をシミ
ュレートするものとして構築されるもの、１３は第３の
処理過程Ｐ３により計算機上に生成される写像データ処
理装置であって、第１の処理過程Ｐ１で生成される写像
データ処理装置１１のモデル基本ユニット１ａを第２の
処理過程Ｐ２で得られる等価データ処理装置１２に置き
換えることで生成されるもの、１４は階層ネットワーク
構成データ処理装置１０の持つ内部状態値の学習のため
に用意される教師データである。なお、以下説明の便宜
上、等価データ処理装置１２の構築元となる階層ネット
ワーク構成データ処理装置を“１０’”で表記すること
にする。

【００１４】

【作用】本発明では、第１の処理過程Ｐ１で、学習対象
の階層ネットワーク構成データ処理装置１０を計算機上
に写像データ処理装置１１としてシミュレートする。

【００１５】続いて、第２の処理過程Ｐ２で、先ず最初
に、等価データ処理装置１２として構築されることにな
る階層ネットワーク構成データ処理装置１０’を計算機
上にシミュレートする。このとき、この階層ネットワー
ク構成データ処理装置１０’の基本ユニット１は、第１
の処理過程Ｐ１で生成された写像データ処理装置１１の
モデル基本ユニット１ａと同じ形態でシミュレートされ
ることになる。次に、実際の階層ネットワーク構成デー
タ処理装置１０の各基本ユニット１に入力信号を与える
とともに、この入力信号に応答して出力される出力信号
を収集することで、各基本ユニット１の入出力信号特性
を収集する。続いて、この収集した入出力信号関係を教
師データとして用いて、例えば誤差逆伝播学習則に従っ
て、写像した階層ネットワーク構成データ処理装置１
０’の持つ内部状態値を学習して設定することで各基本
ユニット１毎の等価データ処理装置１２を構築する。こ
のようにして第２の処理過程Ｐ２で生成される各等価デ
ータ処理装置１２は、階層ネットワーク構成データ処理
装置１０’の展開形態をとって、対応する基本ユニット
１の実際の入出力信号特性と同一の入出力信号特性をシ
ミュレートするものとして計算機上に構築されることに
なる。

【００１６】この第２の処理過程Ｐ２で実行する等価デ
ータ処理装置１２を得るための学習にあたって、基本ユ
ニット１の理想的な入出力信号特性を実現する内部状態
値を、等価データ処理装置１２の構築元となる階層ネッ
トワーク構成データ処理装置１０’の持つ内部状態値の
初期値として設定していくことが好ましい。また、この
第２の処理過程Ｐ２で実行する等価データ処理装置１２
を得るための学習にあたって、いずれかの基本ユニット
１の等価データ処理装置１２により得られる内部状態値
を、他の基本ユニット１の等価データ処理装置１２を得
るための内部状態値の初期値として設定していくことが
好ましい。このようにすると、短時間の学習処理に従っ
て、等価データ処理装置１２を構築できるようになる。

【００１７】続いて、第３の処理過程Ｐ３で、第１の処
理過程Ｐ１で生成された写像データ処理装置１１のモデ
ル基本ユニット１ａを第２の処理過程Ｐ２で得られた対
応の等価データ処理装置１２に置き換えることで、計算
機上に写像データ処理装置１３をシミュレートする。こ
のようにして第３の処理過程Ｐ３により生成される写像
データ処理装置１３は、基本ユニット１の入出力信号特
性を正確にシミュレートすることで、学習対象となる階
層ネットワーク構成データ処理装置１０を正確にシミュ
レートするものとなる。

【００１８】続いて、第４の処理過程Ｐ４で、第３の処
理過程Ｐ３で置き換えられた等価データ処理装置１２の
持つ内部状態値を固定値と扱いつつ、第３の処理過程Ｐ
３で生成された写像データ処理装置１３の入出力信号特
性が教師データ１４の入出力信号関係となるべく、例え
ば誤差逆伝播学習則に従って、この写像データ処理装置
１３の持つ内部状態値を学習する。この学習処理によ
り、学習対象の階層ネットワーク構成データ処理装置１
０の持つ内部状態値の学習が高精度に実行されることに
なるのである。

【００１９】そして、この学習された内部状態値を実際
の階層ネットワーク構成データ処理装置１０に設定して
いくことで、教師データ１４の規定する入出力信号関係
と同一の入出力信号特性を持つ所望の階層ネットワーク
構成データ処理装置１０が構築できることになる。

【００２０】

【実施例】以下、実施例に従って本発明を詳細に説明す
る。図２に、ハードウェアで構成される基本ユニット１
の回路構成の一実施例を図示する。この基本ユニット１
は、図に示すように、乗算型ＤＡ変換器２０と積分器２
１とシグモイド関数回路２２とから構成されるアナログ
データ処理ブロック２３と、重みデータローディングブ
ロック２４と、制御ブロック２５とから構成される。こ
こで、重みデータローディングブロック２４のローディ
ングする重み値（デジタル値で指定）は、図示しない外
部のメモリに書き込まれている。

【００２１】基本ユニット１は、この構成を採って以下
の通り動作することで演算処理を実行する。すなわち、
入力線からアナログ信号ｘ₁が乗算型ＤＡ変換器２０に
入ってくると、重みデータローディングブロック２４
は、対応する重み値ｗ₁を乗算型ＤＡ変換器２０にロー
ドし、このロードを受けて、乗算型ＤＡ変換器２０は、
入力されてくる２つの値の乗算値ｗ₁ｘ₁を算出し、積
分器２１は、この乗算値ｗ₁ｘ₁を外部キャパシタに電
荷として蓄積する。次に、次のアナログ信号ｘ₂を入れ
ることで、乗算値ｗ₂ｘ₂を積分器２１の外部キャパシ
タに蓄積し、以下、これを乗算値ｗ_nｘ_nまで繰り返し
ていくことで、入力信号ｘ_iと重み値ｗ_iとの乗算値の
合計値を外部キャパシタに蓄積する。そして、この合計
値の蓄積が終了すると、シグモイド関数回路２２は、積
分器２１の出力をシグモイド変換して外部に出力してい
くのである。なお、この一連の処理は、外部からの同期
信号に応じて制御ブロック２５が制御することになる。

【００２２】学習対象の階層ネットワーク構成データ処
理装置１０は、このように構成される基本ユニット１が
階層的にネットワーク接続されることで構成されるもの
である。図３に、階層ネットワーク構成データ処理装置
１０の装置構成の一実施例を図示する。この図の階層ネ
ットワーク構成データ処理装置１０は、入力層と、この
入力層の後段層として位置して、複数の基本ユニット１
が並べられることで構成される１段構成の中間層と、こ
の中間層の後段層として位置して、複数の基本ユニット
１が並べられることで構成される出力層という３層構造
で構成されており、入力層は、階層ネットワーク構成デ
ータ処理装置１０に入力されてくる入力信号を時分割で
もって中間層の各基本ユニット１に分配し、中間層の各
基本ユニット１は、上述のシグモイド関数回路２２の出
力信号を時分割でもって出力層の各基本ユニット１に分
配していく構成を採っている。すなわち、回路接続的に
は、図４に示すように、入力層が入力信号毎の入力ユニ
ット２を持って、入力層と中間層の各ユニット間と、中
間層と出力層の各ユニット間に、入力信号線が配設され
る構成と等価なものとなる。

【００２３】このように、後段層への入力信号を時分割
で転送する構成を採ると、ユニット間に配設する入力信
号線が１本構成のアナログバスで済むことになることか
ら、大規模な階層ネットワークを作る場合にも、少ない
配線本数で済ませられることになるのである。

【００２４】この図３の階層ネットワーク構成データ処
理装置１０は、例えば、１個の基本ユニット１の機能を
２μｍのＢｉ−ＣＭＯＳプロセスを用いて実現して、5.
3 ×3.8 ｍｍの１チップ上に階層ネットワークを集積す
ることで実装される。そして、図３にも示すように、同
一のチップボード上に、制御信号を発生するコントロー
ラも実装する構成を採っているので、ユーザは、煩わし
い制御のことを考えずに、ただ単に入力信号を与えるだ
けでよいように構成されている。

【００２５】このような構成を採る階層ネットワーク構
成データ処理装置１０の階層ネットワークの各ユニット
間に割り付けられる重み値は、データ処理目的を実現す
る入出力信号関係を持つ教師データが与えられると、よ
く知られているバックプロパゲーション法（誤差逆伝播
学習則）によってデータ処理目的を遂行するものに学習
されていくことになる。

【００２６】すなわち、バックプロパゲーション法で
は、ｈ層−ｉ層−ｊ層という３層構造の階層ネットワー
クで説明するならば、教師データの入力信号が提示され
たときに出力される出力層からの出力信号ｙ_pjと、その
出力信号のとるべき信号である教師データの出力信号ｄ
_pjとの誤差の二乗和である誤差ベクトルＥ_pの総和Ｅが
漸近的にゼロ値となるように、各ユニット間に割り付け
られる重み値を学習するものである。ここで、添字のｐ
は、教師データ中の識別子を表している。具体的には、
先ず最初に、出力層からの出力信号ｙ_pjと、教師データ
の出力信号ｄ_pjとから、 α_pj＝ｙ_pj（１−ｙ_pj)(ｄ_pj−ｙ_pj）を算出し、続いて、

【００２７】

【数１】

【００２８】に従って、ｉ層−ｊ層間の重み値の更新量
ΔＷ_ji（ｔ）を算出する。そして、続いて、算出したα
_pjを用いて、先ず最初に、

【００２９】

【数２】

【００３０】に従って、β_piを算出し、次に、

【００３１】

【数３】

【００３２】に従って、ｈ層−ｉ層間の重み値の更新量
ΔＷ_ih（ｔ）を算出する。そして、この算出した更新量
を用いて、Ｗ_ji（ｔ）＝Ｗ_ji（ｔ−１）＋ΔＷ_ji（ｔ）Ｗ_ih（ｔ）＝Ｗ_ih（ｔ−１）＋ΔＷ_ih（ｔ）に従って、次の更新サイクルで用いるｉ層−ｊ層間の重
み値Ｗ_ji（ｔ）と、ｈ層−ｉ層間の重み値Ｗ_ih（ｔ）を
決定していく方法を繰り返していくことで、教師データ
の入出力信号関係を実現する階層ネットワークの重み値
Ｗ_ji，Ｗ_ihを学習していくのである。

【００３３】次に、ハードウェアで構成される階層ネッ
トワーク構成データ処理装置１０の持つ重み値の学習処
理を、汎用計算機上で高精度に実行する本発明の学習処
理方法の一実施例について詳細に説明する。

【００３４】図１でも説明したように、本発明の学習処
理では、階層ネットワーク構成データ処理装置１０’の
展開形態をとって、基本ユニット１の実際の入出力信号
特性と同一の入出力信号特性をシミュレートする等価デ
ータ処理装置１２を計算機上に構築する処理を実行する
ことになる。図５に、この等価データ処理装置１２を構
築するために実行する処理フローの一実施例を図示す
る。

【００３５】この図５の処理フローに示すように、等価
データ処理装置１２を計算機上に構築するために、先ず
最初に、ステップ１で、基本ユニット１をシミュレート
することになる階層ネットワーク構成データ処理装置１
０’を、ワークステーション上の専用ソフトウェアシミ
ュレータ上に構築する。すなわち、図６に示すように、
基本ユニット１の構築元となる階層ネットワーク構成デ
ータ処理装置１０’をシミュレータ上に構築するのであ
る。このとき、このシミュレータ上に構築される階層ネ
ットワーク構成データ処理装置１０’の基本ユニット１
は、基本ユニット１の数学的に理想的なモデルとなるモ
デル基本ユニット１ａとしてシミュレートされるととも
に、出力層のモデル基本ユニット１ａの個数は、基本ユ
ニット１が１出力形式をとることから１個としてシミュ
レートされるものである。

【００３６】次に、ステップ２で、学習対象の階層ネッ
トワーク構成データ処理装置１０の持つ基本ユニット１
の中から未選択の基本ユニット１を１つ選択し、続くス
テップ３で、この選択処理で未選択のものがないことを
判断するときには、そのまま処理を終了する。一方、選
択できたことを判断するときには、ステップ４に進ん
で、その選択した具体的なハードウェアの基本ユニット
１に入力信号を与えるとともに、この入力信号に応答し
て出力される出力信号を収集することで、その基本ユニ
ット１の実際の入出力信号特性を計測する。このとき、
基本ユニット１に与える入力信号に乗算されるべき重み
値は、例えば、ランダムな固定値に設定することで実行
されることになる。そして、続くステップ５で、この計
測した入出力信号関係を教師データとして用いて、上述
のバックプロパゲーション法に従って、シミュレータ上
に構築した階層ネットワーク構成データ処理装置１０’
の持つ重み値を学習し、続くステップ６で、その学習し
た重み値を収集してステップ２に戻っていくよう処理す
る。

【００３７】このようにして、階層ネットワーク構成デ
ータ処理装置１０’の展開形態をとって、対応する基本
ユニット１の実際の入出力信号特性と同一の入出力信号
特性をシミュレートする等価データ処理装置１２が構築
されることになる。この等価データ処理装置１２の構築
のための学習処理にあたって、前もって、モデル基本ユ
ニット１ａの入出力信号特性を教師データとして用い
て、バックプロパゲーション法に従ってシミュレータ上
に構築した階層ネットワーク構成データ処理装置１０’
の持つ重み値を学習しておいて、その重み値を各基本ユ
ニット１の等価データ処理装置１２を得るときに実行す
る重み値の初期値として用いていくようにすると、等価
データ処理装置１２を得るための学習処理が短時間で済
むようになる。また、図７に示すように、いずれかの基
本ユニット１の等価データ処理装置１２の学習処理によ
り得られる重み値を、他の基本ユニット１の等価データ
処理装置１２を得るときに実行する重み値の初期値とし
て用いていくようにすると、等価データ処理装置１２を
得るための学習処理が短時間で済むようになる。

【００３８】本発明の学習処理では、このようにして、
基本ユニット１の入出力信号特性を正確にシミュレート
する等価データ処理装置１２を得ておくと、先ず最初
に、図８に示すように、学習対象の階層ネットワーク構
成データ処理装置１０をシミュレータ上に写像データ処
理装置１１としてシミュレートする。ここで、この実施
例では、１段構成の中間層を想定している。このときシ
ミュレートされる基本ユニット１は、数学的に理想的な
モデルとなるモデル基本ユニット１ａとしてシミュレー
トされるもので、従来では、この写像データ処理装置１
１を用いて、バックプロパゲーション法に従って用意さ
れる教師データの入出力信号関係が実現されるべく、実
際の階層ネットワーク構成データ処理装置１０の持つべ
き重み値を学習していく構成を採っていたのである。

【００３９】これに対して、本発明では、写像データ処
理装置１１を写像すると、続いて、この写像データ処理
装置１１の持つモデル基本ユニット１ａの各々を、先に
構築した対応の等価データ処理装置１２で置き換えるこ
とで、図９に示すような写像データ処理装置１３をシミ
ュレータ上にシミュレートする。すなわち、現実の基本
ユニット１の入出力信号特性を正確にシミュレートする
ことで、学習対象の階層ネットワーク構成データ処理装
置１０を正確にシミュレートする写像データ処理装置１
３をシミュレータ上にシミュレートするのである。

【００４０】そして、続いて、このシミュレートした写
像データ処理装置１３を用いて、バックプロパゲーショ
ン法に従って用意される教師データの入出力信号関係が
実現されるべく、実際の階層ネットワーク構成データ処
理装置１０の持つべき重み値を学習していく処理を実行
する。このとき、等価データ処理装置１２の持つ重み値
については更新処理を実行せずに固定値として扱って、
入力層を構成する入力ユニット２と中間層の等価データ
処理装置１２との接続に割り付けられる重み値と、中間
層の等価データ処理装置１２と出力層の等価データ処理
装置１２との接続に割り付けられる重み値とを、更新処
理の対象として学習処理を実行する。すなわち、等価デ
ータ処理装置１２の重み値については固定値として扱っ
て、更新対象の重み値の更新処理に必要となる上述の
“α_pj”や“β_pi”等の値を計算するために用いるので
ある。

【００４１】この学習処理により、実際に駆動するハー
ドウェアの階層ネットワーク構成データ処理装置１０の
持つ重み値の学習が高精度に実行されることになる。こ
れから、この学習された重み値を実際に駆動する階層ネ
ットワーク構成データ処理装置１０に設定していくこと
で、教師データの規定する入出力信号関係と同一の入出
力信号関係を持つ階層ネットワーク構成データ処理装置
１０が構築できるようになるのである。

【００４２】図示実施例について説明したが、本発明は
これに限定されるものではない。例えば、実施例では、
等価データ処理装置１２を先に構築しておいて、後から
写像データ処理装置１１をシミュレートしてその一部を
等価データ処理装置１２に置き換えていくことで写像デ
ータ処理装置１３を生成していく方法で説明したが、先
に写像データ処理装置１１をシミュレートしておいて、
後から等価データ処理装置１２を構築してその写像デー
タ処理装置１１の一部を等価データ処理装置１２に置き
換えていくことで写像データ処理装置１３を生成してい
くという方法であってもよいのであって、この処理過程
の順序の違いは何ら本質的な問題ではないのである。

【００４３】

【発明の効果】以上説明したように、本発明によれば、
階層ネットワーク構造に従ってデータ処理を実行する階
層ネットワーク構成データ処理装置のデータ処理機能を
規定する内部状態値を高精度に学習できるようになると
ともに、この学習処理により学習された内部状態値を設
定していくことで、高精度のデータ処理機能を発揮する
階層ネットワーク構成データ処理装置を構築できるよう
になるのである。

【図面の簡単な説明】

【図１】本発明の原理構成図である。

【図２】基本ユニットの回路構成の一実施例である。

【図３】階層ネットワーク構成データ処理装置の装置構
成の一実施例である。

【図４】階層ネットワーク構成データ処理装置の回路接
続の説明図である。

【図５】等価データ処理装置の構築処理フローの一実施
例である。

【図６】等価データ処理装置の構築処理の説明図であ
る。

【図７】等価データ処理装置を得るための学習処理の説
明図である。

【図８】写像データ処理装置の説明図である。

【図９】本発明の学習処理に用いる写像データ処理装置
の一実施例である。

【図１０】基本ユニットの説明図である。

【図１１】階層ネットワーク構成の説明図である。

【符号の説明】

１基本ユニット１ａモデル基本ユニット１０階層ネットワーク構成データ処理装置１１写像データ処理装置１２等価データ処理装置１３写像データ処理装置１４教師データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者加藤英樹神奈川県川崎市中原区上小田中1015番地富士通株式会社内

Claims

【特許請求の範囲】

【請求項１】ハードウェアから構成されて、１つ又は
複数の入力と該入力に乗算されるべき内部状態値とを受
け取って積和を得るとともに、該積和値を規定関数によ
って変換して最終出力を得る基本ユニットを基本単位に
して、該基本ユニットの階層接続から構成される階層ネ
ットワーク構成データ処理装置の内部状態値を学習する
ための階層ネットワーク構成データ処理装置の学習処理
方法であって、計算機上に上記階層ネットワーク構成データ処理装置を
写像することで写像データ処理装置を生成する第１の処
理過程(P1)と、計算機上に上記基本ユニットそのものを上記階層ネット
ワーク構成データ処理装置の態様でもって写像するとと
もに、上記各基本ユニットの入出力信号を計測すること
で入手される入出力信号の対応関係を教師データとして
用いて当該階層ネットワーク構成データ処理装置の持つ
内部状態値を学習することで、上記各基本ユニットと等
価となる等価データ処理装置を得る第２の処理過程(P2)
と、第１の処理過程(P1)で生成される上記写像データ処理装
置上の各基本ユニットを、第２の処理過程(P2)で得られ
る対応の上記等価データ処理装置に置き換える第３の処
理過程(P3)と、第３の処理過程(P3)で置き換えられた上記等価データ処
理装置の持つ内部状態値を固定値と扱いつつ、上記写像
データ処理装置の入出力信号特性が用意される教師デー
タの入出力信号関係となるべく上記写像データ処理装置
の持つ内部状態値を学習していくことで、上記階層ネッ
トワーク構成データ処理装置の持つ内部状態値を学習し
ていく第４の処理過程(P4)とを備えることを、特徴とする階層ネットワーク構成データ処理装置の学習
処理方法。
【請求項２】請求項１記載の階層ネットワーク構成デ
ータ処理装置の学習処理方法において、第２の処理過程(P2)で実行する等価データ処理装置を得
るための学習にあたって、基本ユニットの理想的な入出
力信号特性を実現する内部状態値を、等価データ処理装
置を得るための内部状態値の初期値として設定していく
よう処理することを、特徴とする階層ネットワーク構成データ処理装置の学習
処理方法。
【請求項３】請求項１又は２記載の階層ネットワーク
構成データ処理装置の学習処理方法において、第２の処理過程(P2)で実行する等価データ処理装置を得
るための学習にあたって、いずれかの基本ユニットの等
価データ処理装置により得られる内部状態値を、他の基
本ユニットの等価データ処理装置を得るための内部状態
値の初期値として設定していくよう処理することを、特徴とする階層ネットワーク構成データ処理装置の学習
処理方法。
【請求項４】請求項１、２又は３記載の階層ネットワ
ーク構成データ処理装置の学習処理方法において、第２及び第４の処理過程(P2,P4) で実行する内部状態値
の学習アルゴリズムとして誤差逆伝播学習則を用いるこ
とを、特徴とする階層ネットワーク構成データ処理装置の学習
処理方法。
【請求項５】ハードウェアから構成されて、１つ又は
複数の入力と該入力に乗算されるべき内部状態値とを受
け取って積和を得るとともに、該積和値を規定関数によ
って変換して最終出力を得る基本ユニットを基本単位に
して、該基本ユニットの階層接続から構成される階層ネ
ットワーク構成データ処理装置において、上記内部状態値として、計算機上に上記階層ネットワー
ク構成データ処理装置を写像することで写像データ処理
装置を生成し、計算機上に上記基本ユニットそのものを
上記階層ネットワーク構成データ処理装置の態様でもっ
て写像するとともに、上記各基本ユニットの入出力信号
を計測することで入手される入出力信号関係を教師デー
タとして用いて当該階層ネットワーク構成データ処理装
置の持つ内部状態値を学習することで、上記各基本ユニ
ットと等価となる等価データ処理装置を得て、該写像デ
ータ処理装置上の各基本ユニットを対応の該等価データ
処理装置に置き換え、この置き換えた等価データ処理装
置の持つ内部状態値を固定値と扱いつつ、用意される教
師データを用いて該写像データ処理装置の持つ内部状態
値を学習することで得られるものを設定していくよう構
成されることを、特徴とする階層ネットワーク構成データ処理装置。