JP3047411B2 - ネットワーク構成データ処理装置の重み更新量保持方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 ニューラルネットワークの学習時における重みの更新
に際して、今回の重み更新量などを次回の重み更新に備
えて保持するためのネットワーク構成データ処理装置の
重み更新量保持方式に関し、 重み更新量のデータ転送を省略する機構を提供するこ
とによって、ネットワークの学習速度を向上させること
を目的とし、 前段層からの１つまたは複数の入力と該入力に対して
それぞれ乗算されるべき重みとの積の和をとり、該和に
対して出力を得るユニットを基本単位として、１つまた
は複数個のユニットから構成される入力層を１段、１つ
または複数個のユニットから構成される中間層を１段ま
たは複数段、１つまたは複数個のユニットから構成され
る出力層を１段備え、入力層と最前段の中間層の間、隣
接する中間層の間、最後段の中間層と出力層の間にユニ
ット相互間の内部結合を構成し、該内部結合にそれぞれ
重みを割当てることによって階層ネットワークを構成す
るデータ処理装置において、前記階層ネットワーク内の
各内部結合にそれぞれ割当てられる重みの今回更新量、
前回の更新量、および前々回更新量をそれぞれ連続した
領域に記憶する重み更新量記憶手段と、該重み更新量記
憶手段内で重みの今回更新量記憶領域の先頭アドレスを
保持する今回更新量アドレス指示手段と、該重み更新量
記憶手段内で重みの前回更新量記憶領域の先頭アドレス
を保持する前回更新量アドレス指示手段と、該重み更新
量記憶手段内で重みの前々回更新量記憶領域の先頭アド
レスを保持する前々回更新量アドレス指示手段とを備
え、前記今回更新量アドレス指示手段、前回更新量アド
レス指示手段、および前々回更新量アドレス指示手段の
指示に基づき前記ネットワーク内の各内部結合に割当て
られた重みを更新した後に、今回更新量アドレス指示手
段の内容を前回更新量アドレス指示手段に、前回更新量
アドレス指示手段の内容を前々回更新量アドレス指示手
段に、また前々回更新量アドレス指示手段の内容を今回
更新量アドレス指示手段にそれぞれ転送するように構成
する。

〔産業上の利用分野〕

本発明はネットワーク構成データ処理装置の学習処理
方式に係り、さらに詳しくは例えばニューラルネットワ
ークの学習時における重みの更新に際して、今回の重み
更新量などを次回の重み更新に備えて保持するためのネ
ットワーク構成データ処理装置の重み更新量保持方式に
関する。

従来の逐次処理コンピュータ、すなわちノイマン型コ
ンピュータでは使用方法や環境の変化に応じてコンピュ
ータのデータ処理機能を調節することが難しく、このた
め適応性を有するデータ処理方式として階層ネットワー
クによる並列分散処理方式が提唱されてきている。特に
バックプロパゲーション法と呼ばれる処理方式がその実
用性の高さから注目されている。

〔従来の技術〕

階層ネットワーク、例えばパーセプトロン型ネットワ
ークは幾つかの層から成る階層的なもので、各層は適当
な数のユニットから成り、層内の結合はなく、層間の結
合は入力層（第１層）から出力層（最終層）へ向けての
１方向の結合のみである。入力層を除く各層のユニット
は、前の層のユニットからの重み付き入力を受けてその
総和を求め、その総和に対する適当な関数値を出力す
る。関数としては例えば総和の値がある値より大きい時
に１、小さい時に０となる閾値関数などが用いられる。

このような階層ネットワーク、例えばニューラルネッ
トワークにおける学習処理においては、入力層にある既
知のパターンを与えた時に、出力層が正しいパターンを
出力するように入力層と中間層、二つの中間層の間、お
よび中間層と出力層の間の内部結合に対する重みが修正
される。そしてこの重み更新を多数回繰返すことによっ
て正しい出力パターンが得られるようになった時点で、
そのパターンに対する学習は終了する。例えば３層構成
のネットワークにおいて、この重み更新時にまず出力層
に正しい出力パターンを与えて中間層から出力層への内
部結合に割当てられる重みを修正し、その後入力層から
中間層への内部結合の重みを修正する、いわゆるバック
プロパゲーション法が用いられることが多い。このバッ
クプロパゲーション法では、重みを更新するにあたって
現在の誤差の微分値と前回の重み更新量を基にして新し
い更新量が決定され、この更新量を用いて重みが更新さ
れる。

第６図は重み更新量保持方式の従来例である。同図に
おいて、従来例はネットワーク内の全ての内部結合に対
する重みを格納する重みデータメモリ11、各内部結合に
対する今回の重み更新量を格納する今回更新量メモリ1
2、重み更新量にあたって用いられる前回の重み更新量
を格納する前回更新量メモリ13、２つの加算器14,15、
２つの乗算器16,17、後述する学習パラメータを記憶す
る２つのパラメータレジスタ18,19、重み更新時のタイ
ミングを作成するための３つのディレイ20,21,22、およ
び重み更新後に今回更新量メモリ12の内容を前回更新量
メモリ13にシフトするためのシフト機構23から成ってい
る。

第６図の従来例の動作を重みの初期設定、重みの続出
し、および重みの更新に分けて説明する。まず重みの初
期設定時にはクリア信号１がオンとされて、今回更新量
メモリ12と前回更新量メモリ13の全内容が０にされる。
重み選択信号３、すなわち層、ユニット、結線（内部結
合）の番号を指定することにより重みの１つを特定する
信号と、その特定された重みの初期値７がセットされ、
初期値設定信号６、すなわち初期値書込み信号がオンと
されて重みデータメモリ11の指定された重みの内容が初
期化される。これを全ての層、ユニット、結線について
行うことにより、重みデータメモリ11の全内容の初期化
が行われる。

次に学習パラメータ９としてパラメータレジスタ18に
−ε、パラメータレジスタ19にαを与える。これは前述
のようにバックプロパゲーション法で重みを更新する際
に、今回の重み更新量が誤差Ｅの偏微分∂E/∂Ｗを用い
て次式のように与えられるためである。

ここでΔＷ（ｔ−１）は前回の重み更新量である。

重みデータメモリ11に格納された重みに対しては、重
み選択信号３をセットした後に重み続出し信号４をオン
することにより、指定された重み５が続出される。

次に重みの更新時の動作を説明する。重み選択信号３
とネットワークによって計算された重み更新データとし
ての偏微分∂E/∂Ｗがセットされた後に重み更新信号10
がセットされると、第６図内にからで示したタイミ
ングにおいて以下の動作が行われる。

まず重み更新信号10が入力した時点、すなわちタイミ
ングにおいて乗算器16によってパラメータレジスタ19
に格納されているαの値と前回更新量メモリ13に格納さ
れている特定された重みの前回更新量とが乗算され、ま
た乗算器17によってパラメータレジスタ18に格納されて
いる−εと偏微分∂E/∂Ｗとが乗算され、共に加算器15
に出力される。

次にディレイ20によってタイミングから１タイミン
グ遅らされたタイミングにおいて、加算器15によって
乗算器16と乗算器17の出力とが加算され、今回の重み更
新量が（１）式のように求められる。

ディレイ21によってタイミングより１タイミング遅
らされたタイミングにおいて加算器15の出力、すなわ
ち今回の更新量が今回更新量メモリ12に格納されると同
時に、加算器14によって重みデータメモリ11に格納され
ている前回更新された結果の重みＷ（ｔ−１）と加算器
15の出力が加算され、今回の重みデータとして次式が得
られる。

Ｗ（ｔ）＝Ｗ（ｔ−１）＋ΔＷ（ｔ）・・・・（２） 最後にタイミングよりさらに１タイミング遅れたタ
イミングにおいて加算器14の出力、すなわち今回更新
された重みデータが重みデータメモリ11に格納される。
以上の動作が全ての層、ユニット、結線について行わ
れ、重みデータメモリ11および今回更新量メモリ12の内
容が更新される。

以上で１回の学習が終わったことになり、重みデータ
が更新されたのでシフト信号２がオンとされ、シフト機
構23によって今回更新量メモリ12の内容が前回更新量メ
モリ13にシフトされる。これには例えばDMAによる転送
やMPUによる転送が用いられる。

〔発明が解決しようとする課題〕

上述のような重み更新は階層ネットワークの学習処理
において数千〜数十万回と非常に多数回行われる。そこ
で重み更新量の管理はネットワークの学習速度に大きな
影響を及ぼす。ここで例えば入力層が1,000個、中間層
が10個、出力層が20個のユニットで構成される３層のネ
ットワークの場合には重み更新量は 1,000×10＋10×20＝10,200ワード となり、学習１回毎に10,200ワードのデータ転送を行う
必要があり学習処理に時間がかかるという問題があっ
た。

本発明は、この重み更新量のデータ転送を省略する機
構を提供することによって、ネットワークの学習速度を
向上させることを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図は前段
層からの１つまたは複数の入力と、その入力に対して乗
算されるべき重みとの積を合計し、その和の関数、例え
ば閾値関数の値を求め、それを出力とするユニット、例
えばニューロンを基本単位として、１段の入力層、１段
または複数段の中間層、１段の出力層を備えて、人力層
と最前段の中間層の間、隣接する中間層の間、および最
後段の中間層と出力層の間にユニット相互の内部結合を
構成し、その内部結合にそれぞれ重みを割当てることに
よって階層ネットワークを構成するデータ処理装置にお
ける重み保持方式の原理ブロック図である。入力層、各
中間層、および出力層はそれぞれ１つまたは複数個のユ
ニットから構成される。

第１図（ａ）は第１の発明、すなわち後述するように
前回の重み更新量に加えて前々回の重み更新量をも使用
して新しい重み更新量を求める場合における重み更新量
保持方式の原理ブロック図である。同図において、重み
更新量記憶手段26は階層ネットワーク、例えばニューラ
ルネットワーク内の各内部結合にそれぞれ割当てられる
重みの今回更新量、前回更新量および前々回更新量をそ
れぞれ連続した領域に記憶する。すなわち例えば入力層
が1,000個、中間層が10個、出力層が20個のユニットで
構成されるネットワークの場合には合計10,200個の今回
更新量が連続した領域に記憶される。

今回更新量アドレス指示手段27は、重み更新量記憶手
段26内で重みの今回更新量を記憶している連続領域の先
頭アドレスを保持し、前回更新量アドレス指示手段28は
同様に重みの前回更新量記憶領域の先頭アドレスを、さ
らに前々回更新量アドレス指示手段29は重みの前々回更
新量記憶領域の先頭アドレスを保持する。

第１図（ｂ）は第２の発明、すなわち前々回の重み更
新量を用いることなく前回の重み更新量に基づいて新し
い重み更新量を求める場合の重み更新量保持方式の原理
ブロック図である。同図を第１の発明を示す第１図
（ａ）と比較すると、前々回更新量アドレス指示手段29
が存在しないことと、重み更新量記憶手段30が重みの今
回更新量と前回更新量とをそれぞれ連続した領域に記憶
する点が異なっている。

〔作用〕

階層ネットワーク、例えばニューラルネットワークの
学習時にネットワーク内の各内部結合にそれぞれ割当て
られた重みの更新処理において、第１の発明では後述す
るように重みの前回更新量に加えて前々回更新量が用い
られる。すなわち前回更新量アドレス指示手段28と前々
回更新量アドレス指示手段29の指示に基づいて求められ
た重み更新量を用いて、今回の重み更新量が求められ、
重みが更新されるとともに、今回更新量が重み更新量記
憶手段26内の今回更新量記憶領域に格納される。

その後今回更新量アドレス指示手段27の内容が前回更
新量アドレス指示手段28に、前回更新量アドレス指示手
段28の内容が前々回更新量アドレス指示手段29に、また
前々回更新量アドレス指示手段29の内容が今回更新量ア
ドレス指示手段27にサイクリックに転送される。

これによって更新量記憶手段26に記憶されている記憶
内容をシフトさせることなく、例えば今回の重み更新量
は次の重み更新時には前回の重み更新量として用いられ
ることになる。第２の発明においては前々回の重み更新
量が今回の重み更新量の計算に用いられない点を除いて
はその作用は第１の発明におけると全く同様である。

以上のように、本発明においては重み更新量記憶手段
26、または30の内容の書替え（転送）を行うことなく更
新量アドレス指示手段27、28、29の内容をサイクリック
に転送することにより、重み更新量の保持が行われる。

〔実施例〕

第２図は本発明の実施例の基本概念を示すブロック図
である。同図において、実施例は重みの更新量を保持す
る３つの記憶装置の番号またはアドレスを保持する記憶
装置指定レジスタ31、加算器32、今回、前回および前々
回の重み更新量を保持するための３つの記憶装置33〜3
5、３つの記憶装置33〜35に対して重みデータを入出力
するためのバス36から成る。なお記憶装置33〜35は３つ
の記憶装置に分かれるものとしたがこれを１つの記憶装
置とし、３つの記憶領域の先頭アドレスを記憶装置指定
レジスタ31によって指示することもできることは当然で
ある。

第２図においては、従来例の第６図と異なり、更新量
の種類と記憶装置との対応を取るための記憶装置指定レ
ジスタ31が用いられているために、例えば第１の発明に
おいて、今回更新量、前回更新量、前々回更新量を第１
から第３の記憶装置33〜35のどれに割当てるかを変更で
きる点に特徴がある。

第１の発明においては今回の重み更新量は次式によっ
て求められる。

この式の右辺第１項はネットワークによって計算された
重み更新データとしての偏微分∂E/∂Ｗに比例する項で
あり、第２項は前回の更新量に比例する項である。

本来今回の重み更新量を計算するにあたって前回の重
み更新量を補正項として用いる理由は、例えば∂E/∂Ｗ
の値が正から負、負から正に変化するような場合の重み
の発振現象を防止するためのものであり、第１項の更新
量に対し、前回の更新量の影響を残すために用いられ
る。第１の発明においては、重み更新量を求めるにあた
ってさらに前々回の重み更新量をΔＷ（ｔ−２）をも用
いるものとし、第３項が付け加えられる。ここで第３項
は例えば第２項と符号を逆にすることによって、第２項
とは逆の影響を第１項に与えることになる。

第２図において記憶装置指定レジスタ31に与えられる
種類選択番号、すなわち今回、前回、前々回のいずれの
重み更新量であるかを示す番号によってレジスタ31の内
容が選択され、その出力と第６図で説明した重み選択信
号とが加算器32によって加算され、ネットワーク内のど
の内部結合かを示すアドレスが出力されて、そのアドレ
スに格納されている重み更新量を用いて重みの更新が行
われる。１回の学習が終ると記憶装置指定レジスタ31の
内容はサイクリックにシフトされ、例えば現在、今回を
第１、前回を第２、前々回を第３の記憶装置に割付けて
いたとすると、学習終了後には今回を第３、前回を第
１、前々回を第２に割付けることになる。

第２の発明においては重みの更新は前述の（１）式に
従って行われる。すなわち、第２の発明においては前々
回の重み更新量は用いられないために、更新量を記憶す
る記憶装置は２つでよく、また記憶装置指定レジスタ31
は２つの記憶装置の番号、またはアドレスを保持するの
みでよい。

第３図は本発明の重み更新量保持方式を用いるネット
ワークシステムの実施例の全体構成図である。同図にお
いてシステムはネットワークにおける学習処理などを実
行するネットワーク実行部37、学習時の入力パターン、
および正しい出力信号としての教師信号パターンを保持
する学習パターン保持部38、重みの更新を行う重み更新
部39、ネットワークの出力と正しい出力信号、すなわち
教師信号との誤差から重み更新データとして偏微分∂E/
∂Ｗを重み更新部39に与える誤差算出部40、および学習
のタイミング指示などの制御を行う主制御回路41から成
る。

ネットワークの学習処理においては、まず主制御回路
41から誤差算出部40へ誤差クリア信号が与えられる。こ
れによって誤差算出部40のクリアが行われる。その後制
御回路41からのパターン選択信号によって、学習パター
ン保持部38内の入力信号保持部38aからそのパターンの
入力信号がネットワーク実行部37に、また教師信号保持
部38bから正しい出力信号としての教師信号が誤差算出
部40に与えられる。

そして主制御回路41からの実行信号の入力によって、
ネットワーク実行部37は出力を誤差算出部40に与え、ま
た主制御回路41からの誤差算出信号によって誤差算出部
40は誤差を算出する。主制御回路41からの偏微分選択信
号が誤差算出部40に入力されるまで、パターン選択信号
の入力毎に前述と同様の動作が行われ、誤差算出信号の
入力によって誤差算出部40に誤差がため込まれる。偏微
分選択信号が入力された時点で誤差算出部40から重み更
新部39へ偏微分∂E/∂Ｗが出力され、重み更新部39は重
みの更新処理を行う。

この更新処理については後述するが、第６図の従来例
におけると同様に主制御回路41からの制御信号としての
クリア信号、シフト信号、重み選択信号、重み読出し信
号、初期値設定信号、初期値、学習パラメータ、重み更
新信号を用いて重みが更新され、新しい重みＷ（ｔ）が
重み更新部39からネットワーク実行部37に出力される。

第４図は重み更新部39の実施例の詳細構成ブロック図
であり、従来例の第６図に対応するものである。同図に
おいて、まず重み更新部39と外部との間で入出力される
クリア信号１から重み更新信号10までの作用は、学習パ
ラメータ９に前々回の重み更新量との積をとるパラメー
タ‘−β’が追加される点を除いては第６図の従来例に
おけると全く同様である。そして今回更新量メモリ12、
前回更新量メモリ13、およびシフト機構23の代わりに重
み更新量指定レジスタ42、重み更新量記憶装置（RAM）4
3、３つのレジスタ44〜46、およびデータバス47が設け
られ、さらに乗算器48と学習パラメータ−βを格納する
ためのパラメータレジスタ49、およびディレイ50が追加
されている。

第４図の重み更新量指定レジスタ42は第２図の記憶装
置指定レジスタ31に相当し、第１の発明においては３つ
のレジスタから成り、重み更新量記憶装置43を３等分し
たそれぞれの領域の先頭アドレスを保持している。そし
てシフト信号２の入力時点で、今回更新量指定レジスタ
の内容が前回更新量指定レジスタに、前回更新量指定レ
ジスタの内容が前々回更新量指定レジスタに、前々回更
新量指定レジスタの内容が今回更新量指定レジスタに転
送される。

また重み更新量記憶装置43は例えばRAMで構成され、
重みの今回更新量、前回更新量、前々回更新量をネット
ワーク内の全ての内部結合について記憶するだけの容量
を持っている。その内容はクリア信号の入力時点で全て
０にされる。そして加算器44、45、46のいずれかの出力
をアドレスとしてリードライト信号R/W（０でリード、
１でライト）によってRAM43のアクセスが行われ、デー
タバス47との間で重み更新量データの入出力が行われ
る。

加算器44は前々回更新量指定レジスタの内容と重み選
択信号３とを加算して、求める特定の重みのアドレスを
出力する。加算器45および46はそれぞれ加算器44と同様
に前回更新量指定レジスタ、今回更新量指定レジスタの
内容と重み選択信号を加算して求める重みのアドレスを
出力する。

乗算器48は（３）式の右辺第３項を求めるためのもの
で、パラメータレジスタ49に格納されている−βと前々
回重み更新量との積をとる。ディレイ50はタイミング
をさらに１タイミングだけ遅らせたタイミング信号を
得るためのものである。

本発明における初期設定と重みの読出しは第６図にお
ける従来例と同様に行われるが、パラメータレジスタ49
に追加された学習パラメータ−βが格納される点だけが
異なっている。

重みの更新処理においては、重み選択信号３と偏微分
８とがセットされ、さらに重み更新信号10がセットされ
ると、まず加算器44によって前々回更新量指定レジスタ
の内容と重み選択信号３とが加算されて前々回重み更新
量のアドレスが求められ、これに続いて第４図において
からで示されたタイミングにおいて以下の動作が行
われる。

まずタイミングにおいて、重み更新量記憶装置43か
ら重みの前々回更新量がデータバス47に出力され、また
加算器45によって前回更新量指定レジスタの内容と重み
選択信号３とが加算され前回重み更新量のアドレスが求
められる。それと同時に乗算器48によってデータバス47
の出力とパラメータレジスタ49の内容との積がとられ、
（３）式の第３項が、また乗算器17によって偏微分８と
パラメータレジスタ18の内容との積がとられ（３）式の
第１項が求められる。

重み更新信号10の入力時点、すなわちタイミングか
ら１タイミングだけディレイ20によって遅らされたタイ
ミングにおいては、重み更新量記憶装置43から前回更
新量がデータバス47に出力され、乗算器16によってこの
出力とパラメータレジスタ19の内容との積がとられ、
（３）式の第２項が求められる。

次のタイミングにおいては、加算器15によって乗算
器16、17および18の出力の和として（３）式の重み更新
量が求められる。同時に加算器46によって今回更新量指
定レジスタの内容と重み選択信号３とが加算され、今回
更新量のアドレスが求められ、またこのタイミングに合
わせて外部から重み読出し信号４が与えられる。

タイミングにおいて重み更新量記憶装置43は加算器
15の出力、すなわち今回の重み更新量をデータバス47を
介して読込み、これを所定のアドレスに記憶する。また
加算器14によって重みデータメモリ11内の更新前の重み
Ｗ（ｔ−１）と加算器15の出力の和ΔＷ（ｔ）との和と
して、更新された重みＷ（ｔ）が求められる。

最後にタイミングにおいて、加算器14の出力、すな
わち新しい重みＷ（ｔ）が重みデータメモリ11の所定の
アドレスに書込まれる。以上の動作が全ての層、ユニッ
ト、結線について行われ、重みデータメモリ11、および
重み更新量記憶装置13内の今回更新量記憶領域の内容が
更新される。その後シフト信号２がオンとされ、重み更
新量指定レジスタ42の内容が前述のようにサイクリック
に転送される。

第５図は本発明における主制御回路の処理実施例のフ
ローチャートである。処理がスタートすると、まずステ
ップ51から58で初期設定が行われる。ステップ51で重み
更新量記憶装置43の全ての内容を０にするクリア信号１
がオンとされ、ステップ52から56で全ての重みについて
重みデータメモリ11の初期化が行われる。

すなわちステップ53で重み選択信号３がセットされ、
初期化されるべき重みが特定された後に、ステップ54で
初期値７がセットされ、ステップ55で初期値設定信号６
がオンとされ、特定された重みに初期値７の値が書込ま
れる。その後ステップ56で重み読出し信号４がオンとさ
れた後にステップ52に戻り、全ての重みについてステッ
プ53から56の処理が行われる。

全ての重みについてこれらの処理が終わると、ステッ
プ57で学習パラメータ９の値−ε、α、−βがそれぞれ
パラメータレジスタ18、19、49にセットされ、ステップ
58で第３図の誤差算出部40に対するクリア信号がオンと
される。

ステップ59から学習処理に移行するが、まずステップ
59から62において学習パターンに対する誤差の計算処理
が行われる。まずステップ60でパターン選択信号が学習
パターン保持部38に与えられ、その後ステップ61で実行
信号がネットワーク実行部37に与えられ、ネットワーク
からの出力が誤差算出部40に与えられる。その後ステッ
プ62で誤差算出信号が誤差算出部40に入力され、パター
ン選択信号によってステップ60で選択された学習パター
ンに対する誤差が誤差算出部40によって計算され、ステ
ップ59に戻る。ステップ59で全ての学習パターンについ
てステップ60から62の処理が繰返され、全ての学習パタ
ーンについての誤差が計算された後にステップ63に移行
する。

ステップ63から67の処理は重みの更新処理である。ま
ずステップ64で偏微分選択信号が誤差算出部40に与えら
れ、ステップ65で重み選択信号３がセットされ、どの内
部結合に対する重みを更新するかが特定される。ステッ
プ66で重み更新信号10がセットされ、第４図で詳述した
ように重みの更新が行われ、ステップ67でネットワーク
に新しい重みを送るために重み読出し信号４がオンとさ
れ、ステップ63に戻る。

ステップ63で全ての重みについてステップ64から67の
処理が繰返された後に、ステップ68でシフト信号２がセ
ットされ、重み更新量指定レジスタ42の内容のシフトが
行われる。そしてステップ69で学習が完了したと判定さ
れるまでステップ59からの学習処理が繰返される。

〔発明の効果〕

以上詳細に説明したように、本発明によれば重み更新
量の実際の値を転送することなく重み更新量記憶装置の
番号または記憶装置内アドレスのみを転送するだけでよ
く、学習１回毎のデータ転送量を大幅に減らすことがで
き、学習速度の向上に寄与するところが大きい。

【図面の簡単な説明】

第１図（ａ），（ｂ）は本発明の原理ブロック図、 第２図は本発明の実施例の基本概念を示すブロック図、 第３図は本発明の重み更新量保持方式を用いるネットワ
ークシステムの実施例の構成ブロック図、 第４図は重み更新部の実施例の詳細構成を示すブロック
図、 第５図は主制御回路の処理実施例のフローチャートを示
す図、 第６図は重み更新量保持方式の従来例を示す図である。 11……重みデータメモリ、31……記憶装置指定レジス
タ、33、34、35……記憶装置、37……ネットワーク実行
部、38……学習パターン保持部、39……重み更新部、40
……誤差算出部、41……主制御回路、42……重み更新量
指定レジスタ、43……重み更新量記憶装置（RAM）．

───────────────────────────────────────────────────── フロントページの続き (72)発明者 益岡 竜介 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 大和田 有理 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】前段層からの１つまたは複数の入力と該入
   力に対してそれぞれ乗算されるべき重みとの積の和をと
   り、該和に対して出力を得るユニットを基本単位とし
   て、１つまたは複数個のユニットから構成される入力層
   を１段、１つまたは複数個のユニットから構成される中
   間層を１段または複数段、１つまたは複数個のユニット
   から構成される出力層を１段備え、入力層と最前段の中
   間層の間、隣接する中間層の間、最後段の中間層と出力
   層の間にユニット相互間の内部結合を構成し、該内部結
   合にそれぞれ重みを割当てることによって階層ネットワ
   ークを構成するデータ処理装置において、 前記階層ネットワーク内の各内部結合にそれぞれ割当て
   られる重みの今回更新量、前回の更新量、および前々回
   更新量をそれぞれ連続した領域に記憶する重み更新量記
   憶手段（26）と、 該重み更新量記憶手段（26）内で重みの今回更新量記憶
   領域の先頭アドレスを保持する今回更新量アドレス指示
   手段（27）と、 該重み更新量記憶手段（26）内で重みの前回更新量記憶
   領域の先頭アドレスを保持する前回更新量アドレス指示
   手段（28）と、 該重み更新量記憶手段（26）内で重みの前々回更新量記
   憶領域の先頭アドレスを保持する前々回更新量アドレス
   指示手段（29）とを備え、 前記今回更新量アドレス指示手段（27）、前回更新量ア
   ドレス指示手段（28）、および前々回更新量アドレス指
   示手段（29）の指示に基づき前記ネットワーク内の各内
   部結合に割当てられた重みを更新した後に、前記今回更
   新量アドレス指示手段（27）の内容を前回更新量アドレ
   ス指示手段（28）に、前回更新量アドレス指示手段（2
   8）の内容を前々回更新量アドレス指示手段（29）に、
   また前々回更新量アドレス指示手段（29）の内容を今回
   更新量アドレス指示手段（27）に、シフト信号の入力時
   点でそれぞれサイクリックに転送することを特徴とする
   ネットワーク構成データ処理装置の重み更新量保持方
   式。