JPH03118656A - ネットワーク構成データ処理装置の重み更新量保持方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　　要〕 ニューラルネットワークの学習時における重みの更新に
際して、今回の重み更新量などを次回の重み更新に備え
て保持するためのネットワーク構成データ処理装置の重
み更新量保持方式に関し、重み更新量のデータ転送を省
略する機構を提供することによって、ネットワークの学
習速度を向上させることを目的とし、 前段層からの１つまたは複数の入力と該入力に対してそ
れぞれ乗算されるべき重みとの積の和をとり、該和に対
して出力を得るユニットを基本単位として、１つまたは
複数個のユニットから構成される入力層を１段、１つま
たは複数個のユニットから構成される中間層を１段また
は複数段、１つまたは複数個のユニットから構成される
出力層を１段備え、入力層と最前段の中間層の間、隣接
する中間層の間、最後段の中間層と出力層の間にユニッ
ト相互間の内部結合を構成し、該内部結合にそれぞれ重
みを割当てることによって階層ネットワークを構成する
データ処理装置において、前記階層ネットワーク内の各
内部結合にそれぞれ割当てられる重みの今回更新量、前
回の更新量、および前々回更新量をそれぞれ連続した領
域に記憶する重み更新量記憶手段と、該重み更新量記憶
手段内で重みの今回更新量記憶領域の先頭アドレスを保
持する今回更新量アドレス指示手段と、該重み更新量記
憶手段内で重みの前回更新量記憶領域の先頭アドレスを
保持する前回更新量アドレス指示手段と、該重み更新量
記憶手段内で重みの前々回更新量記憶領域の先頭アドレ
スを保持する前々回更新量アドレス指示手段とを備え、
前記今回更新量アドレス指示手段、前回更新量アドレス
指示手段、および前々回更新量アドレス指示手段の指示
に基づき前記ネットワーク内の各内部結合に割当てられ
た重みを更新した後に、今回更新量アドレス指示手段の
内容を前回更新量アドレス指示手段に、前回更新量アド
レス指示手段の内容を前々回更新量アドレス指示手段に
、また前々回更新量アドレス指示手段の内容を今回更新
量アドレス指示手段にそれぞれ転送するように構成する
。

〔産業上の利用分野〕

本発明はネットワーク構成データ処理装置の学習処理方
式に係り、さらに詳しくは例えばニューラルネットワー
クの学習時における重みの更新に際して、今回の重み更
新量などを次回の重み更新に備えて保持するためのネッ
トワーク構成データ処理装置の重み更新量保持方式に関
する。

従来の逐次処理コンピュータ、すなわちノイマン型コン
ピュータでは使用方法や環境の変化に応じてコンピュー
タのデータ処理機能を調節することが難しく、このため
適応性を有するデータ処理方式として階層ネットワーク
による並列分散処理方式が提唱されてきている。特にバ
ックプロパゲーション法と呼ばれる処理方式がその実用
性の高さから注目されている。

〔従来の技術〕

階層ネットワーク、例えばパーセプトロン型ネｙ’ｒワ
ークは幾つかの層から成る階層的なもので、各層は適当
な数のユニットから成り、層内の結合はなく、眉間の結
合は入力層（第１Ｎ）から出力層（最終層）へ向けての
１方向の結合のみである。

入力層を除く各層のユニットは、前の層のユニットから
の重み付き人力を受けてその総和を求め、その総和に対
する適当な関数値を出力する。関数としては例えば総和
の値がある値より大きい時に１、小さい時に０となる闇
値関数などが用いられる。

このような階層ネットワーク、例えばニューラルネット
ワークにおける学習処理においては、入力層にある既知
のパターンを与えた時に、出力層が正しいパターンを出
力するように入力層と中間層、二つの中間層の間、およ
び中間層と出力層の間の内部結合に対する重みが修正さ
れる。そしてこの重み更新を多数回繰返すことによって
正しい出カバターンが得られるようになった時点で、そ
のパターンに対する学習は終了する。例えば３Ｎ構成の
ネットワークにおいて、この重み更新時にまず出力層に
正しい出カバターンを与えて中間層から出力層への内部
結合に割当てられる重みを修正し、その後入力層から中
間層への内部結合の重みを修正する、いわゆるバックプ
ロパゲーション法が用いられることが多い。このバック
プロパゲーション法では、重みを更新するにあたって現
在の誤差の微分値と前回の重み更新量を基にして新しい
更新量が決定され、この更新量を用いて重みが更新され
る。

第６図は重み更新量保持方式の従来例である。

同図において、従来例はネッ［・ワーク内の全ての内部
結合に対する重みを格納する重みデータメモリ１１、各
内部結合に対する今回の重み更新量を格納する今回更新
量メモリ１２、重み更新量にあたって用いられる前回の
重み更新量を格納する前回更新量メモリ１３．２つの加
算器１４．１５．２つの乗算器１６．１７、後述する学
習パラメータを記憶する２つのパラメータレジスタ１８
，１９、重み更新時のタイミングを作成するための３つ
のデイレイ２０，２Ｌ　　２２、および重み更新後に今
回更新量メモリ１２の内容を前回更新量メモリ１３にシ
フトするためのシフト機構２３から成っている。

第６図の従来例の動作を重みの初期設定、重みの読出し
、および重みの更新に分けて説明する。

まず重みの初期設定時にはクリア信号１がオンとされて
、今回更新量メモリ１２と前回更新量メモリ１３の全内
容がＯにされる。重み選択信号３、すなわち層、ユニッ
ト、結線（内部結合）の番号を指定することにより重み
の１つを特定する信号と、その特定された重みの初期値
７がセットされ、初期値設定信号６、すなわち初期値書
込み信号がオンとされて重みデータメモリ１１の指定さ
れた重みの内容が初期化される。これを全ての層、ユニ
ット、結線について行うことにより、重みデータメモリ
１１の全内容の初期化が行われる。

次に学習パレメータ９としてパラメータレジスタ１８に
一ε、パラメータレジスタ１９にαを与える。これは前
述のようにバックブロパゲーショんりれるためである。

・　・　・　・（１） ここでΔＷ（ｔ−１）は前回の重み更新量である。

重みデータメモリ１１に格納された重みに対しては、重
み選択信号３をセットした後に重み読出し信号４をオン
することにより、指定された重み５が読出される。

次に重みの更新時の動作を説明する。重み選択内に■か
ら■で示したタイミングにおいて以下の動作が行われる
。

まず重み更新信号１０が入力した時点、すなわちタイミ
ング■において乗算器１６によってパラメータレジスタ
１９に格納されているαの値と前回更新量メモリ１３に
格納されている特定された重みの前回更新量とが乗算さ
れ、また乗算器１７次にデイレイ２０によってタイミン
グ■から１タイミング遅らされたタイミング■において
、加算器１５によって乗算器１６と乗算器１７の出力と
が加算され、今回の重み更新量が（１）弐のように求め
られる。

デイレイ２１によってタイミング■より１タイミング遅
らされたタイミング■において加算器１５の出力、すな
わち今回の更新量が今回更新量メモリ１２に格納される
と同時に、加算器１４によって重みデータメモリ１１に
格納されている前回更新された結果の重みＷ（ｔ−１）
と加算器１５の出力が加算され、今回の重みデータとし
て次式％式％ （２） 最後にタイミング■よりさらに１タイミング遅れたタイ
ミング■において加算器１４の出力、すなわち今回更新
された重みデータが重みデータメモリ１１に格納される
。以上の動作が全ての層、ユニット、結線について行わ
れ、重みデータメモリ１１および今回更新量メモリ１２
の内容が更新される。

以上で１回の学習が終わったことになり、重みデータが
更新されたのでシフト信号２がオンとされ、シフト機構
２３によって今回更新量メモリ１２の内容が前回更新量
メモリ１３にシフトされる。

これには例えばＤＭＡによる転送やＭＰＵによる転送が
用いられる。

〔発明が解決しようとする課題〕

上述のような重み更新は階層ネットワークの学習処理に
おいて数千〜数十刃口と非常に多数回行われる。そこで
重み更新量の管理はネットワークの学習速度に大きな影
響を及ぼす。ここで例えば入力層が１　、０００個、中
間層が１０個、出力層が２０個のユニットで構成される
３Ｎのネットワークの場合には重み更新量は １．０００　　ｘ１０＋１０ｘ２０＝１０，２００ワー
ドとなり、学習１回毎に１０，２００ワードのデータ転
送を行う必要があり学習処理に時間がかかるという問題
があった。

本発明は、この重み更新１のデータ転送を省略する機構
を提供することによって、ネットワークの学習速度を向
上させることを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図は前段層
からの１つまたは複数の入力と、その入力に対して乗算
されるべき重みとの積を合計し、その和の関数、例えば
闇値関数の値を求め、それを出力とするユニット、例え
ばニューロンを基本単位として、１段の入力層、１段ま
たは複数段の中間層、１段の出力層を備えて、入力層と
最前段の中間層の間、隣接する中間層の間、および最後
段の中間層と出力層の間にユニット相互の内部結合を構
成し、その内部結合にそれぞれ重みを割当てることによ
って階層ネットワークを構成するデータ処理装置におけ
る重み保持方式の原理プロソり図である。入力層、各中
間層、および出力層はそれぞれ１つまたは複数個のユニ
ットから構成される。

第１図（ａ）は第１の発明、すなわち後述するように前
回の重み更新量に加えて前々回の重み更新量をも使用し
て新しい重み更新量を求める場合における重み更新量保
持方式の原理ブロック図である。

同図において、重み更新量記憶手段２６は階層ネットワ
ーク、例えばニューラルネットワーク内の各内部結合に
それぞれ割当てられる重みの今回更新量、前回更新量お
よび前々回更新量をそれぞれ連続した領域に記憶する。

すなわち例えば入力層が１　、０００個、中間層が１０
個、出力層が２０個のユニ・ノドで構成されるネットワ
ークの場合には合計１０゜２００個の今回更新量が連続
した領域に記憶される。

今回更新量アドレス指示手段２７は、重み更新量記憶手
段２６内で重みの今回更新量を記憶している連続領域の
先頭アドレスを保持し、前回更新量アドレス指示手段２
８は同様に重みの前回更新量記憶領域の先頭アドレスを
、さらに前々回更新貴アドレス指示手段２９は重みの前
々回更新量記憶領域の先頭アドレスを保持する。

第１図（ｂ）は第２の発明、すなわち前々回の重み更新
量を用いることなく前回の重み更新量に基づいて新しい
重み更新量を求める場合の重み更新量保持方式の原理ブ
ロック図である。同図を第１の発明を示す第１図（ａｌ
と比較すると、前々回更新量アドレス指示手段２９が存
在しないことと、重み更新量記憶手段３０が重みの今回
更新量と前回更新量とをそれぞれ連続した領域に記憶す
る点が異なっている。

〔作　　　　用〕

階層ネットワーク、例えばニューラルネットワークの学
習時にネットワーク内の各内部結合にそれぞれ割当てら
れた重みの更新処理において、第１の発明では後述する
ように重みの前回更新量に加えて前々回更新量が用いら
れる。すなわち前回更新量アドレス指示手段２８と前々
回更新量アドレス指示手段２９の指示に基づいて求めら
れた重み更新量を用いて、今回の重み更新量が求められ
、重みが更新されるとともに、今回更新量が重み更新量
記憶手段２６内の今回更新量記憶領域に格納される。

その後今回更新量アドレス指示手段２７の内容が前回更
新量アドレス指示手段２８に、前回更新量アドレス指示
手段２８の内容が前々回更新量アドレス指示手段２９に
、また前々回更新量アドレス指示手段２９の内容が今回
更新量アドレス指示手段２７にサイクリックに転送され
る。

これによって更新量記憶手段２６に記憶されている記憶
内容をシフトさせることな（、例えば今回の重み更新量
は次の重み更新時には前回の重み更新量として用いられ
ることになる。第２の発明においては前々回の重み更新
量が今回の重み更新量の計算に用いられない点を除いて
はその作用は第１の発明におけると全く同様である。

以上のように、本発明においては重み更新量記憶手段２
６、または３０の内容の書替え（転送）を行うことなく
更新量アレス指示手段２７．２８．２９の内容をサイク
リックに転送することにより、重み更新量の保持が行わ
れる。

〔実　　施　　例〕

第２図は本発明の実施例の基本概念を示すブロック図で
ある。同図において、実施例は重みの更新量を保持する
３つの記憶装置の番号またはアドレスを保持する記憶装
置指定レジスタ３１、加算器３２、今回、前回および前
々回の重み更新量を保持するための３つの記憶装置３３
〜３５．３つの記憶装置３３〜３５に対して重みデータ
を人出力するためのバス３６から成る。なお記憶装置３
３〜３５は３つの記憶装置に分かれるものとしたがこれ
を１つの記憶装置とし、３つの記憶領域の先頭アドレス
を記憶装置指定レジスタ３１によって指示することもで
きることは当然である。

第２図においては、従来例の第６図と異なり、更新量の
種類と記憶装置との対応を取るための記憶装置指定レジ
スタ３１が用いられているために、例えば第１の発明に
おいて、今回更新量、前回更新量、前々回更新量を第１
から第３の記憶装置３３〜３５のどれに割当てるかを変
更できる点に特徴がある。

第１の発明においては今回の重み更新量は次式によって
求められる。

一βΔＷ（ｔ−２）　　・　・　・（３）する項である
。

本来今回の重み更新量を計算するにあたって前ものであ
り、第１項の更新量に対し、前回の更新量の影響を残す
ために用いられる。第１の発明においては、重み更新量
を求めるにあたってさらに前々回の重み更新量をΔＷ（
ｔ−２）をも用いるものとし、第３項が付は加えられる
。ここで第３項は例えば第２項と符号を逆にすることに
よって、第２項とは逆の影□響を第１項に与えることに
なる。

第２図において記憶装置指定レジスタ３１に与えられる
種類選択番号、すなわち今回、前回、前々回のいずれの
重み更新量であるかを示す番号によってレジスタ３１の
内容が選択され、その出力と第６図で説明した重み選択
信号とが加算器３２によって加算され、ネットワーク内
のどの内部結合かを示すアドレスが出力されて、そのア
ドレスに格納されている重み更新量を用いて重みの更新
が行われる。１回の学習が終ると記憶装置指定レジスタ
３１の内容はサイクリックにシフトされ、例えば現在、
今回を第１、前回を第２、前々回を第３の記憶装置に割
付けていたとすると、学習終了後には今回を第３、前回
を第１、前々回を第２に割付けることになる。

第２の発明においては重みの更新は前述の（１）式に従
って行われる。すなわち、第２の発明においては前々回
の重み更新量は用いられないために、更新量を記憶する
記憶装置は２つでよく、また記憶装置指定レジスタ３１
は２つの記憶装置の番号、またはアドレスを保持するの
みでよい。

第３図は本発明の重み更新量保持方式を用いるネットワ
ークシステムの実施例の全体構成図である。同図におい
てシステムはネットワークにおける学習処理などを実行
するネットワーク実行部３７、学習時の入カバターン、
および正しい出力信号としての教師信号パターンを保持
する学習パターン保持部３８、重みの更新を行う重み更
新部３９１．ネットワークの出力と正しい出力信号、す
な内の入力信号保持部３８ａからそのパターンの入力信
号がネットワーク実行部３７に、また教師信号保持部３
８ｂから正しい出力信号としての教師信号が誤差算出部
４０に与えられる。

そして主制御回路４１からの実行信号の入力によって、
ネットワーク実行部３７は出力を誤差算出部４０に与え
、また主制御回路４１がらの誤差算出信号によって誤差
算出部４ｏは誤差を算出する。主制御回路４１からの偏
微分選択信号が誤差算出部４０に入力されるまで、パタ
ーン選択信号の入力毎に前述と同様の動作が行われ、誤
差算出信号の入力によって誤差算出部４ｏに誤差がため
御を行う主制御回路４１から成る。

ネットワークの学習処理においては、まず主制御回路４
１から誤差算出部４０へ誤差クリア信号が与えられる。

これによって誤差算出部４０のクリアが行われる。その
後制御回路４１からのパターン選択信号によって、学習
パターン保持部３８行う。

この更新処理については後述するが、第６図の従来例に
おけると同様に主制御回路４１がらの制御信号としての
クリア信号、シフト信号、重み選択信号、重み読出し信
号、初期値設定信号、初朋値、学習パラメータ、重み更
新信号を用いて重みが更新され、新しい重みＷ　（ｔ）
が重み更新部３９からネットワーク実行部３７に出力さ
れる。

第４図は重み更新部３９の実施例の詳細構成ブロック図
であり、従来例の第６図に対応するものである。同図に
おいて、まず重み更新部３９と外部との間で入出力され
るクリア信号ｌから重み更新信号ＩＯまでの作用は、学
習パラメータ９に前々回の重み更新量との積をとるパラ
メータ　“−β゛が追加される点を除いては第６図の従
来例におけると　全く同様である。そして今回更新量メ
モリ１２、前回更新量メモリ１３、およびシフト機構２
３の代わりに重み更新量指定レジスタ４２、重み更新量
記憶装置（ＲＡＭ）４３．３つのレジスタ４４〜４６、
およびデータバス４７が設けられ、さらに乗算器４８と
学習パラメーターβを格納するためのパラメータレジス
タ４９、およびデイレイ５０が追加されている。

第４図の重み更新量指定レジスタ４２は第２図の記憶装
置指定レジスタ３１に相当し、第１の発明においては３
つのレジスタから成り、重み更新量記憶装置４３を３等
分したそれぞれの領域の先頭アドレスを保持している。

そしてシフト信号２の入力時点で、今回更新量レジスタ
の内容が前回更新量レジスタに、前回更新量レジスタの
内容が前々回更新量レジスタに、前々回更新量レジスタ
の内容が今回更新量レジスタに転送される。

また重み更新量記憶装置４３は例えばＲＡＭで構成され
、重みの今回更新量、前回更新量、前々回更新量をネッ
トワーク内の全ての内部結合について記憶するだけの容
量を持っている。その内容はクリア信号の入力時点で全
てＯにされる。そして加算器４４．４５．４６のいずれ
かの出力をアドレスとしてリードライト信号Ｒ／Ｗ（０
でリード、１でライト）によってＲＡＭ４３のアクセス
が行われ、データバス４７との間で重み更新量データの
入出力が行われる。

加算器４４は前々回更新量指定レジスタの内容と重み選
択信号３とを加算して、求める特定の重みのアドレスを
出力する。加算器４５および４６はそれぞれ加算器４４
と同様に前回更新量レジスタ、今回更新量レジスタの内
容と重み選択信号を加算して求める重みのアドレスを出
力する。

乗算器４８は（３）式の右辺第３項を求めるためのもの
で、パラメータレジスタ４９に格納されているーβと前
々回重み更新量との積をとる。デイレイ５０はタイミン
グ■をさらに１タイミングだけ遅らせたタイミング信号
■を得るためのものである。

本発明における初期設定と重みの読出しは第６図におけ
る従来例と同様に行われるが、パラメータレジスタ４９
に追加された学習パラメーターβが格納される点だけが
異なっている。

重みの更新処理においては、重み選択信号３と偏微分８
とがセットされ、さらに重み更新信号１０がセットされ
ると、まず加算器４４によって前々回更新量指定レジス
タの内容と重み選択信号３とが加算されて前々回重み更
新量のアドレスが求められ、これに続いて第４図におい
て■から■で示されたタイミングにおいて以下の動作が
行われる。

まずタイミング■２こおいて、重み更新量記憶装置４３
から重みの前々回更新量がデータバス４７に出力され、
また加算器４５によって前回更新量指定レジスタの内容
と重み選択信号３とが加算され前回重み更新量のアドレ
スが求められる。それと同時に乗算器４８によってデー
タバス４７の出力とパラメータレジスタ４９の内容との
積がとられ、（３）式の第３項が、また乗算器エフによ
って偏微分８とパラメータレジスタ１８の内容との積が
とられ（３）式の第１項が求められる。

重み更新信号１０の入力時点、すなわちタイミング■か
ら１タイミングだけデイレイ２ｏによって遅らされたタ
インミング■においては、重み更新量記憶装置４３から
前回更新量がデータバス４７に出力され、乗算器１６に
よってこの出力とパラメータレジスタ１９の内容との積
がとられ、（３）式の第２項が求められる。

次のタイミング■においては、加算器１５によって乗算
器１６．１７および１８の出力の和とじて（３）式の重
み更新量が求められる。同時に加算器４６によって今回
更新量指定レジスタの内容と重み選択信号３とが加算さ
れ、今回更新量のアドレスが求められ、またこのタイミ
ングに合わせて外部から重み読出し信号４が与えられる
。

タイミング■において重み更新量記憶装置４３は加算器
１５の出力、すなわち今回の重み更新量をデータバス４
７を介して読込み、これを所定のアドレスに記憶する。

また加算器１４によって重みデータメモリ１１内の更新
前の重みＷ（ｔ−１）と加算器１５の出力の和Δｗ　（
ｔ）との和として、更新された重みＷ　（ｔ）が求めら
れる。

最後にタイミング■において、加算器１４の出力、すな
わち新しい重みＷ　（ｔ）が重みデータメモリ１１の所
定のアドレスに書込まれる。以上の動作が全ての層、ユ
ニット、結線について行われ、重みデータメモリ１１、
および重み更新量記憶装置１３内の今回更新量記憶領域
の内容が更新される。その後シフト信号２がオンとされ
、重み更新量指定レジスタ４２の内容が前述のようにサ
イクリツクに転送される。

第５図は本発明における主制御回路の処理実施例のフロ
ーチャートである。処理がスタートすると、まずステッ
プ５１から５８で初期設定が行われる。ステップ５１で
重み更新量記憶装置４３の全ての内容をＯにするクリア
信号１がオンとされ、ステップ５２から５６で全ての重
みについて重みデータメモリＩＩの初期化が行われる。

すなわちステップ５３で重み選択信号３がセットされ、
初期化されるべき重みが特定された後に、ステップ５４
で初期値７がセットされ、ステップ５５で初期値設定信
号６がオンとされ、特定された重みに初期値７の値が書
込まれる。その後ステップ５６で重み読出し信号４がオ
ンとされた後にステップ５２に戻り、全ての重みについ
てステップ５３から５６の処理が行われる。

全ての重みについてこれらの処理が終わると、ステップ
５７で学習パラメータ９の値−ε、α、−βがそれぞれ
パラメータレジスタ１８．１９．４９にセットされ、ス
テップ５８で第３図の誤差算出部４０に対するクリア信
号がオンとされる。

ステップ５９から学習処理に移行するが、まずステップ
５９から６２において学習パターンに対する誤差の計算
処理が行われる。まずステップ６０でパターン選択信号
が学習パターン保持部３８に与えられ、その後ステップ
６１で実行信号がネットワーク実行部３７に与えられ、
ネットワークからの出力が誤差算出部４ｏに与えられる
。その後ステップ６２で誤差算出信号が誤差算出部４゜
に入力され、パターン選択信号によってステップ６０で
選択された学習パターンに対する誤差が誤差算出部４０
によって計算され、ステップ５９に戻る。ステップ５９
で全ての学習パターンについてステップ６０から６２の
処理が繰返され、全ての学習パターンについての誤差が
計算された後にステップ６３に移行する。

ステップ６３から６７の処理は重みの更新処理である。

まずステップ６４で偏微分選択信号が誤差算出部４０に
与えられ、ステップ６５で重み選択信号３がセットされ
、どの内部結合に対する重みを更新するかが特定される
。ステップ６６で重み更新信号１０がセントされ、第４
図で詳述したように重みの更新が行われ、ステップ６７
でネットワークに新しい重みを送るために重み読出し信
号４がオンとされ、ステップ６３に戻る。

ステップ６３で全ての重みについてステップ６４から６
７の処理が繰返された後に、ステップ６８でシフト信号
２がセットされ、重み更新量指定レジスタ４２の内容の
シフトが行われる。そしてステップ６９で学習が完了し
たと判定されるまでステップ５９からの学習処理が繰返
される。

〔発明の効果〕

以上詳細に説明したように、本発明によれば重み更新量
の実際の値を転送することなく重み更新量記憶装置の番
号または記憶装置内アドレスのみを転送するだけでよく
、学習１回毎のデータ転送量を大幅に減らすことができ
、学習速度の向上に寄与するところが大きい。

【図面の簡単な説明】

第１図（ａｌ、　（ｂ）は本発明の原理ブロック図、第
２図は本発明の実施例の基本概念を示すブロック図、 第３図は本発明の重み更新量保持方式を用いるネットワ
ークシステムの実施例の構成ブロック図、第４図は重み
更新部の実施例の詳細構成を示すブロック図、 第５図は主制御回路の処理実施例のフローチャートを示
す図、 第６図は重み更新量保持方式の従来例を示す図である。 １１・・・重みデータメモリ、 ３１・・・記憶装置指定レジスタ、 ３３．３４．３５・・・記憶装置、 ３７・・・ネットワーク実行部、 ３８・・・学習パターン保持部、 ３９・・・重み更新部、 ４０・・・誤差算出部、 ４１・・・主制御回路、 ３ ・・重み更新量指定レジスタ、 ・・重み更新量記憶装置（ＲＡＭ）

Claims (1)

1. 【特許請求の範囲】 １）前段層からの１つまたは複数の入力と該入力に対し
   てそれぞれ乗算されるべき重みとの積の和をとり、該和
   に対して出力を得るユニットを基本単位として、１つま
   たは複数個のユニットから構成される入力層を１段、１
   つまたは複数個のユニットから構成される中間層を１段
   または複数段、１つまたは複数個のユニットから構成さ
   れる出力層を１段備え、入力層と最前段の中間層の間、
   隣接する中間層の間、最後段の中間層と出力層の間にユ
   ニット相互間の内部結合を構成し、該内部結合にそれぞ
   れ重みを割当てることによって階層ネットワークを構成
   するデータ処理装置において、前記階層ネットワーク内
   の各内部結合にそれぞれ割当てられる重みの今回更新量
   、前回の更新量、および前々回更新量をそれぞれ連続し
   た領域に記憶する重み更新量記憶手段（２６）と、 該重み更新量記憶手段（２６）内で重みの今回更新量記
   憶領域の先頭アドレスを保持する今回更新量アドレス指
   示手段（２７）と、 該重み更新量記憶手段（２６）内で重みの前回更新量記
   憶領域の先頭アドレスを保持する前回更新量アドレス指
   示手段（２８）と、 該重み更新量記憶手段（２６）内で重みの前々回更新量
   記憶領域の先頭アドレスを保持する前々回更新量アドレ
   ス指示手段（２９）とを備え、前記今回更新量アドレス
   指示手段（２７）、前回更新量アドレス指示手段（２８
   ）、および前々回更新量アドレス指示手段（２９）の指
   示に基づき前記ネットワーク内の各内部結合に割当てら
   れた重みを更新した後に、今回更新量アドレス指示手段
   （２７）の内容を前回更新量アドレス指示手段（２８）
   に、前回更新量アドレス指示手段（２８）の内容を前々
   回更新量アドレス指示手段（２９）に、また前々回更新
   量アドレス指示手段（２９）の内容を今回更新量アドレ
   ス指示手段（２７）にそれぞれ転送することを特徴とす
   るネットワーク構成データ処理装置の重み更新量保持方
   式。 ２）前段層からの１つまたは複数の入力と該入力に対し
   てそれぞれ乗算されるべき重みとの積の和をとり、該和
   に対して出力を得るユニットを基本単位として、１つま
   たは複数個のユニットから構成される入力層を１段、１
   つまたは複数個のユニットから構成される中間層を１段
   または複数段、１つまたは複数個のユニットから構成さ
   れる出力層を１段備え、入力層と最前段の中間層の間、
   隣接する中間層の間、最後段の中間層と出力層の間にユ
   ニット相互間の内部結合を構成し、該内部結合にそれぞ
   れ重みを割当てることによって階層ネットワークを構成
   するデータ処理装置において、前記階層ネットワーク内
   の各内部結合にそれぞれ割当てられる重みの今回更新量
   、および前回更新量をそれぞれ連続した領域に記憶する
   重み更新量記憶手段（３０）と、 該重み更新量記憶手段（３０）内で重みの今回更新量記
   憶領域の先頭アドレスを保持する今回更新量アドレス指
   示手段（２７）と、 該重み更新量記憶手段（３０）内で重みの前回更新量記
   憶領域の先頭アドレスを保持する前回更新量アドレス指
   示手段（２８）とを備え、 前記今回更新量アドレス指示手段（２７）、および前回
   更新量アドレス指示手段（２８）の指示に基づき前記ネ
   ットワーク内の各内部結合に割当てられた重みを更新し
   た後に、今回更新量アドレス指示手段（２７）の内容を
   前回更新量アドレス指示手段（２８）に、また前回更新
   量アドレス指示手段（２８）の内容を今回更新量アドレ
   ス指示手段（２７）にそれぞれ転送することを特徴とす
   るネットワーク構成データ処理装置の重み更新量保持方
   式。