JPH01248268A - 神経回路網学習装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は、神経回路網の抽象化モデルである多層ネッ
トワークに対する正解付き問題データの学習過程におい
て、問題データを情報源とした前向き伝播処理、及び出
力値の誤差を情報源とした後向き伝４処理を、幾つかの
基本演算要素に分解し、更に、重みの同期修正機構と、
処理の中間結果を格納するスタックを付加した構成にて
、高速に学習を実行することを可能とする神経回路網学
習装置に関するものである。

「従来の技術」 多層ネットワークに正解付き問題データを与えて学習さ
せるアルゴリズムは後向き誤差伝播法（ｂａｃｋｐｒｏ
ｐａｇａ　ｔ　１ｏｎ）として知られている０例えば、
”　Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒ
ｏｃｅｓｓｉｎｇ　ＶｏｌビＤ、　Ｒｕｍｅｌｈａｒｔ
他著（ＭＩＴ　Ｐｒｅｓｓ）第８章に詳しい。

それは、以下のように大きく、前向き伝播処理と後向き
伝播処理に分けられる。今、以下のように記号を定める
。なお、入力層、隠れ層、出力層を構成するノードを、
各々、入力ノード、隠れノード、出力ノードと呼ぶ。

ｊ：着目したノード（隠れノードまたは出力ノード） ｐ：問題データと正解データの１（パターンと呼ぶ） Ｗハ：ノードｌからノードｊへの結合の重みθｊ　二ノ
ードｊのバイアス ０、−二パターンｐにおけるノード」の出力値ｔ２．：
パターンｐにおいて出力ノードｊが出力すべき値（正解
データ） Δ、ＷＪ、　：パターンｐにおける重みＷｊムの修正■
η；定数 〔前向き伝播処理〕　：パターンｐにおけるノードｊの
出力値Ｏｐｊを求める手順 ５ｅＪ−ΣＷ、、Ｏ，ム＋θ。

０ｓｊ＝　１　／　（１＋１ｌｌＸ１１（−Ｓ□））〔
後向き伝ｔＳ処理〕　：パターンｐにおける重みＷ、１
の修正量Δ、Ｗハを求める手順 Δ、Ｗｊ、＝ηδｐＪ　Ｏｐｉ 但し、ノードｊが出力層にあるときにはδｐｊ−Ｏｐｊ
（ｌ　　０ｐｊ）（ＬｅｊＯｐｊ）また、ノードｊが隠
れ層にあるときにはδｅＡ−Ｏｐｊ（１０，ｊ）Σδｐ
　ｋ　Ｗ　＊　ｊなお、学習の終了条件は一般に、特に
規定されていないが、各出力ノードの誤差の平方和（ま
たは、絶対（ｔ！りの全パターンに渡る総和が減少しな
くなったときく学習の飽和状態）、または出力ノ−ドの
誤差がいずれもある値以下になったとき（１００％学習
完了）に完了することとする。

多層ネットワークに対する正解付き問題データの学習過
程に関する従来技術は、各パターンについて、前記の前
向き伝播処理と後向き伝播処理を逐次に実行し、更に、
パターン間についても、１パターンずつ逐次に処理して
いた。

従来技術（３層ネットワーク）を第２図に示す。

学習処理の開始に先立ち、問題データ、正解データを、
各々、問題データ格納共用メモリ１１と正解データ格納
共用メモリ１２に格納しておく、また、入力層・隠れ層
間重みの初期値及び隠れ層・出力層間重みの初期値を、
各々、入力層・隠れ層間重み格納共用メモリ９、隠れ層
・出力層間重み格納共用メモリｌＯに格納する。その後
、学習開始指示者１の学習開始の合図により、学習制御
ｎ機構２は学習処理を開始する。即ち、問題データ格納
共用メモリ１１から問題データを一組読み込み、隠れ回
前向き評価機構４、出力層前向き評価機構５を顆に実行
し、その問題データに対する出力値を計算する（前向き
伝播処理）０次いで、正解データ格納共用メモリ１２か
ら正解データを読み込み、前向き伝播処理で計算した出
力値と正解データとの誤差を求め１．出力層重み修正量
ａｆ価機構７、隠れ層重み修正■評価機構８にて、誤差
を後向きに伝ｔＩｌシ、重みの修正■を求める。その後
、次の問題データを読み込み、同様の処理を行う、この
ようにして問題データを−通りスキャンした後、学習詞
ｍａ横２は学習の終了条件を満たしているかどうかをチ
エツクし、満たしていないときには、再度、スキャンを
始める。このように、従来の技術では、問題データを逐
次的に、また、前向き伝播処理と後向き伝播処理も逐次
的に処理しているため、ネットワーク規模とスキャン回
数が大きくなると、学習に要する時間が長大になるとい
う欠点があった。

本発明の目的は、神経回路網の抽象化モデルである多層
ネットワークに対する正解付き問題データの学習過程が
大型計算機を走らせ続けても何日もかかる稈長時間を要
していたという問題点を、学習機構の並列化とパイプラ
イン化により解決し、学習時間を大幅に短縮することに
ある。

「課題を解決するための手段」 この発明によれば、問題データを人力する入力層（１層
）、結果を出力する出力Ｎ（１層）、両者の間にある隠
れ層（１１１１以上）、及び隣接する層間をメツシュ状
に重み付きで結合する結合網から成る多層ネットワーク
に対する正解付き問題データの学習過程において、正解
付き問題データを共用メモリに格納し、問題データを情
報源として、入力層、隠れ層、出力層の順（前向き）に
、情報を伝播させて出力を計算する処理、及びその結果
得られる出力と正解データとの食い違い（誤差）を情報
源として、出力層から後向きに重みの修正■を計算して
いく処理を、乗算、加算、指数関数計算、重み修正量計
算等の基本演算要素に分解し、それらを多数配置し、更
に、重みを同期して一度に修正する同期機構と、処理の
中間結果を格納するスタックを付加した構成にて、前向
き、後向きの学習処理を全体として並列化かつパイプラ
イン化することにより、全体の学習処理を高速化する。

ここでは以下、３層ネットワークを例にとって説明する
が、従来の技術の項で説明した学習法が本来４１ｆｆ１
以上にも適用できることと対応して、４層以上において
も同様の議論が成立する。

「実施例」 この発明の実施例（３層ネットワーク）を第１図に示す
、学習処理の開始に先立ち、問題データ、正解データを
、各々、問題データ格納共用メモリ１１と正解データ格
納共用メモリ１２に格納しておく、また、入力層・隠れ
層間重みの初期値及び隠れ層・出力層間重みの初Ｍ値を
、各々、入力層・隠れ層間重み格納共用メモリ９、隠れ
層・出力層間重み格納共用メモリＩＯに格納する。その
後、学習開始指示者１の学習開始の合図により、学習制
御機構２は学習処理を開始する。

乗算回路２１ａは学習開始指示者１から学習開始の合図
により、問題データ格納共用メモリ１１から問題データ
０．ゑを、入力層・隠れ層間重み格納共用メモリ９から
入力層・隠れ層間重みＷｊ！を読み込み、両者の積ｗＪ
、ｏ、、を求める。収集加算回路２２ａは、それら積を
収集し、加算する。即ち、Σｗｊ、ｏ、、を求める。加
算・指数計算回路２３ａは収集加算結果にθｊを加えて
Ｓ＋＋Ｊを得、次いで１　／　（１＋ｅｘｐ　　（−ｓ
ｐＪ））の計算をして、隠れノードの出力値Ｏｐｊを求
める。その結果は問題データのｉｄと対にして隠れノー
ド出力値スタック３２に格納する。

２番目の乗算回路２１ｂは、隠れノードの出力値Ｏｐｊ
と、隠れ層・出力層間重み格納共用メモリ１０から読み
込んだ隠れ層・出力層間重みＷ　Ｊ　−）ら両者のｌ！
ｉｗハ０．ムを求める。２番目の収集加算回路２２ｂは
、それら積を収集加算し、Σ−ＪＩＯｐｌを求める。２
番目の加算・指数計算回路２３ｂは収集加算結果にθｊ
を加えてＳｐｊを得、次いで１　／　（１＋ｅｘｐ　　
（−３１））の計算をして、出力ノードの出力値Ｏｐｊ
を求める。

出力ノードデルタ評価回路２４は、出力ノードの出力値
Ｏｐｊと、正解データ格納共用メモリ１２から読み込ん
だ正解データｔ、ｊを元に、Ｏ＊ノ（１Ｏｐｊ）（Ｌ　
ｐｊＯＩＩＪ）を計算し、δ９．を求める。

重み修正量計算回路２５ａは、出力ノードデルタ評価回
路２４からδｐｋｊを、隠れノード出力値スタック３２
から現在処理中の問題データのｉｄに対応する隠れノー
ド１の出力値Ｏｐｉを、各々受け取り、ηδ２．ＯＨを
計算し、隠れ層・出力層間重み修正量Δ、Ｗ４．を求め
、結果を重み修正同期回路３１に送る。

３番目の乗〕γ回路２１ｃは、出力ノードデルタ評価回
路２４からδｐｋを、隠れ層・出力層間重み格納共用メ
モリ１０から隠れ層・出力層間重みＷ□を、各々、受け
取り、両者の積δｐｋ、Ｗ、ｊを計算する。３番目の収
集加算回路２２ｃは、それら禎を収集加算し、Σδｐｋ
、Ｗ、、を求める。隠れノードデルタｉｆ価回路２６は
、収集加算回路２２からΣδｐｋ、Ｗ、、を、阻れノー
ド出力値スタック３２から現在処理中の問題データのｉ
ｄに対応する隠れノード出力値Ｏｐｊを、各々得て、０
９Ｊ　（Ｉ　　Ｏ２，）Σδｅ　ｋ　Ｗ　ｋ　ｊを計算
し、δ２．を得る。２番目の重み修正量計算回路２５ｂ
は、隠れノードデルタ評価回路２６からδ２．を、問題
データ格納共用メモリ１１から現在処理中の問題データ
のｌｄに対応する（入力ノードｉへ入力する）問題デー
タｏ、１を、各々受け取り、ηδ＊ｊＯｓｉを計算し、
入力層・隠れ層間重み修正量Δ、Ｗｊムを求め、結果を
重み修正同期回路３１に送る。

重み修正同期回路３１は、問題データのｉｄに対応する
隠れ層・出力層間重み修正量と入力層・隠れ層間重み修
正量が全て転送されてくると、それらを各々、隠れ層・
出力層間重み格納共用メモリ１０と入力層・隠れ層間重
み格納共用メモリ９に古き出す。

以上のように、前向き伝播処理及び後向き伝播処理を基
本的な幾つかの演算回路に分解し、それらを各々ノード
の数だけ用意し、更に、重み修正同期回路３１と、隠れ
ノード出力値スタック３２を追加することにより、多数
の演算回路を並列に動作させ、更には、一つの問題デー
タの処理の終了を待つことなく、つぎつぎとパイプライ
ン動作させることにより、問題データをインクリーブし
て処理することができ、基本回路の間に処理時間のバラ
ツキがないとすれば、基本的には、用意する回路の数だ
けの高速化が図れる。

学習制御機構２ば、出力ノードデルタ評価回路２４から
、出力値の誤差Ｃｔｖｊ　Ｏｐノ）を求めておき、問題
データを−通りスキャンする度に、学習の終了条件を満
たしているかどうかをチエツクし、満たしていないとき
には、再度、スキャンを始める。

この発明によれば、ｎ番目の問題データの誤差による重
みの修正はすぐ（つまり、ｎ＋１番目の問題データの処
理）には反映されず、パイプラインの深さだけ後になっ
て反映されるが、その点は別設問題とはならない。

この発明の実現法としては、勿論、具体的な多層ネット
ワーク対応に上記の通りに回路を組んでもよい、あるい
は、処理要素（ＰＥ）を高速な結合網（例えば、ハイパ
ーキエーブ）で多数結合した高並列計算機（例えば、Ｃ
ｏｎｎｅｃｔｉｏｎ　Ｍａｃｈｉｎｅ。

ＮＣＵＢ［りにおいて、各処理要素に上記の基本演算回
路を対応させることによっても、この発明は実現できる
。

「発明の効果」 この発明によれば、前向き伝播処理及び後向き伝播処理
を基本的な幾つかの演算回路に分解し、それらを各々多
数用意して並列に動作させ、更に、それらをパイフライ
ン動作させることにより、問題データを次々とインクリ
ープして処理することができ、基本回路の間に処理時間
のバラツキがないとすれば、基本的には、用意する回路
の数だけの高速化が図れる。Ｉ！ｊち、例えば１０００
個の処理ユニットに基本回路の処理を分散すれば、従来
技術での処理と比べ、ＰＥの計算スピード（クロック）
が同じとすれば、約１０００倍の高速化が得られる。

【図面の簡単な説明】

第１図は３層ネットワークに対するこの発明の実施例を
示すブロック図、第２図は３層ネットワークに対する従
来学習装置を示すブロック図である。

Claims (1)

【特許請求の範囲】
1. （１）問題データを入力する入力層、結果を出力する出
   力層、両者の間にある隠れ層、及び隣接する層間をメッ
   シュ状に重み付きで結合する結合網から成る多層ネット
   ワークに対する正解付き問題データを学習する神経回路
   網学習装置において、問題データが格納される問題デー
   タ格納共用メモリと、 正解データが格納される正解データ格納共用メモリと、 入力層・隠れ層間重みが格納される入力層・隠れ層間重
   み格納共用メモリと、 隠れ層・出力層間重みが格納される隠れ層・出力層間重
   み格納共用メモリと、 上記問題データ格納共用メモリからの問題データＯ＿ｐ
   ＿ｉと上記入力層・隠れ層間重み格納共用メモリからの
   入力層・隠れ層間重みＷ＿ｊ＿ｉを読み込み両者の積Ｗ
   ＿ｊ＿ｉＯ＿ｐ＿ｉを求める第１乗算手段と、その積を
   収集加算してΣＷ＿ｊ＿ｉＯ＿ｐ＿ｉを求める第１収集
   加算手段と、 その収集加算結果にバイアスθ＿ｊを加えてＳ＿ｐ＿ｊ
   を得、次いで１／（１＋ｅｘｐ（−Ｓ＿ｐ＿ｊ））を計
   算して隠れノードの出力値Ｏ＿ｐ＿ｊを求める第１加算
   ・指数計算手段と、 その出力値が問題データｉｄと対にして格納される隠れ
   ノード出力値スタックと、 上記隠れノードの出力値Ｏ＿ｐ＿ｊと上記隠れ層・出力
   層間重み格納共用メモリからの隠れ層・出力層間重みＷ
   ＿ｊ＿ｉとの積Ｗ＿ｊ＿ｉＯ＿ｐ＿ｊを求める第２乗算
   手段と、 その積を収集加算してΣＷ＿ｊ＿ｉＯ＿ｐ＿ｊを求める
   第２収集加算手段と、 その収集加算結果にバイアスθ＿ｊを加えてＳ＿ｐ＿ｊ
   を得、次いで１／（１＋ｅｘｐ（−Ｓ＿ｐ＿ｊ））を計
   算して出力ノードの出力値Ｏ＿ｐ＿ｊを求める第２加算
   ・指数計算手段と、 上記出力ノードの出力値Ｏ＿ｐ＿ｊと上記正解データ格
   納共用メモリからの正解データｔ＿ｐ＿ｊを元にＯ＿ｐ
   ＿ｊ（１−Ｏ＿ｐ＿ｊ）（ｔ＿ｐ＿ｊ−Ｏ＿ｐ＿ｊ）を
   計算してδ＿ｐ＿ｊを求める出力ノードデルタ評価手段
   と、 そのδ＿ｐ＿ｊと、上記隠れノード出力スタックからの
   現在処理中の問題データｉｄに対応する隠れノード出力
   値Ｏ＿ｐ＿ｉとを受け取り、ηδ＿ｐ＿ｊＯ＿ｐ＿ｉを
   計算して隠れ層・出力層間重み修正量Δ＿ｐＷ＿ｊ＿ｉ
   を求める第１重み修正量計算手段と、 上記出力ノードデルタ評価回路からのδ＿ｐ＿ｋと、上
   記隠れ層・出力層間重み格納共用メモリからの隠れ層・
   出力層間重みＷ＿ｋ＿ｊを受け取り、両者の積δ＿ｐ＿
   ｋＷ＿ｋ＿ｊを計算する第３乗算手段と、その積を収集
   加算してΣδ＿ｐ＿ｋＷ＿ｋ＿ｊを求める第３収集加算
   手段と、 そのΣδ＿ｐ＿ｋＷ＿ｋ＿ｊと、上記隠れノード出力値
   スタックの現在処理中の問題データに対応する隠れノー
   ド出力値Ｏ＿ｐ＿ｊとを得てＯ＿ｐ＿ｊ（１−Ｏ＿ｐ＿
   ｊ）Σδ＿ｐ＿ｋＷ＿ｋ＿ｊを計算してδ＿ｐ＿ｊを得
   る隠れノードデルタ評価手段と、 そのδ＿ｐ＿ｊと、上記問題データ格納共用メモリから
   現在処理中の問題データｉｄと対応する問題データＯ＿
   ｐ＿ｉとを受け取り、ηδ＿ｐ＿ｌＯ＿ｐ＿ｊを計算し
   て入力層・隠れ層間重み修正量Δ＿Ｗ＿ｊ＿ｉを求める
   第２重み修正量計算手段と、 上記第１重み修正量計算手段からの隠れ層・出力層間重
   み修正量と、上記第２重み修正量計算手段からの入力層
   ・隠れ層間重み修正量とを受けとり、それらを上記隠れ
   層・出力層間重み格納共用メモリ、上記入力層・隠れ層
   間重み格納共用メモリに書き出す重み修正同期手段とを
   具備する神経回路網学習装置。