JP2729987B2 - ネットワーク構成データ処理装置の重み保持方式 - Google Patents

Description

【発明の詳細な説明】 〔概要〕 ニューラルネットワークにおける各ニューロンへの入
力に対する重みを効率的に保持するためのネットワーク
構成データ処理装置の重み保持方式に関し、 実際のネットワーク構成に必要な記憶容量のみを使用
し、しかも各層のユニット数にバラつきのあるネットワ
ーク構成でもまとまった重み記憶領域を割付けることに
より、学習などの速度低下を防ぐことを目的とし、 前段層からの１つまたは複数の入力と、該入力に対し
てそれぞれ乗算されるべき重みとの積を合計し、該合計
に対する出力を得るユニットを基本単位とし、１つまた
は複数個のユニットからなる中間層を１段、１つまたは
複数個のユニットからなる中間層を１段または複数段、
１つまたは複数個のユニットからなる出力層を１段備え
て、入力層と最前段の中間層の間、隣接する中間層の
間、最後段の中間層と出力層の間にユニット相互間の内
部結合を構成して、該内部結合にそれぞれ重みを割当て
ることによって階層ネットワークを構成するデータ処理
装置において、前記階層ネットワークの各内部結合にそ
れぞれ割当てられる重みまたは重み更新量を、前記中間
層および出力層の各層毎に、かつ各層内部の全ユニット
の各ユニット毎に連続した領域に記憶する重み記憶手段
と、該重み記憶手段内で前記各層内部の全ユニットの各
ユニットに対応する重みまたは重み更新量の格納領域の
先頭アドレスを、前記各層内の全ユニット毎に連続した
領域に記憶するユニット指定データ記憶手段と、該ユニ
ット指定データ記憶手段内で前記各層の全ユニット毎の
連続領域の各先頭アドレスを記憶する層指定データ記憶
手段とを備え、該層指定データ記憶手段とユニット指定
データ記憶手段との内容から求められる、各ユニットに
対する重みまたは重み更新量の重み記憶手段内の先頭ア
ドレスを用いて、前記各内部結合に割当てられる重みま
たは重み更新量にアクセス可能とするように構成する。

〔産業上の利用分野〕

本発明はネットワーク構成データ処理装置の学習処理
方式に係り、さらに詳しくは例えばニューラルネットワ
ークにおける各ニューロンへの入力に対する重みを効率
的に保持するためのネットワーク構成データ処理装置の
重み保持方式に関する。

従来の逐次処理コンピュータ、すなわちノイマン型コ
ンピュータでは使用方法や環境の変化に応じてコンピュ
ータのデータ処理機能を調節することが難しく、このた
め適応性を有するデータ処理方式として階層ネットワー
クによる並列分散処理方式が提唱されてきている。特
に、バックプロパゲーション法と呼ばれる処理方法がそ
の実用性の高さから注目されている。

階層型ネットワークを実現するためには大量の重みの
情報を管理する必要がある。また重みは頻繁に使用され
るものであり、重みへのアクセス速度はできるかぎり速
くなければならない。しかもネットワークの構成はアプ
リケーションによって変化するだけではなく、運用時に
データの増加などで変更されることもあり得るので、重
みの記憶方式はネットワークの構成変化に対応できるよ
うな柔軟性が必要とされる。

〔従来の技術〕

階層ネットワーク、例えばパーセプトロン型ネットワ
ークは幾つかの層から成る階層的なもので、各層は適当
な数のユニットから成り、層内の結合はなく、層間の結
合は入力層（第１層）から出力層（最終層）へ向けての
１方向の結合のみである。入力層を除く各層のユニット
は、前の層のユニットからの重み付き入力を受けてその
総和を求め、その総和に対する適当な関数値を出力す
る。関数としては例えば総和の値がある値より大きい時
に１、小さい時に０となる閾値関数などが用いられる。

このような階層ネットワークにおいて、重みまたは学
習時の重み更新量を保持するために、従来は想定される
層数の最大値と各層内の最大ユニット数に対する記憶領
域があらかじめ用意されており、ソフトウェア（Ｃ言
語）で表現すれば次のようになる。

doule W〔MAXLAYER〕〔MAXUNIT〕〔MAXUNIT〕； 第４図はハードウェアによる重み保持方式の従来例で
ある。同図は層数の最大値が10で、各層が最大1000個の
ユニットから構成される場合に対応するものである。す
なわち、ネットワークは第０層から第９層まで、各層は
第０番目から第999番目のユニットで構成される場合を
対象としている。第４図において領域１から５は第１
層、すなわち第１中間層の第０番目、すなわち初めのユ
ニットに対する重みを格納しており、入力層からの第０
入力、第１入力、第２入力、・・・第999入力に対する
重みを表している。次に領域６、７、８は第１層、第１
番目のユニットへの第０、・・・第999入力に９対する
重みを表し、領域10、11、12は第１層、第999番目のユ
ニットへの第０、・・・第999入力に対する重みを表し
ている。以下同様に第２層、第３層、・・・内のユニッ
トへの入力に対する重みが格納され、領域17、18、19に
第９層、第999番目のユニットへの入力に対する重みが
格納されている。

このように最大10層まで、各層では最大1000個のユニ
ットまでを実現できるようにするためには記憶容量は 10×1000×1000＝10Mワード 必要である。

〔発明が解決しようとする課題〕

上述のように、従来の重み保持方式においては想定さ
れる最大の層数と層内の最大ユニット数に対する記憶容
量があらかじめ用意されるために、実際に使用されるネ
ットワークの構成が例えば３層であり、入力層内のユニ
ットが1000個、中間層のユニットが10個、出力層のユニ
ットが20個というようにユニット数にバラつきがある構
成の場合には、実際に必要な記憶領域は 1000×10＋10×20＝10200ワード であるにもかかわらず、上述のように10Mワード分記憶
領域が用意されると、記憶領域の使用効率が極端に低い
という問題点があった。

しかし、実際に使用される領域が10Mワード空間の中
の分散した領域に割当てられてしまうことになり、仮想
記憶を利用した計算機の場合には、ディスクアクセスが
頻繁に起こり、学習速度や実行速度の低下を招くという
問題点もあった。

本発明は、実際のネットワーク構成に必要な記憶容量
のみを使用し、しかも各層のユニット数にバラつきのあ
るネットワーク構成でもまとまった重み記憶領域を割付
けることにより、学習などの速度低下を防ぐことを目的
とする。

〔課題を解決するための手段〕

第１図は本発明の原理ブロック図である。同図は前段
層からの１つまたは複数の入力と、その入力に対してそ
れぞれ乗算されるべき重みとの積の総和から出力を得る
ユニット、例えば閾値素子を基本単位として、１つまた
は複数個のユニットから構成される入力層、１つまたは
複数個のユニットから構成される１段または複数段の中
間層、および１つまたは複数個のユニットから構成され
る出力層を備えて、入力層と最前段の中間層の間、隣接
する中間層の間、最後段の中間層と出力層の間にユニッ
ト相互間の内部結合を構成して、それらの各内部結合に
それぞれ重みを割当てることによって階層ネットワーク
を構成するデータ処理装置における重み保持方式の原理
ブロック図である。

第１図において重み記憶手段20は、例えばランダムア
クセスメモリ（RAM）であり、前述の階層ネットワーク
の各内部結合にそれぞれ割当てられる重みまたは学習時
の前回重み更新量を、中間層および出力層の各層毎に一
括して、かつ各層内部の全ユニットの各ユニット毎に連
続した領域に記憶する。

ユニット指定データ記憶手段21は例えばレジスタであ
り、重み記憶手段20の内部で各層内部の全ユニットの各
ユニットに対応する重みの格納領域の先頭アドレスを各
層内の全ユニット毎に連続した領域に記憶する。

層指定データ記憶手段22は例えばレジスタであり、ユ
ニット指定データ記憶手段21内における各層の全ユニッ
ト毎の各連続領域の先頭アドレスを記憶する。

例えばネットワークが入力層、中間層、出力層の３層
から成るものとすると、層指定データ記憶手段22は中間
層と出力層とに対応する２つの領域から成り、例えば中
間層に対応する領域は中間層内の第０ユニットへの第０
入力に対する重みを格納している重み記憶手段20のアド
レスを格納したユニット指定データ記憶手段21内の領域
のアドレスを指示することになる。

〔作用〕

前述のように、本発明においては階層ネットワークの
各内部結合にそれぞれ割当てられる重みまたは重み更新
量が、例えば主記憶またはRAM内のまとまった領域に格
納される。そして、例えば特定層内の特定ユニットへの
特定入力に対する重みにアクセスする場合には、まず層
指定データ記憶手段22内部の対応する層の領域が選ば
れ、その領域の内部からユニット指定データ記憶手段21
内でその層の第０番目のユニットに対応する領域が指示
される。そして、アクセスすべきユニットが第何番目の
ユニットであるかによって、ユニット指定データ記憶手
段21内の対応するユニットに対する格納領域が選ばれ、
その領域の内容から重み記憶手段20内でそのユニットの
第０番目の入力に対する重みの格納領域が求められ、ア
クセスすべき重みが第何番目の入力に対応するものかに
よって、その入力に対する重みがアクセスされる。

以上のように、本発明においては、実際のネットワー
ク構成に必要なだけの記憶領域がまとまって主記憶また
はRAM上に確保される。

〔実施例〕

第２図は本発明の重み保持方式の実施例の基本概念図
である。同図において層指定記憶装置23は第１図におけ
る層指定データ記憶手段22に、ユニット指定記憶装置24
はユニット指定データ記憶手段21に、また主記憶25は重
み記憶手段20にそれぞれ対応する。層指定記憶装置23、
およびユニット指定記憶装置24は主記憶上にあってもよ
く、またレジスタで構成されてもよい。

第２図は入力層が1000個、中間層が10個、出力層が20
個のユニットから構成される３層ネットワークに対する
重みの保持方式を示している。層指定記憶装置23内の第
１中間層が中間層に、また第２中間層が出力層に相当す
る。第３中間層から出力層に対する領域はここでは用い
られていない。第４図の従来例と比較すると、本発明で
は実際のネットワーク構成に必要な分だけ主記憶上の領
域が用いられていることに相違がある。

第２図ではネットワーク内のユニット相互間の内部結
合に対する重みがユニット毎に連続して主記憶上に割付
けられる。すなわち、入力層が1000個、中間層が10個、
出力層が20個のユニットで構成されるネットワークの場
合には、まず中間層の第０ユニットが持つ重み1000個分
が主記憶上に取られる。そして、その先頭アドレスがユ
ニット指定記憶装置24の第１ワードに、第０ユニットに
対するデータとして格納される。次に中間層の第１ユニ
ットが持つ重み1000個分が主記憶上に取られ、その先頭
アドレスがユニット指定記憶装置24の第２ワードとして
格納される。以下同様にして各ユニットに対する重みが
主記憶25上に一まとめに連続して格納され、さらにそれ
らの連続領域の先頭アドレスがユニット指定記憶装置24
に格納される。

以上のような格納方式を用いることによって、主記憶
25上に領域の無駄を生ずることなく重みを配置すること
ができ、また各ユニットに対する重みの先頭アドレスは
ユニット指定記憶装置24内に格納されているため、重み
への高速アクセスが可能となる。さらにユニット指定記
憶装置24内の各層の第０ユニットに対するデータを格納
している領域のアドレスを層指定記憶装置23に格納する
ことにより、層、ユニット、重みの番号が与えられれ
ば、層指定記憶装置23、ユニット指定記憶装置24を介し
て主記憶25上の該当する重みにアクセスすることができ
る。

第３図は本発明の重み保持方式の実施例の構成ブロッ
ク図である。同図は主制御回路（MPU）26、３つのセレ
クタ27、28、29、第２図の層指定記憶装置23に対応する
層指定レジスタ30、ユニット指定記憶装置24に対応する
ユニット指定レジスタ31、主記憶25に対応する重みRAM3
2、２つの加算器33、34、および主制御回路（MPU）26と
重みRAM32との間の重みデータバス35から成る。

主制御回路（MPU）26は層番号、ユニット番号、重み
番号、重みの読み出し／書込み（R/W）信号、及び重み
データ用の信号線を持っている。セレクタ27は主制御回
路26から指定される層番号によって層指定レジスタ30の
１つを選ぶものである。層指定レジスタ30は、例えば10
層までのネットワークを実現するためには10個のレジス
タ、または10ワード分のメモリによって構成され、その
内容は各層の先頭ユニットに対応するユニット指定レジ
スタの番号である。

セレクタ28は主制御回路26から与えられるユニット番
号によってユニット指定レジスタ31の１つを選ぶもので
あり、ユニット番号と層指定レジスタ30が出力するアク
セスすべき層内の第０ユニット指定レジスタ番号との和
が加算器33によって取られ、その和を用いてアクセスす
べきユニットを指定するレジスタが選ばれる。

セレクタ29は主制御回路26の出力する重み番号によっ
て重みRAM32の１つの領域を選ぶセレクタである。すな
わち加算器34によって、重み番号とユニット指定レジス
タ31の出力である重みRAM32内のアクセアスすべきユニ
ットに対する重みの先頭アドレスとが加算され、それを
用いて重みRAMの１つの領域がアクセスされる。

ユニット指定レジスタ31は、例えば最大ユニット数20
00個のネットワークを実現するためには2000個のレジス
タ、または2000ワード分のメモリによって構成される。
また重みRAM32としては専用のRAMを用意してもよく、ま
た主記憶の１部を使ってもよい。なお、層指定レジスタ
30、ユニット指定レジスタ31、重みRAM32の全てを主記
憶上に取ることもでき、その場合にはセレクタの機能と
加算器の機能はMPU26がソフトウェアによって行うこと
もできる。すなわち層番号から主記憶内の層指定レジス
タ内の対応する部分を読出し、その内容とユニット番号
の和を取り、それを基にして主記憶内のユニット指定レ
ジスタ内の対応する部分を読出し、その内容と重み番号
の和から最終的な重みのアドレスを得てその重みにアク
セスすることができる。このように層指定レジスタ30、
ユニット指定レジスタ31、および重みRAM32を全て主記
憶上で実現した場合には、層数およびユニット数の制限
もなくなり、主記憶を無駄なく使えるために、主記憶容
量が許す限り大きなネットワークを構築することができ
る。

〔発明の効果〕

以上詳細に説明したように、本発明によれば、主記憶
上に領域の無駄を生ずることなくネットワークの内部結
合に対する重みを連続領域にまとめて配置することがで
きる。そのため仮想記憶管理としての外部記憶のアクセ
スを減らすことができ、重みまたは重み更新量に対する
高速アクセスが可能となる。

【図面の簡単な説明】

第１図は本発明のブロック図、 第２図は本発明の重み保持方式の実施例の概念を示す
図、 第３図は重み保持方式の実施例の構成を示すブロック
図、 第４図はハードウェアによる重み保持方式の従来例を示
す図である。 26……主制御回路（MPU）、 27、28、29……セレクタ、 30……層指定レジスタ、 31……ユニット指定レジスタ、 32……重みRAM、 33、34……加算器．

フロントページの続き (72)発明者 大和田 有理 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】前段層からの１つまたは複数の入力と、該
   入力に対してそれぞれ乗算されるべき重みとの積を合計
   し、該合計に対する出力を得るユニットを基体単位と
   し、１つまたは複数個のユニットからなる入力層を１
   段、１つまたは複数個のユニットからなる中間層を１段
   または複数段、１つまたは複数個のユニットからなる出
   力層を１段備えて、入力層と最前段の中間層の間、隣接
   する中間層の間、最後段の中間層と出力層の間にユニッ
   ト相互間の内部結合を構成して、該内部結合にそれぞれ
   重みを割り当てることによって階層ネットワークを構成
   するデータ処理装置において、 前記階層ネットワークの各内部結合にそれぞれ割り当て
   られる重みまたは重み更新量を、前記中間層及び出力層
   の各層毎に、かつ各層内部の各ユニット毎に記憶する重
   み記憶手段（20）と、 該重み記憶手段（20）内で前記各層内部の各ユニットに
   対応する重みまたは重み更新量の格納領域が連続した記
   憶領域になるような先頭アドレスを、前記各層内の各ユ
   ニット毎に記憶するユニット指定データ記憶手段（21）
   と、 該ユニット指定データ記憶手段（21）内の前記各層に属
   する各ユニット毎の記憶領域の各先頭アドレスを記憶す
   る層指定データ記憶手段（22）とを備え、 該層指定データ記憶手段（22）とユニット指定データ記
   憶手段（21）との内容から求められる、重み記憶手段
   （20）内の各ユニットに対する重みまたは重み更新量が
   記憶されるべき記憶領域の先頭アドレスを用いて、前記
   各内部結合に割当てられる重みまたは重み更新量を記憶
   する記憶領域を連続した記憶領域に確保することを特徴
   とするネットワーク構成データ処理装置の重み保持方
   式。