JPH0782482B2 - ニューロコンピュータの負荷配分方法 - Google Patents

Description

【発明の詳細な説明】 〈産業上の利用分野〉 この発明は、神経回路素子モデルに基づいて構成された
大規模な神経回路網を多数のプロセッサを用いてシミュ
レーションするニューロコンピュータの負荷配分方法に
関する。

〈従来の技術〉 従来、神経回路素子モデルに基づいて構成された大規模
な神経回路網をシミュレーションするために、汎用コン
ピュータが用いられているが、回路網の学習に際して非
常に長い計算時間を要していた。そこで、高速化を図る
ために、神経回路網の計算は同種の神経回路素子に対し
て同じ計算を行うという特徴を利用して、神経回路素子
ごとに実際のプロセッサ（以下、「実プロセッサ」とい
う）を１つ割り当てるか、もしくは複数の神経回路素子
に対して１つの実プロセッサを割り当てて並列処理を行
うようにした並列計算機が提案されている。

上記並列計算機の各プロセッサ間の結合方式には格子型
結合、クロスバー型結合、ツリー型結合、多段クロスバ
ー型結合、キューブ型結合などの様々な方式がある。し
かし、これらの結合方式は神経回路網が大規模になって
プロセッサの数が増えると、配線数が非常に多くなって
実装が複雑になるものであった。

最近、本出願人は、非常に単純な結合方式の並列計算機
として、神経細胞に相当する細胞プロセッサＣと、シナ
プスの結合に相当する重みプロセッサＷと、外部装置か
ら入力データを取り込む入力プロセッサと、外部装置に
データを転送する出力プロセッサと、外部装置から入力
データを取り込んで外部装置にデータを転送する入出力
プロセッサに対応する５種類の仮想プロセッサを所定の
パターンの行列に配置すると共に格子状円環体もしくは
格子状矩形面に接続したことを特徴とするニューロコン
ピュータを提案した（特願昭63−330971号，特願昭64−
24307号）。このニューロコンピュータは、上記仮想プ
ロセッサの行列を行方向にＰ分割，列方向にＱ分割し
て、分割された矩形領域をＰ行,Q列の行列に配列した実
プロセッサにそれぞれ割り当てて、この実プロセッサに
よって神経回路網のシミュレーションを並列処理するよ
うにしている。これにより、非常に単純な結合方式によ
って、大規模な神経回路網のシミュレーションを可能に
している。

〈発明が解決しようとする課題〉 ところで、神経回路網の代表的なモデルとして第10図
（ａ）乃至（ｄ）に示すようなものがある。第10図
（ａ）は階層的なネットワーク（例えばパーセプトロ
ン）、同図（ｂ）はフィードバックを含む階層的なネッ
トワーク（コグニトロン）、同図（ｃ）は層内結合を含
む階層的なネットワーク（相互抑制のあるネットワー
ク）、同図（ｄ）は相互結合のネットワーク（ホップフ
ィールドのネットワーク，ボルツマンマシン）を示して
いる。そして、上記第10図（ａ），（ｂ）に示したモデ
ルでは各層間のすべての神経素子に結合があるとき、同
図（ｃ）に示したモデルでは同一層内および層間の全て
の神経素子に結合があるとき、同図（ｄ）に示したモデ
ルでは全ての神経素子間に結合があるとき、これらのモ
デルに合わせて上記格子状円環体もしくは格子状矩形面
に接続した仮想プロセッサを構成すると、仮想プロセッ
サの行列のパターンはそれぞれ第11図（ａ），（ｂ），
（ｃ），（ｄ）に示すようになる。これらの図におい
て、Ｗは重みプロセッサ,Oは零プロセッサ（神経素子間
の結合がない場合に相当する）,Cは細胞プロセッサを示
しており（以下の図において同様）、簡単のため第１行
に配置した入力プロセッサ，出力プロセッサおよび入出
力プロセッサを省略している。これらの図からわかるよ
うに、各仮想プロセッサの行列に、同種のプロセッサだ
けが占める矩形領域と、対角成分を１つの種類のプロセ
ッサ，非対角成分を他の１つの種類のプロセッサが占め
る矩形領域とが生ずる。上記第１行を除いて、これらの
矩形領域を分類すると、第12図（ａ）乃至（ｅ）に示す
ように、５種類の矩形領域に分類される。第12図
（ａ），（ｂ）は前者のタイプ，同図（ｂ），（ｃ），
（ｄ）は後者のタイプを示している。

上記従来のニューロコンピュータは、このような仮想プ
ロセッサの行列を（Ｐ×Ｑ）個に分割して、そのまま各
実プロセッサに割り当てているので、処理量（計算負
荷）の多い上記細胞プロセッサＣや重みプロセッサＷが
実プロセッサ間で偏って割り当てられることになる。そ
のため、処理を実行する際、上記実プロセッサのうちで
待ち状態になるものが生じて並列処理の効率が落ち、本
来の高速性能が生かせないという問題がある。

そこで、この発明の目的は、仮想プロセッサを実プロセ
ッサに計算負荷が均等になるように割り当てることによ
って並列処理の効率を上げ、高速処理を可能にしたニュ
ーロコンピュータの負荷配分方法を提供することにあ
る。

〈課題を解決するための手段〉 上記目的を達成するために、この発明のニューロコンピ
ュータの負荷配分方法は、神経回路網のモデルに対応し
て行列に配置した、神経細胞に相当する細胞プロセッサ
と、シナプスの結合に相当する重みプロセッサと、外部
装置から入力データを取り込む入力プロセッサと、外部
装置にデータを転送する出力プロセッサと、外部装置か
ら入力データを取り込んで外部装置にデータを転送する
入出力プロセッサとの５種類の仮想プロセッサを、神経
回路網の計算を並列に行うためのＰ行,Q列の行列に配列
した実プロセッサに割り当てるニューロコンピュータの
負荷配分方法であって、上記仮想プロセッサの行列は、
神経回路網のモデルに対応して、同種のプロセッサのみ
が隣接して並ぶ矩形領域と、ある１種のプロセッサが対
角成分を占め、異種のプロセッサが非対角成分を占める
矩形領域とを有し、上記各矩形領域を、列方向または行
方向の少なくとも一方向に、全実プロセッサ数（Ｐ×
Ｑ）または上記一方向の実プロセッサ数ＱもしくはＰで
分割して、上記各矩形領域に列数または行数が等しい複
数のブロックを形成するとともに、上記各矩形領域で生
じた剰余の列または行をまとめて剰余配列を形成し、上
記各矩形領域の複数のブロックを、上記一方向に並ぶ実
プロセッサに、ブロック単位で分散して割り当てた後、
上記剰余配列の複数の列または行を、上記一方向に並ぶ
実プロセッサに、列または行単位で分散して割り当てる
ことを特徴としている。

〈作用〉 この発明のニューロコンピュータの負荷配分方法では、
仮想プロセッサの行列の各矩形領域を、列方向または行
方向の少なくとも一方向に、全実プロセッサ数（Ｐ×
Ｑ）または上記一方向の実プロセッサ数ＱもしくはＰで
分割して、上記各矩形領域に列数または行数が等しい複
数のブロックを形成する。上記各矩形領域で剰余の列ま
たは行が生じた場合は、生じた剰余の列または行をまと
めて剰余配列を形成する。次に、上記各矩形領域の複数
のブロックを、上記一方向に並ぶ実プロセッサに、ブロ
ック単位で分散して割り当てる。このとき、各矩形領域
のブロック数は、分割数に応じて、上記一方向に並ぶ実
プロセッサ数の整数倍（Ｐ倍もしくはＱ倍または１倍）
となっている。したがって、各矩形領域の複数のブロッ
クは各実プロセッサに同数ずつ均等に分散される。この
後、上記剰余配列の複数の列または行を、上記一方向に
並ぶ実プロセッサに、列または行単位で分散して割り当
てる。例えば、上記一方向に並ぶ実プロセッサに１列ま
たは１行ずつ順に周期的に割り当てる。このようにした
場合、上記一方向の実プロセッサ同士では割り当てられ
る仮想プロセッサの列数又は行数の差が高々１つにな
る。

このように、この発明の負荷配分方法によれば、ある矩
形領域の重みプロセッサや細胞プロセッサが１つの実プ
ロセッサに集中的に割り当てられることがなくなり、し
かも、実プロセッサに割り当てられる仮想プロセッサ数
の差が高々１つになる。したがって、実プロセッサ間の
計算負荷の偏りが解消して、並列処理の効率が高まり、
計算時間が短縮される。

〈実施例〉 以下、この発明のニューロコンピュータの負荷配分方法
を実施例により詳細に説明する。

第１図はこの発明を実施するのに用いるニューロコンピ
ュータを示している。このニューロコンピュータは、ホ
ストコンピュータ601と、行数Ｐ＝6,列数Ｑ＝７の行列
に配置されたＰ×Ｑ（＝42）個の実プロセッサを備えて
いる。611,612,…,617は１行目、621,622,…,627は２行
目、以下同様に661,662,…,667は６行目の各実プロセッ
サを示している。この行列の各実プロセッサは、上下左
右の４つの実プロセッサと格子状に接続されている。な
お、第１列の実プロセッサ611,621,…,661はそれぞれ同
じ行の第７列の実プロセッサ617,627,…,667に接続さ
れ、第１行の実プロセッサ661,612,…,617はそれぞれ同
じ列の第６行の実プロセッサ661,662,…,667に接続され
ている。第１行目の実プロセッサ611,612,…,617はバス
ライン602を介して上記ホストコンピュータ601に接続さ
れている。

シュミレートすべき神経回路網のモデルが第２図に示す
パーセプトロンである場合について説明する。

このパーセプトロンは、第10図（ａ）に示した階層的な
ネットワークの１例であって、入力層，第１隠れ層，第
２隠れ層および出力層の４層からなっている。上記入力
層はＩ＝3000個の外部入力を有し、第１隠れ層，第２隠
れ層，出力層はそれぞれ2000,2000,1000個の神経素子を
有している。また、このパーセプトロンは、入力層と第
１隠れ層の間に６×10⁶の結合を有しており、同様に第
１隠れ層と第２隠れ層との間に４×10⁶の結合、第２隠
れ層と出力層との間に２×10⁶の結合を有している。そ
して、このパーセプトロンを円環状もしくは矩形面結合
の仮想プロセッサでシュミレートする場合、この仮想プ
ロセッサの行列配置は第３図に示すようになる。この仮
想プロセッサの行列は、上記パーセプトロンの外部入力
数をＩ、神経素子数をＪとすると、（Ｊ＋１）＝5001
行，（Ｉ＋Ｊ）＝8000列からなり、重みプロセッサＷだ
けが配置される矩形領域401,406,411と、結合がないた
め零プロセッサＯだけが配置される矩形領域403,404,40
5,408,409,410と、対角成分に細胞プロセッサＣだけが
配置され非対角成分に零プロセッサＯだけが配置された
正方形領域402,407,412と、第１行の入力プロセッサ，
出力プロセッサおよび入出力プロセッサで構成される領
域400とで構成されている。ここで、矩形領域401,405,4
09を併せた領域は上記入力層の入力端子から他の神経素
子への結合をあらわす領域であり、これを領域Aiとす
る。矩形領域402,406,410を併せた領域は第１隠れ層の
神経素子から他の神経素子への結合をあらわす領域であ
り、これを領域Biとする。矩形領域403,407,411を併せ
た領域は第２隠れ層の神経素子から他の神経素子への結
合をあらわす領域であり、これを領域Ciとする。矩形領
域404,408,412を併せた領域は出力層の神経素子から他
の神経素子への結合をあらわす領域であり、これを領域
Diとする。第１行の入力・出力・入出力プロセッサで構
成される領域400を領域Eiとする。矩形領域401,102,40
3,404を併せた領域は他の神経素子から第１隠れ層の神
経素子への結合をあらわす領域であり、これを領域Fiと
する。矩形領域405,406,407,408を併せた領域は他の神
経素子から第２隠れ層の神経素子への結合をあらわす領
域であり、これを領域Giとする。矩形領域409,410,411,
412を併せた矩形領域は他の神経素子から出力層の神経
素子への結合をあらわす領域であり、これを領域Hiとす
る。なお、上記各領域の行数および列数がわかるよう
に、第３図中に行番号、列番号を示している。

上記仮想プロセッサを次のようにして実プロセッサに割
り当てる。なお、基本的な方針として、５種類の仮想プ
ロセッサのうち細胞プロセッサＣが最も計算負荷が大き
いので、これを含む矩形領域を行方向および列方向に分
割する一方、これを含まない領域を列方向に分割する
（行方向には分割しない）ようにする。分割して形成し
た小行列（以下、「ブロック」という）を実プロセッサ
に各々割り当てるようにする。上記分割の際に生じる剰
余の行または列は、一旦、別々に所定の剰余配列に格納
してから、実プロセッサに各々割り当てるようにする。

まず、細胞プロセッサＣを含まない矩形領域Aiを列
方向に（縦に）略均等にＱ（＝７）分割する。このと
き、１ブロック当たり428列となり、剰余が４列生ず
る。そして、上記実プロセッサの７列の各列に上記ブロ
ックを１つずつ割り当てる。

次に、細胞プロセッサを含む矩形領域Biを行方向，
列方向にそれぞれＰ×Ｑ（＝42）分割する。矩形領域C
i,Diについても同様に行方向，列方向に42分割する。上
記矩形領域Bi,Ciは、ともに１ブロック当たり47列とな
り、剰余が26列生ずる。矩形領域Diは、１ブロック当た
り23列となり、剰余が34列生ずる。なお、第４図は、上
記矩形領域BiとFiとが重なっている領域BiFiを分割した
様子を示している。この領域BiFiを列方向，行方向にそ
れぞれ42分割した後、７ブロックずつ併せたものが領域
711,712,…となる。これらの領域711,712,…はそれぞれ
ブロック7111〜7117,7121〜7127,…を含んでいる。そし
て、上記矩形領域Biのブロックを列方向に７ブロック周
期で取り出して、取り出した６ブロックを実プロセッサ
の１つの列に割り当てる。実プロセッサの各列につい
て、このように６ブロックずつ割り当てる。上記領域Bi
Fiの場合、実プロセッサの第１列に１ブロック47列（１
ブロック）ずつ329列（７ブロック）周期で仮想プロセ
ッサを割り当てる。例えば、第１図に示した実プロセッ
サ611に7111,7121,7131,7141,7151,7161の６ブロックを
割り当て、同様に、実プロセッサ612にブロック7112〜7
162,実プロセッサ613にブロック7113〜7163,実プロセッ
サ614にブロック7114〜7164,実プロセッサ617にブロッ
ク7117〜7167を割り当てる。

上記仮想プロセッサの行方向に関して、矩形領域Ｅ
を除く各矩形領域を、列方向と同様に、Ｐ×Ｑ（＝42）
分割した場合、矩形領域Bi,Giは、それぞれ１ブロック
当たり47行となり、剰余が26行生ずる。矩形領域Hiは、
１ブロック当たり23行となり、剰余が34行生ずる。そし
て、各矩形領域内で、行を置換せず、そのまま７ブロッ
クを併せて、すなわち、矩形領域Fi,Giは329行、矩形領
域Hiは161行にそれぞれまとめて、上記実プロセッサの
行の各々に割り当てる。例えば、実プロセッサ611にブ
ロック7111〜7161、実プロセッサ621にブロック7211〜7
261、実プロセッサ631に7311〜7361、…、実プロセッサ
661にブロック7611〜7661を割り当てる。

上に述べた各ブロックの割り当ての後、各分割の際
に生じた剰余を次のようにして実プロセッサに割り当て
る。

まず、列方向の分割の際に生じた剰余の処理を行う。予
め準備した剰余配列に、上記矩形領域Aiを７分割した際
の剰余４列（第2997,2998,2999,3000列）、矩形領域Bi,
CiおよびDiをそれぞれ42分割した際の剰余26列（第4975
列〜5000列）,26列（第6975列〜第7000列）,34列（第79
67列〜第8000列）の合計90列を格納する。そして、この
剰余配列の列を７列の実プロセッサに１列ずつ巡回して
割り当てていく。すなわち、第１実プロセッサ列から第
６実プロセッサ列には13列、第７実プロセッサ列には12
列の仮想プロセッサ列を新たに割り当てる。例えば、実
プロセッサの第１列には第2997,4978,4985,4992,4999,6
980,6987,6994,7967,7974,7981,7988,7995列の13列を、
新たに割り当てる。

次に、行方向の分割の際に生じた剰余の処理を行う。上
記剰余配列に、上記矩形領域Fi,GiおよびHiをそれぞれ4
2分割した際の剰余26行（第1976行〜第2001行）,26行
（第3976行〜第4001行）,34行（第4968行〜第5001行）
の合計86行を格納する。そして、上記実プロセッサの第
１行に矩形領域Eiを既に割り当てたので、上記剰余配列
の行を、６行の実プロセッサの第２行から１行ずつ巡回
して割り当てていく。すなわち、矩形領域Eiの１行を含
めて、実プロセッサの第１行〜第３行にそれぞれ仮想プ
ロセッサの15行、第４行〜第６行にそれぞれ14行を割り
当てる。例えば、実プロセッサの第１行に、仮想プロセ
ッサの第１行（領域Ｅ），第1981,1987,1993,1999,397
9,3985,3991,3997,4969,4975,4981,4987,4993,4999行の
合計15行を割り当てる。

第５図は、このようにして、上記仮想プロセッサを第１
行，第１列目の実プロセッサ611に割り当てた配置を示
している。図中、ａは矩形領域Aiを割り当てた領域、
b₁,b₂,b₃，…，b₆は矩形領域Biを割り当てた領域、c
_1,12，…，c₆は矩形領域Ciを割り当てた領域、d₁,d₂，
…，d₆は矩形領域Diを割り当てた領域、802は列方向の
各分割の際に生じた剰余を割り当てた領域を示し、一
方、ｅは矩形領域Eiを割り当てた領域、ｆは矩形領域Fi
を割り当てた領域、ｇは矩形領域Giを割り当てた領域、
ｈは矩形領域Hiを割り当てた領域、801は行方向の各分
割の際に生じた剰余を割り当てた領域を示している。な
お、列方向および行方向の各数字は仮想プロセッサの列
数，行数を示している。

このようにして、パーセプトロンモデルをシュミレート
する仮想プロセッサを分割して、実プロセッサに各々割
り当てた場合、各矩形領域に含まれた重みプロセッサＷ
や細胞プロセッサＣを実プロセッサに均等に割り当てる
ことができ、実プロセッサ間の計算負荷の偏りを解消す
ることができる。また、剰余配列を順に実プロセッサに
配分することによって、実プロセッサに割り当てられる
仮想プロセッサ数の差を最終的に高々１つにすることが
できる。したがって、並列処理の効率を高めて、計算時
間を短縮することができる。

なお、一般のパーセプトロンについて、次のようにして
一般化して割り当てることができる。

神経回路網の入力ベクトルの次元（第０層の神経素子
数）をL₀、入力層および出力層を含む全層数をＭ、第ｋ
層の神経素子数をLk、全神経素子の数を とし、使用する実プロセッサをＰ行Ｑ列（Ｐ×Ｑ個）と
する。そして、第６図に示す処理手順によって仮想プロ
セッサの割り当てをする。ここで、（AmodB）はＡをＢ
で割った剰余を表わすものとし、int（ｘ）はｘの整数
部を表わすものとする。

まず、列アドレスを置換する。ｓを仮想プロセッサ
行列の列アドレスとする。

（ａ）０＜ｓ≦L₀のとき 列アドレスｓの置換アドレスは第ｎ列目実プロセッサ
で、 ｎ＝int（s/int（L₀/Q））＋１ …（１） 先頭から第ｕ列目であり、 ｕ＝ｓ−（ｎ−１）・int（L₀/Q） …（２） 剰余が存在する場合、すなわち（L₀modQ）≠０のとき L₀−（L₀modQ）＜ｓ≦L₀ なるｓを剰余配列（surplus）に格納する。

（ｂ）Ck＜ｓ≦Ck＋Lkのとき ただし、D^k _PQ＝int（Lk/P/Q）， とする。

列アドレスｓの置換アドレスは第ｎ列目実プロセッサ
で、 ｎ＝（int（（ｓ−Ck）／D^k _PQ）modQ）＋１ …（３） 先頭から第ｕ列目であり、 剰余が存在する場合、すなわち（Lk mod（Ｐ×Ｑ））≠
０のとき Ck＋Lk−（Lk mod（Ｐ×Ｑ））＜ｓ≦Ck＋Lk …（５） なるｓを剰余配列（surplus）に格納する（ステップS₁,
S₂） 次に、剰余配列を処理する。

上記剰余配列（surplus）を順にＱ列の実プロセッサに
１列ずつ巡回して割り当てる（ステップS₃）。

次に、行アドレスを置換する。ｔを行アドレスとす
る。

ｔ＝１のとき 第１行プロセッサに割り当てる。

Ck＋１＜ｔ≦Ck＋Lk＋１のとき ただし、 とする。

行アドレスｔの置換アドレスは第ｍ行目実プロセッサで ｍ＝int（（ｔ−Ck−１）/Q/D^k _PQ）＋１ …（６） 先頭から第ｖ行目であり、 剰余が存在する場合、すなわち（Lk mod（Ｐ×Ｑ））≠
０のとき Ck＋Lk−（Lk mod（Ｐ×Ｑ））＜ｔ≦Ck＋Lk …（８） なるｔを剰余配列（surplus）に格納する（ステップS₄,
S₅）。

最後に、剰余配列を処理する。

上記剰余配列（surplus）を順にＰ行の実プロセッサに
第２実プロセッサ行から始めて１行ずつ巡回して割り当
てる（ステップS₆）。

次に、上記ニューロコンピュータが行数Ｐ＝2,列数Ｑ＝
３の行列に配置されたＰ×Ｑ（＝６）個の実プロセッサ
を備えた場合であって、シュミレートすべき神経回路網
のモデルが第７図に示すホップフィールドである場合に
ついて説明する。

このホップフィールドは、第10図（ｄ）に示したものの
１例であって、神経回路網の全神経素子数をＩ＝1000と
し、結合リンクの数を（Ｉ×Ｉ）とする。そして、この
ホップフィールドを円環状もしくは矩形面結合の仮想プ
ロセッサでシュミレートする場合、仮想プロセッサの行
列配置は第８図に示すようになる。この仮想プロセッサ
の行列は、（Ｉ＋１）＝1001行,2I＝2000列であって、
対角成分に重みプロセッサＷだけが配置され、非対角成
分に零プロセッサＯだけが配置された領域1101と、対角
成分に細胞プロセッサだけが配置され非対角成分に重み
プロセッサＷだけが配置された領域1102と、入力プロセ
ッサ（記号↓で示す）および出力プロセッサ（記号↑で
示す）だけが配置された領域（第１行）1103とで構成さ
れている。

上記仮想プロセッサを、第９図に示した処理手順によっ
て、次のようにして実プロセッサに割り当てる。

まず、領域1101,領域1102を列方向に略均等にそれ
ぞれＰ×Ｑ（＝６）分割する。領域1101,領域1102は、
ともに１ブロック当たり166列に分割され、剰余が４列
ずつ生じる。そして、領域1101,領域1102のブロックを
併せて、列方向に３ブロック周期で取り出して、取り出
した４ブロックを実プロセッサの１つの列に割り当て
る。実プロセッサの各列について、このように４ブロッ
クずつ割り当てる。

一方、上記分割の際に生じた剰余８列は、一旦、予め準
備した剰余配列に格納して、実プロセッサの第１列から
１列ずつ巡回して各列に割り当てる。例えば、実プロセ
ッサの第１列には第997,1000,1999列の合計３列を割り
当て、同様に第２列には３列、第３列には２列を割り当
てる。

次に、上記領域1101および領域1102を行方向にとも
に略均等にＰ×Ｑ（＝６）分割する。１ブロック当たり
166行となり、剰余が４行生ずる。そして、行を置換せ
ず、３ブロック毎にまとめてそのまま上記実プロセッサ
の各行に割り当てる。例えば、実プロセッサの第１行に
上記仮想プロセッサの第２行〜第499行目までを割り当
てる。また、上記剰余４行は、剰余配列に一旦格納した
後、２行の実プロセッサの第２行から１行ずつ巡回して
割り当てる。例えば、実プロセッサの第１行に仮想プロ
セッサの第999,1001行を、実プロセッサの第２行に仮想
プロセッサの第998,1000行をそれぞれ割り当てる。

第９図（ａ），（ｂ）は、このようにして、仮想プロセ
ッサを第１行第１列，第２行第２列の実プロセッサにそ
れぞれ割り当てた配置を示している。

このようにして、ホップフィールドモデルをシュミレー
トする仮想プロセッサを分割して、実プロセッサに割り
当てた場合、上記パーセプトロンモデルの場合と同様
に、このニューロコンピュータは、実プロセッサ間の計
算負荷の偏りを解消することができ、しかも、実プロセ
ッサに割り当てられる仮想プロセッサ数の差を高々１つ
にすることができる。したがって、並列処理の効率を高
めて、計算時間を短縮することができる。

なお、一般のホップフィールドについて、第９図に示し
た処理手順に従って、次のように一般化して割り当てる
ことができる。

まず、列アドレスを置換する。ｓを列アドレスとす
る。

（ａ）０＜ｓ≦Ｉのとき ただし、D_PQ＝int（I/P/Q）とする。

列アドレスｓの置換アドレスは第ｎ列目実プロセッサ
で、 ｎ＝int（s/D_PQ））mod Ｑ）＋１ …（９） 先頭から第ｕ列目であり、 ｕ＝int（s/Q/D_PQ）×D_PQ＋（ｓ modD_PQ）＋１ …（1
0） 剰余が存在する場合、すなわち（Ｉ mod（Ｐ×Ｑ））
≠０のとき Ｉ−（Ｉ mod（Ｐ×Ｑ））＜ｓ≦Ｉ なるｓを剰余配列（surplus）に格納する。

（ｂ）Ｉ＜ｓ≦2Iのとき 列アドレスｓの置換アドレスは第ｎ列目実プロセッサ
で、 ｎ＝int（（ｓ−Ｉ）/Q/D_PQ）＋１ …（11） 先頭から第ｕ列目であり、 ｕ＝D_PQ×Ｐ＋int（（ｓ−Ｉ）/Q/D_PQ）×D_PQ＋（（ｓ
−Ｉ）modD_PQ）＋１ …（12） 剰余が存在する場合、すなわち（Ｉ mod（Ｐ×Ｑ））
≠０のとき 2I−（Ｉ mod（Ｐ×Ｑ））＜ｓ≦2I …（13） なるｓを剰余配列（surplus）に格納する（ステップS₁,
S₂）。

次に、剰余配列を処理する。

上記剰余配列（surplus）を順にＱ列の実プロセッサに
１列ずつ巡回して割り当てる（ステップS₃）。

次に、行アドレスを置換する。ｔを行アドレスとす
る。

ｔ＝１のとき 第１行プロセッサに割り当てる。

１＜ｔのとき 行アドレスｔの置換アドレスは第ｍ行目実プロセッサで ｍ＝int（（ｔ−１）／D_PQ/Q）＋１ …（14） 先頭から第ｖ行目であり、 ｖ＝ｔ−１−（ｍ−１）・Ｑ・D_PQ＋δ1m …（15） 剰余が存在する場合、すなわち（Ｉ mod（Ｐ×Ｑ））
≠０のとき Ｉ＋１−（Ｉ mod（Ｐ×Ｑ））＜ｔ≦Ｉ＋１ …（16） なるｔを剰余配列（surplus）に格納する（ステップS₄,
S₅）。

最後に、剰余配列を処理する。

上記剰余配列（surplus）を順にＰ行の実プロセッサに
第２実プロセッサ行から始めて１行ずつ巡回して割り当
てる（ステップS₆）。

以上、この発明の負荷配分方法を多層パーセプトロンお
よびホップフィールドモデルに適用した例について述べ
たが、これらのモデルに限られるものではなく、第10図
（ｂ）または（ｃ）に示した他のモデルについても同様
に適用することができる。

〈発明の効果〉 以上より明らかなように、この発明のニューロコンピュ
ータの負荷配分方法では、仮想プロセッサの行列の各矩
形領域を、列方向または行方向の少なくとも一方向に、
全実プロセッサ数（Ｐ×Ｑ）または上記一方向の実プロ
セッサ数ＱもしくはＰで分割して、上記各矩形領域に列
数または行数が等しい複数のブロックを形成するととも
に、上記各矩形領域で生じた剰余の列または行をまとめ
て剰余配列を形成し、上記各矩形領域の複数のブロック
を、上記一方向に並ぶ実プロセッサに、ブロック単位で
分散して割り当てた後、上記剰余配列の複数の列または
行を、上記一方向に並ぶ実プロセッサに、列または行単
位で分散して割り当てるので、ある矩形領域の重みプロ
セッサや細胞プロセッサが１つの実プロセッサに集中的
に割り当てられるのを防止でき、しかも、実プロセッサ
に割り当てられる仮想プロセッサ数の差を高々１つにす
ることができる。したがって、実プロセッサ間の計算負
荷の偏りを解消することができ、並列処理の効率を高め
て、計算時間を短縮することができる。

【図面の簡単な説明】

第１図はこの発明を実施するのに用いるニューロコンピ
ュータを示す図、第２図はパーセプトロンモデルを示す
図、第３図は上記パーセプトロンモデルをシュミレート
する仮想プロセッサの行列を示す図、第４図は上記仮想
プロセッサの行列の一部を示す図、第５図は上記仮想プ
ロセッサを割り当てた実プロセッサの行列の一部を示す
図、第６図は上記仮想プロセッサを実プロセッサに割り
当てる手順を示すフローチャート、第７図はホップフィ
ールドモデルを示す図、第８図は上記ホップフィールド
モデルをシュミレートする仮想プロセッサの行列を示す
図、第９図（ａ），（ｂ）はそれぞれ上記仮想プロセッ
サを割り当てた実プロセッサの行列の一部を示す図、第
10図（ａ），（ｂ），（ｃ），（ｄ）はそれぞれ神経回
路網のモデルを示す図、第11図（ａ），（ｂ），
（ｃ），（ｄ）はそれぞれ上記神経回路網のモデルをシ
ュミレートする仮想プロセッサの行列を示す図、第12図
（ａ），（ｂ），（ｃ），（ｄ），（ｅ）はそれぞれ上
記仮想プロセッサの行列の所定の矩形領域を分類した行
列パターンを示す図である。 601…ホストコンピュータ、602…バスライン、611,612,
…,667…実プロセッサ、Ai,Bi,Ci,Di,Ei,Fi,Gi,Hi,110
1,1102,1103…矩形領域、Ｗ…重みプロセッサ、Ｏ…零
プロセッサ、Ｃ…細胞プロセッサ。

Claims (1)

【特許請求の範囲】
1. 【請求項１】神経回路網のモデルに対応して行列に配置
   した、神経細胞に相当する細胞プロセッサと、シナプス
   の結合に相当する重みプロセッサと、外部装置から入力
   データを取り込む入力プロセッサと、外部装置にデータ
   を転送する出力プロセッサと、外部装置から入力データ
   を取り込んで外部装置にデータを転送する入出力プロセ
   ッサとの５種類の仮想プロセッサを、神経回路網の計算
   を並列に行うためのＰ行,Q列の行列に配列した実プロセ
   ッサに割り当てるニューロコンピュータの負荷配分方法
   であって、 上記仮想プロセッサの行列は、神経回路網のモデルに対
   応して、同種のプロセッサのみが隣接して並ぶ矩形領域
   と、ある１種のプロセッサが対角成分を占め、異種のプ
   ロセッサが非対角成分を占める矩形領域とを有し、 上記各矩形領域を、列方向または行方向の少なくとも一
   方向に、全実プロセッサ数（Ｐ×Ｑ）または上記一方向
   の実プロセッサ数ＱもしくはＰで分割して、上記各矩形
   領域に列数または行数が等しい複数のブロックを形成す
   るとともに、上記各矩形領域で生じた剰余の列または行
   をまとめて剰余配列を形成し、 上記各矩形領域の複数のブロックを、上記一方向に並ぶ
   実プロセッサに、ブロック単位で分散して割り当てた
   後、 上記剰余配列の複数の列または行を、上記一方向に並ぶ
   実プロセッサに、列または行単位で分散して割り当てる
   ことを特徴とするニューロコンピュータの負荷配分方
   法。