JPH05265996A - ニューロコンピュータ - Google Patents
ニューロコンピュータInfo
- Publication number
- JPH05265996A JPH05265996A JP6581792A JP6581792A JPH05265996A JP H05265996 A JPH05265996 A JP H05265996A JP 6581792 A JP6581792 A JP 6581792A JP 6581792 A JP6581792 A JP 6581792A JP H05265996 A JPH05265996 A JP H05265996A
- Authority
- JP
- Japan
- Prior art keywords
- pes
- bus
- output
- unit
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
(57)【要約】 （修正有）
【目的】 複数の処理要素（ＰＥ）の並列処理を重複す
ることなく行い、高速演算を可能にする。 【構成】 ２ｈ、例えば８ケのＰＥは、ハイパキューブ
結合とされ、ハミング符号及びその剰余類によりバス集
合（０００，１１１）、（００１，１１０）、（０１
０，１０１）及び（１００，０１１）に分割され、その
バス集合毎にバス結合する。結合荷重と前層のユニット
の出力との間の積和計算が全ＰＥで均等に分担され、か
つ、その総和の計算に必要なＰＥ間転送が直接結合され
たＰＥ間のみの転送で済むように、結合荷重行列〔Ｗ
1,1 〜Ｗ8,8 〕を割付け、前層の出力Ｘ1 〜Ｘ8 を各Ｐ
Ｅに与えて、各ＰＥは並列的に部分積和演算を行う。そ
の後、その部分積和をそれを必要とするＰＥに順次転送
し、自ＰＥでの部分積和と転送されてきた部分積和との
総和をとり、ユニット出力を計算し、そのユニット出力
をバス集合内のＰＥ間で互いに転送しあう。
ることなく行い、高速演算を可能にする。 【構成】 ２ｈ、例えば８ケのＰＥは、ハイパキューブ
結合とされ、ハミング符号及びその剰余類によりバス集
合（０００，１１１）、（００１，１１０）、（０１
０，１０１）及び（１００，０１１）に分割され、その
バス集合毎にバス結合する。結合荷重と前層のユニット
の出力との間の積和計算が全ＰＥで均等に分担され、か
つ、その総和の計算に必要なＰＥ間転送が直接結合され
たＰＥ間のみの転送で済むように、結合荷重行列〔Ｗ
1,1 〜Ｗ8,8 〕を割付け、前層の出力Ｘ1 〜Ｘ8 を各Ｐ
Ｅに与えて、各ＰＥは並列的に部分積和演算を行う。そ
の後、その部分積和をそれを必要とするＰＥに順次転送
し、自ＰＥでの部分積和と転送されてきた部分積和との
総和をとり、ユニット出力を計算し、そのユニット出力
をバス集合内のＰＥ間で互いに転送しあう。
Description
【０００１】
【産業上の利用分野】この発明は、認識や制御等の分野
で広く利用されつつある多層型ニューラルネットを、高
速に演算処理する並列型のニューロコンピュータに関す
るものである。
で広く利用されつつある多層型ニューラルネットを、高
速に演算処理する並列型のニューロコンピュータに関す
るものである。
【０００２】
【従来の技術】多層型ニューラルネットの構成を図４に
示す。同図に示す様に多層型ニューラルネットは、多入
力１出力の非線形しきい値素子であるユニット（ニュー
ロン）を層状に配置し、その間を相互結合したものであ
る。一般に層の数は３以上で最初の層（図４で左端）は
入力層、最後の層（図４で右端）は出力層、その間の層
は中間層と呼ばれる。各層のユニット（左からｊ番目の
層で上からｉ番目のユニットとしよう）は、その直前の
層のユニットの出力および、そのユニットと自ユニット
との間の結合荷重をもとに以下の計算を行う。
示す。同図に示す様に多層型ニューラルネットは、多入
力１出力の非線形しきい値素子であるユニット（ニュー
ロン）を層状に配置し、その間を相互結合したものであ
る。一般に層の数は３以上で最初の層（図４で左端）は
入力層、最後の層（図４で右端）は出力層、その間の層
は中間層と呼ばれる。各層のユニット（左からｊ番目の
層で上からｉ番目のユニットとしよう）は、その直前の
層のユニットの出力および、そのユニットと自ユニット
との間の結合荷重をもとに以下の計算を行う。
【０００３】 Ｘi,j ＝Ｆ（Σh-1 n Ｗi,h ×Ｘh,j-1 −θ） ここで、Ｘi,j は自ユニット（左からｊ番目の層で上か
らｉ番目のユニット）の出力、Ｘh,j-1 は直前の層（ｊ
−１番目の層）の上からｈ番目のユニットの出力、Ｗ
i,h は直前の層の上からｈ番目のユニットと自ユニット
の間の結合荷重、θはしきい値、ｎは直前の層のユニッ
トの数、Ｆは非線形の関数（一般にシグモイド関数が用
いられる）である。即ち、多層型ニューラルネットで
は、ある層（ユニットの数をｎp とする）の出力Ｘ
j （ｎp 次元のベクトル）は、その層と直前の層（ユニ
ットの数をｎb とする）との間の結合荷重行列（ｎp 行
ｎb 列）と直前の層の出力（ｎb 次元のベクトル）の積
（＝Ｗ×Ｘj-1 ）をもとに計算され、この計算が最初の
中間層から出力層まで繰り返され最終的なニューラルネ
ットの出力となる。
らｉ番目のユニット）の出力、Ｘh,j-1 は直前の層（ｊ
−１番目の層）の上からｈ番目のユニットの出力、Ｗ
i,h は直前の層の上からｈ番目のユニットと自ユニット
の間の結合荷重、θはしきい値、ｎは直前の層のユニッ
トの数、Ｆは非線形の関数（一般にシグモイド関数が用
いられる）である。即ち、多層型ニューラルネットで
は、ある層（ユニットの数をｎp とする）の出力Ｘ
j （ｎp 次元のベクトル）は、その層と直前の層（ユニ
ットの数をｎb とする）との間の結合荷重行列（ｎp 行
ｎb 列）と直前の層の出力（ｎb 次元のベクトル）の積
（＝Ｗ×Ｘj-1 ）をもとに計算され、この計算が最初の
中間層から出力層まで繰り返され最終的なニューラルネ
ットの出力となる。
【０００４】従来、この多層型ニューラルネットの出力
を高速に計算するニューロコンピュータとしては、図５
に示すように複数の処理要素（ＰＥ）を２次元アレイ状
に結合し（両端のＰＥ群は反対側のＰＥ群とそれぞれル
ープを構成するように結合）、各ＰＥに１または複数の
結合荷重を割り当てて行列とベクトルの積を各ＰＥが一
部ずつ分担して並列に行い、その後、各演算結果を加算
して１つの層の演算を行い、これを繰り返し計算する構
成が考えられていた。以下、この構成における動作を説
明する。説明を簡単化するため、各層のユニット数は等
しくｎ（結合荷重行列はｎ行ｎ列となる）、ＰＥアレイ
はｐ×ｐとする。この構成では、各層のユニット毎の出
力はＰＥアレイの行方向のＰＥ全体で計算する。すなわ
ち、ｎ行ｎ列の結合荷重行列を図６の様に、行方向、列
方向ともにｐ等分して（ｎ／ｐ）×（ｎ／ｐ）個の結合
荷重からなる部分行列に分割し、各部分行列を図５のそ
れと対応する位置のＰＥに割り当てる。つまり上からｉ
番目で左からｊ番目の部分行列は、ＰＥアレイで上から
ｉ番目で左からｊ番目のＰＥに割り当てる。又、前層の
出力ベクトルＸj-1 （ｘ1,j-1,ｘ2,j-1,…, ｘn,j-1 ）
もｐ等分してｎ／ｐ個の出力値を持つ部分ベクトルに分
割し、各部分ベクトルをＰＥアレイの各列に対応させて
配置する。つまり上からｉ番目の部分ベクトルをＰＥア
レイで左からｉ列目の全ＰＥに配置する。こうするとニ
ューラルネットの１つの層における行列とベクトルの積
の演算はつぎの様なステップで並列的に行われる。 ｉ）全ＰＥは割り当てられた結合荷重の部分行列と前層
の出力の部分ベクトルの積を計算し、その総和をとる。
この結果を部分積和と呼ぶ。 ii）各ＰＥはｉ）の部分積和を行方向の隣接ＰＥに順次
転送する。 iii)各ＰＥは自ＰＥの部分積和に隣接ＰＥから転送され
てきた部分積和を順次加算する。 iv）部分積和が行方向のＰＥで一周するまでii）、iii)
を繰り返す。
を高速に計算するニューロコンピュータとしては、図５
に示すように複数の処理要素（ＰＥ）を２次元アレイ状
に結合し（両端のＰＥ群は反対側のＰＥ群とそれぞれル
ープを構成するように結合）、各ＰＥに１または複数の
結合荷重を割り当てて行列とベクトルの積を各ＰＥが一
部ずつ分担して並列に行い、その後、各演算結果を加算
して１つの層の演算を行い、これを繰り返し計算する構
成が考えられていた。以下、この構成における動作を説
明する。説明を簡単化するため、各層のユニット数は等
しくｎ（結合荷重行列はｎ行ｎ列となる）、ＰＥアレイ
はｐ×ｐとする。この構成では、各層のユニット毎の出
力はＰＥアレイの行方向のＰＥ全体で計算する。すなわ
ち、ｎ行ｎ列の結合荷重行列を図６の様に、行方向、列
方向ともにｐ等分して（ｎ／ｐ）×（ｎ／ｐ）個の結合
荷重からなる部分行列に分割し、各部分行列を図５のそ
れと対応する位置のＰＥに割り当てる。つまり上からｉ
番目で左からｊ番目の部分行列は、ＰＥアレイで上から
ｉ番目で左からｊ番目のＰＥに割り当てる。又、前層の
出力ベクトルＸj-1 （ｘ1,j-1,ｘ2,j-1,…, ｘn,j-1 ）
もｐ等分してｎ／ｐ個の出力値を持つ部分ベクトルに分
割し、各部分ベクトルをＰＥアレイの各列に対応させて
配置する。つまり上からｉ番目の部分ベクトルをＰＥア
レイで左からｉ列目の全ＰＥに配置する。こうするとニ
ューラルネットの１つの層における行列とベクトルの積
の演算はつぎの様なステップで並列的に行われる。 ｉ）全ＰＥは割り当てられた結合荷重の部分行列と前層
の出力の部分ベクトルの積を計算し、その総和をとる。
この結果を部分積和と呼ぶ。 ii）各ＰＥはｉ）の部分積和を行方向の隣接ＰＥに順次
転送する。 iii)各ＰＥは自ＰＥの部分積和に隣接ＰＥから転送され
てきた部分積和を順次加算する。 iv）部分積和が行方向のＰＥで一周するまでii）、iii)
を繰り返す。
【０００５】以上のステップで計算するとiv）の後で
は、結合荷重行列の各行の結合荷重と前層の出力ベクト
ルとの積が、ＰＥアレイの対応する行の全ＰＥで同時に
得られることになる。例えば、結合荷重行列の上からｎ
／ｐ行分の結合荷重と前層の出力ベクトルの積は、ＰＥ
アレイの最初の行の全ＰＥで同時に得られる。従って、
これをもとに各行のＰＥはｎ／ｐ個のユニットの出力を
計算でき、つぎの層の出力を計算するためのベクトルが
ＰＥアレイの各行にｎ／ｐ個づつ分散して配置されるこ
とになる。
は、結合荷重行列の各行の結合荷重と前層の出力ベクト
ルとの積が、ＰＥアレイの対応する行の全ＰＥで同時に
得られることになる。例えば、結合荷重行列の上からｎ
／ｐ行分の結合荷重と前層の出力ベクトルの積は、ＰＥ
アレイの最初の行の全ＰＥで同時に得られる。従って、
これをもとに各行のＰＥはｎ／ｐ個のユニットの出力を
計算でき、つぎの層の出力を計算するためのベクトルが
ＰＥアレイの各行にｎ／ｐ個づつ分散して配置されるこ
とになる。
【０００６】次の層の出力の計算は、以上と同様の手順
（ただし、ii）の転送方向は列方向）を、その層とその
前層との間の結合荷重行列の転置行列に対して行うこと
によりなされる。その次の層の出力の計算は以上と全く
同様の手順でおこなわれる。これを出力層の出力が得ら
れるまで繰り返す事により多層型ニューラルネットの出
力が計算される（この動作の詳細は情報処理学会第３９
回全国大会資料１７６２−１７６３頁（講演番号３Ｗ−
１０）を参照。
（ただし、ii）の転送方向は列方向）を、その層とその
前層との間の結合荷重行列の転置行列に対して行うこと
によりなされる。その次の層の出力の計算は以上と全く
同様の手順でおこなわれる。これを出力層の出力が得ら
れるまで繰り返す事により多層型ニューラルネットの出
力が計算される（この動作の詳細は情報処理学会第３９
回全国大会資料１７６２−１７６３頁（講演番号３Ｗ−
１０）を参照。
【０００７】
【発明が解決しようとする課題】以上の説明からわかる
ように、従来のニューロコンピュータでは行列とベクト
ルとの積の演算のうちｉ）の部分のみが全ＰＥで並列的
におこなわれるだけで、その他の部分（ii）からiv）
と、行列とベクトルとの積の計算結果をもとにしたユニ
ットの出力の計算）は行あるいは列方向のＰＥの数の並
列性しか得られなかった。即ち、後者の処理においては
等価的にはｐ2 個のＰＥのうちｐ個のＰＥのみしか有効
に機能しなかったことになり（行あるいは列方向の全て
のＰＥは全く同一の重複した処理を行う）、ＰＥの利用
効率が悪く、ひいてはＰＥ数に見合った速度向上も得ら
れないという問題があった。
ように、従来のニューロコンピュータでは行列とベクト
ルとの積の演算のうちｉ）の部分のみが全ＰＥで並列的
におこなわれるだけで、その他の部分（ii）からiv）
と、行列とベクトルとの積の計算結果をもとにしたユニ
ットの出力の計算）は行あるいは列方向のＰＥの数の並
列性しか得られなかった。即ち、後者の処理においては
等価的にはｐ2 個のＰＥのうちｐ個のＰＥのみしか有効
に機能しなかったことになり（行あるいは列方向の全て
のＰＥは全く同一の重複した処理を行う）、ＰＥの利用
効率が悪く、ひいてはＰＥ数に見合った速度向上も得ら
れないという問題があった。
【０００８】この発明の目的は、全ＰＥが並列に動作し
かつ全ＰＥが重複した処理を行なわない、高速かつＰＥ
の利用効率が高い多層型ニューラルネット用のニューロ
コンピュータを提供することにある。
かつ全ＰＥが重複した処理を行なわない、高速かつＰＥ
の利用効率が高い多層型ニューラルネット用のニューロ
コンピュータを提供することにある。
【０００９】
【課題を解決するための手段】上記目的を達成するた
め、この発明では、まず複数（２h 個）のＰＥをハイパ
キューブ状に結合し、さらにこれらＰＥを以下のように
ａ個のバス集合に分割し、そのバス集合ごとにバス結合
を設ける。ここで、ハイパキューブ状の結合とは、ＰＥ
の番号を２進表示したとき、そのビットパターンが１ビ
ットだけ異なるＰＥ同志をすべて結合する構造である。 ・ｈ＝２m −１（ｍ：正整数）のときは、全ＰＥをその
番号（ｈビットパターン）において、完全符号であるハ
ミング符号とその剰余類に分割し、それらハミング符号
と各剰余類ごとにそれに含まれるＰＥ群を一つのバス集
合とする。 ・ｈ≠２m −１のときは、まず元のハイパキューブ状結
合をｓ次元（ｓ＝２m −１となるｈ以下の最大のｓ）の
サブキューブに分割し、各サブキューブ内の全ＰＥをそ
の番号（ｓビットパターン）において、完全符号である
ハミング符号とその剰余類に分割し、それらハミング符
号と各剰余類ごとにそれに含まれるＰＥ群を一つの集合
とし、つぎにサブキューブ間で対応する集合同士を統合
して一つのバス集合とする。
め、この発明では、まず複数（２h 個）のＰＥをハイパ
キューブ状に結合し、さらにこれらＰＥを以下のように
ａ個のバス集合に分割し、そのバス集合ごとにバス結合
を設ける。ここで、ハイパキューブ状の結合とは、ＰＥ
の番号を２進表示したとき、そのビットパターンが１ビ
ットだけ異なるＰＥ同志をすべて結合する構造である。 ・ｈ＝２m −１（ｍ：正整数）のときは、全ＰＥをその
番号（ｈビットパターン）において、完全符号であるハ
ミング符号とその剰余類に分割し、それらハミング符号
と各剰余類ごとにそれに含まれるＰＥ群を一つのバス集
合とする。 ・ｈ≠２m −１のときは、まず元のハイパキューブ状結
合をｓ次元（ｓ＝２m −１となるｈ以下の最大のｓ）の
サブキューブに分割し、各サブキューブ内の全ＰＥをそ
の番号（ｓビットパターン）において、完全符号である
ハミング符号とその剰余類に分割し、それらハミング符
号と各剰余類ごとにそれに含まれるＰＥ群を一つの集合
とし、つぎにサブキューブ間で対応する集合同士を統合
して一つのバス集合とする。
【００１０】次に、以上のように複数のバス結合を付加
されたハイパキューブの各ＰＥに対し、多層型ニューラ
ルネットの結合荷重を各層毎（層内のユニット数：ｎ）
に以下のように割り付ける。 ・同一のバス集合に属する各ＰＥは、“ｕ ｍｏｄ ａ
（ｕ：層内のユニット番号）”が同じ値になるユニット
の出力の計算を均等に分担し受け持ち、各ユニットの出
力を計算するのに必要な結合荷重（結合荷重行列の行方
向の結合荷重）は、そのユニットの出力を計算するＰＥ
と、それと異なるバス集合に属しかつそのＰＥからハミ
ング距離１にあるＰＥとの間で均等に、かつ、“ｖ ｍ
ｏｄ ａ（ｖ：結合荷重行列の列の番号）”が同じ値に
なる結合荷重を同一のＰＥが受持つように、かつ、結合
荷重行列の同一の列は同一のバス集合のＰＥが受け持つ
ように割り付ける。
されたハイパキューブの各ＰＥに対し、多層型ニューラ
ルネットの結合荷重を各層毎（層内のユニット数：ｎ）
に以下のように割り付ける。 ・同一のバス集合に属する各ＰＥは、“ｕ ｍｏｄ ａ
（ｕ：層内のユニット番号）”が同じ値になるユニット
の出力の計算を均等に分担し受け持ち、各ユニットの出
力を計算するのに必要な結合荷重（結合荷重行列の行方
向の結合荷重）は、そのユニットの出力を計算するＰＥ
と、それと異なるバス集合に属しかつそのＰＥからハミ
ング距離１にあるＰＥとの間で均等に、かつ、“ｖ ｍ
ｏｄ ａ（ｖ：結合荷重行列の列の番号）”が同じ値に
なる結合荷重を同一のＰＥが受持つように、かつ、結合
荷重行列の同一の列は同一のバス集合のＰＥが受け持つ
ように割り付ける。
【００１１】多層型ニューラルネットの出力の計算は、
以上のような構成とＰＥへの結合荷重割り付けに基づい
て以下の手順で行う。 ｉ）全ＰＥは割り付けられた結合荷重と前層の出力との
積をとりその総和（部分積和）を計算する。 ii) 各ＰＥは、自ＰＥに分担されたユニットの計算に必
要な部分積和以外の部分積和をそれを必要とするＰＥに
順次転送する。 iii)各ＰＥは、自ＰＥでの部分積和と転送されてきた部
分積和との総和をとり、それをもとに自ＰＥに割り当て
られたユニットの出力を計算する。 iv）各バス集合内のＰＥは、iii)で得たユニットの出力
を同一集合内の全ＰＥにバスにより互いに転送しあい一
つの層の処理を完了する。
以上のような構成とＰＥへの結合荷重割り付けに基づい
て以下の手順で行う。 ｉ）全ＰＥは割り付けられた結合荷重と前層の出力との
積をとりその総和（部分積和）を計算する。 ii) 各ＰＥは、自ＰＥに分担されたユニットの計算に必
要な部分積和以外の部分積和をそれを必要とするＰＥに
順次転送する。 iii)各ＰＥは、自ＰＥでの部分積和と転送されてきた部
分積和との総和をとり、それをもとに自ＰＥに割り当て
られたユニットの出力を計算する。 iv）各バス集合内のＰＥは、iii)で得たユニットの出力
を同一集合内の全ＰＥにバスにより互いに転送しあい一
つの層の処理を完了する。
【００１２】この処理を各層毎に繰り返すことにより最
後の層である出力層の出力を得る。
後の層である出力層の出力を得る。
【００１３】
【作用】このような構成、結合荷重割り付け、処理手順
をとることにより、ｉ）からiii)までの全ての処理は全
ＰＥで重複することなく並列的に行われることになる。
なお、iv）の処理はバスの数だけの並列性となるが、こ
の処理量は後で説明するようにｉ）からiii)までの処理
量に対して充分少なく、ほぼ無視することができる。
をとることにより、ｉ）からiii)までの全ての処理は全
ＰＥで重複することなく並列的に行われることになる。
なお、iv）の処理はバスの数だけの並列性となるが、こ
の処理量は後で説明するようにｉ）からiii)までの処理
量に対して充分少なく、ほぼ無視することができる。
【００１４】
【実施例】この発明では複数のＰＥをハイパキューブ状
に結合し、更にこれらＰＥをａ個のバス集合に分割し、
そのバス集合ごとにバス結合を設けるがまずハイパキュ
ーブへの具体的なバス結合の付加方法、次に各ＰＥへの
具体的な負荷（結合荷重）の割り付け法、最後に具体的
な処理手順の順にこの発明の詳細を説明する。
に結合し、更にこれらＰＥをａ個のバス集合に分割し、
そのバス集合ごとにバス結合を設けるがまずハイパキュ
ーブへの具体的なバス結合の付加方法、次に各ＰＥへの
具体的な負荷（結合荷重）の割り付け法、最後に具体的
な処理手順の順にこの発明の詳細を説明する。
【００１５】ハイパキューブへのバス結合の付加は前述
したように、完全符号であるハミング符号（すべての符
号が距離１の点にある）による剰余類展開を用いて全Ｐ
Ｅを分割することにより行われる。まずｈ＝２m −１
（ｍ：正整数）のときの例として、ＰＥ数が８（３次
元）のハイパキューブの場合（ｈ＝３，ｍ＝１）につい
て説明する。このとき、ハミング符号をパリティ検査行
列Ｈとして、
したように、完全符号であるハミング符号（すべての符
号が距離１の点にある）による剰余類展開を用いて全Ｐ
Ｅを分割することにより行われる。まずｈ＝２m −１
（ｍ：正整数）のときの例として、ＰＥ数が８（３次
元）のハイパキューブの場合（ｈ＝３，ｍ＝１）につい
て説明する。このとき、ハミング符号をパリティ検査行
列Ｈとして、
【００１６】
【数１】 を用いると、ＰＥ番号は図１Ａのように剰余類展開され
る（ハミング符号の構成法、剰余類展開の詳細について
は、文献；宮川、岩重、今井著“符号理論”昭晃堂を参
照のこと）。ここで、Ｓ1 がハミング符号、Ｓ2 〜Ｓ4
が剰余類である。このように８個のＰＥを、その番号で
４つのバス集合、Ｓ1 〜Ｓ4 に分割し、図１Ｂに示すよ
うに、各バス集合ごとにそれらバス集合に含まれる全Ｐ
Ｅをバス結合する。つまり番号（０００）と（１１
１）、（００１）と（１１０）、（０１０）と（１０
１）、（１００）と（０１１）のＰＥの間にそれぞれバ
ス結合が設けられる。ＰＥ（０００）、（００１）、
（０１０）、（１００）間でハイパキューブ結合され、
ＰＥ（１１１）、（１１０）、（１０１）、（０１１）
間でハイパキューブ結合されている。
る（ハミング符号の構成法、剰余類展開の詳細について
は、文献；宮川、岩重、今井著“符号理論”昭晃堂を参
照のこと）。ここで、Ｓ1 がハミング符号、Ｓ2 〜Ｓ4
が剰余類である。このように８個のＰＥを、その番号で
４つのバス集合、Ｓ1 〜Ｓ4 に分割し、図１Ｂに示すよ
うに、各バス集合ごとにそれらバス集合に含まれる全Ｐ
Ｅをバス結合する。つまり番号（０００）と（１１
１）、（００１）と（１１０）、（０１０）と（１０
１）、（１００）と（０１１）のＰＥの間にそれぞれバ
ス結合が設けられる。ＰＥ（０００）、（００１）、
（０１０）、（１００）間でハイパキューブ結合され、
ＰＥ（１１１）、（１１０）、（１０１）、（０１１）
間でハイパキューブ結合されている。
【００１７】次に、ｈ≠２m −１（ｍ：正整数）のとき
の例として、ＰＥ数が１６（４次元）のハイパキューブ
の場合（ｈ＝４）について説明する。まず、このハイパ
キューブをｓ次元（ｓ＝２m −１となるｈ以下の最大の
ｓ）のサブキューブに分割するが、この場合ｈ＝４なの
でｓは３となる。即ち、３次元のサブキューブ２個に分
割する。次に、この各サブキューブにおける全ＰＥをそ
の下３ビットのＰＥ番号において、完全符号であるハミ
ング符号とその剰余類とに分割する。例えば、前述の例
と同じパリティ検査行列を用いると、各サブキューブ内
のＰＥはその下３ビットのＰＥ番号において、図１Ａの
ようにそれぞれ４個の集合に分割される。次に、サブキ
ューブ間で対応する集合同士（Ｓ1 とＳ1 ，Ｓ2 と
Ｓ2 ，Ｓ3 とＳ3 ，Ｓ4 とＳ4 ）を統合して図２Ａのよ
うにそれぞれ一つのバス集合とする。ここで、各バス集
合内で上２列および下２列の番号がそれぞれのサブキュ
ーブ内のＰＥの番号に対応している。こうして構成した
４個のバス集合Ｓ1 〜Ｓ4 の各ＰＥ間にバス結合を設け
る。例えば、バス集合Ｓ1 では（００００），（０１１
１），（１０００），（１１１１）の４個のＰＥが一つ
のバスに結合される。
の例として、ＰＥ数が１６（４次元）のハイパキューブ
の場合（ｈ＝４）について説明する。まず、このハイパ
キューブをｓ次元（ｓ＝２m −１となるｈ以下の最大の
ｓ）のサブキューブに分割するが、この場合ｈ＝４なの
でｓは３となる。即ち、３次元のサブキューブ２個に分
割する。次に、この各サブキューブにおける全ＰＥをそ
の下３ビットのＰＥ番号において、完全符号であるハミ
ング符号とその剰余類とに分割する。例えば、前述の例
と同じパリティ検査行列を用いると、各サブキューブ内
のＰＥはその下３ビットのＰＥ番号において、図１Ａの
ようにそれぞれ４個の集合に分割される。次に、サブキ
ューブ間で対応する集合同士（Ｓ1 とＳ1 ，Ｓ2 と
Ｓ2 ，Ｓ3 とＳ3 ，Ｓ4 とＳ4 ）を統合して図２Ａのよ
うにそれぞれ一つのバス集合とする。ここで、各バス集
合内で上２列および下２列の番号がそれぞれのサブキュ
ーブ内のＰＥの番号に対応している。こうして構成した
４個のバス集合Ｓ1 〜Ｓ4 の各ＰＥ間にバス結合を設け
る。例えば、バス集合Ｓ1 では（００００），（０１１
１），（１０００），（１１１１）の４個のＰＥが一つ
のバスに結合される。
【００１８】以上、説明を簡単化するため比較的ＰＥ数
が少ないハイパキューブを例に説明したが、ＰＥ数が多
いハイパキューブについても同様な方法でバス結合を付
加する。次に各ＰＥへの具体的な負荷（結合荷重）の割
り付け法について、ニューラルネットのある層（かりに
第２層とする）のユニット数とその直前の層（かりに第
１層とする）のユニット数とが共に８（結合荷重行列は
８列８行）で、これを８個のＰＥからなるハイパキュー
ブ（図１Ｂの構成）に結合荷重を割り付ける場合を例に
説明する。この場合、第２層において基本的には図２Ｂ
に示す行列とベクトルの積を計算することになる。ここ
でｙi は第２層の上からｉ番目のユニット（ユニット
ｉ、ｉ：ユニット番号）への総入力値（ユニットの出力
の計算のベースとなる）、ｘi は第１層のユニットｉの
出力値、Ｗk,h は第１層のユニットｈと第２層のユニッ
トｋとの間の結合荷重である。
が少ないハイパキューブを例に説明したが、ＰＥ数が多
いハイパキューブについても同様な方法でバス結合を付
加する。次に各ＰＥへの具体的な負荷（結合荷重）の割
り付け法について、ニューラルネットのある層（かりに
第２層とする）のユニット数とその直前の層（かりに第
１層とする）のユニット数とが共に８（結合荷重行列は
８列８行）で、これを８個のＰＥからなるハイパキュー
ブ（図１Ｂの構成）に結合荷重を割り付ける場合を例に
説明する。この場合、第２層において基本的には図２Ｂ
に示す行列とベクトルの積を計算することになる。ここ
でｙi は第２層の上からｉ番目のユニット（ユニット
ｉ、ｉ：ユニット番号）への総入力値（ユニットの出力
の計算のベースとなる）、ｘi は第１層のユニットｉの
出力値、Ｗk,h は第１層のユニットｈと第２層のユニッ
トｋとの間の結合荷重である。
【００１９】図３にこの場合の結合荷重の割り付け例を
示す。同図において３ビットの番号は、結合荷重ｗ、第
１層のユニットの出力値ｘ、第２層のユニットへの総入
力値ｙを受け持つＰＥの番号を示している。例えば、結
合荷重ｗ1,1 は（０００）のＰＥが受持ち、第１層のユ
ニット１の出力値ｘ1 は（０００）と（１１１）のＰＥ
に配置し、第２層のユニット１の総入力値ｙ1 は（００
０）のＰＥがその計算を担当することを表している。即
ち、第２層のユニットへの総入力値ｙの計算は、同一の
バス集合に属するＰＥが、“ｕ ｍｏｄ ａ（ｕ：ユニ
ット番号）”が同じ値になるユニットの計算を均等に分
担し受け持つ。この例ではバス集合の数ａは４であるか
ら、 ｕ ｍｏｄ ａ＝１ となるユニット１，５はバス集合
Ｓ1 の（０００）と（１１１）のＰＥ ｕ ｍｏｄ ａ＝２ となるユニット２，６はバス集合
Ｓ2 の（００１）と（１１０）のＰＥ ｕ ｍｏｄ ａ＝３ となるユニット３，７はバス集合
Ｓ3 の（０１０）と（１０１）のＰＥ ｕ ｍｏｄ ａ＝０ となるユニット４，８はバス集合
Ｓ4 の（１００）と（０１１）のＰＥ がそれぞれ１ユニットづつ受け持っている。
示す。同図において３ビットの番号は、結合荷重ｗ、第
１層のユニットの出力値ｘ、第２層のユニットへの総入
力値ｙを受け持つＰＥの番号を示している。例えば、結
合荷重ｗ1,1 は（０００）のＰＥが受持ち、第１層のユ
ニット１の出力値ｘ1 は（０００）と（１１１）のＰＥ
に配置し、第２層のユニット１の総入力値ｙ1 は（００
０）のＰＥがその計算を担当することを表している。即
ち、第２層のユニットへの総入力値ｙの計算は、同一の
バス集合に属するＰＥが、“ｕ ｍｏｄ ａ（ｕ：ユニ
ット番号）”が同じ値になるユニットの計算を均等に分
担し受け持つ。この例ではバス集合の数ａは４であるか
ら、 ｕ ｍｏｄ ａ＝１ となるユニット１，５はバス集合
Ｓ1 の（０００）と（１１１）のＰＥ ｕ ｍｏｄ ａ＝２ となるユニット２，６はバス集合
Ｓ2 の（００１）と（１１０）のＰＥ ｕ ｍｏｄ ａ＝３ となるユニット３，７はバス集合
Ｓ3 の（０１０）と（１０１）のＰＥ ｕ ｍｏｄ ａ＝０ となるユニット４，８はバス集合
Ｓ4 の（１００）と（０１１）のＰＥ がそれぞれ１ユニットづつ受け持っている。
【００２０】又、結合荷重については、第２層の一つの
ユニットへの総入力値ｙを計算するのに必要な結合荷重
行列の行方向の結合荷重毎に考え、１行分の結合荷重
を、そのユニットの値を計算するＰＥと、それと異なる
バス集合に属しかつそのＰＥからハミング距離１にある
ＰＥとの間で均等に、かつ、“ｖ ｍｏｄ ａ（ｖ：結
合荷重行列の列の番号）”が同じ値になる結合荷重を同
一のＰＥが受持つように割り付ける。この例では、第２
層のユニット１への総入力値ｙ1 の計算は（０００）の
ＰＥで行い、ユニット２〜８への各総入力値ｙ2 〜ｙ8
の計算は（００１），（１００），（１１１），（１１
０），（１０１），（０１１）の各ＰＥで行う。例えば
ユニット１へ総入力値ｙ1 の計算に必要な第１行目の結
合荷重について説明するとつぎのようになる。これら結
合荷重は、ｙ1 の計算はバス集合Ｓ 1 の（０００）のＰ
Ｅが受け持つのでそれと異なるバス集合Ｓ2 ，Ｓ3 ，Ｓ
4 に属しかつそのＰＥ（０００）からハミング距離１に
ある（００１），（０１０），（１００）のＰＥとの間
で２個づつ分担して受け持っている。さらに具体的に
は、 ｖ ｍｏｄ ａ＝１ となる結合荷重Ｗ1,1 ，Ｗ1,5 を
（０００）のＰＥ ｖ ｍｏｄ ａ＝２ となる結合荷重Ｗ1,2 ，Ｗ1,6 を
（００１）のＰＥ ｖ ｍｏｄ ａ＝３ となる結合荷重Ｗ1,3 ，Ｗ1,7 を
（０１０）のＰＥ ｖ ｍｏｄ ａ＝０ となる結合荷重Ｗ1,4 ，Ｗ1,8 を
（１００）のＰＥ がそれぞれ受け持っている。その他の行の結合荷重につ
いても同様にして割り付けられている。但し、このと
き、結合荷重行列の同一の列は同一のバス集合のＰＥが
受け持つよう割り付ける。この例では第１列はバス集合
Ｓ1 のＰＥ（０００），（１１１）が受持つ。このよう
に結合荷重を割り付けると、総入力値ｙの計算に必要な
ＰＥ間転送は、ハイパキューブの結合（リンクと呼ぶ）
により直接接続されたＰＥとの間の転送だけになる（後
で詳細に説明）。又、次の層の計算に必要なｘをバスに
より同一バス集合内のＰＥに集めることが可能となる
（後で詳細に説明）。
ユニットへの総入力値ｙを計算するのに必要な結合荷重
行列の行方向の結合荷重毎に考え、１行分の結合荷重
を、そのユニットの値を計算するＰＥと、それと異なる
バス集合に属しかつそのＰＥからハミング距離１にある
ＰＥとの間で均等に、かつ、“ｖ ｍｏｄ ａ（ｖ：結
合荷重行列の列の番号）”が同じ値になる結合荷重を同
一のＰＥが受持つように割り付ける。この例では、第２
層のユニット１への総入力値ｙ1 の計算は（０００）の
ＰＥで行い、ユニット２〜８への各総入力値ｙ2 〜ｙ8
の計算は（００１），（１００），（１１１），（１１
０），（１０１），（０１１）の各ＰＥで行う。例えば
ユニット１へ総入力値ｙ1 の計算に必要な第１行目の結
合荷重について説明するとつぎのようになる。これら結
合荷重は、ｙ1 の計算はバス集合Ｓ 1 の（０００）のＰ
Ｅが受け持つのでそれと異なるバス集合Ｓ2 ，Ｓ3 ，Ｓ
4 に属しかつそのＰＥ（０００）からハミング距離１に
ある（００１），（０１０），（１００）のＰＥとの間
で２個づつ分担して受け持っている。さらに具体的に
は、 ｖ ｍｏｄ ａ＝１ となる結合荷重Ｗ1,1 ，Ｗ1,5 を
（０００）のＰＥ ｖ ｍｏｄ ａ＝２ となる結合荷重Ｗ1,2 ，Ｗ1,6 を
（００１）のＰＥ ｖ ｍｏｄ ａ＝３ となる結合荷重Ｗ1,3 ，Ｗ1,7 を
（０１０）のＰＥ ｖ ｍｏｄ ａ＝０ となる結合荷重Ｗ1,4 ，Ｗ1,8 を
（１００）のＰＥ がそれぞれ受け持っている。その他の行の結合荷重につ
いても同様にして割り付けられている。但し、このと
き、結合荷重行列の同一の列は同一のバス集合のＰＥが
受け持つよう割り付ける。この例では第１列はバス集合
Ｓ1 のＰＥ（０００），（１１１）が受持つ。このよう
に結合荷重を割り付けると、総入力値ｙの計算に必要な
ＰＥ間転送は、ハイパキューブの結合（リンクと呼ぶ）
により直接接続されたＰＥとの間の転送だけになる（後
で詳細に説明）。又、次の層の計算に必要なｘをバスに
より同一バス集合内のＰＥに集めることが可能となる
（後で詳細に説明）。
【００２１】又、第１層のユニットの出力値ｘについて
はそれとの間で積をとる結合荷重ｗに対応させてＰＥに
配置しておく必要がある（最初の層の計算のときの
み）。具体的には、同図に示すように、結合荷重行列の
第１列はバス集合Ｓ1 のＰＥに割り当てられているた
め、この結合荷重との間で積をとるｘ1 は同一集合の
（０００），（１１１）のＰＥに配置してある。他のｘ
についても同様にして配置してある。なお次の層の計算
のためのｘについては後述するように、その前の層の計
算の結果として自動的にこのような配置となる。
はそれとの間で積をとる結合荷重ｗに対応させてＰＥに
配置しておく必要がある（最初の層の計算のときの
み）。具体的には、同図に示すように、結合荷重行列の
第１列はバス集合Ｓ1 のＰＥに割り当てられているた
め、この結合荷重との間で積をとるｘ1 は同一集合の
（０００），（１１１）のＰＥに配置してある。他のｘ
についても同様にして配置してある。なお次の層の計算
のためのｘについては後述するように、その前の層の計
算の結果として自動的にこのような配置となる。
【００２２】次に、具体的な処理手順を以上の例の場合
（図１Ｂの構成で図３の結合荷重割り付け）について説
明する。まず、全ＰＥは割り付けられた結合荷重と前層
の出力との積をとりその総和（部分積和）を計算する。
具体的には、例えば（０００）のＰＥは、 ：ｗ1,1 ×ｘ1 ＋ｗ1,5 ×ｘ5 ：ｗ2,1 ×ｘ1 ＋ｗ2,5 ×ｘ5 ：ｗ3,1 ×ｘ1 ＋ｗ3,5 ×ｘ5 ：ｗ4,1 ×ｘ1 ＋ｗ4,5 ×ｘ5 の４個の部分積和を計算する。その他のＰＥも同様に割
り当てられた結合荷重と第１層のユニットの出力値との
間で積和計算を行う。この部分積和の計算は全ＰＥで並
列的に行われ、この場合には各ＰＥとも８回の積と４回
の和の計算を行うことになる。この段階で第２層のユニ
ットへの入力ｙの計算に必要な部分積和は全ＰＥに分散
されて配置される事になる。
（図１Ｂの構成で図３の結合荷重割り付け）について説
明する。まず、全ＰＥは割り付けられた結合荷重と前層
の出力との積をとりその総和（部分積和）を計算する。
具体的には、例えば（０００）のＰＥは、 ：ｗ1,1 ×ｘ1 ＋ｗ1,5 ×ｘ5 ：ｗ2,1 ×ｘ1 ＋ｗ2,5 ×ｘ5 ：ｗ3,1 ×ｘ1 ＋ｗ3,5 ×ｘ5 ：ｗ4,1 ×ｘ1 ＋ｗ4,5 ×ｘ5 の４個の部分積和を計算する。その他のＰＥも同様に割
り当てられた結合荷重と第１層のユニットの出力値との
間で積和計算を行う。この部分積和の計算は全ＰＥで並
列的に行われ、この場合には各ＰＥとも８回の積と４回
の和の計算を行うことになる。この段階で第２層のユニ
ットへの入力ｙの計算に必要な部分積和は全ＰＥに分散
されて配置される事になる。
【００２３】次に、各ＰＥは、自ＰＥに分担されたユニ
ットの計算に必要な部分積和以外の部分積和をそれを必
要とするＰＥに順次転送する。具体的には、例えば（０
００）のＰＥは、自ＰＥに分担されたユニットの計算に
必要な部分積和は上記であり、他の部分積和について
は上記の部分積和をｙ2 の計算を担当する（００１）
のＰＥへ、の部分積和をｙ3 の計算を担当する（０１
０）のＰＥへ、の部分積和をｙ4 の計算を担当する
（１００）のＰＥへそれぞれ転送する。その他のＰＥも
同様な転送を行うが、これらの転送は次のような方法を
とると、ハイパキューブのいかなるリンクにおいても衝
突が起こらず全ＰＥで並列的に実行できる。これは、Ｐ
Ｅ番号が偶数重み（番号を表すビットパターンにおいて
１の数が偶数個）のＰＥがｉビット目を反転したＰＥに
転送しているときは、ＰＥ番号が奇数重み（番号を表す
ビットパターンにおいて１の数が奇数個）のＰＥはｊビ
ット目（ｉ≠ｊ）を反転したＰＥに転送するようにすれ
ばよい。例えばこの例の場合では、最初の転送において
は（０００），（１１０），（１０１），（０１１）の
ＰＥは自ＰＥと１ビット目が異なる番号のＰＥへ、（１
１１），（００１），（０１０），（１００）のＰＥは
２ビット目が異なる番号のＰＥへ転送する。次の転送で
は前者のＰＥは２ビット目が異なる番号のＰＥへ、後者
のＰＥは３ビット目が異なる番号のＰＥへ転送する。
又、その次の転送では前者のＰＥは３ビット目が異なる
番号のＰＥへ、後者のＰＥは１ビット目が異なる番号の
ＰＥへ転送する。こうすると３回の転送によりｙの計算
に必要な部分積和はその計算を担当する各ＰＥに集まる
ことになる。
ットの計算に必要な部分積和以外の部分積和をそれを必
要とするＰＥに順次転送する。具体的には、例えば（０
００）のＰＥは、自ＰＥに分担されたユニットの計算に
必要な部分積和は上記であり、他の部分積和について
は上記の部分積和をｙ2 の計算を担当する（００１）
のＰＥへ、の部分積和をｙ3 の計算を担当する（０１
０）のＰＥへ、の部分積和をｙ4 の計算を担当する
（１００）のＰＥへそれぞれ転送する。その他のＰＥも
同様な転送を行うが、これらの転送は次のような方法を
とると、ハイパキューブのいかなるリンクにおいても衝
突が起こらず全ＰＥで並列的に実行できる。これは、Ｐ
Ｅ番号が偶数重み（番号を表すビットパターンにおいて
１の数が偶数個）のＰＥがｉビット目を反転したＰＥに
転送しているときは、ＰＥ番号が奇数重み（番号を表す
ビットパターンにおいて１の数が奇数個）のＰＥはｊビ
ット目（ｉ≠ｊ）を反転したＰＥに転送するようにすれ
ばよい。例えばこの例の場合では、最初の転送において
は（０００），（１１０），（１０１），（０１１）の
ＰＥは自ＰＥと１ビット目が異なる番号のＰＥへ、（１
１１），（００１），（０１０），（１００）のＰＥは
２ビット目が異なる番号のＰＥへ転送する。次の転送で
は前者のＰＥは２ビット目が異なる番号のＰＥへ、後者
のＰＥは３ビット目が異なる番号のＰＥへ転送する。
又、その次の転送では前者のＰＥは３ビット目が異なる
番号のＰＥへ、後者のＰＥは１ビット目が異なる番号の
ＰＥへ転送する。こうすると３回の転送によりｙの計算
に必要な部分積和はその計算を担当する各ＰＥに集まる
ことになる。
【００２４】次に各ＰＥは、自ＰＥでの部分積和と転送
されてきた３つの部分積和との総和をとり、それをもと
に自ＰＥに割り当てられたユニットの出力を計算する
（これはｙと前述のしきい値θおよび関数Ｆを用いて計
算。）この計算も当然全ＰＥで並列的に行われる。なお
この総和をとるステップとその前の転送のステップは交
互に行ってもよいことは言うまでもない。この段階で、
第２層の各ユニットへの総入力値の計算を担当したそれ
ぞれのＰＥに、それに対応する第２層の各ユニットの出
力値が得られることになる。
されてきた３つの部分積和との総和をとり、それをもと
に自ＰＥに割り当てられたユニットの出力を計算する
（これはｙと前述のしきい値θおよび関数Ｆを用いて計
算。）この計算も当然全ＰＥで並列的に行われる。なお
この総和をとるステップとその前の転送のステップは交
互に行ってもよいことは言うまでもない。この段階で、
第２層の各ユニットへの総入力値の計算を担当したそれ
ぞれのＰＥに、それに対応する第２層の各ユニットの出
力値が得られることになる。
【００２５】次に、各バス集合内のＰＥは、計算したユ
ニットの出力を同一集合内の全ＰＥにバスにより互いに
転送する。具体的にはこの例の場合、バス集合Ｓ1 につ
いては（０００）のＰＥは第２層のユニット１の出力を
（１１１）のＰＥへ、（１１１）のＰＥはユニット５の
出力を（０００）のＰＥへそれぞれバスを用いて転送す
る。この結果、（０００）と（１１１）のＰＥの双方に
ユニット１，５の出力が集まる。他のバス集合について
も同様な転送を行う（バス集合の数の並列性）。この転
送は次の層の計算に必要なｘを、それを必要とするＰＥ
に配置するためのものである。即ち、その前の層のユニ
ットの出力が次の層のユニットへの入力となるため、予
め次の層の計算の前にそれに必要なｘを各ＰＥに配置し
ておくものである。この転送の回数は一つのバス集合に
割り当てられたｙの数である。なお、この例ではバスに
結合されるＰＥが２個しかないため１対１の転送となっ
ているが、それ以上の場合には１対多の転送となる（一
つのＰＥがバス集合内の他の全てのＰＥにバスを用いて
放送により転送）。
ニットの出力を同一集合内の全ＰＥにバスにより互いに
転送する。具体的にはこの例の場合、バス集合Ｓ1 につ
いては（０００）のＰＥは第２層のユニット１の出力を
（１１１）のＰＥへ、（１１１）のＰＥはユニット５の
出力を（０００）のＰＥへそれぞれバスを用いて転送す
る。この結果、（０００）と（１１１）のＰＥの双方に
ユニット１，５の出力が集まる。他のバス集合について
も同様な転送を行う（バス集合の数の並列性）。この転
送は次の層の計算に必要なｘを、それを必要とするＰＥ
に配置するためのものである。即ち、その前の層のユニ
ットの出力が次の層のユニットへの入力となるため、予
め次の層の計算の前にそれに必要なｘを各ＰＥに配置し
ておくものである。この転送の回数は一つのバス集合に
割り当てられたｙの数である。なお、この例ではバスに
結合されるＰＥが２個しかないため１対１の転送となっ
ているが、それ以上の場合には１対多の転送となる（一
つのＰＥがバス集合内の他の全てのＰＥにバスを用いて
放送により転送）。
【００２６】以上の処理よりある層の計算が完了し、こ
の発明によるニューロコンピュータはこの処理を各層毎
に繰り返すことにより最後の層である出力層の出力を得
る。以上ＰＥ数８、各層のユニット数８の場合について
説明したが、これらがこれ以上の場合についても同様に
処理できることは言うまでもない。又、この発明は多層
型ニューラルネットの処理の高速化を目指したものだ
が、その他でも行列とベクトルの積を連続的にとる処理
には一般的に適用できる。
の発明によるニューロコンピュータはこの処理を各層毎
に繰り返すことにより最後の層である出力層の出力を得
る。以上ＰＥ数８、各層のユニット数８の場合について
説明したが、これらがこれ以上の場合についても同様に
処理できることは言うまでもない。又、この発明は多層
型ニューラルネットの処理の高速化を目指したものだ
が、その他でも行列とベクトルの積を連続的にとる処理
には一般的に適用できる。
【００２７】
【発明の効果】以上説明したように、この発明では、ハ
ミング符号とその剰余類を用いてハイパキューブのＰＥ
群を複数の集合（バス集合）に分割し、この集合毎にバ
ス結合を設け、結合荷重と前層のユニットの出力との間
の積和計算が全ＰＥで均等に分担され、かつ、その総和
の計算に必要なＰＥ間転送が直接結合されたＰＥ間のみ
の転送で済むように各層の結合荷重をＰＥに割り付け、
全ＰＥはまず割り付けられた結合荷重と前層の出力との
間で部分積和を求め、次に部分積和をそれを必要とする
ＰＥに順次転送し、自ＰＥでの部分積和と転送されてき
た部分積和との総和をとりユニットの出力を計算し、そ
の後、各バス集合内のＰＥがユニットの出力を同一集合
内の全ＰＥにバスにより互いに転送しあう事により一つ
の層の処理を完了し、この処理を各層毎に繰り返すこと
により多層型ニューラルネットの出力を計算する。
ミング符号とその剰余類を用いてハイパキューブのＰＥ
群を複数の集合（バス集合）に分割し、この集合毎にバ
ス結合を設け、結合荷重と前層のユニットの出力との間
の積和計算が全ＰＥで均等に分担され、かつ、その総和
の計算に必要なＰＥ間転送が直接結合されたＰＥ間のみ
の転送で済むように各層の結合荷重をＰＥに割り付け、
全ＰＥはまず割り付けられた結合荷重と前層の出力との
間で部分積和を求め、次に部分積和をそれを必要とする
ＰＥに順次転送し、自ＰＥでの部分積和と転送されてき
た部分積和との総和をとりユニットの出力を計算し、そ
の後、各バス集合内のＰＥがユニットの出力を同一集合
内の全ＰＥにバスにより互いに転送しあう事により一つ
の層の処理を完了し、この処理を各層毎に繰り返すこと
により多層型ニューラルネットの出力を計算する。
【００２８】即ち、この発明では以上のような構成、結
合荷重割り付け、処理を行うため、ユニットの出力のバ
スによる転送以外の全ての処理が全ＰＥで完全に並列的
に行われることになり、ＰＥの利用効率が高く、ひいて
は多層型ニューラルネットの処理を大幅に高速化できる
という利点がある。
合荷重割り付け、処理を行うため、ユニットの出力のバ
スによる転送以外の全ての処理が全ＰＥで完全に並列的
に行われることになり、ＰＥの利用効率が高く、ひいて
は多層型ニューラルネットの処理を大幅に高速化できる
という利点がある。
【図１】Ａはこの発明で用いられるバス集合構成例を示
す図、ＢはＡのバス集合にバス結合を付加したハイパキ
ューブ構成例を示す図である。
す図、ＢはＡのバス集合にバス結合を付加したハイパキ
ューブ構成例を示す図である。
【図２】Ａは他のバス集合構成例を示す図、Ｂはこの発
明の実施例における行列とベクトルとの積の計算を示す
図である。
明の実施例における行列とベクトルとの積の計算を示す
図である。
【図３】この発明の実施例における結合荷重等のＰＥへ
の割り付け例を示す図。
の割り付け例を示す図。
【図４】多層型ニューラルネットの構成を示すブロック
図。
図。
【図５】従来の高速化法で用いられていた並列プロセッ
サの構成を示すブロック図。
サの構成を示すブロック図。
【図６】従来の方法での結合荷重割り付けを説明する
図。
図。
Claims (1)
- 【請求項１】 複数（２h 個）の処理要素（以下ＰＥと
呼ぶ）をハイパキューブ状に結合し、さらにこれらＰＥ
を以下のようにａ個のバス集合に分割し、そのバス集合
ごとにバス結合を設け、 ｈ＝２m −１（ｍ：正整数）のときは、全ＰＥを、その
番号（ｈビットパターン）において、完全符号であるハ
ミング符号とその剰余類とに分割し、それらハミング符
号および各剰余類ごとにそれに含まれるＰＥ群を一つの
バス集合とし、 ｈ≠２m −１のときは、まず元のハイパキューブ状結合
をｓ次元（ｓ＝２m −１となるｈ以下の最大のｓ）のサ
ブキューブに分割し、その各サブキューブ内の全ＰＥ
を、その番号（ｓビットパターン）において、完全符号
であるハミング符号とその剰余類とに分割し、それらハ
ミング符号および各剰余類ごとにそれに含まれるＰＥ群
を一つの集合とし、つぎに上記サブキューブ間で対応す
る集合同士を統合して一つのバス集合とし、 多層型ニューラルネットの結合荷重を各層毎に以下のよ
うに各ＰＥに割り付け、 同一のバス集合に属する各ＰＥは、“ｕ ｍｏｄ ａ
（ｕ：ニューラルネットの一つの層のユニット番号）”
が同じ値になるユニットの出力の計算を均等に分担し受
け持ち、各ユニットの出力を計算するのに必要な結合荷
重（結合荷重行列の行方向の結合荷重）は、そのユニッ
トの出力を計算するＰＥと、それと異なるバス集合に属
しかつそのＰＥからハミング距離１にあるＰＥとの間で
均等に、かつ、“ｖ ｍｏｄ ａ（ｖ：結合荷重行列の
列の番号）”が同じ値になる結合荷重を同一のＰＥが受
持つように、かつ、結合荷重行列の同一の列は同一のバ
ス集合のＰＥが受け持つように割り付け、 全ＰＥはまず割り付けられた結合荷重と前層の出力との
間で積和計算し（この結果を部分積和と呼ぶ）、次に自
ＰＥに分担されたユニットの計算に必要な部分積和以外
の部分積和を、それを必要とするＰＥに順次転送し、自
ＰＥでの部分積和と転送されてきた部分積和の総和をと
りユニットの出力を計算し、その後、各バス集合内のＰ
Ｅがユニットの出力を同一集合内の全ＰＥにバスにより
互いに転送しあう事により一つの層の処理を完了し、こ
の処理を各層毎に繰り返す手段をもつことを特徴とする
ニューロコンピュータ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6581792A JPH05265996A (ja) | 1992-03-24 | 1992-03-24 | ニューロコンピュータ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6581792A JPH05265996A (ja) | 1992-03-24 | 1992-03-24 | ニューロコンピュータ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05265996A true JPH05265996A (ja) | 1993-10-15 |
Family
ID=13297961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6581792A Pending JPH05265996A (ja) | 1992-03-24 | 1992-03-24 | ニューロコンピュータ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05265996A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009176110A (ja) * | 2008-01-25 | 2009-08-06 | Seiko Epson Corp | 並列演算装置および並列演算方法 |
| JP2021082317A (ja) * | 2017-02-23 | 2021-05-27 | セレブラス システムズ インク． | 加速化ディープラーニング |
| US11488004B2 (en) | 2017-04-17 | 2022-11-01 | Cerebras Systems Inc. | Neuron smearing for accelerated deep learning |
-
1992
- 1992-03-24 JP JP6581792A patent/JPH05265996A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009176110A (ja) * | 2008-01-25 | 2009-08-06 | Seiko Epson Corp | 並列演算装置および並列演算方法 |
| JP2021082317A (ja) * | 2017-02-23 | 2021-05-27 | セレブラス システムズ インク． | 加速化ディープラーニング |
| US11934945B2 (en) | 2017-02-23 | 2024-03-19 | Cerebras Systems Inc. | Accelerated deep learning |
| US11488004B2 (en) | 2017-04-17 | 2022-11-01 | Cerebras Systems Inc. | Neuron smearing for accelerated deep learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nassimi et al. | Bitonic sort on a mesh-connected parallel computer | |
| JP6960700B2 (ja) | マルチキャストネットワークオンチップに基づいた畳み込みニューラルネットワークハードウェアアクセラレータおよびその動作方式 | |
| Buscema | Metanet*: The theory of independent judges | |
| US5170463A (en) | Neuro-computer | |
| JPH06131308A (ja) | 多次元シストリックアレイ処理装置及び方法 | |
| Stout | Hypercubes and pyramids | |
| WO2019155910A1 (ja) | ニューラル電子回路 | |
| JPH04232562A (ja) | コンピユータ装置 | |
| JPH05265996A (ja) | ニューロコンピュータ | |
| JPH06175986A (ja) | 行列演算の並列処理方法 | |
| JPH05346914A (ja) | ニューロプロセッサ | |
| US6718465B1 (en) | Reconfigurable inner product processor architecture implementing square recursive decomposition of partial product matrices | |
| Sudhakar et al. | Efficient mapping of backpropagation algorithm onto a network of workstations | |
| US5530953A (en) | Apparatus for relocating spatial information for use in data exchange in a parallel processing environment | |
| CN110222819B (zh) | 一种用于卷积神经网络加速的多层数据分区域联合计算方法 | |
| JPH06110864A (ja) | 学習処理装置 | |
| GB2206428A (en) | Computer | |
| JPH0440581A (ja) | ニューロプロセッサ | |
| JPH02266458A (ja) | ニューラルネットワークシミュレーション装置 | |
| JP3271186B2 (ja) | 学習処理装置 | |
| Kashef et al. | Augmented parity check codes for encoding of asynchronous sequential machines | |
| Ben‐Natan et al. | Parallel contractions of grids for task assignment to processor networks | |
| JPH0782482B2 (ja) | ニューロコンピュータの負荷配分方法 | |
| Hernández et al. | Influence of the level of connectivity on the members of the Octahedron and X-Octahedron families of tensegrities | |
| JPH0690704B2 (ja) | ニューロコンピュータ |