JPH05324584A - ハイパーキューブの割当方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 クロスバ網を階層的に用いた結合ネットワー
クのマルチプロセッサシステムで、ハイパーキューブ結
合を構成する。 【構成】 Ｍを１以上の整数でＮを２のＭ乗とし、Ｎ×
Ｎ個のプロセッサと、Ｎ×Ｎ×Ｎ個のバッファユニット
とを備え、認識番号［ｉ，ｊ］（１≦ｉ，ｊ≦Ｎ）のプ
ロセッサと認識番号［ｊ，ｋ］（１≦ｋ≦Ｎ）のプロセ
ッサとの間にバッファユニットを接続したマルチプロセ
ッサシステムで、２×ＭビットのうちのＭビットのハミ
ング距離１の列ａ（ｍ）（１≦ｍ≦Ｎ）の作成と、２×
ＭビットのうちのＭビットのハミング距離１の列ｂ
（ｎ）（１≦ｎ≦Ｎ）の作成と、ｉ＋ｊが奇数となる認
識番号［ｉ，ｊ］のプロセッサのノード番号をａ（ｉ）
＋ｂ（ｊ）への設定と、ｉ＋ｊが偶数となる認識番号
［ｉ，ｊ］のプロセッサのノード番号をａ（ｊ）＋ｂ
（ｉ）への設定の各手段を備える。 【効果】 汎用性の高いマルチプロセッサシステムを構
成できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はプロセッサ間の結合ネッ
トワークによってプロセッサ間相互にデータ転送を行う
マルチプロセッサシステムにおけるハイパーキューブの
割当方法に関するものである。

【０００２】

【従来の技術】近年、計算機の処理能力を高めるため多
数のプロセッサを用いたマルチプロセッサシステムが用
いられるようになってきた。大規模な科学技術計算は、
並列処理が有効な分野であり、マルチプロセッサシステ
ムの活用が望まれている。科学技術計算では扱うデータ
量が大きく、さらにデータ構造が規則性を持つことが多
いので並列化に適しており、並列処理をうまく用いれば
計算時間を大幅に短縮できる。マルチプロセッサシステ
ムでは、各プロセッサにデータとそのデータに対する処
理を割り当てて並行して処理を行う。１つのプロセッサ
に割り当てたデータは、処理の進行に伴って他のプロセ
ッサに転送して処理する必要がある。このようなプロセ
ッサ間相互のデータ転送を行うため、マルチプロセッサ
システムでは、プロセッサ間結合ネットワークが用いら
れる。このような結合ネットワークが、現在までに各種
提案されている（結合方式、情報処理、Vol.27,No.9,p
p.1005-1021参照）。

【０００３】結合ネットワークによって結合されるプロ
セッサ間のデータ転送は１回のデータ転送で済むが、直
接結合されていないプロセッサ間のデータ転送は、他の
プロセッサを経由してデータ転送をするが必要がある。
プロセッサ間の結合数を多くして、並列に転送できるデ
ータ数を増やすことによりデータ転送を高速に行うこと
ができる。このため、一般に、プロセッサ間の結合数に
よって結合ネットワークの性能が決まってくる。このよ
うな観点から、結合ネットワークの評価にプロセッサ間
距離や中継量などが用いられる。プロセッサ間距離は、
プロセッサ間のデータ転送において、データの送信元か
ら受信先までの間に経由するプロセッサの数である。中
継量は、このようなデータ転送において各プロセッサの
中継するデータ量である。一般にプロセッサ間距離と中
継量の両方とも少ないほうが性能がよい。

【０００４】プロセッサ間の結合ネットワークの例とし
ては、図９に示すように、ツリー(a)、メッシュ(b)、ハ
イパーキューブ(c)構成が用いられることが多い（日経
コンピュータ、「実用化の第１歩を踏み出した大規模並
列処理」、No.262,pp60-83参照）。この中で、ツリーや
メッシュは結合数が少なく実現容易であるが、このよう
なネットワークは、プロセッサ間距離や中継量が比較的
大きくなる。ハイパーキューブは、ツリーやメッシュ構
造を含み汎用性の高いネットワークであり、プロセッサ
間距離や中継量からみても、他の簡単な構造の結合ネッ
トワークよりも優れている。結合数が最も多い結合ネッ
トワークとして、クロスバネットワークがあり、このネ
ットワークでは任意のプロセッサ間の通信は、１回のデ
ータ転送で済む。つまり、プロセッサ間距離と中継量が
最小である。しかし、クロスバネットワークは配線数や
結合ノード数が増えて実現が困難になり、実用的な計算
機は作られていない。このクロスバネットワークをネッ
トワークの部分構造に利用したものとして、base-m n-c
ubeネットワークやADENAネットワークがある（科学技術
計算シミュレーション超並列計算機ＡＤＥＮＡ、情報処
理、Vol.32,No.4,pp.377-387参照）。これらのネットワ
ークでは、プロセッサ間距離や中継量を減少させるとと
もに、クロスバネットワークよりも実現を容易にしてい
る。ADENAネットワークは、図５、図６に示すように、
２次元配置のプロセッサアレイと３次元配置のデータ転
送ネットワークを備えた構成を取っている。

【０００５】以上のように各種結合ネットワークが提案
されているが、実際のマルチプロセッサシステムにおい
てどのようにネットワークを利用するかは、アプリケー
ションのデータ構造に大きく依存する。例えば、木構造
のデータを扱うにはツリー型のプロセッサ間結合が適し
ており、２次元領域の数値計算において配列データをそ
の要素毎に分割する場合は、メッシュ結合による並列処
理が適している。このようなデータ構造のアプリケーシ
ョンに対しては、ハイパーキューブにおいても、ツリー
やメッシュの接続関係を利用して、処理を各プロセッサ
に割り当てることができる。このほかに、偏微分方程式
の差分による数値計算などでは、３次元配列や２次元配
列データに対して効率的に並列処理しなければならな
い。このとき、３次元配列や２次元配列データをプロセ
ッサに分割し、処理の進行に従って、３次元配列や２次
元配列データを効率良くプロセッサ間でデータ転送する
必要がある。ADENAネットワークは、このようなデータ
転送に適したネットワークであり、陰解法を含む偏微分
方程式の並列化アルゴリズムを効率良く実行することが
できる。

【０００６】

【発明が解決しようとする課題】しかしながら上記のよ
うなハイパーキューブ結合による計算機では、メッシュ
構造による陽解法には対応できるが、３次元配列や２次
元配列データに対する陰解法を含む並列処理のアルゴリ
ズムに適しておらず、このような処理ではプログラミン
グが困難で、データ転送の効率が悪いという問題があ
る。ADENAの結合ネットワークは、偏微分方程式の数値
計算には適しているが、ハイパーキューブ型のアプリケ
ーションに対して適用しにくいという問題点を有してい
た。

【０００７】本発明は上記問題点を解決するために、ネ
ットワークの部分構造にクロスバ結合ネットワークを応
用したADENAネットワークにおいて、ハイパーキューブ
結合を構成できるハイパーキューブの割当方法を提供す
るものである。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
めに本発明のハイパーキューブの割当方法は、Ｍを１以
上の整数としＮを２のＭ乗として、２次元に配置したＮ
×Ｎ個のプロセッサと、Ｎ×Ｎ×Ｎ個のバッファユニッ
トとを備え、前記２次元の配置を表す認識番号［ｉ，
ｊ］（１≦ｉ，ｊ≦Ｎ）を有するプロセッサと認識番号
［ｊ，ｋ］（１≦ｋ≦Ｎ）を有するプロセッサとの間に
前記バッファユニットを接続したマルチプロセッサシス
テムにおいて、２×ＭビットのうちのＭビットのビット
位置だけのハミング距離１の列ａ（ｍ）（１≦ｍ≦Ｎ）
を作成するステップと、前記２×ＭビットのうちのＭビ
ットを除いた残りのＭビットのビット位置だけのハミン
グ距離１の列ｂ（ｎ）（１≦ｎ≦Ｎ）を作成するステッ
プと、ｉ＋ｊが奇数となる前記認識番号［ｉ，ｊ］のプ
ロセッサのノード番号をａ（ｉ）＋ｂ（ｊ）に設定する
ステップと、ｉ＋ｊが偶数となる前記認識番号［ｉ，
ｊ］のプロセッサのノード番号をａ（ｊ）＋ｂ（ｉ）に
設定するステップとを備えている。

【０００９】また、本発明のハイパーキューブの割当方
法は、上記マルチプロセッサシステムにおいて、ｉ＋ｊ
が偶数となる認識番号［ｉ，ｊ］のプロセッサのノード
番号をａ（ｉ）＋ｂ（ｊ）に設定するステップと、ｉ＋
ｊが奇数となる認識番号［ｉ，ｊ］のプロセッサのノー
ド番号をａ（ｊ）＋ｂ（ｉ）に設定するステップとを備
えたものである。

【００１０】

【作用】本発明は上記した構成によって、各プロセッサ
にハイパキューブのノード番号を割り当てることがで
き、このノード番号によってデータ転送先を決定するこ
とによりハイパーキューブ結合が可能となり、ハイパー
キューブに適したアルゴリズムを効率良く処理すること
ができる。

【００１１】

【実施例】以下、この発明の実施例を図１から図８を参
照しながら説明する。

【００１２】本実施例の構成をプロセッサ数が１６の場
合について、図５から図８に基づいて説明する。図７
は、マルチプロセッサシステムを構成する各プロセッサ
エレメント１０の構成図である。プロセッサエレメント
１０は、プロセッサ１１と、データを記憶するメモリ１
２、メモリ１２とバッファユニット２０の間のデータ転
送を行うデータ転送制御装置１３と、バッファユニット
２０へ接続するデータ転送バスＲ２４、データ転送バス
Ｃ２５とから構成される。データ転送制御回路１３は、
メモリ１２をアクセスする制御を行うメモリ制御回路１
５と、プロセッサの指定するノード番号と各プロセッサ
エレメント１０に接続されるバッファユニット２０の番
号との対応を登録した変換テーブル１４と、データ転送
バスＲ２４とデータ転送バスＣ２５のデータ転送を制御
する入出力回路Ｒ１６と入出力回路Ｃ１７から構成され
る。図８はプロセッサエレメント１０の間の結合ネット
ワークを構成するバッファユニット２０の構成図であ
る。バッファユニット２０は、データ転送バスＲ２４と
データ転送バスＣ２５にそれぞれ接続される２つの入出
力ポート２１、２２と、２つの入出力ポート２１、２２
との間で入出力を行うＦＩＦＯ２３から構成される。

【００１３】図５にマルチプロセッサシステムの構成を
示す。１６個のプロセッサエレメント１０を２次元に配
置し、この２次元の配置を認識する認識番号を（Ｉ、
Ｊ）、（１≦Ｉ≦４、１≦Ｊ≦４）とする。プロセッサ
エレメント１０からのデータ転送バスＲ２４とデータ転
送バスＣ２５は、それぞれバッファユニット２０の入出
力ポート２１と入出力ポート２２に接続される。

【００１４】図５の中でＩまたはＪの位置の認識番号
に、ｊ（１≦ｊ≦４）を有するプロセッサエレメント１
０の間のバッファユニット２０の接続面を示したものが
図６である。（１、ｊ）のプロセッサエレメント１０ー
１は、バッファユニット（１、ｊ、１）２０ー１を通し
て、（ｊ、１）のプロセッサエレメント１０ー５に接続
される。この関係より、任意のｉ（１≦ｉ≦４）をもつ
プロセッサエレメント（ｉ、ｊ）１０は、バッファユニ
ット（ｉ、ｊ、ｋ）２０によって、任意のｋ（１≦ｋ≦
４）をもつプロセッサエレメント（ｊ、ｋ）１０に接続
される。

【００１５】つぎに、上記構成よる本実施例の動作につ
いて、図１から図４に基づいて説明する。図１に、各プ
ロセッサエレメントの認識番号（ｉ、ｊ）から、ハイパ
ーキューブ結合のノード番号を決定するフローチャート
を示す。以下、このフローチャートに従って説明する。

【００１６】ステップ１：奇数番目のビット位置だけの
ハミング距離１の列ａ（ｉ）（１≦ｉ≦４）を作成す
る。

【００１７】ステップ２：偶数番目のビット位置だけの
ハミング距離１の列ｂ（ｊ）（１≦ｊ≦４）を作成す
る。

【００１８】ステップ３：プロセッサエレメント１０の
２次元の配置の認識番号を（ｉ、ｊ）（１≦ｉ≦４、１
≦ｊ≦４）とする。

【００１９】ステップ４：ｉ＋ｊの値が奇数のときステ
ップ５、偶数のときステップ６の処理を行う。

【００２０】ステップ５：ハイパーキューブのノード番
号をａ（ｉ）＋ｂ（ｊ）とする。 ステップ６：ハイパーキューブのノード番号をａ（ｊ）
＋ｂ（ｉ）とする。

【００２１】図２にａ（ｉ）、ｂ（ｊ）の例を示す。プ
ロセッサエレメントの個数が１６であるので、１６個の
プロセッサエレメント１０を識別する番号は、４ビット
で表さる。この４ビットのうちの奇数ビットと偶数ビッ
トのそれぞれでハミング距離１の列を作成する。つま
り、ａ（１）とａ（２）、ａ（２）とａ（３）、ａ
（３）とａ（４）は、それぞれハミング距離１である。
ｂについても同様である。プロセッサエレメント１０の
認識番号（ｉ、ｊ）から、ｉ＋ｊが奇数であるか偶数で
あるかによってハイパーキューブのノード番号を求め
る。図３にハイパーキューブのノード番号の割当を求め
た例を示す。これは、各ｉ、ｊによって、ａ（ｉ）＋ｂ
（ｊ）かまたはａ（ｊ）＋ｂ（ｉ）を計算して作成す
る。

【００２２】図４に、プロセッサエレメントの２次元の
並びに対応した番号割当後のノード番号を示す。以下、
プロセッサエレメント間のバッファユニットの接続と、
ハイパーキューブの接続との関係について説明する。ハ
イパーキューブにおいては、たとえば、ノード番号0000
からは0001、0010、0100、1000のノード番号が接続され
る。これは、それぞれの認識番号(1, 1)、(2, 1)、(1,
2)、(4, 1)、(1, 4)のプロセッサエレメントに対応す
る。プロセッサエレメント１０とバッファユニット２０
の接続関係を説明したように、認識番号(1, 1)のプロセ
ッサエレメントは、バッファユニットを介して、他の４
つのプロセッサエレメント(2, 1)、(1, 2)、(4, 1)、
(1, 4)と、次のように接続されている。

【００２３】 PE(2,1) - BU(2,1,1) - PE(1,1) PE(1,1) - BU(1,1,2) - PE(1,2) PE(4,1) - BU(4,1,1) - PE(1,1) PE(1,1) - BU(1,1,4) - PE(1,4) このように、図４で示したノード番号は、１６個のプロ
セッサによるハイパーキューブ接続になっている。

【００２４】次に、このハイパーキューブのノード番号
に基づいた、データ転送について説明する。各プロセッ
サエレメント１０の変換テーブル１４に、図４の対応を
登録しておく。例えば、ノード番号0000のプロセッサ１
１の変換テーブル１４には、ノード番号0001 がプロセ
ッサ（２、１）であることを登録する。ノード番号0000
のプロセッサから、ノード番号0001のプロセッサにデー
タ転送する場合、変換テーブル１４によりプロセッサ
（２、１）にデータを転送する。

【００２５】以上説明したように、プロセッサエレメン
トの認識番号よりハイパーキューブのノード番号を与え
ることができ、この番号を変換テーブルに登録すること
により、ハイパーキューブのマルチプロセッサシステム
として使用することが可能になる。

【００２６】なお、図２に示したハミング距離１の列
は、任意の２ビットずつでよく、例えば、上位２ビット
と下位２ビットでそれぞれハミング距離１の列を作成し
て用いてもよい。任意のプロセッサ数のマルチプロセッ
サシステムにおいても、プロセッサの個数を表すのに必
要なビット数の半分のビット数でそれぞれａ、ｂの列を
作成すればよい。つまり、全ビット数をＫとすると、Ｋ
／２ビットずつ任意に選択し、それぞれＫ／２ビットの
ハミング距離１の列を作成する。但し、ａ、ｂで、同じ
ビット位置は使用しない。

【００２７】このような列a 、bを用いた場合のハイパ
ーキューブ接続について説明する。認識番号(i,j)にお
いてi+jが奇数のとき、プロセッサ(i,j)のノード番号は
a(i)+b(j)である。プロセッサの認識番号が全部でKビッ
トで表される場合、各a,bの列において、それぞれi, jか
ら奇数個離れた位置にa(i)、b(j)と１ビットだけ異なる
ものがK/2個ずつ存在する。これをそれぞれa(r)、b(s)
とする。a(r)とb(s)は、それぞれa(i)、b(j)とハミング
距離１であるので、a(r)+b(j)とa(i)+b(s)は、プロセッ
サ(i,j)のノード番号であるa(i)+b(j)とはハミング距離
１である。i+jが奇数であるのでr+j, i+sは偶数にな
り、a(r)+b(j)とa(i)+b(s)に対応するプロセッサはそれ
ぞれ(j,r)と(s,i)である。認識番号(i,j)のプロセッサ
は、(j,r)および(s,i)のプロセッサとバッファユニット
を介して接続されている。r, sはそれぞれK/2通りある
ので、プロセッサ(i,j)から合計K個のハミング距離１の
ハイパーキューブノードが結合される。同様に、認識番
号(i,j)のプロセッサにおいて、i+jが偶数の場合もハイ
パーキューブ接続となっている。

【００２８】また、認識番号（ｉ、ｊ）において、ｉ＋
ｊが偶数であるか奇数であるかの判定を上記手順と逆に
してもよい。つまり、ｉ＋ｊが偶数である場合には、ノ
ード番号をａ（ｉ）＋ｂ（ｊ）とし、ｉ＋ｊが奇数であ
る場合には、ノード番号をａ（ｊ）＋ｂ（ｉ）としても
よい。この場合もハイパーキューブのノード番号を与え
ることができる。これは、上記のハイパーキューブ接続
の説明で、プロセッサの認識番号(i,j)に対するi+jの偶
数／奇数の関係が逆になるだけであり、容易に証明でき
る。

【００２９】

【発明の効果】以上のように本発明は、プロセッサエレ
メント間の結合ネットワークにおいて、ハイパーキュー
ブのノード割当を行うことが可能になり、汎用性の高い
マルチプロセッサシステムを提供することができる。偏
微分方程式の数値計算以外にも、マルチプロセッサシス
テム上で処理する内容に応じて最適なネットワーク結合
形態を用いることによって、効率良く並列処理を行うこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例におけるハイパーキュー
ブのノード番号割当手順を示すフロー図

【図２】同実施例におけるハミング距離１の数列を示す
図

【図３】同実施例におけるプロセッサエレメントの番号
からノード番号を求めた図

【図４】同実施例におけるプロセッサエレメントアレイ
の配置図

【図５】同実施例におけるマルチプロセッサシステムの
構成図

【図６】同実施例におけるマルチプロセッサシステムの
１平面の接続図

【図７】同実施例におけるプロセッサエレメントの構成
図

【図８】同実施例におけるバッファユニットの構成図

【図９】従来のマルチプロセッサシステムの概略図

【符号の説明】

１０ プロセッサエレメント １１ プロセッサ １２ メモリ １３ データ転送制御回路 １４ 変換テーブル １５ メモリ制御回路 １６、１７ 入出力回路 ２０ バッファユニット ２１、２２ 入出力ポート ２３ ＦＩＦＯ ２４、２５ データ転送バス

Claims (2)

【特許請求の範囲】
1. 【請求項１】Ｍを１以上の整数としＮを２のＭ乗とし
   て、２次元に配置したＮ×Ｎ個のプロセッサと、Ｎ×Ｎ
   ×Ｎ個のバッファユニットとを備え、前記２次元の配置
   を表す認識番号［ｉ，ｊ］（１≦ｉ，ｊ≦Ｎ）を有する
   プロセッサと認識番号［ｊ，ｋ］（１≦ｋ≦Ｎ）を有す
   るプロセッサとの間に前記バッファユニットを接続した
   マルチプロセッサシステムにおいて、２×Ｍビットのう
   ちのＭビットのビット位置だけのハミング距離１の列ａ
   （ｍ）（１≦ｍ≦Ｎ）を作成するステップと、前記２×
   ＭビットのうちのＭビットを除いた残りのＭビットのビ
   ット位置だけのハミング距離１の列ｂ（ｎ）（１≦ｎ≦
   Ｎ）を作成するステップと、ｉ＋ｊが奇数となる前記認
   識番号［ｉ，ｊ］のプロセッサのノード番号をａ（ｉ）
   ＋ｂ（ｊ）に設定するステップと、ｉ＋ｊが偶数となる
   前記認識番号［ｉ，ｊ］のプロセッサのノード番号をａ
   （ｊ）＋ｂ（ｉ）に設定するステップとを備えたハイパ
   ーキューブの割当方法。
2. 【請求項２】請求項１記載のマルチプロセッサシステム
   において、ｉ＋ｊが偶数となる認識番号［ｉ，ｊ］のプ
   ロセッサのノード番号をａ（ｉ）＋ｂ（ｊ）に設定する
   ステップと、ｉ＋ｊが奇数となる認識番号［ｉ，ｊ］の
   プロセッサのノード番号をａ（ｊ）＋ｂ（ｉ）に設定す
   るステップとを備えたハイパーキューブの割当方法。