JPH05324586A - マルチプロセッサ・コンピュータ・システムおよびそのデータ割振り方法 - Google Patents

Abstract

(57)【要約】 【目的】 マルチプロセッサ・コンピュータ・システム
におけるプロセッサ間ネットワークの全帯域を無駄なく
利用してデータの割振りを行い、システムのトポロジー
を種々の計算の要求に対して効率的かつ最適に用いる。 【構成】 本発明コンピュータ・システムは、少なくと
も２つのサブグラフ（部分グラフ）を有するアーキテク
チャに構成された複数のプロセッサを有する。各プロセ
ッサは、複数のデータブロックおよび実行可能なプログ
ラムを有し、まず第１サブグラフのプロセッサのデータ
ブロックの第１半分を、第２パラグラフの対応するプロ
セッサと交換することにより、データ再分配処理を行
う。次に、対応するプロセッサとのデータの再分配を、
データリンクの全帯域を用いて同時に実行する。最後に
第１のサブグラフおよび第２のサブグラフのプロセッサ
間で、データブロックの第１半分の逆交換を実行する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、一般的には、コンピュ
ータシステムのデータ割振りおよび伝送マネジメントに
関する。特に、本発明は、資源マネジメントシステムを
有する特定の種類のコンピュータシステムを提供するも
のである。この資源マネジメントシステムは、これらプ
ロセッサ間での改良された割振りの構造を実施し、それ
によりこれらプロセッサ間のデータ転送遅延が最小とな
るようにする。

【０００２】

【従来の技術】種々のマルチプロセッサ・アーキテクチ
ャとして構成される現代のマルチプロセッサ・コンピュ
ータ・システムの性能は、しばしば、これらプロセッサ
間のデータ転送遅延により制約されている。これは、共
有メモリを有するマルチプロセッサ・システムと比較し
て構築および規模の変更が容易な（スケーラブル）分散
メモリ・システムでは特に顕著である。従って、分散メ
モリ・マルチプロセッサの重要な設計目的は、これらの
プロセッサ間の相互接続ネットワークおよびデータブロ
ックの割振りのトポロジー（幾何学的配置）を、データ
伝送遅延が最小となるようにアレンジすることである。

【０００３】マルチプロセッサ・システムにおいては、
各プロセッサは一般にノードと称される。処理の同時性
ないし並列性を達成するために、複数のデータブロック
をしばしば伴う一連のデータが、同時に処理されるべき
多くのノードに分散される。各ノード内でのローカルデ
ータ処理に加え、他のノードとの間で追加のデータを送
信しおよび受信することがしばしば必要である。ノード
間のデータブロックの分配方法およびノード間のデータ
リンクの接続性は、しばしばマルチプロセッサ・システ
ムのスループットを決定する。特定のタイプのデータプ
ロセスに対しては、ノード間のデータブロックをそのプ
ロセスに最も適するように割当てるように注意深く設計
する努力により、データ伝送遅延を最小にし、その結果
マイクロプロセッサ・システムの性能を改善することが
できる。

【０００４】ハイパーキューブまたは疑似ハイパーキュ
ーブ（hypercube-like）のトポロジーのマルチプロセッ
サはいくつか市販されるようになった。現在の技術によ
って数千のノードを有するハイパーキューブを築くこと
は、技術的および経済的に実現可能となった。ハイパー
キューブのトポロジー（幾何学的配置）のいくつかの利
点は、その対数直径、広い通信帯域、規則的な構造、お
よび多くのプログラム構造が隣接性を保持しながらハイ
パーキューブに写像できることである。

【０００５】ｎ次元ハイパーキューブには２ⁿ のコード
があり、および各次元には２つの座標点がある。ノード
には隣接するノードのアドレスが正確に１ビット相違す
るようにアドレスが与えられる。ハイパーキューブは再
帰性のある（recursive ）構造である。ｎ次元キューブ
は、２つのｎ次元キューブの対応する頂点を接続するこ
とにより（ｎ＋１）次元キューブに拡張できる。その一
方は最高位アドレスビット（０）を有し、他方は最高位
ビット（１）を有する。ハイパーキューブ・アーキテク
チャの再帰性の性質を図１に示す。図１には、１次元，
２次元，３次元および４次元のハイパーキューブ、すな
わちしばしばブーリアンキューブと称されるキューブが
示されている。図２は図１に示したのと同一のハイパー
キューブの、より理解しやすい図示である。

【０００６】並列および分散処理のためのインテリジェ
ント実行時間支援システムおよびライブラリの入手可能
性が高まっているので、行列演算、リニア系方程式のた
めの反復法、周期的境界値問題、量子電気力学および量
子色力学の問題は全て、ハイパーキューブ・アーキテク
チャにより効率的に処理することができる。これらのタ
イプの問題解決は、大抵、コード間のデータ伝送のため
に、最近隣との通信を用いる。ハイパーキューブのノー
ド接続性は、図３に示すように、一般にグレイコードと
略される、２進数で表わしたグレイコードなどの近接を
保持するので、そのようなタイプの計算には最も適して
いる。他のタイプの計算、たとえば高速フーリエ変換
（ＦＦＴ）、バイトニックソート（bitonic sort)、およ
び再帰的倍加など、ノード間で並列に処理できる計算も
ある。これらのタイプのデータ処理では、ツリーまたは
バタフライタイプのネットワークがより効率的である。
図４に示される、一般にバイナリコードと称される、ノ
ードアドレスのハイパーキューブの異なるラベルづけが
用いられる。

【０００７】計算機の資源を効率的に管理するために、
マルチプロセッサ・コンピュータ・システムは、あるタ
イプのデータマッピングを他のタイプに変換して、処理
能力を最適に利用する能力をもつことが必要である。こ
れはグレイコードデータマッピングをもつ１６ノードハ
イパーキューブシステムが、行列演算を処理し、それが
終了すると直ちに、行列演算で得た結果に対しＦＦＴ計
算を行うことを予定する場合に生じる。これらプロセッ
サ間のデータブロックの再配置は、まずハイパーキュー
ブのデータマッピングをグレイコードデータマッピング
からバイナリコードデータマッピングに変換して、ＦＦ
Ｔ計算が効率的に実行できるようにするために必要とさ
れる。

【０００８】S.Lennart Johnsson著, J. Parallel Dist
ributed Computing, 4(2):133-172,1987 年 4月は、デ
ータブロックを再配置して、グレイコード構成からバイ
ナリコード構成へ変換する、ハイパーキューブ・アーキ
テクチャのための方法を開示する。この方法を図５に示
す。ここでは、４次元ハイパーキューブのための３ステ
ップの方法が用いられて、グレイコードデータマッピン
グからバイナリコードデータマッピングに、データブロ
ックを再配置している。ｎ次元ハイパーキューブでは、
Johnssonは、グレイコードデータマッピングからバイナ
リコードデータマッピングへの変換にｎ−１ステップが
十分であることを、開示した。

【０００９】Johnssonの変換を実行するための擬似コー
ドを付録Ａにも示す。このコードにおいて、ｐｉｄは現
在のプロセッサのプロセッサアドレスであり、およびｎ
ｂｒ（ｊ）は次元ｊと交差する隣接したノードの、プロ
セッサアドレスである。すなわち、

【００１０】

【数１】

【００１１】である。

【００１２】２つのシステムコール、すなわち、それぞ
れメッセージの送信および受信を示す“ｓｅｎｄ”およ
び“ｒｅｃｖ”が存在する。システムコール“ｓｅｎ
ｄ”は４つの変数、すなわちメッセージのための開始メ
モリ位置、宛先のプロセッサアドレス、メッセージサイ
ズ（バイト単位）、およびメッセージのタイプを有す
る。受信側があるノードからのあるタイプのメッセージ
を特定するために、メッセージタイプが用いられる。こ
れは、インテルｉＰＳＣ／２ハイパーキューブのよう
な、ある種の並列コンピュータで必要とされる。システ
ムコール“ｒｅｃｖ”は３つの変数、すなわち、システ
ムコール“ｓｅｎｄ”の４つの変数から宛先のプロセッ
サアドレスを除いたものを有する。

【００１３】図５および付録Ａを参照するに、ステップ
０では、サブキューブ０のノード２（００１０）と３
（００１１）、および６（０１１０）と７（０１１１）
の間、およびサブキューブ１の１０（１０１０）と１１
（１０１１）、および１４（１１１０）と１５（１１１
１）の間でのみ、データブロックの送信および受信が行
われる。これらのノードは全て付録Ａに示すように再下
位から２番目のビットがゼロでないノードアドレスＩ
Ｄ、すなわちｐｉｄを有する。すなわち、ｇ_i+1 ^-1＝１
（ここでｉ＝０）である。ステップ０では図５に示すよ
うに、これらのノード間でデータブロックの交換を行
う。図５よび付録Ａに示すように、同様のデータブロッ
ク交換をステップ１および２で行う。

【００１４】図５を詳細に調べると、３つのステップ全
てにおいて、使用されていないデータ通信リンクがある
ことが直に発見できる。例えば、ステップ０では、ノー
ド０と１、ノード４と５、ノード８と９、およびノード
１２と１３の間でデータブロックの交換が行われていな
い。これらの使用されていないリンクは、グレイコード
データマッピングからバイナリコードデータマッピング
へ変換する際のデータ再配置の効率を改善するのに用い
ることのできる可能性を有する。

【００１５】

【発明が解決しようとする課題】従って、本発明の目的
は、ネットワーク帯幅（Network bandwidth ）を効率的
かつ最適に利用するデータブロック割振り管理システム
を有する、ハイパーキューブ・マルチプロセッサ・コン
ピュータシステムを提供することにある。

【００１６】本発明の他の目的は、ハイパーキューブま
たは擬似ハイパーキューブ・マルチプロセッサ・コンピ
ュータ・システムが、不必要なデータ再配置の遅延なし
に、データ処理プログラムを動的に実行可能とすること
にある。

【００１７】本発明の他の目的は、同期通信を必要とす
ることなく、それにより送信または受信されるデータブ
ロックが利用可能になるとすぐに、データブロックの送
信および受信を各ノードでそのノードの適当な順序で独
立して実行できる、データ再配置システムを提供するこ
とにある。

【００１８】本発明の他の目的は、効率的かつ最適にマ
ルチプロセッサ・コンピュータ・システムのトポロジー
を工夫して、種々の計算の要求に適合させることにあ
る。

【００１９】

【課題を解決するための手段】簡単に言えば、本発明
は、少なくとも２つのサブグラフ（部分グラフ）を有す
るアーキテクチャに構成された複数のプロセッサを有す
るコンピュータ・システムを具え、少なくとも第１のサ
ブグラフおよび第２のサブグラフは、データ再分配操作
に対して段階的に相補的である対応するプロセッサを有
する。このコンピュータ・システムの各プロセッサは、
複数のデータブロックおよび実行可能なプログラムを有
する。この実行可能なプログラムは、まず第１サブグラ
フのプロセッサのデータブロックの第１半分を、第２パ
ラグラフの対応するプロセッサと交換することにより、
データ再分配処理を行う。次に、対応する段階的に相補
的なプロセッサとのデータの再分配を、データリンクの
全帯域を用いて同時に実行する。第１のサブグラフおよ
び第２のサブグラフのプロセッサ間で、データブロック
の第１半分の逆交換を最後に実行する。

【００２０】請求項１に記載の発明は、各プロセッサが
ｎビットのプロセッサアドレスと、複数のデータブロッ
クとを有するｎ次元ハイパーキューブ・マルチプロセッ
サ・コンピュータ・システムに対する、グレイコードか
らバイナリコードへ変換するデータ割振り方法におい
て、（ａ） 各プロセッサのデータブロックの第２半分
を、前記プロセッサアドレスの（ｎ−２）番目の次元に
沿って隣接するプロセッサと並列に交換するステップ
と、（ｂ） 各プロセッサにおいてインデックスｉに対
して（ｉは０からｎ−２まで）、次のステップ、すなわ
ち（ｉ）プロセッサアドレスの逆グレイコードの（ｉ＋
１）番目のビットが値１であるか否かを判断するステッ
プ、および（ii）ステップ（ｉ）において値が１と判断
された場合に、前記データブロックの第１半分を、前記
プロセッサアドレスのｉ番目の次元に沿って隣接するプ
ロセッサと交換し、他の場合には前記データブロックの
第２半分を、ｉ番目の次元に沿って隣接するプロセッサ
と交換するステップを並列に実行するステップとを具え
たことを特徴とする。

【００２１】請求項２に記載の発明は、ｎ次元ハイパー
キューブ・アーキテクチャに構成した複数のプロセッサ
を有するコンピュータ・システムにおいて、各プロセッ
サはｎ次元プロセッサアドレスと、複数のデータブロッ
クと、グレイコードからバイナリコードへ変換するデー
タ割振りを行う実行可能なプログラムであって、（ａ）
各プロセッサのデータブロックの第２半分を、前記プ
ロセッサアドレスの（ｎ−２）番目の次元に沿って隣接
するプロセッサと並列に交換するステップと、（ｂ）
各プロセッサにおいてインデックスｉに対して（ｉは０
からｎ−２まで）、次のステップ、すなわち（ｉ）プロ
セッサアドレスの逆グレイコードの（ｉ＋１）番目のビ
ットが値１であるか否かを判断するステップ、および
（ii）ステップ（ｉ）において値が１と判断された場合
に、前記データブロックの第１半分を、前記プロセッサ
アドレスのｉ番目の次元に沿って隣接するプロセッサと
交換し、他の場合には前記データブロックの第２半分
を、ｉ番目の次元に沿って隣接するプロセッサと交換す
るステップを並列に実行するステップとを具えたことを
特徴とする。

【００２２】請求項３に記載の発明は、ｎ次元ハイパー
キューブ・アーキテクチャのスーパーグラフに構成した
複数のプロセッサを有するコンピュータ・システムにお
いて、各プロセッサはｎ次元プロセッサアドレスと、複
数のデータブロックと、グレイコードからバイナリコー
ドへ変換するデータ割振りを行う実行可能なプログラム
であって、（ａ） 各プロセッサのデータブロックの第
２半分を、前記プロセッサアドレスの（ｎ−２）番目の
次元に沿って隣接するプロセッサと並列に交換するステ
ップと、（ｂ） 各プロセッサにおいてインデックスｉ
に対して（ｉは０からｎ−２まで）、次のステップ、す
なわち（ｉ）プロセッサアドレスの逆グレイコードの
（ｉ＋１）番目のビットが値１であるか否かを判断する
ステップ、および（ii）ステップ（ｉ）において値が１
と判断された場合に、前記データブロックの第１半分
を、前記プロセッサアドレスのｉ番目の次元に沿って隣
接するプロセッサと交換し、他の場合には前記データブ
ロックの第２半分を、ｉ番目の次元に沿って隣接するプ
ロセッサと交換するステップを並列に実行するステップ
とを具えたことを特徴とする。

【００２３】請求項４に記載の発明は、段階的相補通信
パターンをもつ２つのサブグラフを有する再帰的ｎ次元
アーキテクチャに構成された複数のプロセッサを有する
コンピュータ・システムにおいて、各プロセッサはｎ次
元プロセッサアドレスと、複数のデータブロックと、グ
レイコードからバイナリコードへ変換するデータ割振り
を行う実行可能なプログラムであって、（ａ） 各プロ
セッサのデータブロックの第２半分を、前記プロセッサ
アドレスの（ｎ−２）番目の次元に沿って隣接するプロ
セッサと並列に交換するステップと、（ｂ） 各プロセ
ッサにおいてインデックスｉに対して（ｉは０からｎ−
２まで）、次のステップ、すなわち（ｉ）プロセッサア
ドレスの逆グレイコードの（ｉ＋１）番目のビットが値
１であるか否かを判断するステップ、および（ii）ステ
ップ（ｉ）において値が１と判断された場合に、前記デ
ータブロックの第１半分を、前記プロセッサアドレスの
ｉ番目の次元に沿って隣接するプロセッサと交換し、他
の場合には前記データブロックの第２半分を、ｉ番目の
次元に沿って隣接するプロセッサと交換するステップを
並列に実行するステップとを具えたことを特徴とする。

【００２４】請求項５に記載の発明は、少なくとも２つ
のサブグラフを有するアーキテクチャに構成された複数
のプロセッサ間でデータブロックを再分配し、前記少な
くとも２つのサブグラフは同一のトポロジーおよび対応
するプロセッサを有する少なくとも第１および第２のサ
ブグラフを有し、段階的に相補的なこれらプロセッサ間
で前記再分配を行うデータ割振り方法において、（ａ）
前記第１のサブグラフにおけるプロセッサのデータブ
ロックの第１半分を前記第２のサブグラフの対応するプ
ロセッサと並列に交換するステップと、（ｂ） 前記対
応する段階的に相補的なプロセッサで前記再分配を実行
して前記再分配を同時に行うステップと、（ｃ） 前記
第１のサブグラフおよび前記第２のサブグラフの前記プ
ロセッサの間で、データブロックの第１半分を、ステッ
プ（ａ）の場合とは逆の交換を実行するステップとを具
えたことを特徴とする。

【００２５】請求項６に記載の発明は、少なくとも２つ
のサブグラフを有するアーキテクチャに構成された複数
のプロセッサを有し、少なくとも第１のサブグラフおよ
び第２のサブグラフが同一のトポロジーを有し、対応す
るプロセッサがデータ再分配動作に対して段階的に相補
的であるコンピュータ・システムにおいて、各プロセッ
サは複数のデータブロックと、前記データ再分配動作を
行う実行可能なプログラムであって、（ａ） 前記第１
のサブグラフにおけるプロセッサのデータブロックの第
１半分を前記第２のサブグラフの対応するプロセッサと
並列に交換するステップと、（ｂ） 前記対応する段階
的に相補的なプロセッサで前記再分配を実行して前記再
分配を同時に行うステップと、（ｃ） 前記第１のサブ
グラフおよび前記第２のサブグラフの前記プロセッサの
間で、データブロックの第１半分を、ステップ（ａ）の
場合とは逆の交換を実行するステップとを具えた実行可
能なプログラムとを具えたことを特徴とする。

【００２６】請求項７に記載の発明は、サブグラフ０，
１，…，（ｋ−１）で示される、少なくともｋ個のサブ
グラフを有するアーキテクチャに構成された複数のプロ
セッサ間で、データブロックを再分配し、前記ｋ個のサ
ブグラフの各々は、同一のトポロジーおよび対応するプ
ロセッサを有し、段階的に相補的な前記ｋ個のプロセッ
サ間で前記データ再分配を行うデータ割振り方法におい
て、（ａ） プロセッサの各データブロックを、ほぼ同
一サイズのｋ個の部分に分割するステップと、（ｂ）
ランニング連続インデックスｉ（０≦ｉ≦ｋ）で表され
るサブグラフにおける各プロセッサ、およびランニング
インデックスｊ（０≦ｊ≦ｋ−１かつｊ≠１）で表わさ
れる各部分に対して、前記サブグラフｉにおけるプロセ
ッサのｊ番目の部分をサブグラフｊの前記対応するプロ
セッサのｉ番目の部分と並列に交換するステップと、
（ｃ） 前記対応する段階的に相補的なプロセッサによ
り前記再分配を同時に実行して前記再分配を行うステッ
プと、（ｄ） 前記ステップ（ｂ）を逆交換として繰り
返すステップとを具えたことを特徴とする。

【００２７】請求項８に記載の発明は、サブグラフ０，
１，…，（ｋ−１）で示される、少なくともｋ個のサブ
グラフを有するアーキテクチャに構成された複数のプロ
セッサを有し、前記ｋ個のサブグラフの各々は同一のト
ポロジーをもち、対応するプロセッサは前記ｋ個のプロ
セッサ間でデータ再分配に対して段階的に相補的である
コンピュータ・システムにおいて、各プロセッサは、複
数のデータブロックと、前記データ再分配動作を行う実
行可能なプログラムであって、（ａ） プロセッサの各
データブロックを、ほぼ同一サイズのｋ個の部分に分割
するステップと、（ｂ） ランニング連続インデックス
ｉ（０≦ｉ≦ｋ）で表されるサブグラフにおける各プロ
セッサ、およびランニングインデックスｊ（０≦ｊ≦ｋ
−１かつｊ≠１）で表わされる各部分に対して、前記サ
ブグラフｉにおけるプロセッサのｊ番目の部分をサブグ
ラフｊの前記対応するプロセッサのｉ番目の部分と並列
に交換するステップと、（ｃ） 前記対応する段階的な
相補的なプロセッサにより前記再分配を同時に実行して
前記再分配を行うステップと、（ｄ） 前記ステップ
（ｂ）を逆交換として繰り返すステップとを具えた実行
可能なプログラムとを具えたことを特徴とする。

【００２８】

【作用】本発明の利点は、ハイパーキューブ・アーキテ
クチャをグレイコードからバイナリコードへ再構成する
ためのデータブロックの再割振りに必要な時間が大幅に
減少することであり、このことは特に大きなサイズのデ
ータブロックに対して顕著である。

【００２９】本発明の他の利点は、プロセッサ間ネット
ワークの全帯域が、無駄なく利用されることである。

【００３０】本発明の他の利点は、データブロックの送
信および受信を同期通信を必要とせずに実行できること
であり、それにより、隣接ノード間のデータブロックの
交換は、送信または受信されるデータブロックが送信ま
たは受信ノードに利用可能になると直に、適当な順序で
各ノードによって独立して実行できる。

【００３１】本発明の他の利点は、マルチプロセッサ・
コンピュータ・システムのトポロジーが非常に効率的か
つ最適に工夫されて、種々の計算の要求に適合すること
である。

【００３２】本発明のこれらおよび他の目的および効果
は、種々の図面に例示される好適な実施例の以下の詳細
な記載を読んだ当業者にとって明らかであることもちろ
んである。

【００３３】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００３４】図５を参照するに、ここには、Johnssonに
より提案された４次元ハイパーキューブ（１６ノード）
での、グレイコードからバイナリコードへの変換を示
す。この分散メモリシステムでは、プロセッサは複数の
データブロックを含むメッセージの送信および受信によ
り互いに通信を行う。各プロセッサ間の通信、すなわち
送信または受信操作に関連するのは、τで示される待ち
時間、すなわち起動時間、および転送時間ｔ_c である。
リンクはデータを双方向に同時に伝送でき、およびｎ次
元ハイパーキューブの各プロセッサはｎ個の出力ポート
およびｎ個の入力ポートを有すると仮定する。１ポ−ト
通信システム、すなわち、プロセッサあて、ある時刻に
は１つの入力ポートおよび１つの出力ポートのみがアク
ティブとなることができるシステムにおいては、最近隣
のプロセッサにＫバイトのメッセージを送るための“通
信の複雑さ”は Ｔ＝τ＋Ｋｔ_c で定義される。したが
って、ハイパーキューブ１００の通信の複雑さは（１）
Ｋｔ_c 、すなわちデータ伝送時間、および（２）τ、す
なわち起動時間から成る。大抵の場合、起動時間は、ソ
フトウエア・オーバーヘッドおよびハードウエアの遅延
時間に起因する定まった定数である。あるマルチプロセ
ッサ・システムに対して、通信の複雑さの改良は、一般
に、データ転送時間を減少させることにより達成され
る。

【００３５】ｎ次元ハイパーキューブに対しては、John
ssonがグレイコードデータマッピングをバイナリコード
データマッピングへ変換するための、データ再割振り方
法を開示している。この方法は、４次元キューブに対し
て図５に示すように、ｎ−１回の交換を行う。ｎ次元ハ
イパーキューブに対しては、Johnssonによる通信の複雑
さは、 Ｔ_APPA＝（ｎ−１）（τ＋Ｋｔ_c ） (1) である。ここに、Ｔ_APPAは、付録Ａによるハイパーキュ
ーブ・システムの通信の複雑さを示す。

【００３６】図５に示すように、このパラグラフの残り
で、サブキューブ０およびサブキューブ１を用て、ハイ
パーキューブの最も高い次元に関するサブキューブにつ
いて述べる。サブキューブ０およびサブキューブ１は、
グレイコードデータマッピングからバイナリコードデー
タマッピングに変換するための３つのステップのそれぞ
れにおいて、段階的に相補的である。例えばステップ０
では、ノード２と３との間でデータ交換がある場合に、
対応するノード１２と１３との間ではデータ交換がな
い。逆に、ノード０と１との間でデータ交換がないが、
対応するノード１４と１５との間ではデータ交換があ
る。この相補的属性は図５のステップ２において最も明
らかに示されている。このステップ２では、サブキュー
ブ０ではデータ交換が行われず、一方サブキューブ１の
すべての対応するノード間ではデータ交換がある。グレ
イからバイナリへの変換の前および後に、サブキューブ
０とサブキューブ１との間でデータの半分を交換するこ
とにより、全てのデータリンクの全帯域幅を利用するこ
とができる。Johnssonによって提案されたように、サブ
キューブ０における１対のノードは、通常は、Johnsson
によって提案されたようにデータ交換を実行しない時間
ステップにおいて、サブキューブ０における１対のノー
ドはサブキューブ１において実行されているデータ交換
に対応するデータ交換を行う。したがって、各サブキュ
ーブはそのデータの半分をグレイからバイナリに変換す
るのみでなく、他のサブキューブのデータの半分のグレ
イからバイナリへの交換をも行う。

【００３７】付録Ｂは、ｎ次元ハイパーキューブ・マル
チプロセッサ・システムに対してかかるグレイからバイ
ナリへの変換を実行する各ノードによって独立して実行
可能な疑似コードのリストを示す。まず最初に、各ノー
ドのデータブロックの２番目の半分の、他のサブキュー
ブにおける対応するノードとの交換を行う。データブロ
ックの第１半分または第２半分のいずれかのデータ交換
を、その交換がそのノード自体またはJohnssonが開示し
たような相補的なノードのいずれに対して行うべきであ
るかによって、行い、それによってノード間のデータリ
ンクの全帯域幅が利用される。

【００３８】付録Ｂに示したようなデータブロック交換
は、キューブの次元の順序（ｎ−１），０，１，…，
（ｎ−１）に沿って行われる。ここで、最初の交換は、
２つの（ｎ−１）次元サブキューブの対応する対の間
で、データブロックを交換することである。データ再割
振り動作の効率を示す“通信の複雑さ”は：

【００３９】

【数２】

【００４０】である。ここで、Ｔ_APPBは付録Ｂに従った
ハイパーキューブ・システムに対する通信の複雑さを示
す。

【００４１】本発明においては、キューブの次元の順序
（ｎ−２），０，１，…，（ｎ−２）に沿ってデータブ
ロック交換を実行することにより他の改良がなされる。
この改良の基本的原理は再び図５を参照することにより
説明することができる。２つのサブキューブ（サブキュ
ーブ０およびサブキューブ１）の各々は、キューブの次
元（ｎ−２）に沿って、２つのより小さなサブキューブ
にさらに分割することができる。すなわち、元のｎ次元
のキューブがｎ−２個の次元の各々につき４つのサブキ
ューブに区分けされる。４つのサブキューブはサブキュ
ーブ００，０１，１０および１１とラベル付けられる。
ここで、これら２つの２進数のビットは、サブキューブ
内のプロセッサアドレスの２つの最高位ビットを表わ
す。図５に示すように、サブキューブ００は２つの最高
位ビットが００である４つのノード、すなわちノード０
（００００），１（０００１），２（００１０）および
３（００１１）を有し、他方、サブキューブ０１は２つ
の最高位ビットが０１である他の４つのノード、すなわ
ちノード４（０１００），５（０１０１），６（０１１
０）および７（０１１１）を有する。

【００４２】最初の（ｎ−２）回の交換（すなわち、ス
テップ０からステップ（ｎ−３））の各々に対しては、
Johnssonが開示し、図５に示したように、もしサブキュ
ーブ００またはサブキューブ０１，１０および１１のそ
れぞれにおいて、ノードｉとｊとの間で交換があれば、
サブキューブ０１、またはサブキューブ００，１１およ
び１０のそれぞれにおける対応するノード間では交換が
ないことを考慮してこの改良がなされている。これらの
（ｎ−２）回の交換の前および後に、次元（ｎ−２）を
横切ってデータの半分（Ｋ／２）を並列に交換すると、
これらの（ｎ−２）回の交換のそれぞれに対してＫ／２
個のデータ要素のみが交換される必要がある。便宜のた
めに、次元（ｎ−２）を横切ってのこれら２つの余分な
交換を前交換および後交換と呼ぶことにする。付録Ａに
おける最後の交換ステップ（すなわち、図５におけるス
テップｎ−２）は、キューブ次元（ｎ−２）に沿った交
換であるが、この交換ステップを後交換ステップと組合
せて、その組合せステップにおいて、Ｋ／２のデータ転
送のみが必要となるようにすることができる。したがっ
て、グレイからバイナリへの変換は、キューブ次元の順
序（ｎ−２），０，１，…，（ｎ−２）に沿ったデータ
ブロック交換として実行され得る。ここで、各ステップ
は、サイズがＫ／２のデータブロックを交換する。

【００４３】付録Ｃは、ｎ次元ハイパーキューブ・マル
チプロセッサ・システムに対してグレイからバイナリへ
のさらに改良された変換を実行する、同期通信を必要と
することなしに、各ノードによって独立して実行可能な
擬似コードのリストを示す。各ノードのデータブロック
の第２半分の、他のサブキューブの対応するノードと
の、（ｎ−２）次元に沿った並列交換が、まず実行され
る。データブロックの第１半分または第２半分のいずれ
のデータ交換を、その交換が、そのノード自体に対して
行うべきか、またはJohnssonによって開示されたように
他のサブキューブにおける相補的ノードに対して（ｎ−
２）次元に沿って行うかによって、行い、それによりノ
ード間のデータリンクの全帯域幅が利用される。

【００４４】付録Ｃに示したようなデータブロック交換
は、キューブの次元の順序（ｎ−２），０，１，…，
（ｎ−２）に沿って行われる。ここで、最初の交換は、
２つの（ｎ−２）次元サブキューブの対応する対の間で
データブロックを交換することである。データ再割振り
動作の効率を示す“通信の複雑さ”は、

【００４５】

【数３】

【００４６】である。ここで、Ｔ_APPCは付録Ｃに従った
ハイパーキューブ・システムに対する通信の複雑さを示
す。

【００４７】１６ノードのインテルｉＰＳＣ／２ハイパ
ーキューブ・マルチプロセッサ・システムを、付録Ａ，
ＢおよびＣに記載したプログラム、すなわちＡＰＰＡ，
ＡＰＰＢおよびＡＰＰＣと共に用いて、グレイからバイ
ナリへの変換の通信の複雑さを測定する。ｉＰＳＣ／２
でのすべての測定時間は少なくとも１００回の実行の平
均値である。図６にこれら３つの擬似コードの実行の測
定時間を示す。図６より、ＡＰＰＣはＡＰＰＢより常に
良いことが認められる。小さなデータサイズに対して
は、ＡＰＰＡはＡＰＰＢおよびＡＰＰＣのどちらよりも
速い。しかしながら、大きいサイズ、すなわちＫが２０
００バイトより大きい場合は、ＡＰＰＢおよびＡＰＰＣ
の性能はＡＰＰＡを越える。

【００４８】グレイコードデータマッピングをバイナリ
コードデータマッピングに変換する際の段階的相補性の
属性は、ハイパーキューブに当てはまるだけでなく、擬
似ハイパーキューブまたは図７に示すような３次元擬似
ハイパーキューブ・マルチプロセッサ・システム３００
のようなハイパーキューブ・アーキテクチャのスーパー
グラフと一般に称される場合においても当てはまる。３
次元ハイパーキューブ・システムと比較して、擬似ハイ
パーキューブ・システム３００では、ノード０と２、１
と３、４と６、および５と７の間を接続した、追加のデ
ータリンクが設けられている。ハイパーキューブ・シス
テムのために本発明で設けたデータ交換ステップは、図
７に示したような擬似ハイパーキューブ・システムにも
適用可能である。

【００４９】ハイパーキューブまたは擬似ハイパーキュ
ーブ・アーキテクチャの外にも、マルチプロセッサシス
テムを、２つ，３つあるいはそれ以上のサブグラフを有
することのできるスーパーグラフ・アーキテクチャに構
成することができる。図８，図９，図１０および図１１
に例示の例に示すように、データブロック交換動作にお
いて、サブグラフ間の段階的相補性の属性がしばしば存
在する。ここで、図８および図９は、２つの段階的相補
サブグラフを有するスーパーグラフを示し、一方、図１
０および図１１は、特定のクラスのデータマッピング変
換動作のための、３つの段階的相補サブグラフを有する
スーパーグラフを示す。１つのサブグラフにおける２つ
のノード間でデータブロックが交換される時に、他のサ
ブグラフにおける対応するノード間でデータリンクが使
用されないので、この場合にも、データ帯域幅の多くは
用いられていない。異なるデータマッピング間の変換の
効率は、以下のように改良することができる。まず、各
プロセッサのデータブロックをほぼ同じサイズのｋ個の
部分（part）に分割する。次にサブグラフｉの各プロセ
ッサは、そのｊ番目の部分を、サブグラフｊにおける対
応するプロセッサのｉ番目の部分と並列に交換する。

【００５０】これらの並列前交換の後、データブロック
交換を、全ての段階的相補ノード間で同時に実行してデ
ータリンクの全帯域幅を利用することができるようにす
る。同様の後交換を次に実行して、データを正しいサブ
グラフに再格納する。本発明を用いることにより、特に
大きなサイズのデータブロックの交換に対して、時間を
大きく節約することを達成できる。

【００５１】特に、図１２は、表形式で、段階的相補的
データ伝送のシーケンスを処理する前に実行されて、デ
ータ帯域幅を完全に利用し、データ転送遅延を減少する
データ交換を示す。図１２に示すように、各サブグラフ
のデータブロックは、３つの部分、すなわち、部分０，
部分１および部分２に分割される。ここで、これら部分
は実質的に等しいサイズである。並列前交換は、サブグ
ラフｉにおける各プロセッサ（ここに０≦ｉ≦２）、お
よび各部分ｊ（ここに０≦ｊ≦２かつｊ≠ｉ）に対して
行われ、前記サブグラフｉのプロセッサのｊ番目の部分
を前記サブグラフｊの対応するプロセッサのｉ番目の部
分と交換する。もともとサブグラフ０のノードに割当て
られ、および部分１に分割されたデータブロック、すな
わち、図１２に示すようなデータブロック（０，１）
が、ここでサブグラフ１，部分０における対応するノー
ドに割当てられようとしている。同様に（０，２）で示
されるデータブロックが、サブグラフ２，部分０におけ
る対応するノードに再割当てされようとしている、等
々。次に、対応する段階的相補的なプロッセサとのデー
タの再配分のシーケンスを、これらのプロセッサを接続
するデータリンクの全帯域幅を用いて、同時に行う。つ
いで、段階的相補的なデータの再配分が完了した後に、
図１２に示したところとは逆の変換を実行する。

【００５２】

【発明の効果】サブグラフ０，１，…，（ｋ−１）で表
される少なくともｋ個のサブグラフを有するアーキテク
チャに構成されたマルチプロセッサ・コンピュータ・シ
ステムに対して、これらｋ個のサブグラフの各々は、こ
れらｋ個のプロセッサ間で段階的相補的な対応するプロ
セッサと同じトポロジーを有する。より効率的なデータ
再配分動作は、まずプロセッサの各データブロックをほ
ぼ概同一サイズのｋ個の部分に分割することにより実現
される。サブグラフｉの各プロセッサ（ここに０≦ｉ≦
ｋ−１）、および各部分ｊ（ここに０≦ｊ≦ｋ−１およ
びｊ≠ｉ）に対して、サブグラフｉのプロセッサのｊ番
目の部分を、サブグラフｊの前記対応するプロセッサの
ｉ番目の部分と並列に交換する。対応する段階的相補プ
ロセッサとのデータの再配分を同時に行って、これらプ
ロセッサ間のデータリンクの全帯域幅を用いるようにす
る。ついで、段階的相補データ再配分が完了した後に、
逆変換を行う。

【００５３】本発明を好適な実施例により説明してきた
が、そのような開示は、限定的に解釈されるものではな
い。種々の置換および変更は、上記開示を読んだ後、当
業者にとって明らかになることもちろんである。したが
って、特許請求の範囲は、本発明の真の精神および範囲
にある限り、全ての置換および変更を含むものと解釈こ
とを意図している。

【００５４】

【外１】

【００５５】

【外２】

【００５６】

【外３】

【図面の簡単な説明】

【図１】ハイパーキューブ・マルチプロセッサ・コンピ
ュータ・システムの再起的な構造の概略図である。

【図２】ハイパーキューブ・マルチプロセッサ・コンピ
ュータ・システムの再起的な構造を示す図１を他の方法
で示す概略図である。

【図３】グレイコードデータマッピングを有する、ハイ
パーキューブ・マルチプロセッサ・コンピュータ・シス
テムの概略図である。

【図４】バイナリコードデータマッピングを有する、ハ
イパーキューブ・マルチプロセッサ・コンピュータ・シ
ステムの概略図である。

【図５】Johnssonによるグレイコードからバイナリコー
ドへの変換の概略図である。

【図６】グレイコードからバイナリコードへの変換に必
要な時間の、Johnssonと本発明の比較を示すグラフであ
る。

【図７】擬似ハイパーキューブ・マルチプロセッサ・コ
ンピュータ・システムの概略図である。

【図８】スーパーグラフ・マルチプロセッサ・コンピュ
ータ・システムの概略図である。

【図９】図８に示したスーパーグラフの２つのサブグラ
フを示す概略図である。

【図１０】スーパーグラフ・マルチプロセッサ・コンピ
ュータ・システムのもう一つの例を示す概略図である。

【図１１】図１０に示したスーパーグラフの３つのサブ
グラフの概略図である。

【図１２】図１０および図１１のサブグラフの、段階的
に相補的なデータ伝送のシーケンスを処理する前に実行
するデータブロック交換を表の形態で示す表図でる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マンダヤム ティ． ラグナース アメリカ合衆国 94704 カリフォルニア 州 バークレー ヘイスト ストリート 1911

Claims (8)

【特許請求の範囲】
1. 【請求項１】 各プロセッサがｎビットのプロセッサア
   ドレスと、複数のデータブロックとを有するｎ次元ハイ
   パーキューブ・マルチプロセッサ・コンピュータ・シス
   テムに対する、グレイコードからバイナリコードへ変換
   するデータ割振り方法において、 （ａ） 各プロセッサのデータブロックの第２半分を、
   前記プロセッサアドレスの（ｎ−２）番目の次元に沿っ
   て隣接するプロセッサと並列に交換するステップと、 （ｂ） 各プロセッサにおいてインデックスｉに対して
   （ｉは０からｎ−２まで）、次のステップ、すなわち （ｉ）プロセッサアドレスの逆グレイコードの（ｉ＋
   １）番目のビットが値１であるか否かを判断するステッ
   プ、および （ii）ステップ（ｉ）において値が１と判断された場合
   に、前記データブロックの第１半分を、前記プロセッサ
   アドレスのｉ番目の次元に沿って隣接するプロセッサと
   交換し、他の場合には前記データブロックの第２半分
   を、ｉ番目の次元に沿って隣接するプロセッサと交換す
   るステップ を並列に実行するステップとを具えたことを特徴とする
   データ割振り方法。
2. 【請求項２】 ｎ次元ハイパーキューブ・アーキテクチ
   ャに構成した複数のプロセッサを有するコンピュータ・
   システムにおいて、 各プロセッサはｎ次元プロセッサアドレスと、 複数のデータブロックと、 グレイコードからバイナリコードへ変換するデータ割振
   りを行う実行可能なプログラムであって、 （ａ） 各プロセッサのデータブロックの第２半分を、
   前記プロセッサアドレスの（ｎ−２）番目の次元に沿っ
   て隣接するプロセッサと並列に交換するステップと、 （ｂ） 各プロセッサにおいてインデックスｉに対して
   （ｉは０からｎ−２まで）、次のステップ、すなわち （ｉ）プロセッサアドレスの逆グレイコードの（ｉ＋
   １）番目のビットが値１であるか否かを判断するステッ
   プ、および （ii）ステップ（ｉ）において値が１と判断された場合
   に、前記データブロックの第１半分を、前記プロセッサ
   アドレスのｉ番目の次元に沿って隣接するプロセッサと
   交換し、他の場合には前記データブロックの第２半分
   を、ｉ番目の次元に沿って隣接するプロセッサと交換す
   るステップ を並列に実行するステップとを具えたことを特徴とする
   コンピュータ・システム。
3. 【請求項３】 ｎ次元ハイパーキューブ・アーキテクチ
   ャのスーパーグラフに構成した複数のプロセッサを有す
   るコンピュータ・システムにおいて、 各プロセッサはｎ次元プロセッサアドレスと、 複数のデータブロックと、 グレイコードからバイナリコードへ変換するデータ割振
   りを行う実行可能なプログラムであって、 （ａ） 各プロセッサのデータブロックの第２半分を、
   前記プロセッサアドレスの（ｎ−２）番目の次元に沿っ
   て隣接するプロセッサと並列に交換するステップと、 （ｂ） 各プロセッサにおいてインデックスｉに対して
   （ｉは０からｎ−２まで）、次のステップ、すなわち （ｉ）プロセッサアドレスの逆グレイコードの（ｉ＋
   １）番目のビットが値１であるか否かを判断するステッ
   プ、および （ii）ステップ（ｉ）において値が１と判断された場合
   に、前記データブロックの第１半分を、前記プロセッサ
   アドレスのｉ番目の次元に沿って隣接するプロセッサと
   交換し、他の場合には前記データブロックの第２半分
   を、ｉ番目の次元に沿って隣接するプロセッサと交換す
   るステップ を並列に実行するステップとを具えたことを特徴とする
   コンピュータ・システム。
4. 【請求項４】 段階的相補通信パターンをもつ２つのサ
   ブグラフを有する再帰的ｎ次元アーキテクチャに構成さ
   れた複数のプロセッサを有するコンピュータ・システム
   において、 各プロセッサはｎ次元プロセッサアドレスと、 複数のデータブロックと、 グレイコードからバイナリコードへ変換するデータ割振
   りを行う実行可能なプログラムであって、 （ａ） 各プロセッサのデータブロックの第２半分を、
   前記プロセッサアドレスの（ｎ−２）番目の次元に沿っ
   て隣接するプロセッサと並列に交換するステップと、 （ｂ） 各プロセッサにおいてインデックスｉに対して
   （ｉは０からｎ−２まで）、次のステップ、すなわち （ｉ）プロセッサアドレスの逆グレイコードの（ｉ＋
   １）番目のビットが値１であるか否かを判断するステッ
   プ、および （ii）ステップ（ｉ）において値が１と判断された場合
   に、前記データブロックの第１半分を、前記プロセッサ
   アドレスのｉ番目の次元に沿って隣接するプロセッサと
   交換し、他の場合には前記データブロックの第２半分
   を、ｉ番目の次元に沿って隣接するプロセッサと交換す
   るステップ を並列に実行するステップとを具えたことを特徴とする
   コンピュータ・システム。
5. 【請求項５】 少なくとも２つのサブグラフを有するア
   ーキテクチャに構成された複数のプロセッサ間でデータ
   ブロックを再分配し、前記少なくとも２つのサブグラフ
   は同一のトポロジーおよび対応するプロセッサを有する
   少なくとも第１および第２のサブグラフを有し、段階的
   に相補的なこれらプロセッサ間で前記再分配を行うデー
   タ割振り方法において、 （ａ） 前記第１のサブグラフにおけるプロセッサのデ
   ータブロックの第１半分を前記第２のサブグラフの対応
   するプロセッサと並列に交換するステップと、 （ｂ） 前記対応する段階的に相補的なプロセッサで前
   記再分配を実行して前記再分配を同時に行うステップ
   と、 （ｃ） 前記第１のサブグラフおよび前記第２のサブグ
   ラフの前記プロセッサの間で、データブロックの第１半
   分を、ステップ（ａ）の場合とは逆の交換を実行するス
   テップと を具えたことを特徴とするデータ割振り方法。
6. 【請求項６】 少なくとも２つのサブグラフを有するア
   ーキテクチャに構成された複数のプロセッサを有し、少
   なくとも第１のサブグラフおよび第２のサブグラフが同
   一のトポロジーを有し、対応するプロセッサがデータ再
   分配動作に対して段階的に相補的であるコンピュータ・
   システムにおいて、 各プロセッサは複数のデータブロックと、 前記データ再分配動作を行う実行可能なプログラムであ
   って、 （ａ） 前記第１のサブグラフにおけるプロセッサのデ
   ータブロックの第１半分を前記第２のサブグラフの対応
   するプロセッサと並列に交換するステップと、 （ｂ） 前記対応する段階的に相補的なプロセッサで前
   記再分配を実行して前記再分配を同時に行うステップ
   と、 （ｃ） 前記第１のサブグラフおよび前記第２のサブグ
   ラフの前記プロセッサの間で、データブロックの第１半
   分を、ステップ（ａ）の場合とは逆の交換を実行するス
   テップと を具えた実行可能なプログラムとを具えたことを特徴と
   するコンピュータ・システム。
7. 【請求項７】 サブグラフ０，１，…，（ｋ−１）で示
   される、少なくともｋ個のサブグラフを有するアーキテ
   クチャに構成された複数のプロセッサ間で、データブロ
   ックを再分配し、前記ｋ個のサブグラフの各々は、同一
   のトポロジーおよび対応するプロセッサを有し、段階的
   に相補的な前記ｋ個のプロセッサ間で前記データ再分配
   を行うデータ割振り方法において、 （ａ） プロセッサの各データブロックを、ほぼ同一サ
   イズのｋ個の部分に分割するステップと、 （ｂ） ランニング連続インデックスｉ（０≦ｉ≦ｋ）
   で表されるサブグラフにおける各プロセッサ、およびラ
   ンニングインデックスｊ（０≦ｊ≦ｋ−１かつｊ≠１）
   で表わされる各部分に対して、前記サブグラフｉにおけ
   るプロセッサのｊ番目の部分をサブグラフｊの前記対応
   するプロセッサのｉ番目の部分と並列に交換するステッ
   プと、 （ｃ） 前記対応する段階的に相補的なプロセッサによ
   り前記再分配を同時に実行して前記再分配を行うステッ
   プと、 （ｄ） 前記ステップ（ｂ）を逆交換として繰り返すス
   テップと を具えたことを特徴とするデータ割振り方法。
8. 【請求項８】 サブグラフ０，１，…，（ｋ−１）で示
   される、少なくともｋ個のサブグラフを有するアーキテ
   クチャに構成された複数のプロセッサを有し、前記ｋ個
   のサブグラフの各々は同一のトポロジーをもち、対応す
   るプロセッサは前記ｋ個のプロセッサ間でデータ再分配
   に対して段階的に相補的であるコンピュータ・システム
   において、 各プロセッサは、 複数のデータブロックと、 前記データ再分配動作を行う実行可能なプログラムであ
   って、 （ａ） プロセッサの各データブロックを、ほぼ同一サ
   イズのｋ個の部分に分割するステップと、 （ｂ） ランニング連続インデックスｉ（０≦ｉ≦ｋ）
   で表されるサブグラフにおける各プロセッサ、およびラ
   ンニングインデックスｊ（０≦ｊ≦ｋ−１かつｊ≠１）
   で表わされる各部分に対して、前記サブグラフｉにおけ
   るプロセッサのｊ番目の部分をサブグラフｊの前記対応
   するプロセッサのｉ番目の部分と並列に交換するステッ
   プと、 （ｃ） 前記対応する段階的な相補的なプロセッサによ
   り前記再分配を同時に実行して前記再分配を行うステッ
   プと、 （ｄ） 前記ステップ（ｂ）を逆交換として繰り返すス
   テップと を具えた実行可能なプログラムとを具えたことを特徴と
   するコンピュータ・システム。