JP2572529B2

JP2572529B2 - データ・ブロックを宛先へ経路指定する方法及び並列システム

Info

Publication number: JP2572529B2
Application number: JP20917393A
Authority: JP
Inventors: ジェオシュア・ブルック; チン・ティエン・ホー; シュロモ・キプニス
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1992-10-22
Filing date: 1993-08-24
Publication date: 1997-01-16
Anticipated expiration: 2012-01-16
Also published as: US5561805A; EP0594323A3; EP0594323A2; JPH07143176A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、並列システムにおいて
複数のデータ・ブロックを経路指定するための方法に関
するものであり、更に詳しくいえば、メッセージ伝送並
列システムにおける任意のプロセッサ・サブセット間に
おける複数のデータ・ブロックのマルチ・パケット経路
指定のための方法に関するものである。

【０００２】

【従来の技術】並列アーキテクチャを持ったマルチプロ
セッサ・コンピュータ・システムは、１つのタスクを同
時に遂行するように並列的に動作する複数のプロセッサ
を使用する。並列マルチプロセッサ・システムでは、１
つの問題がいくつかの副次問題に分解されて個々のプロ
セッサに分配され、各プロセッサは、それに割当てられ
た副次問題のセグメントに関して動作する。このような
並列アーキテクチャによって、１つのプロセッサが１つ
の複雑なタスクを単独で遂行するに要する時間よりもず
っと短い時間で１つの解答を出すよう、すべてのプロセ
ッサにより並列的に且つ同時にそのタスクを解決するこ
とができる。

【０００３】多くのプロセッサが１つのタスクを共同し
て解決するためには、すべてのプロセッサを相互接続す
るネットワークを介してメッセージを送受信することに
よって、それらプロセッサが相互にコミュニケートしな
ければならない。多くの場合、プロセッサの相異なるサ
ブセット間の集合（Ｃｏｌｌｅｃｔｉｖｅ）コミュニケ
ーションが必要である。しばしば使われる集合コミュニ
ケーション・プリミティブより成る効率的且つ可搬的な
コミュニケーション・ライブラリは、並列処理システム
をうまくプログラミングするのが極めて難しい。そのコ
ミュニケーション・ライブラリは、並列プログラミン
グ、デバッギング、及び可搬性が容易であるのみなら
ず、アプリケーション・プログラムのコミュニケーショ
ン・プロセスが効率的である。

【０００４】よく使用されるコミュニケーション・プリ
ミティブはマルチパケット経路指定動作であり、その動
作では、１セットのプロセッサにおける各プロセッサが
種々のサイズのデータ・ブロックの集合体を有し、各デ
ータ・ブロックは並列ネットワークを介してそのセット
におけるそれぞれの宛先プロセッサに送られなければな
らない。マルチ・パケット経路指定動作の特殊ケースで
あり、あまりよく使用されてない集合コミュニケーショ
ン・プリミティブは、スキャッタ（分散）動作、ギャザ
（収束）動作、及びインデックス動作である。ｎノード
より成るセット内でのスキャッタ動作では、１ノード当
たり１データ・ブロックでそのセット内のｎノード間に
分配される必要のあるｎブロックのデータを持った１つ
のソース・ノードがそのセット内にある。各ノードが最
初に１データ・ブロックを有するｎノード間のギャザ動
作では、そのセット内に、ｎノードすべてからｎブロッ
クすべてを集合させるために、即ち、縮小を行うことな
く１つのノードにおけるデータ・ブロックを連結するた
めに、１つの宛先ノードがある。ｎノードのセット内で
のインデックス動作では、そのセット内の各ノードは最
初にｎブロックのデータを有する。そのセット内の各ｉ
番目のノードは、それのｊ番目のデータ・ブロックをノ
ードｊに送り、ノードｊのｉ番目のデータ・ブロックを
受ける必要がある。

【０００５】スキャッタ、ギャザ、及びインデックス動
作、並びにマルチ・パケット経路指定動作は、多くの実
世界の科学的、数値的、及び商業的アプリケーションに
おいて用途を見出だすコミュニケーション・ライブラリ
における重要な集合コミュニケーション・プリミティブ
である。このようなアプリケーションの例は、最も基本
的な線形代数操作の１つであるマトリクス変換、バイト
ニック・ソーティング（ｂｉｔｏｎｉｃｓｏｒｔｉｎ
ｇ）、偏微分方程式を解くためのオルタネイティング・
ディレクション・インプリシット（Ａｌｔｅｒｎａｔｉ
ｎｇＤｉｒｅｃｔｉｏｎＩｍｐｌｉｃｉｔ、即
ち、ＡＤＩ）、及びフーリエ解析巡回縮約（ＦＡＣＲ）
法又は２次元ＦＦＴ法によるポアソンの問題の解法を含
む。マルチ・パケット経路指定動作は、ワークステーシ
ョンのネットワーク及びディスク又はＩ／Ｏノードのネ
ットワークにおいて必要な汎用コミュニケーションに対
する実行時サポートとしても使用可能である。従って、
この分野の基本的問題は、スキャッタ、ギャザ、インデ
ックス、及びマルチ・パケット経路指定動作に対する効
率的なアルゴリズムを創出することであった。

【０００６】集合コミュニケーション・プリミティブの
ためのほとんどの従来技術は、メッシュ又はハイパーキ
ューブのような一定の並列システム技術に依存してい
る。これら従来技術のアルゴリズムは、特別に設計され
たトポロジーにはよく適合するけれども、これらは、他
の並列トポロジーには容易に移植し得ない。これらアル
ゴリズムの多くは、関連するプロセッサの数のために、
或る形式に限定される。例えば、ハイパーキューブに関
する集合コミュニケーション・プリミティブのためのア
ルゴリズムは、プロセッサの数が２の累乗になり、従っ
て、効率の損失なしにプロセッサを任意の数に容易に拡
大することができないと考えられる。従って、必要なこ
とは、効率の損失なしに基礎となるトポロジーに無関係
のアルゴリズムを創出すること、及びセット内のプロセ
ッサの数が必ずしも２の累乗とはならず且つセット内の
プロセッサが必ずしもサブキューブ又はサブメッシュの
ような構造を形成しないプロセッサ・セット上で走るこ
とができる集合コミュニケーション・プリミティブのた
めのアルゴリズムを創出することである。

【０００７】トポロジー独立の（即ち、トポロジーに無
関係の）アルゴリズムを持つことは、他に多くの利点が
ある。１つは、プロセッサがスイッチ、クロスバー・ス
イッチ、及びバスというマルチ・ステージを介して相互
接続される場合、それらアルゴリズムが或る並列アーキ
テクチャを正確に反映することである。もう１つは、プ
ロセッサ相互間の距離（即ち、ホップの数）が無関係で
ある回路交換、ワームホール、及び仮想カットスルー経
路指定のような更に進んだ経路指定の利用可能性がある
ことである。更にもう１つは、トポロジー独立のアルゴ
リズムが更に特殊なトポロジーに対するアルゴリズムの
創出に有用となり得ることである。

【０００８】集合コミュニケーション・プリミティブの
ためのトポロジー独立のアルゴリズムの効率の問題は、
ほとんどのアプリケーション・プログラムの性能強化に
とって重要である。効率は、基礎となる機械の２つの重
要なパラメータに依存することが最も多い。それらパラ
メータの１つはコミュニケーション始動時間であり、も
う１つは伝送時間である。コミュニケーション始動時間
は、例えば、その後の各コミュニケーション・コール、
即ち、伝送又は受信動作と関連するソフトウエア及びハ
ードウエアにより生じたオーバヘッドであり、伝送時間
は、コミュニケーション・ネットワークを介して各デー
タ要素、例えば、１バイトを伝送するに必要な時間であ
る。

【０００９】相異なる並列装置における相異なる特性の
ために、種々の並列装置間で可搬性があるのみならず、
高い効率を保つ経路指定アルゴリズムを設計することが
切望されている。例えば、始動時間に対して最適化され
たマルチ・パケット経路指定アルゴリズムは、始動時間
に比べて大きい伝送時間を持った機械では性能が劣るか
もしれない。一方、伝送時間に対して最適化されたマル
チ・パケット・アルゴリズムは、伝送時間に比べて大き
い始動時間を持った機械ではうまく働かないかもしれな
い。従って，従来技術において必要とされるものは、始
動時間及び伝送時間のような機械のパラメータに従って
調整可能な経路指定アルゴリズムであり、そして特殊な
アーキテクチャの始動時間及び伝送時間の間のバランス
をとるようにパラメータ設定可能なクラスのアルゴリズ
ムを得ることである。

【００１０】

【発明が解決しようとする課題】本発明は、メッセージ
伝送並列システムにおける複数プロセッサの任意のサブ
セット内で複数のデータ・ブロックのマルチ・パケット
経路指定のための方法に関する。

【００１１】本発明の主たる目的は、メッセージ伝送並
列システムにおけるマルチ・パケット経路指定動作及び
インデックス、スキャッタ、及びギャザー動作のような
頻繁に使用されるコミュニケーション・プリミティブの
ための効率的な方法を提供することにある。

【００１２】本発明のもう１つの方法は、コミュニケー
ション始動時間及び伝送時間に依存する基礎アーキテク
チャのパラメータに従って調整可能なマルチ・パケット
経路指定アルゴリズムを提供することにある。

【００１３】本発明の更にもう１つの目的は、多くの並
列アーキテクチャの間で最大の可搬性を達成するように
トポロジー独立のマルチ・パケット経路指定アルゴリズ
ムを提供することにある。

【００１４】本発明の更にもう１つの目的は、サブキュ
ーブ又はサブメッシュのような特定の構造に限定されな
い任意の数のプロセッサのためのマルチ・パケット経路
指定アルゴリズムを提供することにある。

【００１５】

【課題を解決するための手段】並列システムにおいて複
数のメッセージ・パケットをそれぞれの宛先に経路指定
するための方法が与えられ、それは、その特殊な並列シ
ステムに対するコミュニケーション始動時間及び伝送時
間の値を考慮するものである。この方法は、コミュニケ
ーション始動時間及び伝送時間のパラメータを使って１
つの基数を選択する第１ステップが関連している。第２
ステップは、各データ・パケットに対して、１つの相対
オフセットを形成させるために、モデュロｎ減算を使っ
てデータ・ブロックのアドレスからノード・アドレスを
減算し、予め選択された基数でその相対オフセットを表
わすことに関連する。第３のステップは、データ・ブロ
ックを宛先ノードに複数フェーズで送ることに関連し、
各フェーズは相対オフセット値のｉ番目のディジットと
それらデータ・ブロックをパックし、然る後、それらパ
ックされたデータ・ブロックをそれぞれの中間宛先アド
レスに送ることに関連する。

【００１６】

【実施例】本発明は、メッセージ伝送並列システムにお
いて、複数プロセッサの任意のサブセット内で複数のデ
ータ・ブロックをマルチ・パケット経路指定する方法に
関するものである。

【００１７】本発明の方法をを具体化する代表的なメッ
セージ伝送並列システムは、複数のノードより成る。各
ノードは、コンピュータ、マイクロプロセッサ、ワーク
ステーションのような処理エレメント、キャッシュ、メ
モリ、ディスクのような記憶装置、Ｉ／Ｏ装置、又はそ
れらの組合わせたものでよい。ノードは、ネットワーク
を介してメッセージを伝送及び受信することによって、
又は他のノードの記憶装置を直接的に又は間接的に書き
込み又は読み取ることによって、他のノードと情報を交
換することができる。一般的には、各ノードは、ローカ
ル・メモリを持ったプロセッサであり、メッセージ・パ
ケットを送受信することによって他のノードとコミュニ
ケートする。ノードは、コミュニケーション・リンクを
介して直接的に、又はスイッチ、クロスバー、或はバス
を介して相互接続可能である。各ノードは、それ自身の
ノード識別子、即ち、ノードＩＤを有し、それぞれの宛
先ノードに送られるべき種々のサイズのデータ・ブロッ
クの単位であるパケットのリストを持っている。

【００１８】図１を参照すると、プロセッサ・アドレス
Ｐ０−Ｐ４を持った５つのノードのセットが示される。
各ノードは、それぞれが宛先ノード・アドレスを持った
多数のメッセージ・パケットを持っている。例えば、プ
ロセッサ・ノードＰ０はアドレス０を持ち、それぞれプ
ロセッサ・ノード・アドレス１、２、及び４を宛先とす
る３個のメッセージ・パケットを持っている。更に、プ
ロセッサ・ノードＰ１は、アドレス１を持ち、それぞれ
ノード・アドレス２及び４を宛先とする２個のパケット
を持っている。同様に、プロセッサ・ノードＰ２、Ｐ
３、及びＰ４は、それぞれが宛先アドレスを持ったそれ
自身のメッセージ・パケットを持っている。図２に示さ
れるように、図１のノードのセットにおけるメッセージ
・パケットは、それぞれのプロセッサ・ノード宛先アド
レスに送られる。

【００１９】本発明の好ましい実施例では、第１の方法
ステップは、システム・パラメータを使って基数ｂを選
択することに関するものである。第２のステップは、各
データ・ブロックに対して、モデュロｎ減算を使ってそ
のデータ・ブロックの宛先アドレスからノード・アドレ
スを減算して相対的オフセットを形成し、その選択され
た基数の数系で相対的オフセットを表わすことに関する
ものである。第３のステップは、パックされたデータ・
ブロックをそれぞれの宛先ノードにフェーズを合わせて
送ることに関するものであり、各フェーズは、相対的オ
フセットのｉ番目のディジットを走査するステップ及び
それらその相対的オフセットのｉ番目のディジットが同
一であるデータ・ブロックを一緒にパックした後、その
パックされたデータ・ブロックをそれぞれの中間宛先ア
ドレスに送るステップに関連する。

【００２０】この好ましい実施例の更に詳しい説明を第
１の方法ステップに関して行うが、ここで基数ｂが選択
されなければならない。この方法は、並列システム内の
コミュニケーション・サブシステムに対する、２つのパ
ラメータ、コミュニケーション始動時間、及び伝送時間
を利用する。それは、本発明がこれら２つのパラメータ
に従って調整可能であるためである。コミュニケーショ
ン始動時間は、各コミュニケーション・ステップ、即
ち、メッセージ送信又はメッセージ受信と関連するソフ
トウエア及びハードウエアによって生じたオーバヘッド
である。伝送時間は、そのシステムによって定義された
１つのデータ素子を、コミュニケーション・ネットワー
クを介して伝送するに要する時間である。

【００２１】コミュニケーション始動時間は、ｔ_sによ
って表わされ、伝送時間は、ｔ_trによって表わされる。
ｍバイトより成る１つのメッセージ・パケットを送信及
び受信するためのコミュニケーション時間は、その並列
システムを交差するために、ｔ_s+mt_trの時間単位をと
る。

【００２２】適当な整数基数は、ｂ（但し、２＝＜ｂ＝
＜ｎ）である。基数ｂに対する好ましい値は、ｔ_s、ｔ
_tr、n、及びＭの関数として次式により取り出すことが
できる。

【００２３】 min_{∀b∈{2,3,...n}}{〈log_bｎ〉(b−1)[t_s＋(M/bn)t_tr]} 但し、ｔ_sは、見積りコミュニケーション始動時間であ
り、ｔ_trは、見積り伝送時間であり、Ｍは、ｎノードを
通るメッセージの合計数であり、〈log_bｎ〉は、log_bｎ
の最大値を表わす。

【００２４】次に、好ましい実施例の第２ステップは、
各データ・ブロックに対して、相対オフセットを形成す
るために、モデュロｎ減算を使ってデータ・ブロックの
宛先アドレスからノード・アドレスを減算し、然る後、
その選択された基数ｂにおける相対オフセットを表示す
ることに関するものである。各ノードにおける各パケッ
トに対して相対オフセットが計算されることが、本発明
の方法の基本である。例えば、パケットが最初ノードｎ
にあり、ノードｙを宛先とする場合、この特定のメッセ
ージ・パケットの相対オフセットｒは、ｒ＝（ｙ−ｎ）
モデュロｎによって定義される。従って、各パケットの
相対オフセットは、前に選択した基数ｂの数系を使っ
て、ｋディジットにより表わされる。（但し、ｋ＝〈lo
g_bｎ〉である）。０乃至ｎ−１の範囲におけるすべての
整数がその選択された基数ｂの数系によってｋディジッ
ト（各ディジットがセット｛０，１，２，．．．ｂ−
１｝から選択される）で表示可能であることを認識すべ
きである。従って、基数ｂの数系におけるｒは、（ｒ
_k-1, r_k-2,.....,r₀）として定義される。（但し、ｒ＝
ｒ_k-1b^k-1＋r_k-2b^k-2＋.....＋r₀b⁰ であり、r_i∈{0,
1,2,.....b-1}である。従って、ここでは、説明の便宜
上、r_iは基数ｂ表記におけるｒのｉ番目のディジットで
ある。

【００２５】好ましい実施例の第３ステップでは、パッ
クされたメッセージが、フェーズ０からフェーズｋ−１
まで繰り返すｋ個のフェーズで、それぞれの中間宛先ノ
ード・アドレスに送られる。更に、本発明における各フ
ェーズは、サブフェーズ１からサブフェーズｂ−１まで
繰り返すｂ−１個のサブフェーズより成る。フェーズｉ
のサブフェーズｊの間、各プロセッサ・ノードｘは、現
在のローカル・パケットすべてを、選択された基数ｂ表
記における相対オフセットのｉ番目のディジットまで走
査し、これらディジットのうちのどれかがｊに等しいか
どうかを決定する。このような相対オフセット・ディジ
ットが見つかった場合、それらパケットはパックされ、
１コミュニケーション・ステップでプロセッサ・ノード
ｙ（但し、ｙ＝（ｘ＋ｊｂⁱ）モデュロｎ）に送られ
る。

【００２６】係数〈log_bｎ〉（即ち、log_bnの最大値）
は、その第３の方法ステップにおいて必要とされる最大
のフェーズ数を表わす。各フェーズ内には、ｂ−１個ま
でのサブフェーズがあり、各サブフェーズは、各ノード
に対して１つの大きなパックされたパケットを送ること
及び１つの大きなパックされたパケットを受け取ること
に相当する。従って、各フェーズに対して必要とされる
ｂ−１個までのコミュニケーション始動がある。フェー
ズｉにおいて各ノードから送出する必要があるデータ
は、相対オフセットの非ゼロのｉ番目のディジットを持
ったメッセージ・パケットより成る。従って、１フェー
ズ中に並列システムにおける任意のノードから伝送する
必要のあるデータの平均的量は、［（ｂ−１）／ｂ］＊
（Ｍ／ｎ）であり、各フェーズにおけるデータ伝送のた
めの見積り時間は、［（ｂ−１）／ｂ］＊（Ｍ／ｎ）＊
ｔ_tr である。基数ｂを適当に選択することによって、
この方法は、その特定の機械のパラメータに基づいて調
整可能となり、従って、異なる特性を持った広範囲の並
列アーキテクチャにまたがって可搬性があるように始動
時間と伝送時間とをバランスさせる。

【００２７】すべてのパックされたメッセージ・パケッ
トのサイズ及び宛先の分布に関する情報をそのセットに
おけるすべてのノードが知っている時、又はマルチ・パ
ケット経路指定動作がスキャタ、ギャザ、又はインデッ
クスのような動作に対して恒常的になる時、基数ｂの選
択は他の数式によっても取り出し可能であることを理解
すべきである。

【００２８】ここに示した例及び以下で説明する例は、
説明の便宜上適当に選択した基数２、３、及び５の数系
を使用する。

【００２９】図３を参照すると、プロセッサ・ノード・
アドレスＰ０乃至Ｐ４を持った５個のノードのセットが
示される。各ノードは、複数のメッセージ・パケットを
含んでおり、宛先及び相対オフセットは、伝統的な基数
１０（１０進）の数系を使って各メッセージ・パケット
と関連付けられている。図３は、図１のすべてのプロセ
ッサ・ノードにおけるすべてのメッセージ・パケットに
対する相対オフセットの計算結果を示す。例えば、プロ
セッサ・ノードＰ２は、４個のメッセージ・パケットを
持っている。第１のメッセージ・パケットは、０の宛先
アドレス及び３の相対オフセットを持っている。前述の
第２の方法ステップにおけるように、ｎノードのセット
内でノードｙを宛先とするノードｘにおけるパケットに
対する相対オフセットを計算する数式は、ｒ＝（ｙ−
ｘ）モデュロｎである。従って、ノード０を宛先とす
るノード２の第１パケットに対する相対オフセットは、
ｒ＝（０−２）モデュロ５＝３である。同様に、第２
パケットは、１の宛先アドレスを持ち、（１−２）モデ
ュロ５＝４の相対オフセットを持っている。第３パケ
ットは、３の宛先アドレス及び（３−２）モデュロ５＝
１の相対オフセットを持っている。第４パケットは、
４の宛先アドレス及び（４−２）モデュロ５＝２の相
対オフセットを持っている。プロセッサ・ノードＰ０、
Ｐ１、Ｐ３、及びＰ４に含まれたすべてのメッセージ・
パケットに対する相対オフセットが、同じ方法で計算可
能である。各計算の結果が、図３に示される。

【００３０】図３のノードのセットを示す図４を参照す
ると、すべてのノードにおけるすべてのメッセージ・パ
ケットの相対オフセットが基数２の数系、即ち、ｂ＝２
で示されている。括弧内の数字は、この特定の例に対す
る選択された基数を示し、この例では２である。図５
は、図４のノードのセットを示し、この方法のフェーズ
０の間にコミュニケートするメッセージ・パケットがそ
れぞれの中間宛先ノードに送られてしまった状態を示し
ている。前述の第３の方法ステップにおけるように、フ
ェーズ０からフェーズｂ−１まで繰り返すｋ＝〈log
_bｎ〉個のフェーズがある。従って、図４乃至図７に
示された例では、ｋ＝〈log₂５〉＝３個のフェーズが
あり、フェーズ０からフェーズ２までを繰り返す。各フ
ェーズの間、（ｂ−１）＝１であるため、１つのフェー
ズしかない。フェーズ０のサブフェーズ１の間、０番目
のオフセット・ディジットが１の値を有するノードｘに
おけるすべてのメッセージ・パケットがパックされ、ノ
ードｙ＝（ｘ＋１）モデュロｎに送られる。従って、フ
ェーズ０の間、基数２の表記で相対オフセット００１
（２）を持つ図４のノード０における第１パケットは、
ノード（０＋１）モデュロ５＝１に送られなければな
らない。

【００３１】同様に、図４のノード０における第２及び
第３パケットは、それらの相対オフセットのディジット
０が０の値を有するので、コミュニケートされないであ
ろう。同様に、図４におけるノード１の第１及び第２パ
ケットがパックされノード（１＋１）モデュロ５＝２
に送られる。同じ中間宛先ノードを宛先とするこれら２
つのパケットは、コミュニケーション始動時間を減少さ
せるように、ノード２に送られる前に更に大きいメッセ
ージ・パケットにパックされるであろう。その結果、こ
れら２つのパケットは、この方法のフェーズ１の終了
後、図５のノード２のようになる。同様に、図４におけ
るノード２の第１及び第３メッセージ・パケットがパッ
クされ、宛先ノード（２＋１）モデュロ５＝３に送ら
れる。図６は、図５のノードのセットを、図５と比較し
て示し、フェーズ１の間のコミュニケーションによるメ
ッセージ・パケットがそれぞれの中間宛先ノードに送ら
れてしまった状態を示している。

【００３２】前述のように、ｂ＝２の場合、１フェーズ
当たり１つのサブフェーズしかない。フェーズ１のサブ
フェーズ１の間、第１オフセット・ディジットが１の値
を有するノードｘにおけるすべてのメッセージ・パケッ
トがノードｙ＝（ｘ＋２）モデュロ５にコミュニケー
トされなければならない。従って、フェーズ１の間、図
５のノード０における第１パケットが図６のノード（０
＋２）モデュロ５＝２に送られる。図５におけるノード
０の第２及び第３パケットは、それらの第１オフセット
・ディジットが０の値を有するため、コミュニケートさ
れない。同様に、図５におけるノード２の第２及び第４
パケットがパックされて更に大きいパケットを形成し、
ノード（２＋２）モデュロ５＝４に送られる。

【００３３】図７は、図６のノードのセットを、図６と
比較して示し、この方法のフェーズ２の間のコミュニケ
ーションによるメッセージ・パケットがそれぞれの宛先
ノードに送られてしまった状態を示している。再び、ｂ
＝２の場合の１フェーズ当たり１サブフェーズしかな
い。フェーズ２のサブフェーズ１の間、第２オフセット
・ディジットが１の値を有するノードｘにおけるすべて
のメッセージ・パケットが、ノードｙ＝（ｘ＋４）モデ
ュロ５にコミュニケートすることになる。従って、フ
ェーズ１の間、図６におけるノード０の第１パケットが
図７のノード（０＋４）モデュロ５＝４に送られる。
図６における第２、第３、及び第４パケットは、第２オ
フセット・ディジットが０の値を持つため、コミュニケ
ートされない。同様に、図６におけるノード２の第１パ
ケットがノード（２＋４）モデュロ５＝１に送られ
る。

【００３４】ノードのセットを示す図８を参照すると、
すべてのメッセージ・パケットの相対オフセットが基数
３の数系、即ち、ｂ＝３で表わされた状態が示され
る。括弧内の数字は、この特定な例に対する選択された
基数（この例では３）を示す。

【００３５】図９は、図８のノードのセットを、図８と
比較して示すものであり、フェーズ０の間にコミュニケ
ーションによりメッセージ・パケットがそれぞれの中間
宛先ノードに送られてしまった状態を示す。図８乃至図
１０に示される例に対して、フェーズ０からフェーズ１
まで繰り返すｋ＝〈log₃５〉＝２個のフェーズがあ
る。（ｂ−１）＝２であるため、１フェーズ当たり２つ
のサブフェーズがある。

【００３６】フェーズ０のサブフェーズ１の間、０番目
のオフセット・ディジットが１の値を有するノードｘに
おけるすべてのメッセージ・パケットがパックされ、ノ
ードｙ＝（ｘ＋１）モデュロｎにコミュニケートされ
る。例えば、図８におけるノード０の第１及び第３パケ
ットは、パックされ、ノード（０＋１）モデュロ５＝１
にコミュニケートされなければならない。フェーズ０
のサブフェーズ２の間、０番目のオフセット・ディジッ
トが２の値を持つノードｘにおけるすべてのパケットが
パックされ、ノードｙ＝（ｘ＋２）モデュロｎにコ
ミュニケートされる。例えば、図８におけるノード０の
第２パケットは、ノード（０＋２）モデュロ５＝２に
送られる。

【００３７】図１０は、図９のノードのセットを、図９
と比較して示し、フェーズ１の間にコミュニケートされ
るメッセージ・パケットがそれぞれの宛先ノードに送ら
れた状態を示している。前述のように、ｂ＝３の場
合、２つのサブフェーズがある。フェーズ１のサブフェ
ーズ１の間に、第１オフセット・ディジットが１の値を
有するノードｘのすべてのパケットがパックされ、ノー
ドｙ＝（ｘ＋３）モデュロｎに送られる。例えば、
図９におけるノード１の第１及び第３パケットがパック
され、図１０のノード（１＋３）モデュロ５＝４に送
られる。フェーズ１のサブフェーズ２の間に、第１オフ
セット・ディジットが２の値を有するノードｘのメッセ
ージ・パケットはすべてパックされ、ノードｙ＝（ｘ
＋２＊３）モデュロｎに送られる。第１オフセット・
ディジットにおいて２の値を持ったパケットがないの
で、フェーズ１のサブフェーズ２は無視されることに注
意してほしい。

【００３８】ノードのセットを示す図１１を参照する
と、すべてのノードにおけるすべてのメッセージ・パケ
ットの相対オフセットが基数５の数系、即ち、ｂ＝５
で表わされたものが示される。括弧内の数字は、この特
定の例に対する選択された基数、即ち、基数５を示す。

【００３９】図１２は、図１１のノードのセットを、図
１１と比較して示し、フェーズ０の間にコミュニケート
されるメッセージ・パケットがそれぞれの宛先ノードに
送られた状態を示している。図１１及び図１２に示され
た例に対して、ｋ＝〈log₅５〉＝１個のフェーズがあ
る。この１つのフェーズだけで、（ｂ−１）＝４であ
るために４個のサブフェーズがある。フェーズ０のサブ
フェーズ１の間に、０番目のオフセット・ディジットが
１の値を有するノードｘにおけるすべてのメッセージ・
パケットがパックされ、ノードｙ＝（ｘ＋１）モデュ
ロｎに送られる。例えば、図１１のノード０における
第１パケットがノード（０＋１）モデュロ５＝１に送
られる。フェーズ０のサブフェーズ２の間に、０番目の
オフセット・ディジットが２の値を有するノードｘにお
けるすべてのメッセージ・パケットがパックされ、ノー
ドｙ＝（ｘ＋２）モデュロｎに送られる。図１１に
おけるノード０の第２パケットがノード（０＋２）モデ
ュロ５＝２に送られることは明らかである。一般的に
言えば、フェーズ０のサブフェーズｉ（但し、１＝＜ｉ
＝＜ｂ−１）の間に、０番目のオフセット・ディジット
がｉの値を有するノードｘのすべてのメッセージ・パケ
ットはパックされてノードｙ＝（ｘ＋１）モデュロｎ
に送られる。

【００４０】選択された基数ｂの値に関係なく、図７，
図１０、及び図１２に示された最終的な構成はすべて同
じであることに注意すべきである。従って、この方法
は、選択された基数が２乃至ｎの範囲における整数であ
る限り、その基数の値に関係なく有効である。

【００４１】このマルチ・パケット経路指定方法の設計
上の変更が本発明の範囲に属することは勿論である。例
えば、相対オフセットを１乃至ｎ−１の範囲から符号化
するために使われる基数は混合基数であってもよい。ｎ
＝６個のノードを考えてみると、オフセット・ディジ
ット０に対する基数として３を選び、オフセット・ディ
ジット１に対する基数として２を選ぶことができる。従
って、（２３）混合基数表記では、０、１、２、３、
４、及び６の値を、それぞれ（００）、（０１）、（０
２）、（１０）、（１１）、及び（１２）として表わす
ことができる。

【００４２】本発明の範囲内でのもう１つの変更は、コ
ミュニケーション・モデルに基づくものである。例え
ば、各ノードがｃ個の他のノードのセットにメッセージ
を送り且つｃ個の他のノードからメッセージを受けるこ
とができるｃポート・コミュニケーション・モデルで
は、各フェーズに対するサブフェーズの数は、〈（ｂ−
１）／ｃ〉、即ち、（ｂ−１）／ｃの最大値となる。
これは、各フェーズでは、各コードがｂ−１個までの異
なった中間宛先ノードとコミュニケートする必要のある
メッセージを持ち、それらの内のｃ個が１つのステップ
で同時にコミュニケートすることができるためである。

【００４３】本発明の方法は、スキャタ動作、ギャザ動
作、及びインデックス動作を含むマルチ・パケット経路
指定動作のための他の興味ある特別ケースに対する用途
を見出だすこともできる。ｎノードの間のスキャタ動作
では、１ノード当り１データ・ブロックずつ，ｎノード
すべてに分配する必要のあるｎブロックのデータを持っ
た１つのソース・ノードがある。ｎノードの間のギャザ
動作では、各ノードが最初に１データ・ブロックを持
ち、ｎノードすべてからｎデータ・ブロックすべてを収
集する、即ち、縮小を行うことなくデータ・ブロックを
連結する必要のある１つの宛先ノードがある。スキャタ
動作及びギャザ動作は、互いに逆の動作である。両方の
動作とも、行ベクトル又は列ベクトルを置換するような
実際のアプリケーションでよく使用される。

【００４４】ｎノードの間のインデックス動作では、各
ノードは、１ノード当り１データ・ブロックずつ、すべ
てのノードに分配する必要のあるｎブロックのデータを
持っている。更に正確に言えば、インデックス動作の目
的は、ノードｊにおけるｉ番目のデータ・ブロックをノ
ードｉにおけるｊ番目のデータ・ブロックと交換するこ
とである．（但し、０＝＜ｉ，ｊ＝＜ｎ−１）。

【００４５】インデックス動作に対するアルゴリズム
は、一連のプロセッサ・メモリ構成として表わすことが
できる。各プロセッサ・メモリ構成は、ｎブロックそれ
ぞれにｎコラムを有する。コラムは、以後のすべての図
において、左から右へ０からｎ−１までラベルされ、ブ
ロックは、上から下へ０からｎ−１までラベルされる。
コラムｊはノードｊを表わし、ブロックｉはメモリ・オ
フセットにおけるｉ番目のデータ・ブロックを表わす。
インデックス動作の目的は、ブロックのコラムを効率的
に置換することである。従って、インデックス動作にお
ける各データ・ブロックは、各ノードが、それ自身に対
するパケットを含むそのセット内のｎノードに送る必要
のある同じサイズのｎパケットを持っているという点
で、多重経路指定動作におけるパケットに対応する。

【００４６】図１３は、ｎ＝５の場合に遂行されるイ
ンデックス動作の前後におけるプロセッサ・メモリ構成
の例を示す。各ボックスにおける表示「ｊｉ」は、ノー
ドｊに最初に割当てられたｉ番目のデータ・ブロックを
表わす。ラベルｉは、ブロックＩＤと呼ばれる。

【００４７】そのインデックス方法は、３ステージを有
する。ステージ１では、各ノードｊは、そのすべてのｎ
ブロックをｊステップだけローカルに回転する。ステー
ジ２では、各ノードｊは、そのｉ番目のブロックを右へ
ｉステップだけノード（ｊ＋ｉ）モデュロｎまで回転す
る。ステージ３では、各ノードｊは、そのｉ番目のブロ
ック（０＝＜ｉ＝＜ｎ−１）をそのｙ番目のブロック
（ｙ＝（ｊ−ｉ）モデュロｎ）まで局地的に移動する。
ステージ１及び３は、ローカル・データ再配列を必要と
するだけであり、一方、ステージ２は、ノード間の或る
形式のコミュニケーションに関連する。図１４は、ｎ＝
５の場合これら３ステージの例を示す。

【００４８】ステージ２では、データ・ブロック（即
ち、パケット）のサイズをｍとすると、ｍ＝Ｍ／ｎ²
であるので、基数ｂに対する好ましい値は、次のように
選択される。

【００４９】 min_{∀b∈{2,3,...n}}{〈log_bｎ〉(b−1)[t_s＋(mn/b)tr]} 基数ｂが２又はｎとなるように選択される時、２つの興
味あるケースが生じる。ｂ＝２である時、その方法
は、最小数のコミュニケーション始動を持つ。図１５
は、ｂ＝２及びｎ＝５である場合のインデックス
動作に対するアルゴリズムの例を示す。陰の付いたブロ
ックは、次のフェーズの間に回転させられるブロックで
ある。ｂ＝ｎである時、その方法は最小のデータ伝送
時間を有する。従って、基礎となる機械の始動時間が重
要である時には、ｂ＝２が選択されなければならず、
その始動時間が無視し得るものである時には、ｂ＝ｎ
が選択される。一般的には、ｂは、ｔ_s、ｔ_tr、ｎ、及
びｍの関数として微調整可能である。

【００５０】好ましい実施例における前記第３の方法ス
テップは、０、１、．．．．、ｋ−１の順序を必要とし
ない任意の適当な順序で繰り返し可能である。例えば、
ｋ＝３である時、（０，１，２）、（０，２，１）、
（１，０，２）、（１，２，０）、（２，０，１）、及
び（２，１，０）のような３つの反復のうちのどの順序
もすべて有効となろう。更に、各フェーズ内の各ｂ−１
サブフェーズが任意の適当な順序で反復可能である。実
際には、（ｂ−１）ｋという合計数のサブフェーズが
任意の適当な順序で反復可能である。或る順序の反復
は、すべてのメッセージ・パケット関する平均的な到達
時間を最小にする場合に有利となろう。その順序は、す
べてのメッセージ・パケットのサイズ及び宛先の分布に
依存する。

【００５１】本発明の第３の方法ステップは、フェーズ
及びサブフェーズを使って同期して遂行される必要はな
い。例えば、特定のサブフェーズの間に送出すべきメッ
セージを持たないノードは、アイドリングなしに、貪欲
に、次のサブフェーズ又はフェーズに対するメッセージ
を送ることができる。従って、マルチ・パケット経路指
定は、非同期的に遂行可能である。この場合、入ってく
るメッセージ・パケットによっては、或るサブフェーズ
が反復されることもある。しかし、このような必要な場
合のサブフェーズの反復は、コミュニケーション時間全
体を増加させることはないであろう。

【００５２】ノードｙを宛先とするノードｘにおけるパ
ケットの相対オフセットは、値ｒ＝（ｙ−ｘ）モデュロ
ｎにそのまま限定されるものでもない。ｒと同じモデ
ュロｎ値を持った値を相対オフセットとして使用しても
よい。１つの例として、ｎ＝５、ｘ＝２、及びｙ＝３
である場合を考えてみると、好ましい実施例の第２の方
法ステップによる相対オフセットは、ｒ＝１である。
代わりのオフセットは、６であってもよい。新しい相対
オフセットを２と４との和として扱うことによって、ノ
ード２からのこのパケットが、まず、ノード（２＋２）
モデュロ５＝４に送られ、然る後、ノード（４＋４）モ
デュロ５＝３に送られる。それに代わって、新しい相
対オフセット６を３と３との和として扱うことによっ
て、ノード２からのパケットは、まず、ノード（２＋
３）モデュロ５＝０に送られ、然る後、ノード（０＋
３）モデュロ５＝３に送られる。

【００５３】相対オフセットｒを表わすために多くの符
号化体系、特に、１つの数が８ディジットにより表わさ
れる数の和として表わされる符号化体系が利用可能であ
ることを理解すべきである。例えば、整数論の分野では
よく知られているチャイニーズ・リメインダー・セオレ
ム（ＣｈｉｎｅｓｅＲｅｍａｉｎｄｅｒＴｈｅｏｒ
ｅｍ）を使った符号化は、相対オフセットを符号化する
のに利用可能である。

【００５４】要約すると、本発明は、コミュニケーショ
ン始動時間及び伝送時間の値を考慮して、並列システム
においてメッセージ・パケットをそれぞれの宛先に経路
指定するための方法を提供する。メッセージ伝送並列シ
ステムにおける複数プロセッサのサブセット間で複数の
データ・ブロックをマルチ・パケット経路指定するこの
方法は、スキャッタ、ギャザ、インデックスのようなよ
く使われるコミュニケーション・プリミティブ及びマル
チ・パケット経路指定動作に効率的であり、サブキュ−
ブ又はサブメッシュのような特定の構造に限定されない
任意の数のプロセッサに対する最大の可搬性を達成する
ように独立したトポロジーである。

【００５５】

【発明の効果】並列システムに対するコミュニケーショ
ン始動時間及び伝送時間を考慮して宛先へ経路指定する
方法が得られる。

【図面の簡単な説明】

【図１】プロセッサ・アドレスＰ０乃至Ｐ４を有する５
ノードのセットを示す図であり、各ノードは多数のパケ
ットを有し、各パケットは宛先ノード・アドレスを有す
る。

【図２】各プロセッサ・ノードに含まれたメッセージ・
パケットがそれぞれの宛先ノード・アドレスに送られて
しまった場合の図１のノード・セットの図である。

【図３】プロセッサ・アドレスＰ０乃至Ｐ４を有する５
ノードのセットを示す図であり、各ノードは多数のメッ
セージ・パケットを含んでおり、宛先及び相対オフセッ
トが各メッセージ・パケットと関連付けられている。

【図４】プロセッサ・アドレスＰ０乃至Ｐ４を有する５
ノードのセットを示す図であり、多数のメッセージ・パ
ケットが含まれており、宛先、相対オフセット及び（基
数）が各メッセージ・パケットと関連付けられている。

【図５】図４のノードのセットを示す図であり、オフセ
ットの第０ディジットに非ゼロ値を有するすべてのメッ
セージ・パケットが共にパックされ、フェーズ０中にそ
れぞれの中間宛先ノードに送られた状態を示す。

【図６】図５のノードのセットを示す図であり、オフセ
ットの第１ディジットに非ゼロ値を有するすべてのメッ
セージ・パケットが共にパックされ、フェーズ１中にそ
れぞれの中間宛先ノードに送られた状態を示す。

【図７】図６のノードのセットを示す図であり、オフセ
ットの第２ディジットに非ゼロ値を有するすべてのメッ
セージ・パケットが共にパックされ、フェーズ２中にそ
れぞれの中間宛先ノードに送られた状態を示す。

【図８】プロセッサ・アドレスＰ０乃至Ｐ４を有する５
ノードのセットを示す図であり、各ノードは多数のメッ
セージ・パケットを含んでおり、宛先、相対オフセット
及び（基数）が各メッセージ・パケットと関連付けられ
ている。

【図９】図８のノードのセットを示す図であり、オフセ
ットの第０ディジットに非ゼロ値を有するすべてのメッ
セージ・パケットが共にパックされ、フェーズ０中にそ
れぞれの中間宛先ノードに送られた状態を示す。

【図１０】図９のノードのセットを示す図であり、オフ
セットの第１ディジットに非ゼロ値を有するすべてのメ
ッセージ・パケットが共にパックされ、フェーズ１中に
それぞれの中間宛先ノードに送られた状態を示す。

【図１１】プロセッサ・アドレスＰ０乃至Ｐ４を有する
５ノードのセットを示す図であり、各ノードは多数のメ
ッセージ・パケットを含んでおり、宛先、相対オフセッ
ト及び（基数）が各メッセージ・パケットと関連付けら
れている。

【図１２】図８のノードのセットを示す図であり、オフ
セットの第０ディジットに非ゼロ値を有するすべてのメ
ッセージ・パケットが共にパックされ、フェーズ０中に
それぞれの中間宛先ノードに送られた状態を示す。

【図１３】５ノードの場合に遂行されるインデックス動
作の前後におけるプロセッサ及びメモリ構成を示す図で
ある。

【図１４】５ノードの場合に遂行されるインデックス動
作のステージ１の前及びステージ１、２、及び３の後に
おけるプロセッサ及びメモリ構成を示す図である。

【図１５】５ノードの場合に遂行されるインデックス動
作のステージ１の前、ステージ１の後、ステージ２のフ
ェーズ１乃至３の後、及びステージ３の後におけるプロ
セッサ及びメモリ構成を示す図である。

【符号の説明】

Ｐ０・・・プロセッサ・ノードＰ１・・・プロセッサ・ノードＰ２・・・プロセッサ・ノードＰ３・・・プロセッサ・ノードＰ４・・・プロセッサ・ノード

───────────────────────────────────────────────────── フロントページの続き (72)発明者チン・ティエン・ホーアメリカ合衆国 95120 カリフォルニア州サン・ホゼアンホウ・クリーク・サークル 7055 (72)発明者シュロモ・キプニスアメリカ合衆国 07666 ニュージャージー州ティーネックベネット・ロード 81 (56)参考文献特公昭58−57939（ＪＰ，Ｂ２) 電子情報通信学会論文誌ＶＯＬ．Ｊ71 −ＢＮＯ．７（1988年７月）Ｐ．820 −829 電子通信学会技術研究報告ＳＥ87−70

Claims

(57)【特許請求の範囲】

【請求項１】コミュニケーション始動時間、伝送時間、
及び複数のノードの間で経路指定されるべき全データ量
を含む複数のパラメータを有する並列システムにおいて
複数のデータ・ブロックをそれぞれの宛先へ経路指定す
る方法であって、ａ）前記パラメータを使って基数ｂの数系を選択するス
テップと、ｂ）各データ・ブロックに対して、該データ・ブロック
の宛先アドレスからノード・アドレスを減算してオフセ
ットを形成するステップと、ｃ）前記オフセットを前記基数ｂの数系で表わすステッ
プと、ｄ）前記データ・ブロックを宛先ノードにｋフェーズで
送るステップであって、各フェーズｉ（０＝＜ｉ＝＜ｋ
−１）において、前記オフセットのｉ番目のディジット
が同じであるデータ・ブロックを一緒にパックするステ
ップ、及び該パックされたデータ・ブロックをそれぞれ
の中間宛先アドレスに送るステップを含むステップと、より成ることを特徴とする方法。
【請求項２】前記データ・ブロックすべてがそれぞれの
宛先アドレスに送られてしまうまで前記ステップｂ）な
いしｄ）を反復することを特徴とする請求項１に記載の
方法。
【請求項３】前記中間宛先アドレスのセットを選択する
ために数系を選ぶステップを具備したことを特徴とする
請求項１に記載の方法。
【請求項４】前記中間宛先アドレスを選択するステップ
は、各データ・ブロックに対して、該データ・ブロック
の宛先アドレスからノード・アドレスを減算してオフセ
ットを形成するステップを具備したことを特徴とする請
求項１に記載の方法。
【請求項５】前記オフセットに基づいてデータ・ブロッ
クをパックするステップを具備したことを特徴とする請
求項４に記載の方法。
【請求項６】コミュニケーション始動時間、伝送時間、
及び複数のノードの間で経路指定されるべき全データ量
を含む複数のパラメータを有し、複数のデータ・ブロッ
クをそれぞれの宛先へ経路指定する並列システムであっ
て、ａ）前記パラメータを使って基数ｂの数系を選択する手
段と、ｂ）各データ・ブロックに対して、該データ・ブロック
の宛先アドレスからノード・アドレスを減算してオフセ
ットを形成する手段と、ｃ）前記オフセットを前記基数ｂの数系で表わす手段
と、ｄ）前記データ・ブロックを宛先ノードにｋフェーズで
送る手段であって、各フェーズｉ（０＝＜ｉ＝＜ｋ−
１）において、前記オフセットのｉ番目のディジットが
同じであるデータ・ブロックを一緒にパックする手段、
及び該パックされたデータ・ブロックをそれぞれの中間
宛先アドレスに送る手段を含むものと、より成ることを特徴とする並列システム。