JPH04113445A - 並列計算機 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、ハイパーキューブのようなポイント・ツ・ポ
イント（ｐｏｉｎｔｔｏ　ｐｏｉｎｔ）の通信路によっ
てプロセシングエレメントが結合される並列計算機に関
するものである。

（従来の技術） 従来、ポイント・ツ・ポイントの通信路によって通信を
行う並列計算機では、その相互結合網としてハイパーキ
ューブ（ｂｉｎａｒｙ　ｎ−ｃｕｂｅ　）　、超立方体
（ＣＣＣ）、格子（ｍｅｓｈ）　　２進木（ｂｊｎａｒ
ｙｔｒｅｅ）、ｂａｓｅ−ｍ　　ｎ−ｃｕｂｅなどの種
々の結合方法が考えられている。

そして、これら結合方法を採用した並列計算機では、結
合網を形成する通信路について、すべて同等な通信能力
を持たせるように考えられており、システム全体として
、どこの通信路をとっても、競合さえなければ全て均質
な通信能力が得られるようになっている。

ところで、ｂｉｎａｒｙ　ｎ−ｃｕｂｅやｂａｓｅ−ｍ
ｎ−ｃｕｂｅで代表される比較的密に結合される結合網
を採用した並列計算機で、結合網を構成する通信路の数
か多く、各基板から導出される信号線や筐体間を接続す
るための信号線の数か多大になるものでは、各通信路に
対して均質の通信性能を確保しようとすると、全体のプ
ロセッサの数か多く必要になるとともに、通信路のビッ
ト幅も大きくする必要がある。

ところが、実際は、ＬＳＩのチップ内部における配線、
ＬＳＩ外部に出せる信号線の数、基板内部での配線数、
基板外部に出せる信号線の数、筐体間の配線数などにそ
れぞれ制約があるため、これら制約の下で、各通信路に
対して均質の通信性能を確保しようとするには、最も制
約の厳しい通信路に合わせてプロセッサの数や通信路の
ビット幅を設定しなければならない。

このことは、システム全体についてプロセッサの数を多
くできないとともに、通信路のビット幅を大きくできな
いことであり、このように通信路のビット幅に制約を受
けると、システム全体の転送能力が低下するだけでなく
、高速なプロセッサをプロセシングエレメントとして用
いると、データ枯渇を引き起こし、通信待ちのためにプ
ロセッサの能力を引き出せなくなるなどの不都合を生じ
ていた。

（発明が解決しようとする課題） このように、従来の均質の通信性能の確保を基本とする
ものと比較的密に結合される結合網を採用したものにな
ると、プロセッサ数を多くできなかったり、通信路のビ
ット幅を大きくできながったりすることがあり、これら
が原因して並列化による高速化や、プロセッサの能力の
向上による高速化が難しくなる問題点があった。

本発明は、上記事情に鑑みてなされたもので、並列化に
よる高速化は勿論、プロセッサの能力の向上による高速
化も可能にできる並列計算機を提供することを目的とす
る。

Ｕ発明の構成コ （課題を解決するための手段） 本発明の並列計算機は、ポイント・ツ・ポイントの通信
路によってプロセシングエレメントが結合されるもので
あって、プロセシングエレメントが搭載される主基板に
対して、通信路を介して接続されプロセシングエレメン
ト相互の結合を実現する接続手段を有するとともに、こ
れら主基板および接続手段に形成される通信路のビット
幅または周波数を各通信路の実装の容易性に基づいて選
択可能にしたものである。

（作用） この結果、本発明によれば、最も制約の厳しい通信路に
合わせて、どこでも同じビット幅や周波数の通信路を実
装するのではなく、各通信路の実装の容易性に基づいて
選択するようになるので、つまり、基板内部での配線の
制約、基板外部に出せる信号線数の制約などの物理的な
制約に対応するように、実装する通信路のビット幅や周
波数を選択するようにしたので、物理的な制約は物理的
にローカルであるほど緩く、ビット幅を増やしたり、ク
ロックを上げることにより通信路の帯域を高くとること
ができ、これにより、結合のトポロジーを変えることな
く、物理的にローカルなものほど高速な通信路で結合さ
れた並列計算機が構築できる。

また、並列性のある多くの問題には、並列計算機にマツ
ピングされた時に生じる通信が、ある程度ローカルに納
まるという通信の局所性が存在する。マツピングのアル
ゴリズムと結合網のトポロジーと問題の三者の相性にも
よるが、多くの場合、ローカルな通信の頻度をある程度
向上させることが可能である。このことから、ローカル
な通信が高速であるシステムは、システム全体として動
作時の通信性能は、均質な通信性能を持つものよりも高
くなる。このように実質的な通信性能が向上することか
ら、少ないハードウェアコストにより高速なプロセッサ
をプロセシングエレメントに用いた場合のデータ枯渇を
引き起こしにくくすることができる。また、物理的に遠
いいプロセシングエレメントとの通信路のビット幅をロ
ーカルな通信路より少なくすることにより、システム全
体の通信性能の低下を抑えながら、基板外部に出る信号
線数の制約などのからの影響を軽くすることができ、実
質的に通信性能の低下を抑えながら、より多くのプロセ
シングエレメントを実装できる。

（実施例〉 以下、本発明の一実施例を図面にしたがい説明する。

第１図は、本発明をｂａｓｅ−８３ ｃｕｂｅ結合のトポロジーに適用した場合を示している
。

この場合、ｂａｓｅ−８３−ｃｕｂｅは、第２図に示す
ように８Ｘ８Ｘ８の合計８３　（５１２）個のプロセシ
ングエレメントを有するもので、これらプロセシングエ
レメントは、８進３桁の数字ｒｏ００Ｊからｒ７７７Ｊ
で表されている。ここでの８進３桁の数字は、それぞれ
下位からＸ座標、Ｘ座標、２座標を示している。そして
、これらプロセシングエレメントｒｏ　ＯＯＪ〜ｒ７７
７Ｊは、それぞれ８個単位で８人力８出力のＸ方向クロ
スバスイッチ５ｘ００〜５Ｘ０７、−　　Ｓ　ｘ７０〜
Ｓ　ｘ７７、ｙ方向クロスバスイッチ５ｙ００−５ｙＱ
７、・・・５ｙ７０〜５ｙ７７．２方向クロスバスイツ
チ５ｚ００〜Ｓ　ｚ　０７、・・・　５ｚ７０〜５ｚ７
７に接続されている。

第１図に戻って、１〜８はブロックを構成する筐体で、
このうち筐体１は、Ｘ座標の基板１１〜］８と、これら
基板］］〜］８にコネクタ１］１〜１８］　（図示せず
）を介して接続されるＸ座標の基板９１を有し、筐体２
は、Ｘ座標の基板２１〜２８と、これら基板２１〜２８
に図示しないコネクタを介して接続されるＸ座標の基板
９２を有し、以下、同様にして筐体８は、Ｘ座標の基板
８１〜８８と、これら基板８１〜８８に図示しないコネ
クタを介して接続されるＸ座標の基板９８を有している
。また、これら筐体１〜８は、Ｘ座標の基板１１〜１８
、・・・　８１〜８８の外部端子１１２〜１８２、・・
　８１２〜８８２を介して接続される２座標の基板１０
コ−〜１０８を有している。

筐体１のＸ座標の基板１１−は、８個のプロセシングエ
レメントｒ０００Ｊ〜ｒｏ　０７ＪとＸ方向クロスバス
イッチ５ｘ００を実装するとともに、その側縁部に、Ｘ
座標の基板９１に対応するコネクタ１１１゜と２座標の
基板１０］、に対応する外部端子１．１２を有している
。また、Ｘ座標の基板］２は、８個のプロセシングエレ
メントｒ０１０Ｊ〜ｒ０１７ｊとＸ方向クロスバスイッ
チＳｘ吋を実装するとともに、その側縁部に、Ｘ座標の
基板９１に対応するコネクター２１と図示しない２座標
の基板１０２に対応する外部端子１２２を有し、同様に
してＸ座標の基板１８は、図示しないが８個のプロセシ
ングエレメントｒ０７０Ｊ〜ｒｏ　７７ＪとＸ方向クロ
スバスイッチ５Ｘ０７を実装するとともに、その側縁部
に、Ｘ座標の基板９１に対応するコネクタおよび２座標
の基板１０８に対応する外部端子を有している。

以下、筐体２〜８を構成するＸ座標の基板２］〜２８、
・・・　８１〜８８についても上述したと同様であり、
筐体２のＸ座標の基板２１は、図示しないが８個のプロ
セシングエレメントｒｌｏＯＪ〜ｒ１０７ＪとＸ方向ク
ロスバスイッチＳｘ１．０、Ｘ座標の基板９２に対応す
るコネクタおよびＸ座標の基板１０１に対応する外部端
子を有し、同様にして、Ｘ座標の基板２８も、図示しな
いが８個のプロセシングエレメントｒｌ　７０Ｊ〜ｒｉ
７７ＪとＸ方向クロスバスイッチ５ｘＪ−７、Ｘ座標の
基板９２に対応するコネクタおよび２座標の基板１０８
に対応する外部端子を有している。

そして、最後の筐体８のＸ座標の基板８］も、図示しな
いが８個のプロセシングエレメントｒ７００Ｊ〜ｒ７０
７ＪとＸ方向クロスバスイッチ５ｘ７０、Ｘ座標の基板
９８に対応するコネクタおよび２座標の基板１０コ−に
対応する外部端子を有し、同様にして基板８８も、図示
しないが８個のプロセシングエレメントｒ７７０Ｊ〜ｒ
７７７ＪとＸ方向クロスバスイッチＳｘ’１７、Ｘ座標
の基板９８に対応するコネクタおよび２座標の基板１０
８に対応する外部端子を有している。

一方、Ｘ座標の基板９］、は、ｙ方向クロスバスイッチ
５ｙｏｏ〜５ｙ０７を有するとともに、Ｘ座標の基板１
１〜１８のコネクタ］］］〜］８１が直接接続されるコ
ネクタ９］１〜９１−８を有している。Ｘ座標の基板９
２〜９８についても上述と同様であり、Ｘ座標の基板２
１〜２８、・・・　８１〜８８の図示しないコネクタが
直接接続されるコネクタを有するとともに、ｙ方向クロ
スバスイッチを有している。

コＯ また、２座標の基板１０１は、２方向クロスバスイッチ
５ｚＤＤ−３ｚ０７を有するとともに、外部端子１０１
１〜１０１８を有している。この場合、外部端子１０１
１には、Ｘ座標の基板１１の外部端子１１２がケーブル
１１２ａを介して接続され、外部端子１０１２には、Ｘ
座標の基板２１の外部端子２１２がケーブル２１２ａを
介して接続され、同様にして外部端子１０１８には、Ｘ
座標の基板８１の外部端子８１２がケーブル８１２ａを
介して接続される。２座標の基板１０２〜１０８につい
ても、同様であり、２方向クロスバスイツチを有すると
ともに、Ｘ座標の各基板の外部端子にケーブルを介して
接続される外部端子を有している。

このような構成において、Ｘ座標の基板１１のプロセシ
ングエレメントｒｏ　００Ｊ〜ｒ００７ＪとＸ方向クロ
スバスイッチ５ｘＯＯの間の配線は、同一基板内部の配
線で、多層基板パターンで実現できるので、それぞれ帯
域の高い３２ビツト幅の全二重通信路（６４ビツト）で
構成している。

また、プロセシングエレメントｒｏ００Ｊ〜ｒｏＯ７Ｊ
とコネクタ１１１の間の配線は、コネクタ１１１のピン
数などの制約から８ビツト幅の全二重通信路（１６ビツ
ト）で構成し、プロセシングエレメントｒｏ　００Ｊ〜
ｒ００７Ｊと外部端子１１２の間の配線は、ケーブル使
用するための制約から４ビツト幅の全二重通信路（８ビ
ツト）で構成している。

この場合、基板１２〜１８．２１〜２８、・・・８１〜
８８についても上述したと同様であり、各基板上の８個
のプロセシングエレメントとＸ方向クロスバスイッチの
間の配線は、帯域の高い３２ビツト幅の全二重通信路（
６４ビツト）で構成し、コネクタの間の配線は、８ビツ
ト幅の全二重通信路（１６ビツト）で構成し、外部端子
１１２の間の配線は、４ビツト幅の全二重通信路（８ビ
ツト）で構成している。

このようにすると、いま、Ｘ座標の基板１１では、８個
のプロセシングエレメントｒ０００Ｊ〜ｒ００７Ｊを搭
載し、これらプロセシングエレメントｒｏＯＯＪ〜ｒ０
０７Ｊの間を３２ビツト幅の全二重通信路によりＸ方向
クロスバスイッチ５ｘ００で結合可能にしている。この
場合、基板１１内部での配線は、多層基板のパターンで
実装できるので、このような帯域の高い通信路が実現で
きる。また、Ｘ方向のプロセシングエレメントに対して
は、コネクタ１１１に対して８ビツト幅の全二重、通信
路を構成し、Ｘ座標の基板９１のコネクタ９１１を介し
てＸ方向クロスバスイッチ５ｙｏｏより結合可能にして
いる。この場合、Ｘ方向については、コネクタ１１１を
介してＸ座標の基板９１に接続する関係で、Ｘ方向より
制約が厳しく、このため、ビット幅を半分に落としてい
る。

さらに、２方向のプロセシングエレメントに対しては、
外部端子１１２に対して４ビツト幅の全二重通信路を構
成し、ケーブル１１２ａより２座標の基板１０１の外部
端子１０１１を介して２方向クロスバスイツチ５ｚ００
より結合可能にしている。

この場合、２方向については、外部端子１１２よリケー
ブルに接続する関係で、Ｘ方向よりさらに制約が厳しい
ため、さらにビット幅を半分に落としている。

ここでは、Ｘ座標の基板１１を中心に述べが、これ以外
のＸ座標の基板１２〜１８．２１〜２８、・・・　８１
〜８８についても上述したと同様である。

したがって、このようにするとＸ座標の基板内では、帯
域の高い３２ビツト幅の全二重通信路を構成し、Ｘ座標
の基板に対しては８ビツト幅の全二重通信路を構成して
、これらＸ座標の基板に対して１２８本の信号線で接続
し、２座標の基板に対しては４ビツト幅の全二重通信路
を構成して、これら２座標の基板に対して８本のケーブ
ル（信号線数６４）で接続することで、システム全体が
構成されており、各基板間で無理のない配線が実現され
ている。このことは、従来の均質な結合網を作るため、
最も制約の厳しい通信路に合わせてシステム全体の通信
路を設定したものに比べ、Ｘ方向で８倍、Ｘ方向で２倍
の転送能力の向上が期待できる。

そして、問題のマツピング時にＸ方向の８個のプロセシ
ングエレメント間の通信の比率を０．５、ｙ方向にまた
がる場合を０．３．２方向にまたがる場合を０．２とす
ると、システム全体の実質的通信能力で８＊０．５＋２
＊０．３＋１＊０．２＝４，８倍の差か生じることにな
る。これはブタ枯渇を起こすことなく４．８倍の速度を
持つプロセッサを用いることができることを意味し、メ
モリアクセスのローカリティを利用するキャッシュのビ
ット率が０．５の場合の高速化率と比較して、本発明の
効果が高いことが類推できる。また、通信の局所性かな
い場合でも、（８＊８＋５６＊２＋４４８＊１）１５１
２＝１．２倍の効果があり、キャッシュのようなミスヒ
ツト時のペナルティのように逆効果になる可能性かなく
なる。

次に、第３図は、本発明の他の実施例を示すもので、こ
こでは、ｂｉｎａｒｙ　　ｎ−ｃｕｂｅ結合を採用した
並列計算機を示している。

ｂｉｎａｒｙ　　ｎ−ｃｕｂｅは、基板の外に導出され
る信号線が制約され易い結合網であるが、本実施例では
、ＬＳＩチップ内部における配線の制約、基板外部に出
せる信号線数の制約を限界近］５ くまで無理をして、１枚のマザーボード３１１に対して
１つの筐体３１２に２０４８個のプロセシングエレメン
トを詰め込む場合の例を示している。

この場合、筐体３１２を構成する各基板３１３には、４
個のプロセシングエレメント３１４を内蔵したチップ３
１５を３２個搭載している。そして、チップ３１５内部
で、３２ビツト幅全二重通信路（６４ビツト）を形成し
、基板３１３内部で、４ビツト全二重通信路（８ビツト
）を形成し、マサ−ボード３１１に対しては、１ビツト
幅全二重通信路（２ビツト）を形成して、ｂｉｎａｒｙ
ｌｌ−ｃｕｂｅを構成している。

このようなり１ｎａｒｙ　　ｎ−ｃｕｂｅは、ｂａＳｅ
−ｍ　ｎ−Ｃｕｂｅに比ベプロセシングエレメンｌ−３
１４から多方向に多くの信号線か出るので、同一基板３
１３上に、できるだけ多くのプロセシングエレメント３
１４を乗せ、基板３１３内部でパターン配線することが
望ましい。

しかし、このようにしても基板３］３の外に出る信号線
が極めて多くなると、その部分はシリアル通信路をとら
ざるを得す、本実施例のｂｉｎａｒｙ　　１ｌ−ｃｕｂ
ｅについても、１０２４本の信号線か基板３１３の外に
出る。ここで、本発明を適用せずに均質な結合を取ると
、全てのプロセッサ間の結合をシリアル通信路に合わせ
なければならず、通信能力が足りなくなる。

このことは、最近、プロセッサの性能向上は目覚ましい
ものがあり、近いうちにシリアル通信では、演算能力と
通信能力のバランスが取れなくなる所まで来ている。し
かし、このままこれらのバランスを取らなければ、プロ
セッサ数を削減して基板の外に出る方向数を減らし、そ
の分をビット幅の向上に用いることになり、プロセッサ
の並列化による処理の高速化への道は絶たれてしまい、
一方、プロセッサ数を減らさないならば通信の周波数を
上げるしかないが、基板間にまたがる部分は、チップ内
や基板内に比べて周波数を上げにくい。

これに対して、本実施例のものによれば、基板３１Ｂの
外たけをシリアルにし、基板３１Ｂ内部を４ビツト幅、
チップ３１５内を３２ビツト幅と］　７ いうように、実装容品性の程度に合わせて通信性能を割
り当てることにより、上述した実施例の実質通信速度の
議論と同様なことがいえ、プロセッサ数を減らすことな
く実質的な通信速度の低下を防止することができる。

このようにｂｉｎａｒｙ　　ｎ−ｃｕｂｅのように基板
外にでる信号線数という深刻な実装上の限界が間近にあ
る結合網においても、本発明を用いるならば実質的な通
信の性能向上か図れることになる。

なお、本発明は上記実施例にのみ限定されず、要旨を変
更しない範囲で適宜変形して実施できる。

例えば、上述した実施例では、チップ内、基板内、筐体
内、筐体間という物理的な階層を例に引いたが、この他
にもマルチチップを内蔵するパッケージやウエイファス
ケールインテグレインヨンといった現在あまり一般的で
ない階層が存在するものついても本発明は適用できる。

また、」二連した実施例では、通信路のビット幅に関し
ての適用を示したが、通信路の実装の容易性に基づいて
周波］８ 数を選択するように構成してもよい。この場合、実装の
容易の所で周波数を高くして通信路の性能を上げ、実装
の難しい所で周波数を低くして、最低限の通信路の性能
を確保するようにする。このようにしても上述したと同
様な効果が期待できる。

［発明の効果］ 本発明の並列計算機は、ポイント・ツ・ポイントの通信
路によってプロセシングエレメントが結合されるもので
あって、プロセシングエレメントが搭載される主基板に
対して、プロセシングエレメント相互の結合を行う接続
手段を有するとともに、これら主基板および接続手段に
形成される通信路のビット幅または周波数を各通信路の
実装の容易性に基づいて選択可能にしたものであるから
、システム全体の周波数の増加やプロセッサ数を削減す
ることなく、実質的な通信性能の向上を図ることができ
る。また、高密度実装が困難な部分でも、無理に通信路
のビット幅を大きくすることがなくなるため、実質的な
通信性能の向上が図れる。

特に、ハイパーキューブのようにシステム全体にわたり
比較的密な結合を持つものに対する効果は顕著である。

また、実質的な通信性能を確保できるので、プロセッサ
単体能力の向上による高速化を図ってもデータ枯渇を引
起こしにくくなり、半導体の性能向上や単体アーキテク
チャの進歩によるプロセッサ性能の向上を並列システム
に活かすことができる。

【図面の簡単な説明】 第１図は、本発明の一実施例を示す構成図、第２図は、
同実施例に適用されるｂａｓｅ−８３−ｃｕｂｅ結合を
説明するための図、第３図は、本発明の他の実施例を示
す構成図である。 １〜８・・・筐体、１１〜１８、・・・　８１〜８８・
・・Ｘ座標基板、９１〜９８・・・Ｘ座標基板、１０１
〜１０８・・・２座標基板、１１１．１２１・・・コネ
クタ、１１２．１２２・・・外部端子、３１１・・・マ
ザーボード、３１２・・・筐体、３１３・・・基板、３
１５・・・チップ。 出願人代理人　弁理士　鈴江武彦

Claims (1)

【特許請求の範囲】
1. ポイント・ツ・ポイントの通信路によってプロセシング
   エレメントが結合される並列計算機において、プロセシ
   ングエレメントが搭載される主基板と、上記プロセシン
   グエレメント相互の結合を実現する接続手段を有し、上
   記主基板および接続手段に形成される通信路のビット幅
   または周波数を各通信路の実装の容易性に基づいて選択
   可能にしたことを特徴とする並列計算機。