JPH07200508A - ノード間結合方式 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、種々の制約及び課題を同時に解決す
る、超並列計算機向け結合トポロジーを与えることので
きる結合方式を提供することを目的とする。 【構成】ｎ次元メッシュ状にリンクで接続された第１の
種類のノード（要素プロセッサ）（００、０１、０２・
・・）に対し、ある次元に関して第２の種類のノード
（クロスバースイッチまたは代替プロセッサ付きのクロ
スバースイッチまたは代替プロセッサ）（Ｓ０、Ｓ１、
Ｓ２、Ｓ３）を接続する。その次元を適当な自然数で座
標値を割った余りなどでグループ化を施す。代替プロセ
ッサ間は（ｎ−１）次元メッシュで接続する。第２の種
類のノードを導入する次元を基板などの実装上の階層に
対応つける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、典型的には超並列計算
機のプロセッサ間結合網、さらにはスーパーコンピュー
タやワークステーションなどのコンピュータ間にハブス
イッチなどを併用して構築される高帯域ローカルエリア
ネットワーク（ＬＡＮ）や高帯域ワイドエリアネットワ
ーク（ＷＡＮ）を用いたヘテロジニアスな分散計算シス
テムやワークステーションクラスタなどのように、複数
のノードから構成されるシステムにおけるノード間の結
合方式に関する。

【０００２】

【従来の技術】多数のノードから構成されるシステムの
典型的なシステム例である超並列計算機の相互結合網向
けの結合トポロジーとしては、多次元メッシュ、多次元
トーラス(k-ary n-cube)、binary n-cube 、base-m n-c
ube など、これまでに様々な結合トポロジーが提案され
ている。

【０００３】並列計算機に用いられる場合には、２次元
メッシュ状の通信を伴う並列アルゴリズムが数多く存在
することから、２次元メッシュの効率的なエミュレーシ
ョンが行えることが望まれるために、上記に掲げたトポ
ロジーをベースとした結合網が有望視されており、数々
の商用超並列計算機や実験用超並列計算機に用いられて
いる。

【０００４】また、超並列計算機のアプリケーションの
中には、必ずしも通信パターンが規則的でなかったり、
全対全通信が発生したりするようなアプリケーションが
存在するために、二分割バンド幅や直径やランダム通信
性能も軽視できない。

【０００５】特に、実際に超並列計算機の相互結合網へ
の適用を行う際には、トポロジー的な意味からの直径の
短さ、二分割時の越境リンク本数や、２次元メッシュエ
ミュレーション時の中継回数、リンクの多重使用度だけ
でなく、実装される通信リンク当たりのバンド幅や、そ
れにより変動する通信遅延時間が重要となる。

【０００６】例えば、binary n-cube は同じ通信リンク
バンド幅が実装可能とすれば、２次元メッシュエミュレ
ーションやランダム通信性能が良好であるが、実際に
は、ＬＳＩや基板間配線におけるピンネックによりノー
ド数の割には次数の大きくなりがちで、遠距離配線が多
数存在するbinary n-cubeは他の結合トポロジーに比較
して同じ通信リンクバンド幅の実装が困難であり、実質
的には高い性能の結合網が構築しにくい。

【０００７】これに対し、base-m n-cube は、ｍ×ｍク
ロスバスイッチを介してbinary n-cube における隣接ノ
ードを包含する多数のノードと隣接し、ビット幅をある
程度大きく設定した通信リンクの実装が可能となってお
り、２次元メッシュやbinaryn-cube のエミュレーショ
ンや、ランダム通信性能が実質的にはbinary n-cubeよ
り大幅に良好である。

【０００８】しかし、base-m n-cube において、ノード
数を多くしていくためには、クロスバスイッチのポート
数ｍを大きくする（ＬＳＩのピンネックを誘発する）
か、次数ｎを大きくする（基板間配線数を増加させる）
必要があり、実装の観点から通信リンクのビット幅をあ
る程度大きく保ったままノード数を自由に増やすことは
困難である。

【０００９】また、binary n-cube と同様base-m n-cub
e も本質的に遠距離な通信リンクを含むので、基板間配
線にケーブルの多用しない実装方法が取りにくいため
に、メッシュやトーラスに比較してバンド幅当たりの通
信リンクの実装コストが高くつくという欠点があった。

【００１０】さらに、例えばbase-m 2-cube の各ノード
における隣接ノードは、ｍ×ｍの２次元トーラスの隣接
ノードを完全に包含するが、２次元トーラスの各ノード
の次数が４であるのに対し、base-m 2-cube の次数はそ
の半分の２であるために、base-m 2-cube ２次元トーラ
スのエミュレーション時の通信リンクバンド幅は実質的
には半分になってしまうという欠点があった。

【００１１】一方、単純な２次元メッシュや２次元トー
ラスは、実装の観点からはプロセッサ数によらず次数が
一定であり、配線も実装イメージにおいて遠隔配線を排
除することが可能であり、２次元メッシュ状の通信を伴
うアプリケーションにおける性能は申し分ない。

【００１２】しかし、数千台以上の超並列計算機におい
ては、ウォームホールルーティングやバーチャルカット
スルールーティングなどの中継ノードをバイパスするよ
うなルーティングアルゴリズムを用いたとしても、直径
の大きさや二分割バンド幅の少なさが目立ち、ランダム
通信性能において、顕著な性能低下をきたすという欠点
があった。２次元メッシュでは、２次元トーラス以上に
その傾向が強い。

【００１３】このような観点から数千台以上の超並列計
算機においては３次元メッシュまたは３次元トーラスが
望ましく、３次元実装を仮定すれば、２次元トーラスに
おける通信リンクと同等のバンド幅を持った通信リンク
の実装が可能であり、依然として直径は、binary n-cub
e やbase-m n-cu beと比較すると大きくなってしまうも
のの、直径の大きさや二分割バンド幅が２次元のものに
比べて大幅に改善され、ランダム通信性能も良好であ
る。

【００１４】しかし、３次元メッシュや３次元トーラス
において、上記の改善を高めるためには、なるべく立方
体に近いような構成にすることが望ましいが、このこと
は良好にエミュレーションできる２次元メッシュの縦横
比をいびつなものとしてしまうという欠点があった。例
えば、１６×１６×１６の３次元トーラス中に中継なし
に埋め込める２次元メッシュは、２５６×１６の構成と
なってしまい、６４×６４の２次元メッシュを実質バン
ド幅の低下なしに埋め込むことは不可能であった。

【００１５】また、トーラスやメッシュの場合、binary
n-cube やbase-m n-cube と異なり、ＦＦＴなどのアプ
リケーションで発生する一斉等間隔通信時には、特に、
間隔が大きな通信フェーズにおいて、同じ物理通信リン
クを複数のノード間通信が共有してしまうために実質的
な通信バンド幅が低下するという欠点があった。

【００１６】上記のような実質的な通信バンド幅の細り
は、メッシュやトーラスにおける故障リンク通過回避に
おける迂回ルーティング時や、代替ノードへの迂回ルー
ティング時においても発生する。この問題は、単に代替
ノードを設けたり、仮想チャネルを増やしてデッドロッ
クフリーを保証しつつ健全なリンクを故障ノードの迂回
経路と兼用するだけでは回避できない。

【００１７】特に、迂回箇所における局所的なバンド幅
の低下は、例えば文献ＪＳＰＰ’９３「マルチパラダイ
ム超並列ＴＦＬＯＰＳマシンにおける並列処理〜プロセ
ッサ間チェイニングとその応用」で示されている通信リ
ンクのバンド幅によって性能が規定される密行列乗算な
どのウェーブフロントアレイ動作においては、全体の性
能低下に直結してしまうので、故障ノードや故障リンク
の存在を前提としなければならない極めて多数のノード
からなるウェーブフロントアレイ動作可能な超並列計算
機においては、このような問題を回避する意義が大き
い。

【００１８】２次元メッシュにおける故障回避時の性能
低下を避ける方法として従来は、主にウェーファスケー
ルインテグレーションでの実現を前提として、文献：電
子情報通信学会論文誌Vol.J76-D-I,No.11 「シストリッ
クアレイのフォールトトレランス化の検討」などで示さ
れているように１行１列分の代替プロセッサと、プロセ
ッサに上下左右のほかに斜めのリンクやプロセッサを飛
び越えるリンクを追加したりし、プロセッサアレイの中
に小規模なスイッチボックスを大量にばらまいておき、
これらのスイッチボックスの結合パターンを切り替える
という方式がいくつか提案されている。

【００１９】しかし、これらの方式は、一枚のウェーフ
ァでの実現に適するものであり、大容量のローカルメモ
リが必要なために複数のＬＳＩを搭載した基板を大量に
用いて構成されるべき汎用超並列計算機においては、ハ
ードウェア量はスイッチのクロスポイント数よりはチッ
プ数のほうが重要で、チップ数の観点から大量のスイッ
チボックスをばらまくことは必ずしも得策ではない。

【００２０】また、従来の方法は、再構成を行うために
はかなり複雑なアルゴリズムに従ってスイッチの静的な
設定状態を計算しなければならない。このため、数万台
のノードからなるような大規模システムに適用するため
には、計算時間の観点から問題がある。その上、２次元
メッシュを対象としているので、容易には３次元メッシ
ュなどの次元数の多い結合への適用はできない。

【００２１】数万台のノードからなるような超並列計算
機では、ウェーファスケールインテグレーションの場合
と異なり、全て良品というチェックを受けた部品を用い
て作られるので、故障発生率を比較的低めにすることは
できるが、数万台を全て故障無しの状態にするには故障
発生率を少なくとも０．０１％以下にする必要があり、
かなり困難である。ゆえに、故障ノードの存在を許容で
きなければ、数万台の超並列計算機を安定的に動作させ
ることは現実的でなくなってしまう。

【００２２】このように、汎用システムとして用いるた
めには、２次元メッシュ結合では、直径やランダム通信
性能の観点から無理があることから汎用システムとはな
りえず、従来法が３次元メッシュなどの次元数の多い結
合への故障回避法の適用が困難であることは、数万台規
模のウェーブフロントアレイシステムと汎用超並列計算
機がこのままでは両立しないことを意味する。

【００２３】さらに、ウェーファスケールインテグレー
ション用の故障回避方式をそのまま基板を大量に用いた
構成に適用してしまうと、大量の基板間配線の増加を伴
うために実装不可能であったり、コストの増加を引き起
こしたり、基板内配線より信頼性の低い基板間配線のた
めに逆に信頼性が低下してしまう可能性もある。

【００２４】また、これらの従来のフォールトトレラン
ト法は、結合網の直径の低下にはほとんど寄与しない。

【００２５】

【発明が解決しようとする課題】以上のように従来の超
並列計算機向け結合トポロジーでは、高い実装容易性と
それに基づく高いノード数拡張性と高い通信リンクバン
ド幅および高い二分割バンド幅、短い直径、高いランダ
ム通信性能、ノード数の平方根に近い個数を一辺とする
２次元メッシュの効率的な埋め込み、一斉等間隔通信時
の実質通信バンド幅低下の防止、少ないチップ数での故
障ノードや故障通信リンク回避時の局所的通信バンド幅
低下の防止、故障回避のための配線による基板間配線の
増加とそれによる信頼性の低下の防止、汎用な数万ノー
ドシステムに適した３次元以上の多次元結合網への故障
回避の容易な拡張性といった複雑に絡み合った上記の全
ての制約と課題を同時に解決させることが困難であっ
た。

【００２６】本発明は、以上のような数多くの課題を同
時に解決する結合トポロジーを与えることを目的とす
る。

【００２７】

【課題を解決するための手段】第１の発明では、ｎ（ｎ
は自然数）次元の座標によりアドレスされるｎ次元メッ
シュまたはｎ次元トーラス状にリンクで接続された第１
の種類のノードのアレイに対し、１以上の次元に関して
各々１次元分の座標値が異なる２個以上の第１の種類の
ノード間を第２の種類のノードにより接続する。

【００２８】第２の発明では、第１の発明の結合方式に
おいて、第２の種類のノードをクロスバースイッチとす
る。

【００２９】第３の発明では、第１の発明の結合方式に
おいて、第１の種類のノードを１以上の次元に関して各
々１次元分の座標値だけが異なるノードをｉ（ｉは２以
上の自然数）個のグループに分け、このグループ内を共
通の第２の種類のノードで結合する。

【００３０】第４の発明では、第３の発明の結合方式に
おいて、第１の種類のノードを１以上の次元に関して各
々１次元分の座標値だけが異なるノードをその座標値を
ｋ（ｋは２以上の自然数）進表示した数の全桁または一
部の桁を次元ごとに異なる値をとることができるｉ（ｉ
は２以上の自然数）で割った余りを共通にするｉ個のグ
ループに分け、このグループ内を共通の第２の種類のノ
ードで結合する。

【００３１】第５の発明では、第１の発明の結合方式に
おいて、第２の種類のノードを第１の種類のノードが故
障した場合の代替ノードとする。

【００３２】第６の発明では、第１の発明の結合方式に
おいて、第２の種類のノードに第１の種類のノードが故
障した場合の代替ノードを接続する。

【００３３】第７の発明では、第６の発明の結合方式に
おいて、ある１次元分の座標が異なる第１の種類のノー
ド間を接続する１個以上の第２の種類のノードを第１の
種類のノードが故障した場合の代替ノードに接続する。

【００３４】第８の発明では、第６の発明の結合方式に
おいて、代替ノード間に別途に結合手段を設ける。

【００３５】第９の発明では、第８の発明の結合方式に
おいて、代替ノード間に別途に設ける結合手段を少なく
ともメッシュまたはトーラス結合を包含するものとす
る。

【００３６】第１０の発明では、第１の発明の結合方式
において、第２の種類のノードを用いて接続する次元を
実装状態における緊密に結合しやすい階層、望ましくは
基板やシャーシに対応付けて選択する。

【００３７】

【作用】第１の発明では、まずｎ（ｎは自然数）次元の
座標によりアドレスされるｎ次元メッシュまたはｎ次元
トーラス状にリンクで第１の種類のノードが接続される
ので、このｎ次元メッシュ状リンクのうちノード当たり
４本を用いることによって、リンクｎ＝１の場合を除
き、２次元メッシュを通信リンクの実質的なバンド幅低
下なしに埋め込むことが可能である。しかし、これだけ
ではｎ次元メッシュの欠点である、大きな直径、ノード
数の平方根に近い個数を一辺とする２次元メッシュの効
率的な埋め込み、故障ノードや故障通信リンク回避時の
局所的通信バンド幅低下、一斉等間隔通信時の実質通信
バンド幅低下という問題点が残されている。

【００３８】そこで、第１の発明では、１以上の次元に
関して各々１次元分の座標値が異なる２個以上の第１の
種類のノード間を第２の種類のノードにより接続してい
るので、従来からあるメッシュ状のリンクを１つずつ通
って行かねば到達しえなかったノードに対して第２の種
類のノードを経由することによって多くの場合ノード間
の距離が短縮し、直径が短縮する。

【００３９】また、第２の種類のノードを経由すること
によって容易に到達することができるようになったノー
ドの数が増加したために、結合トポロジーの埋め込み性
能が向上し、例えばｎ＝３の場合に１つの次元に関して
座標値が異なる２個以上の第１の種類のノード間を第２
の種類のノードにより接続するだけでもノード数の平方
根に近い個数を一辺とする２次元メッシュの効率的な埋
め込みが容易になる。

【００４０】第２の発明では第２の種類のノードをクロ
スバースイッチとしているので、第２の種類のノードに
接続される全ての第１の種類のノードへ距離１で到達で
きるので、より直径の短縮効果と結合トポロジーの埋め
込み性能とランダム通信性能の向上が顕著となる。

【００４１】第３の発明では、第１の発明の結合方式に
おいて、第１の種類のノードを１以上の次元に関して各
々１次元分の座標値だけが異なるノードをｉ（ｉは２以
上の自然数）個のグループに分け、このグループ内を共
通の第２の種類のノードで結合するので、第２の種類の
ノードに具備できるリンク数に限りがあっても、グルー
プ間の移動をメッシュやトーラスを使って行い、グルー
プ内の移動を第２の種類のノードを経由して行える。よ
って、例えばbase-m n-cube において顕著に見られたク
ロスバスイッチのポート数で１つの次元方向に実装でき
るノード数が限定されてしまうという問題が回避できる
ようになる。

【００４２】第４の発明では、第３の発明の結合方式に
おいて、第１の種類のノードを１以上の次元に関して各
々１次元分の座標値だけが異なるノードをその座標値を
ｋ（ｋは２以上の自然数）進表示した数の全桁または一
部の桁を次元ごとに異なる値をとることができるｉ（ｉ
は２以上の自然数）で割った余りを共通にするｉ個のグ
ループに分け、このグループ内を共通の第２の種類のノ
ードで結合する。

【００４３】例えばｉ＝２とし、ある１つの次元分の座
標値の全桁に対する剰余でグループ分けすれば、１つの
次元分の座標値に関して偶数のグループと奇数のグルー
プに分類される。偶数のグループ内は互いに共通の第２
のノードを介して距離１で到達でき、奇数のグループ内
は互いに共通の第２のノードを介して距離１で到達で
き、グループ間の移動はメッシュまたはトーラスのリン
クを用いて距離１で移動できるので、この次元方向の直
径は２となる。

【００４４】ｉ、ｋおよび剰余を計算する桁の位置を様
々に変えることによって、様々なノード数や各次元方向
のノード数や第２のノードのリンク数に対応することが
可能である。

【００４５】上記の例のように適切にこれらの値を選択
すれば、ＦＦＴの実行時などで表れる一列に並べた時に
２のｊ（ｊは０以上の整数）乗の距離にあるノード間で
の一斉等方通信が、全て距離１で可能となるように設定
できる。

【００４６】また、上記の例のように適切にこれらの値
を選択し、第２の種類のノードで結合した次元に直行す
る２次元メッシュ平面間を第２の種類のノードかメッシ
ュ状リンクにより隣接するように並べれば、ノード数の
平方根に近い個数を一辺とする２次元メッシュを実質バ
ンド幅の低下なしに埋め込むことが可能となる。

【００４７】第５の発明では、第１の発明の結合方式に
おいて、第２の種類のノードを第１の種類のノードが故
障した場合の代替ノードとするので、第２の種類のノー
ドが接続する第１の種類のノードの内で１つが故障して
も、この故障ノードを第２の種類のノードで代替が可能
であり、第２の種類のノードは故障ノードの隣接ノード
とも近い位置に存在することができるので、故障回避に
伴う実質的な通信バンド幅の低下を排除または軽減する
ことが可能となる。

【００４８】第６の発明では、第１の発明の結合方式に
おいて、第２の種類のノードに第１の種類のノードが故
障した場合の代替ノードを接続するので、第５の発明と
同様に第２の種類のノードが接続する第１の種類のノー
ドの内で１つが故障しても、この故障ノードを第２の種
類のノードに接続された代替ノードで代替が可能であ
り、第２の種類のノードは故障ノードの隣接ノードとも
近い位置に存在することができるので、故障回避に伴う
実質的な通信バンド幅の低下を排除または軽減すること
が可能となる。

【００４９】第７の発明では、第６の発明の結合方式に
おいて、ある１次元分の座標が異なる第１の種類のノー
ド間を接続する１個以上の第２の種類のノードを第１の
種類のノードが故障した場合の代替ノードに接続するの
で、ある１次元分が複数のグループに分けられ、複数の
第２の種類のノードに分かれて接続されている場合に
も、代替ノードを省略することができ、故障回避に伴う
実質的な通信バンド幅の低下を排除または軽減すること
が可能である。

【００５０】第８の発明を適用した場合は、第２の種類
のノードを用いて接続する次元を１つだけにしたとして
も、故障ノードの隣接ノードは自分が接続している代替
ノードを中継ノードとして、そこから代替ノード間結合
網によって故障ノードを代替している代替ノードに到達
できる。つまり、故障プロセッサの代替に伴う迂回路が
ベースとなるメッシュまたはトーラス結合網から追い出
され、故障回避による健全なノード間通信への悪影響を
抑えることができる。

【００５１】第８の発明の結合方式において、第２の種
類のノードを用いて接続する次元を１つだけにしたとし
ても、故障回避における問題点はほぼ完全に解消するた
めに適切な代替ノード間結合網は第９の発明を適用して
メッシュまたはトーラス結合網とすることが望ましい。

【００５２】なぜなら故障ノードと接続されていたノー
ドはメッシュまたはトーラス結合網における隣接ノード
であり、これらは故障ノードの接続した第１の代替ノー
ドと通信する必要があるため、一度、この隣接ノードが
接続されている第２の代替ノードを経由したとき、第１
の代替ノードと第２の代替ノードが隣接の関係にあるた
めには、代替ノード同士も第１のノードと同様にメッシ
ュまたはトーラス結合網であれば良い。このように故障
ノードの隣接ノードから代替ノードへの距離は２とする
ことが可能であり、故障回避によるバンド幅の細りは回
避できる。

【００５３】第１０の発明では、第１の発明の結合方式
において、第２の種類のノードを用いて接続する次元を
実装状態における緊密に結合しやすい階層、望ましくは
基板やシャーシに対応付けて選択するので、第２の種類
のノードの導入によって純粋なメッシュやトーラスに追
加された配線量の増加と、メッシュやトーラスでは隣接
しない遠隔ノードとの間の配線が同一基板上に実装され
ることにより、配線の困難さが軽減され、基板間をまた
がるメッシュやトーラスのリンクと同程度のバンド幅を
持った通信リンクを実装することが容易となる。

【００５４】特に、第８の発明を適用した場合は、代替
ノード間結合網を適切に選択すれば、故障回避における
問題点はほぼ完全に解消されるので、実装しやすい階層
でのみ第２の種類のノードを用いて接続することの有効
性は高い。

【００５５】

【実施例】以下、図面を参照しながら実施例を説明す
る。

【００５６】第１の発明の実施例 第１の発明では、まずｎ（ｎは自然数）次元の座標によ
りアドレスされるｎ次元メッシュまたはｎ次元トーラス
状にリンクで第１の種類のノードが接続されるので、こ
のｎ次元メッシュ状リンクの内、ノード当たり４本を用
いることによって、リンクｎ＝１の場合を除き、２次元
メッシュを通信リンクの実質的なバンド幅低下なしに埋
め込むことが可能である。

【００５７】さらに、１以上の次元に関して各々１次元
分の座標値が異なる２個以上の第１の種類のノード間を
第２の種類のノードにより接続しているので、従来から
あるメッシュ状のリンクを一つずつ通って行かねば到達
しえなかったノードに対して第２の種類のノードを経由
することによって多くの場合ノード間の距離が短縮し、
直径が短縮する。

【００５８】また、第２の種類のノードを経由すること
によって容易に到達することができるようになったノー
ドの数が増加したために、結合トポロジーの埋め込み性
能が向上し、例えばｎ＝３の場合に１つの次元に関して
座標値が異なる２個以上の第１の種類のノード間を第２
の種類のノードにより接続するだけでもノード数の平方
根に近い個数を一辺とする２次元メッシュの効率的な埋
め込みが容易になる。

【００５９】上記第１の発明によると、直径の短縮、ラ
ンダム通信性能の向上、他の結合トポロジーの埋め込み
能力の向上、一斉等間隔通信時の実質通信バンド幅低下
防止という効果がある。

【００６０】図１は、第１の発明にかかる結合方式の実
施例を示しており、この図１における中に二桁の数字の
書かれた丸印は第１の種類のノードを表す。第１の種類
のノードは、例えば超並列計算機の要素プロセッサであ
ったり、１台のワークステーションであれば、この図１
はワークステーションクラスタの接続形態を示すものと
言える。

【００６１】第１の種類のノードは、ｘ、ｙの２次元座
標でアドレスすることができる２次元メッシュ状にリン
クにより結合される。図１における中に二桁の数字は左
がｘ座標、右がｙ座標を意味する。本実施例では、ｘ方
向もｙ方向もサイズが４のものを示しているが、必ずし
も各方向のサイズが等しくなくても良い。

【００６２】本実施例では、ｙ方向に第２の種類のノー
ドによる接続を導入したものを示すが、ｘ方向、ｙ方向
とも第２の種類のノードによる接続を導入してもよい。
１つの第２の種類のノードＳ０は、第１の種類のノード
の集合｛ノード００、ノード０１、ノード０２、ノード
０３｝のようにｙ座標のみ異なる第１の種類のノードと
接続される。

【００６３】以上のように結合された場合、メッシュの
結合のみでは、例えばノード００からノード０３に到達
するためには、ノード００→ノード０１→ノード０２→
ノード０３のように中継されなければならないが、第２
の種類のノードを導入した場合は、ノード００→Ｓ０→
ノード０３のように転送されるので、距離が短くなる。
このように本発明を適用すれば、結合網の直径を短縮す
ることができる。

【００６４】また、例えばノード００とノード０１を直
接接続するリンクが故障などで使用できなくなった場合
でもノード００→Ｓ０→ノード０３のように転送できる
ので、耐故障性が向上する。

【００６５】また、ｙ方向のメッシュを構成するリンク
がある場合とない場合では、第２の種類のノードを通過
するのに何らかのオーバーヘッドがかかる場合は、ｙ方
向のメッシュのみで直接到達できるノード間の移動はｙ
方向のメッシュを用いた方が短時間で移動できる。ま
た、ｙ方向のメッシュがない場合は、ｙ方向の移動が全
て第２の種類のノードに集中するので、２次元メッシュ
のエミュレーションを行うとｙ方向のメッシュがある場
合の半分のバンド幅しか実質的には得られないが、２次
元メッシュ状の通信が必要な場合は、ｙ方向のリンクを
そのまま使用したほうが性能がよい。

【００６６】図２は、第１の発明にかかる実施例の第１
変形例の結合方式を示しており、この図２のようにベー
スとなっていたメッシュをトーラスにしてもよい。特
に、第２の種類のノードにより接続を行わない次元に関
しては、直径の短縮効果が大きい。実装が困難な方向に
はメッシュで、実装が容易な方向にはトーラスにすると
いうように次元によりメッシュとトーラスを使い分けて
もよい。

【００６７】また、図３は、第１の発明にかかる実施例
の第２変形例の結合方式を示しており、この第２変形例
のように、第２の種類のノードが導入されている次元に
関しては全てまたは一部のメッシュを構成するリンクを
省略しても良い。ただし、リンクを省略すれば、ハード
ウェア量は減るが、第１の種類のノードと第２の種類の
ノードとを接続するリンクに対する耐故障性や２次元メ
ッシュ状通信時のバンド幅が減る。

【００６８】第２の発明の実施例 第２の発明にかかる実施例では、第１の発明の構成の要
素に加え、第２の種類のノードをクロスバースイッチと
しているので、第２の種類のノードに接続される全ての
第１の種類のノードへ距離１で到達できる。

【００６９】この第２実施例によると、直径の短縮効果
と結合トポロジーの埋め込み性能とランダム通信性能の
向上が顕著となる。

【００７０】図４は、第２の発明にかかる実施例の結合
方式を示した図である。この第２実施例が図１の第１実
施例と異なる点は、第２の種類のノードＳ０、Ｓ１、Ｓ
２、Ｓ３をクロスバースイッチと規定している点であ
る。図５はクロスバースイッチの構成の例を示す図であ
る。

【００７１】第１の種類のノードがプロセッサであると
すれば、プロセッサ間の通信を行う場合は、プロセッサ
からの制御信号またはプロセッサからクロスバースイッ
チの入力ポートから入力制御部に入力されるメッセージ
データに含まれるルーティング制御情報に基づきクロス
バースイッチは自身の接続パターンを切り替える。出力
先の競合はクロスバースイッチ内部の、例えば出力制御
部などにある調停回路によって調停がなされる。

【００７２】このように第２の種類のノードがクロスバ
ースイッチとなっているので、短時間の切り換え時間の
後には、接続しているノード間の通信が出力先が競合し
ないかぎり、自由な組み合わせで同時に実行できる。例
えば、ストア＆フォワードルーティングアルゴリズムに
よっている場合のように、メッシュの隣接ノード間の通
過時間に比べてクロスバースイッチの通過遅延時間は十
分短いと見なせる場合には、メッシュのみではｙ方向は
直径３だが、第２の発明のようにｙ方向にクロスバース
イッチを導入した場合のｙ方向の直径は１とみなすこと
ができる。

【００７３】上記第２の発明の実施例の変形例としてク
ロスバースイッチの代わりに多段結合網を用いてもよ
い。この場合は、第２の種類のノードの通過時間が増加
したり、結合トポロジーの埋め込み性能とランダム通信
性能が低下するが、ハードウェア量（クロスポイント
数）が削減される。

【００７４】第３の発明の実施例 第３の発明では、第１の発明の結合方式において、第１
の種類のノードを１以上の次元に関して各々１次元分の
座標値だけが異なるノードをｉ（ｉは２以上の自然数）
個のグループに分け、このグループ内を共通の第２の種
類のノードで結合する。

【００７５】よって、第２の種類のノードに具備できる
リンク数に限りがあっても、グループ間の移動をメッシ
ュやトーラスを使って行い、グループ内の移動を第２の
種類のノードを経由して行える。

【００７６】例えば、base-m n-cube において顕著に見
られたクロスバスイッチのポート数で１つの次元方向に
実装できるノード数が限定されてしまうという問題が回
避できるようになる。

【００７７】図６は、第３の発明にかかる結合方式の実
施例を示した図である。この本実施例では、ｙ方向に８
つ、そしてｘ方向に４つの第１の種類のノードがメッシ
ュ状に配置されており、ｙ方向に次数４の第２の種類の
ノードを用いて接続する。ｙ方向は８ノード並んでいる
ので、例えばbase-m n-cube の場合は、第２の種類のノ
ードとして次数８のクロスバースイッチがなければ、ｙ
方向を８とすることはできないが、本発明を適用すれ
ば、ｙ方向をｙ座標が０から３までのグループａと４か
ら７までのグループｂに分け、例えばノードのグループ
｛ノード００、ノード０１、ノード０２、ノード０３｝
を第２の種類のノードＳ０ａと接続し、ノードのグルー
プ｛ノード０４、ノード０５、ノード０６、ノード０
７｝を第２の種類のノードＳ０ｂと接続することにより
ｙ方向を８とすることができる。

【００７８】このようにすると、グループ内では、第２
の種類のノードを用いて距離１で移動でき、グループ間
の移動は、例えばノード０３とノード０４の間を接続す
るメッシュのリンクにより移動ができる。本実施例の構
成では、ｙ方向はグループ内２回とグループ間１回で移
動でき、例えばノード０１→ノード０７の移動の場合が
最も遠く、よってｙ方向の直径は３である。

【００７９】図７は、第３の発明にかかる実施例の変形
例の結合方式を示している。この変形例によると、グル
ープａを接続する第２の種類のノード間にリンクがあっ
てもよい。その場合は第２の種類のノードが持つべきリ
ンクが１つ増えるがｙ方向の直径が２となり、直径が短
縮される。

【００８０】第４の発明の実施例 第４の発明では、第３の発明の結合方式において、第１
の種類のノードを１以上の次元に関して各々１次元分の
座標値だけが異なるノードをその座標値をｋ（ｋは２以
上の自然数）進表示した数の全桁または一部の桁を次元
ごとに異なる値をとることができるｉ（ｉは２以上の自
然数）で割った余りを共通にするｉ個のグループに分
け、このグループ内を共通の第２の種類のノードで結合
する。

【００８１】ｉ，ｋおよび剰余を計算する桁の位置を様
々に変えることによって、様々なノード数や各次元方向
のノード数や第２のノードのリンク数に対応することが
可能である。

【００８２】適切にこれらの値を選択すれば、ＦＦＴの
実行時などで表れる一列に並べた時に２のｊ（ｊは０以
上の整数）乗の距離にあるノード間での一斉等方通信
が、全て距離１で可能となるように設定できる。

【００８３】また、上記の例のように適切にこれらの値
を選択し、第２の種類のノードで結合した次元に直行す
る２次元メッシュ平面間を第２の種類のノードかメッシ
ュ状リンクにより隣接するように並べれば、ノード数の
平方根に近い個数を一辺とする２次元メッシュを実質バ
ンド幅の低下なしに埋め込むことが可能となる。

【００８４】上記第４の発明によると、様々なノード数
や各次元方向のノード数や第２のノードのリンク数に対
応することが可能となり、一斉等間隔通信時の実質通信
バンド幅低下の防止が可能となり、ノード数の平方根に
近い個数を一辺とする２次元メッシュを実質バンド幅の
低下なしに埋め込むことが可能となるように構成を決め
ることができる。

【００８５】図８は、第４の発明にかかる実施例の結合
方式を示した図である。本実施例では、ｙ方向に８つ、
そしてｘ方向に４つの第１の種類のノードがメッシュ状
に配置されており、ｙ方向に次数４の第２の種類のノー
ドを用いて接続する。本実施例では、ｙ方向のグループ
分けに第４の発明で規定される規則の１つを用いてい
る。具体的には、ｙ座標を任意のｋ進数で表した数の全
桁（つまり、ｙ座標そのもの）をｉ＝２で割ったときの
剰余が０（つまり偶数）のグループと１（つまり奇数）
のグループに分け、グループ内を同一の第２の種類のノ
ードで接続している。

【００８６】この場合、ｉ＝２なので、メッシュにおけ
る隣のノードは常に別のグループに属することになる。
また、グループ内は第２の種類のノードを経由すること
で距離１で移動できる。よって、本実施例のｙ方向の直
径は２である。

【００８７】図７に示された例でも、ｙ方向の直径は同
じく２であるが、図７の場合は、もし例えばノード００
→ノード０４、ノード０１→ノード０５、ノード０２→
ノード０６、ノード０３→ノード０７、というようなＦ
ＦＴなどで頻繁に表れる等方一斉通信が起こった場合
は、Ｓ０ａとＳ０ｂの間のリンクがネックとなり、実質
通信バンド幅が低下してしまうことに対し、本実施例の
場合は、全て同一のグループ間通信で行われるので、上
記のような問題を回避または軽減できる。例えばノード
００→ノード０５、ノード０１→ノード０６、ノード０
２→ノード０７、ノード０３→ノード００、というよう
なグループを必ずまたがるような通信を同時に行ったと
してもノード００→ノード０１→（Ｓ０ｂ）→ノード０
５、ノード０１→ノード０２→（Ｓ０ａ）→ノード０
６、ノード０２→ノード０３→（Ｓ０ｂ）→ノード０
７、ノード０３→ノード０４→（Ｓ０ａ）→ノード０
０、というように全ての通信が別のリンクを用いて通信
することが可能となり、リンクの利用効率が高まる。

【００８８】図９は、図８の結合を８枚分をメッシュ結
合して３次元メッシュにｙ方向のみに第２の種類のノー
ドを導入した実施例を示している。つまり、ｘ方向４
つ、ｙ方向８つ、そしてｚ方向８つの３次元メッシュに
おいて、ｙ方向にｙ座標で偶数グループと奇数グループ
がグループ内で第２の種類のノードによって接続されて
いることになる。

【００８９】図１０は、図９の結合の中に１６×１６の
２次元メッシュを全て隣接リンクのみによって埋め込む
例を示している。ｘｚ平面で図９の結合を切ると、８枚
の４×８構成のサブ２次元メッシュができ、これらを図
１０に示すように並べると、サブ２次元メッシュの境界
部にあるノードは、例えばノード３０７とノード３１
７、ノード３０７とノード３２７、ノード３２７とノー
ド３３７、ノード３３７とノード３１７の同士が、ｙ方
向の座標のみが１つ異なる、または同じグループに属す
る（互いに奇数、または互いに偶数である）ために隣接
ノードとなっている。よって、中継なしの１６×１６の
２次元メッシュ埋め込みができている。

【００９０】図１１は、第４の発明にかかる結合方式の
座標値をｋ進数表示した座標値の一部の桁を用いてグル
ープ分けを行う実施例を示している。本実施例では、ｙ
方向に８つ、そしてｘ方向に４つの第１の種類のノード
がメッシュ状（ｘ方向）およびトーラス状（ｙ方向）に
配置されており、ｙ方向に次数４の第２の種類のノード
を用いて接続されている。

【００９１】本実施例では、ｙ方向のグループ分けに第
４の発明で規定される規則の１つを用いている。具体的
には、ｙ座標を任意の２進数で表した数の最下位ビット
を除く２ビットをｉ＝２で割ったときの剰余が０（つま
り偶数）のグループａと１（つまり、奇数）のグループ
ｂに分け、グループ内を同一の第２の種類のノードで接
続している。具体的には、ノード００はｙ＝０を２進表
示すると、０００であり、上位２ビットが００なので、
グループａ、ノード０１はｙ＝１を２進表示すると、０
０１であり、上位２ビットが００なので、グループａ、
ノード０２は、ｙ＝２を２進表示すると、０１０であ
り、上位２ビットが０１なので、グループｂ、ノード０
３はｙ＝３を２進表示すると、０１１であり、上位２ビ
ットが０１なので、グループｂ、ノード０４はｙ＝４を
２進表示すると、１００であり、上位２ビットが１０な
ので、グループａ、ノード０５はｙ＝５を２進表示する
と、１０１であり、上位２ビットが１０なのでグループ
ａ、ノード０６はｙ＝６を２進表示すると、１１０であ
り、上位２ビットが１１なので、グループｂ、ノード０
７はｙ＝７を２進表示すると、１１１であり、上位２ビ
ットが１１なので、グループｂに属することになる。

【００９２】このように接続されると、ｙ方向の直径は
２であり、必ず隣接ノードは、片方がグループａで、他
の片方がグループｂとなる。両隣がそれぞれ同じグルー
プにならないことは、ノードの故障時の代替の際にメリ
ットがあるが、これについては第７の発明の説明の際に
詳しく説明する。

【００９３】第５の発明の実施例 第５の発明では、第１の発明の結合方式において、第２
の種類のノードを第１の種類のノードが故障した場合の
代替ノードとするので、第２の種類のノードが接続する
第１の種類のノードの内で１つが故障しても、この故障
ノードを第２の種類のノードで代替が可能であり、第２
の種類のノードは故障ノードの隣接ノードとも近い位置
に存在することができる。

【００９４】この実施例によると、故障回避に伴う実質
的な通信バンド幅の低下を排除または軽減することが可
能となる。

【００９５】図１２は、第５の発明にかかる実施例の結
合方式を示しれいる。本実施例では、第２の種類のノー
ドを第１の種類のノードと少なくとも同等な機能を持た
せることにより、第２の種類のノードが単純なクロスバ
ースイッチなどであった場合と同様に直径の短縮等の効
果があるとともに、例えばノード１１自体が故障してし
まったとしてもその機能を代替ノードＳ１に行わせるこ
とにより、他の健全な第１の種類のノードが故障ノード
１１の仕事と本来の自分の仕事をかけもちすることによ
る処理性能低下をある程度軽減できる。

【００９６】故障ノード１１は第２の種類のノード以外
ではノード０１、ノード２１、ノード１０、ノード１２
の４個の隣接ノードからのリンクが接続されているが、
代替ノードＳ１はこのうちの２個のノード（ノード１
０、ノード１２）とも接続されており、代替に伴う距離
の増加はノード０１、ノード２１とのやりとりだけとい
うことになるので、性能低下を抑制することができる。

【００９７】図１３は、第５の発明にかかる実施例の変
形例の結合方式を示している。この変形例では、代替ノ
ード間にもリンクが設けられており、故障ノード１１の
代替ノードＳ１と故障ノード１１の隣接ノード０１およ
びノード２１とのやりとりは、例えばノード０１→Ｓ０
→代替ノードＳ１のように接続できるので、第１の種類
のノードへの影響は排除される。

【００９８】第６の発明の実施例 第６の発明では、第１の発明の結合方式において、第２
の種類のノードに第１の種類のノードが故障した場合の
代替ノードを接続するので、第５の発明と同様に第２の
種類のノードが接続する第１の種類のノードの内で１つ
が故障しても、この故障ノードを第２の種類のノードに
接続された代替ノードで代替が可能であり、第２の種類
のノードは故障ノードの隣接ノードとも近い位置に存在
することができる。

【００９９】この実施例によると、故障回避に伴う実質
的な通信バンド幅の低下を排除または軽減することが可
能となる。

【０１００】図１４は、第６の発明にかかる実施例の結
合方式を示している。４×４構成の２次元メッシュ状に
第１の種類のノードを結合し、ｙ方向に第２の種類のノ
ードＳ０，Ｓ１，Ｓ２，Ｓ３を導入してｙ座標のみ異な
るノード間を接続するとともに代替ノードＰ０，Ｐ１，
Ｐ２，Ｐ３を設け、Ｓ０とＰ０、Ｓ１とＰ１、Ｓ２とＰ
２、Ｓ３とＰ３の間を本実施例ではそれぞれ４本のリン
クで接続している。さらに、Ｓ０，Ｓ１，Ｓ２，Ｓ３の
間も互いに１次元メッシュ接続がなされている。

【０１０１】例えば、ノード１１が故障した場合は、ノ
ード１１が接続する第２の種類のノードＳ１に接続され
ている代替ノードＰ１が故障ノード１１の機能の代行を
行う。よって、Ｓ１は単なるクロスバースイッチのよう
なスイッチボックスであってもよく、必ずしも第１の種
類のノード以上の機能を持たなければならないというこ
とはない。よって、第１の種類のノードの機能を第２の
種類のノードから取り去ることによって、例えばＬＳＩ
のゲート数やピン数の制約などから多くのリンクを第２
の種類のノードが持てるようになる場合は、第６の発明
を用いるよりは多くの第１の種類のノードを１つの第２
の種類のノードで接続できるようになる。

【０１０２】故障ノード１１は、第２の種類のノード以
外ではノード０１、ノード２１、ノード１０、ノード１
２の４個の隣接ノードからのリンクが接続されている
が、代替ノードＳ１はこのうちの２個のノード（ノード
１０、ノード１２）とも接続されており、ノード１０、
ノード１２と代替ノードＰ１とのやりとりはＳ１を介し
て行われる。ノード０１とＰ１のやりとりはノード０１
→Ｓ０→Ｓ１→代替ノードＰ１の経路で行われ、ノード
２１とＰ１のやりとりはノード２１→Ｓ２→Ｓ１→代替
ノードＰ１の経路で行われる。Ｓ１とＰ１の間には、４
本のリンクが設けられているので、代替によるバンド幅
の減少は回避されている。

【０１０３】上記第６の発明の実施例の変形例による
と、第２の種類のノード間のリンクが無かったり、第２
の種類のノードと代替ノードとの間のリンクの本数が４
本でない場合でも良いが、その場合はハードウェア量が
削減されるかわりに通信バンド幅は第２の種類のノード
が故障ノードの２つの隣接ノードと接続されていること
によるメリットは存在するが、バンド幅の細りは回避さ
れなくなる。

【０１０４】第７の発明の実施例 第７の発明では、第６の発明の結合方式において、ある
１次元分の座標が異なる第１の種類のノード間を接続す
る１個以上の第２の種類のノードを第１の種類のノード
が故障した場合の代替ノードに接続するので、ある１次
元分が複数のグループに分けられ、複数の第２の種類の
ノードに分かれて接続されている場合にも、代替ノード
を省略することができる。

【０１０５】上記実施例によると、代替ノードを適切な
個数に設定することができ、その上で故障回避に伴う実
質的な通信バンド幅の低下を排除または軽減することが
可能である。

【０１０６】図１５は、第７の発明にかかる実施例の結
合方式を示している。本実施例は、基本的には図８の結
合からなり、第２の種類のノードＳ０ａ、Ｓ０ｂからそ
れぞれ２本ずつのリンクを出し、代替ノードＰ０と接続
し、以下同様にＳ１ａ、Ｓ１ｂからそれぞれ２本ずつの
リンクを出し、代替ノードＰ１と接続し、Ｓ２ａ、Ｓ２
ｂからそれぞれ２本ずつのリンクを出し、代替ノードＰ
２と接続し、Ｓ３ａ、Ｓ３ｂからそれぞれ２本ずつのリ
ンクを出し、代替ノードＰ３と接続する。

【０１０７】このような結合においては、同じｘ座標を
持つノードは全て一つの代替ノードと第２の種類のノー
ドを介して接続されており、代替ノードとの距離はｙ方
向のノード数が１つの第２の種類のノードの接続可能な
ノード数よりも多いにもかかわらず遠くなっていない。
また、第２の種類のノードごとに代替ノードを付加する
場合よりも少数の代替ノードで代替処理を行うことがで
きるため、故障率が低い場合はハードウェアコストが削
減されるというメリットがある。

【０１０８】本実施例においては、ｙ方向の故障時の通
信バンド幅を確保しなければならない場合は、第２の種
類のノードと代替ノードとの間をそれぞれ２本ずつのリ
ンクで結合する必要がある。例えば、故障ノード１１と
ｙ方向で通信するはずだったノードはノード１０とノー
ド１２の２つがあり、これらは同一のグループに属し、
両方ともＳ１ａに接続しているためである。一方、この
場合、Ｓ１ｂと代替ノードＰ１の間を接続している２本
のリンクは遊んでしまう。

【０１０９】このような問題を解決している例を以下に
示す。

【０１１０】図１６は、第７の発明にかかる実施例にに
おける代替ノードとの間のリンクを節約した結合方式を
示している。本実施例は、基本的には図１１の結合から
なり、第２の種類のノードＳ０ａ、Ｓ０ｂからそれぞれ
１本ずつのリンクを出し、代替ノードＰ０と接続し、以
下同様にＳ１ａ、Ｓ１ｂからそれぞれ１本ずつのリンク
を出し、代替ノードＰ１と接続し、Ｓ２ａ、Ｓ２ｂから
それぞれ１本ずつのリンクを出し、代替ノードＰ２と接
続し、Ｓ３ａ、Ｓ３ｂからそれぞれ１本ずつのリンクを
出し、代替ノードＰ３と接続する。

【０１１１】このように結合すると、例えば故障ノード
１１とｙ方向で通信するはずだったノードはノード１０
とノード１２の２つがありこれらは別のグループに属す
るためにノード１０→Ｓ１ａ→Ｐ１とノード１２→Ｓ１
ｂ→Ｐ１という全く別の経路を通るために第２の種類の
ノードと代替プロセッサとの間のリンクの使用効率が高
まる。

【０１１２】図１７は、第７の発明にかかる実施例の変
形例の結合方式を示している。これは基本的には図１５
の結合からなるが、ａのグループを担当する第２の種類
のノード間を１次元メッシュで結合し、ｂのグループを
担当する第２の種類のノード間を１次元メッシュで結合
している。図１６や図１５の実施例では、ｘ方向の通信
バンド幅が確保されていないが、本変形例では、第２の
種類のノード間の結合により確保される。

【０１１３】例えば、故障ノード１１とｘ方向で通信す
るはずだったノードはノード０１とノード２１の２つが
ありこれらはｂのグループに属するためにノード０１→
Ｓ０ｂ→Ｓ１ｂ→Ｐ１という経路で接続され、同様にノ
ード２１→Ｓ２ｂ→Ｓ１ｂ→Ｐ１という全く別の経路を
通る。よって第２の種類のノードと代替プロセッサとの
間のリンクの使用効率が高まるとともに、ｘ方向のバン
ド幅も確保され、代替による性能低下は第２の種類のノ
ードの通過遅延時間以外なくなる。

【０１１４】第８の発明の実施例 第８の発明では、第６の発明の結合方式において、代替
ノード間に別途に結合手段を具備する。第８の発明を適
用した場合は第２の種類のノードを用いて接続する次元
を１つだけにしたとしても、故障ノードの隣接ノードは
自分が接続している代替ノードを中継ノードとして、そ
こから代替ノード間結合網によって故障ノードを代替し
ている代替ノードに到達できる。つまり、故障プロセッ
サの代替に伴う迂回路がベースとなるメッシュまたはト
ーラス結合網から追い出され、故障回避による健全なノ
ード間通信への悪影響を抑えることができる。

【０１１５】上記実施例によると、第２の種類のノード
を用いて接続する次元を１つだけにしたとしても、故障
回避による健全なノード間通信への悪影響を抑えること
ができる。

【０１１６】図１８は、第８の発明にかかる実施例の結
合方式を示している。本実施例は、基本的には図１６の
結合からなるが、代替ノード間が１次元メッシュで接続
されている。図１６の実施例では、ｘ方向の通信バンド
幅が確保されていないが、本実施例では代替ノード間の
結合により確保される。

【０１１７】例えば、故障ノード１１とｘ方向で通信す
るはずだったノードはノード０１とノード２１の２つが
あり、ノード０１→Ｓ０ａ→Ｐ０→Ｐ１という経路で接
続され、同様にノード２１→Ｓ２ａ→Ｐ２→Ｐ１という
全く別の経路を通る。よって、ｘ方向のバンド幅も確保
され、代替による性能低下は第２の種類のノードおよび
代替ノードの通過遅延時間以外なくなる。

【０１１８】第９の発明の実施例 第９の発明では、第８の発明の結合方式において、代替
ノード間結合網を少なくともメッシュまたはトーラス結
合を包含するものとする。故障ノードと接続されていた
ノードはメッシュまたはトーラス結合網における隣接ノ
ードであり、これらは故障ノードの接続した第１の代替
ノードと通信する必要があるため、一度この隣接ノード
が接続されている第２の代替ノードを経由させる。

【０１１９】代替ノード同士も第１のノードと同様なメ
ッシュまたはトーラス結合を包含する結合網で接続され
ているので、第１の代替ノードと第２の代替ノードが隣
接の関係にある。

【０１２０】上記実施例によると、故障ノードの隣接ノ
ードから代替ノードへの距離は２とすることが可能であ
り、故障回避によるバンド幅の細りは回避できる。多次
元結合網への容易な拡張性がある故障回避法が得られ
る。

【０１２１】図１８は、代替ノード間結合が１次元では
あるものの第９の発明にかかる実施例を示していると言
うこともできる。例えば、故障ノード１１の隣接ノード
であるノード０１→ノード１１→ノード２１間の接続を
代替するには、これと同等の代替ノード間結合Ｐ０→Ｐ
１→Ｐ２があれば良いように、第２の種類のノードが導
入されていない方向に関する結合と同等なものがあれ
ば、故障回避によるバンド幅の細りは回避できる。

【０１２２】図１９は、第９の発明にかかる実施例の３
次元構成を示している。本実施例は、図１８を基本とし
て、これをｚ方向に４枚用意し、同じｘｙ座標を持つノ
ード同士をｚ方向にメッシュ接続する。各ノードの座標
値および名前は図１８におけるものの最後にｚの値を加
えたものとする。すると、代替ノードはＰ００，Ｐ１
０，Ｐ２０，Ｐ３０，Ｐ０１，Ｐ１１，Ｐ２１，Ｐ３
１，Ｐ０２，Ｐ１２，Ｐ２２，Ｐ３２，Ｐ０３，Ｐ１
３，Ｐ２３，Ｐ３３の１６ノードが２次元メッシュを構
成し、代替ノードＰｘｚはそれぞれが対応する２個の第
２の種類のノードＳｘｚａ、Ｓｘｚｂを介して８個の第
１の種類のノードｘ０ｚ、ｘ１ｚ，ｘ２ｚ，ｘ３ｚ，ｘ
４ｚ，ｘ５ｚ，ｘ６ｚ，ｘ７ｚと接続している。

【０１２３】図２０は、図１９の実施例における故障回
避の例を示している。本例では、ノード１１１が故障し
ているとする。この場合、代替ノードはＰ１１となり、
ノード１１１を取り囲んでいたノード１１０，ノード１
１２，ノード０１１，ノード２１１，ノード１０１，ノ
ード１２１の６個のノードが代替ノードＰ１１に迂回し
なければならない。

【０１２４】故障ノード１１１とｘｚ座標が同じである
ノード１０１，ノード１２１はＰ１１を共通の代替ノー
ドとしているので、ノード１０１は第２の種類のノード
Ｓ１１ａを介してＰ１１と接続されており、ノード１２
１は第２の種類のノードＳ１１ｂを介してＰ１１と接続
されている。

【０１２５】ノード１１０，ノード１１２，ノード０１
１，ノード２１１は故障ノード１１１とｘｚ座標が同じ
ではないので、まず、それぞれが第２の種類のノードを
介して接続している第２の種類のノードを経由する。具
体的には、ノード１１０は第２の種類のノードＳ１０ａ
を介してＰ１０を経由しＰ１１に到達する。ノード１１
２は第２の種類のノードＳ１２ａを介してＰ１２を経由
しＰ１１に到達する。ノード０１１は第２の種類のノー
ドＳ０１ａを介してＰ０１を経由しＰ１１に到達する。
ノード２１１は第２の種類のノードＳ２１ａを介してＰ
１０を経由しＰ１１に到達する。このようにｘｚ座標が
異なる故障ノード１１１の隣接ノードが経由するＰ１
０、Ｐ１２、Ｐ０１、Ｐ１０は、故障ノード１１１の代
替ノードＰ１１と代替ノード間接続の２次元メッシュに
よって隣接の関係にあるので、短い遅延時間でＰ１１に
迂回が実現される。

【０１２６】以上のように第１の種類のノード間を接続
するメッシュ結合を一切使わずに、代替ノード間を接続
するメッシュ結合を用いて代替ノードへの迂回が実現し
ているので、故障回避による通信バンド幅の細りはな
い。

【０１２７】また、本実施例で示されたように３次元以
上の多次元メッシュへの故障回避の容易な拡張が可能で
ある。つまり、元がｎ次元のメッシュからなるならば、
代替ノード間結合はｎ−１次元のメッシュとすれば良
い。トーラスについても同様である。故障時の再構成ア
ルゴリズムについても単純明快であり、従来法のように
スイッチの設定状態の決定のために大変な計算を伴うも
のではない。

【０１２８】第１０の発明の実施例 第１０の発明では、第１の発明の結合方式において、第
２の種類のノードを用いて接続する次元を実装状態にお
ける緊密に結合しやすい階層、望ましくは基板やシャー
シに対応付けて選択する。このため、第２の種類のノー
ドの導入によって純粋なメッシュやトーラスに追加され
た配線量の増加と、メッシュやトーラスでは隣接しない
遠隔ノードとの間の配線が同一基板上に実装されること
により、配線の困難さが軽減される。

【０１２９】この実施例によると、実装の困難さを軽減
し、基板間をまたがるメッシュやトーラスのリンクと同
程度のバンド幅を持った通信リンクで、故障回避時に用
いられるリンクを実装することが容易となる。

【０１３０】図２１は、第１０の発明にかかる実施例の
結合方式を示している。本実施例では、図１８に示した
論理的な結合を電子回路基板で実現する際の実装イメー
ジを示している。１枚の基板には、第２の種類のノード
を用いて接続する次元であるｙ座標を対応づけ、ｙ座標
のみ異なるものを搭載する。基板の向かい合う二辺には
コネクタが配置され、ｘ方向のメッシュ接続用のリンク
はこのコネクタを介して隣接する基板間配線として実現
される。

【０１３１】図中では、故障回避時に用いられるリンク
を太線で示しているが、基板間接続で実現されるのは代
替ノード間接続のみであり、その他の大半の太線は基板
間接続より信頼性の高い基板内接続によって実現されて
いる。また、基板内配線の本数の制約と基板間配線の本
数の制約は基板内のほうがコネクタのより制限される基
板間配線よりもゆるいので、故障回避時に用いられるリ
ンクはやや長めの配線となるものの、基板間をまたがる
メッシュやトーラスのリンクと同程度のバンド幅を持つ
ように故障回避時に用いられるリンクを実装することが
容易である。

【０１３２】上記実施例の変形例として、基板のみなら
ず同一のバックプレインに接続される基板群からなるシ
ャーシ内とシャーシ間では配線の容易性が異なるので、
シャーシ内は第２の種類のノードを導入して接続を行う
ようにしても良い。

【０１３３】

【発明の効果】以上のように本発明によれば、高い実装
容易性とそれに基づく高いノード数拡張性と高い通信リ
ンクバンド幅および高い二分割バンド幅、短い直径、高
いランダム通信性能、ノード数の平方根に近い個数を一
辺とする２次元メッシュの効率的な埋め込み、一斉等間
隔通信時の実質通信バンド幅低下の防止、少ないチップ
数での故障ノードや故障通信リンク回避時の局所的通信
バンド幅低下の防止、故障回避のための配線による基板
間配線の増加とそれによる信頼性の低下の防止、汎用な
数万ノードシステムに適した３次元以上の多次元結合網
への故障回避の容易な拡張性といった、複雑に絡み合っ
た上記の全ての制約と課題を同時に解決する超並列計算
機向け結合網などを構築することができる。

【０１３４】以上のような特質を備えた超並列計算機向
け結合網などを構築することができることによって、例
えば１６プロセッサと１個の代替ノードを搭載した基板
を用いて６４×６４×１６構成の３次元トーラス状に結
合される６５５３６台のプロセッサをからなる汎用超並
列計算機上で、例えば百〜数百個程度の故障ノードをか
かえながら256 ×256 の２次元メッシュを埋め込むこと
ができ、文献JSPP'93「マルチパラダイム超並列ＴＦＬ
ＯＰＳマシンにおける並列処理〜プロセッサ間チェイニ
ングとその応用」で示されている通信リンクのバンド幅
によって性能が規定される密行列乗算などのウェーブフ
ロントアレイ動作を故障がないときと同じ性能で安定的
に動作させることが可能となる。

【０１３５】通信リンクあたりのバンド幅をＰａｒａｇ
ｏｎ ＸＰ／Ｓなどの商用超並列計算機で既に実現され
ている２００ＭＢ／ｓ程度を実現すれば、演算器が１０
０ＭＦＬＯＰＳ程度のものであっても倍精度で３ＴＦＬ
ＯＰＳ程度の実効性能を５１２×５１２程度の大きさの
行列乗算時に実現できる。これはスーパーコンピュータ
の性能評価の基準として用いられるCray YMP-1のベンチ
マーク値の一万倍程度の性能を実現できることを意味す
る。

【０１３６】本発明を用いずに単純な３次元メッシュで
実現すれば、６４×６４の構成しか正方形のプロセッサ
アレイを構築できないので、同処理の性能は１／１６ま
でしか実現できず、故障ノードが存在すれば、通信バン
ド幅の細りが迂回によって生じてしまうので更に半分以
下の性能にダウンしてしまう。よって本発明によって上
記の文献で実現される性能の約３０倍の行列乗算性能の
向上が実現される。

【図面の簡単な説明】

【図１】第１の発明にかかる実施例の結合方式を示した
図。

【図２】図１の実施例のベースをトーラスにした変形例
の結合方式を示した図。

【図３】第１の発明にかかる実施例の第２の種類のノー
ドが導入されている次元に関しては全てのメッシュを構
成するリンクを省略した変形例を示した図。

【図４】第２の発明にかかる実施例の結合方式を示した
図。

【図５】図４の実施例をにおけるクロスバースイッチの
構成例を示した図。

【図６】第３の発明にかかる実施例の結合方式を示した
図。

【図７】第３の発明にかかる実施例の変形例の結合方式
を示した図。

【図８】第４の発明にかかる実施例の結合方式を示した
図。

【図９】図８の結合を８枚分をメッシュ結合して３次元
メッシュにｙ方向のみ第２の種類のノードを導入した実
施例の結合方式を示す図。

【図１０】図９の結合の中に１６×１６の２次元メッシ
ュを全て隣接リンクのみによって埋め込む実施例の結合
方式を示した図。

【図１１】第４の発明にかかる結合方式の座標値をｋ進
数表示したものの一部の桁を用いてグループ分けを行う
実施例の結合方式を示した図。

【図１２】第５の発明にかかる実施例の結合方式を示し
た図。

【図１３】第５の発明にかかる実施例の変形例の結合方
式を示した図。

【図１４】第６の発明にかかる実施例の結合方式を示し
た図。

【図１５】第７の発明にかかる実施例の結合方式を示し
た図。

【図１６】第７の発明にかかる結合方式における代替ノ
ードとの間のリンクを節約した実施例の結合方式を示し
た図。

【図１７】第７の発明にかかる実施例の変形例の結合方
式を示した図。

【図１８】第８の発明にかかる実施例の結合方式を示し
た図。

【図１９】第９の発明にかかる実施例の３次元構成を示
した図。

【図２０】図１９の実施例における故障回避の例を示し
た図。

【図２１】第１０の発明にかかる実施例の結合方式を示
した図。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ｎ（ｎは自然数）次元の座標によりアド
   レスされるｎ次元メッシュまたはｎ次元トーラス状にリ
   ンクで接続された第１の種類のノードのアレイに対し、
   １以上の次元に関して各々１次元分の座標値が異なる２
   個以上の第１の種類のノード間を第２の種類のノードに
   より接続することを特徴とする結合方式。
2. 【請求項２】 前記第１の種類のノードを１以上の次元
   に関して各々１次元分の座標値だけが異なるノードをｉ
   （ｉは２以上の自然数）個のグループに分け、このグル
   ープ内を共通の第２の種類のノードで結合することを特
   徴とする請求項１の結合方式。
3. 【請求項３】 前記第１の種類のノードを１以上の次元
   に関して各々１次元分の座標値だけが異なるノードをそ
   の座標値をｋ（ｋは２以上の自然数）進表示した数の全
   桁または一部の桁を次元ごとに異なる値をとることがで
   きるｉ（ｉは２以上の自然数）で割った余りを共通にす
   るｉ個のグループに分け、このグループ内を共通の前記
   第２の種類のノードで結合することを特徴とする請求項
   ２の結合方式。