JPH09231187A

JPH09231187A - 並列計算機のデータ転送方法

Info

Publication number: JPH09231187A
Application number: JP8034780A
Authority: JP
Inventors: Kenji Tsuji; 憲司辻; Masahito Ishii; 将人石井; Hamiruton Patoritsuku; ハミルトンパトリック; Nobuo Funakubo; 伸夫舟窪
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-02-22
Filing date: 1996-02-22
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】並列計算機の分割運転時、パケットが分割グ
ループを越えて転送されないことを保証する。【解決手段】クロスバスイッチＸＢＸ０〜ＸＢＸ３，
ＸＢＹ０〜ＸＢＹ３を各々パーティション０，１に２分
割する。この場合、ノードは、０，１，８，９の第１グ
ループ、２，３，１０，１１の第２グループ、４，５，
１２，１３の第３グループ、６，７，１４，１５の第４
グループに分かれる。各ノードには自ノードが接続され
るＸＢの該当パーティションに属するポート情報を、各
ＸＢには自ＸＢの各パーティションに属するポート情報
を各々保持せしめる。各ノード、各ＸＢは、パケットを
転送する際、該パケットのルーティング情報とあらかじ
め保持されたポート情報を比較し、照合がとれた場合の
み該パケットを送出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、並列計算機のデー
タ転送方法に係り、特に並列計算機の分割運転におい
て、分割を行ったノードグループを越えてパケットが転
送されないことを保証し、分割したノードグループが相
互に影響を与えない高信頼性を要求される並列計算機の
データ転送方法に関する。

【０００２】

【従来の技術】従来、複数プロセッサのノード群と該ノ
ード群をクロスバスイッチにより相互結合した構成の並
列計算機において、種々の利用目的等に応じてノード群
を複数グループに分割し、各グループ毎に分割運転を行
う場合、一般にパケットに宛先ノード情報の他にグルー
プ識別情報を付加することで、同一グループに属するノ
ード同士のデータ転送を実現していた。なお、並列計算
機の分割運転に関連する公知例としては、例えば特開平
５−２８１２２号公報が挙げられる。

【０００３】

【発明が解決しようとする課題】従来技術においては、
転送元ノードがプログラム（ＯＳ）のバグ等により転送
先ノードを誤り、転送パケットに他の分割グループ内の
ノード等を指定した場合、あるいは、転送途中において
信号ディレーやノイズによるビット欠け・ビット化けに
より、パケットの宛先ノードやグループ情報が変化した
場合、誤って他の分割グループにパケットガ転送される
という問題があった。

【０００４】本発明の目的は、並列計算機の分割運転
時、誤って他の分割グループにパケットが転送されない
ことを保証し、分割グループ間が相互に影響することな
く運用できる、高信頼性のデータ転送方法を提供するこ
とにある。

【０００５】

【課題を解決するための手段】本発明は、複数個のプロ
セッサ（ノード）と、複数個の入出力ポートを持ったク
ロスバスイッチからなる相互結合網で構成された並列計
算機において、ノードを複数のグループに分割し、同一
グループに属するノード同士でパケット形式によりデー
タを転送する際、クロスバスイッチの入出力ポートを複
数の部分に分割し（分割した各部分をパーティションと
いう）、各ノードに、自ノードが接続されるクロスバス
イッチの該当パーティションに属する出力ポート情報を
あらかじめ保持しておく。各ノードは、パケットを転送
する前に、該パケットにルーティング情報として付加さ
れている転送先ノードのポート情報を前記あらかじめ保
持された出力ポート情報と照合し、照合がとれたなら
ば、自ノードが接続されるクロスバスイッチに該パケッ
トを送出し、照合がとれない場合には該パケットの送出
を中止する。

【０００６】また、本発明は、各クロスバスイッチに、
自クロスバスイッチの各パーティションに属する入出力
ポート情報をあらかじめ保持し、各クロスバスイッチ
は、パケットを入力ポートで受信すると、まず、入力ポ
ート情報により該入力ポートの属するパーティションを
選択する。次に、受信したパケットにルーティング情報
として付加されている転送先ノードのポート情報を前記
選択されたパーティションに属する出力ポート情報と照
合し、照合がとれたならば、該当出力ポートより該パケ
ットを送出し、照合がとれない場合には該パケットの送
出を中止する。

【０００７】これにより、例えば信号ディレー、ノイズ
によるビット欠け・ビット化や、ＯＳのバグ等により転
送先ノードを誤り他の分割グループ内のノードを指定し
た場合等に、エラーを検出でき、他の分割グループに影
響を与えず分割運転時の信頼性を向上できる。

【０００８】

【発明の実施の形態】以下、本発明の一実施例につい
て、１６個のノード（プロセッサ）が、Ｘ方向に４個、
Ｙ方向に４個のクロスバスイッチからなる相互結合網で
接続される並列計算機を用いて説明する。

【０００９】図１は、本実施例の１６個のノードと、そ
れらのノードを相互結合するＸ方向に４個、Ｙ方向に４
個のクロスバスイッチ（ＸＢ）からなる並列計算機を示
す。図１において、０〜１５はノード（プロセッサ）、
ＸＢＸ０〜ＸＢＸ３はＸ方向のクロスバスイッチ（ＸＢ
Ｘ）、ＸＢＹ０〜ＸＢＹ３はＹ方向のクロスバスイッチ
（ＸＢＹ）である。本実施例に用いる各クロスバスイッ
チは、入出力ポートを各々４個持っており、ここではそ
れらに０〜３のポート番号を付ける。ノードとクロスバ
スイッチ間は、各々、入力信号線０iＸ〜１５iＸ，０i
Ｙ〜１５iＹ、出力信号線０oＸ〜１５oＸ，０oＹ〜１５
oＹで接続される。ただし、この入出力信号線の標記
は、ノード側からみた場合であり、クロスバスイッチ側
からは入出力の関係が逆になる。

【００１０】図２は、本実施例の相互結合網におけるノ
ード間通信の通信パケットを表す。２００はパケット全
体を表わし、２１０と２２０はルーティングフィール
ド、２５０はデータフィールドである。ルーティングフ
ィールド２１０，２２０はパケットの先頭に置かれ、転
送先ノードのポート情報として、２１０には各ＸＢＸの
選択すべき出力ポートを表す情報が格納され、２２０に
は各ＸＢＸの選択すべき出力ポートを示す情報が格納さ
れる。２５０には転送すべきデータが格納される。

【００１１】本実施例では、ＸＢＸルーティングフィー
ルド２１０には、転送先ノード番号を４ビットの２進数
で表わした場合の下位２ビットをデコードした値（４ビ
ット）即ち、ＸＢＸの出力ポート番号を示す値が、ま
た、ＸＢＹルーティングフィールド２２０には、同様に
転送先ノード番号を２進数で表わした場合の４ビット中
の上位２ビットをデコードした値（４ビット）、即ち、
ＸＢＹの出力ポート番号を示す値が格納される。図３
に、ノード０〜１５に対応するルーティングフィールド
２１０，２２０の値を示す。

【００１２】例えば、ノード１からノード７へパケット
を転送する際、ノード１では、ＸＢＸルーティングフィ
ールド２１０にＸＢＸ出力ポート番号３を示す“０００
１”を、また、ＸＢＹルーティングフィールド２２０に
ＸＢＹ出力ポート番号１を示す“０１００”を各々格納
して、例えば、出力信号線１oＸよりＸＢＸ０へ送出す
る。なお、ＸＢＸ０へ送出するか、ＸＢＹ１へ送出する
かは、乱数や結合網の通信負荷バランス、もしくはそれ
らの組み合わせで決定される。

【００１３】ここで、分割運転を実施しない場合、ＸＢ
Ｘ０では、ノード１が送出したパケットを入力ポート１
より受信し、該パケットのＸＢＸルーティングフィール
ド２１０の“０００１”に従って、出力ポート３より該
パケットを送出する。該パケットをノード３が入力信号
線３iＸより受信し、ＸＢＸ／ＸＢＹにルーティングフ
ィールドより自分宛でないことを確認すると、該パケッ
トを出力信号線３oＹよりＸＢＹ３へ送出する。ＸＢＹ
３では、該パケットを入力ポート０より受信し、該パケ
ットのＸＢＹルーティングフィールド２２０の“０１０
０”に従って、出力ポート１より該パケットを送出す
る。該パケットをノード７が入力線７iＹより受信し、
ＸＢＸ／ＸＢＹルーティングフィールドより自分宛であ
ることを確認し、該パケットを取り込む。

【００１４】これが分割運転を実施しない場合の一般的
動作であるが、以下に、図１の実施例の分割運転につい
て説明する。

【００１５】図１において、ノード０，１，８，９を第
１分割グループ、ノード２，３，１０，１１を第２分割
グループ、ノード４，５，１２，１３を第３分割グルー
プ、ノード６，７，１４，１５を第４分割グループとし
て、計４グループに分割し、各グループ単位で分割運転
を行うとする。このため、クロスバスイッチを各々論理
的にパーティション０、パーティション１に２分割す
る。この場合、図１に示すように、Ｘ方向クロスバスイ
ッチＸＢＸ０〜ＸＢＸ３では、ポート０と１をパーティ
ション０、ポート２と３をパーシィション１に割り当
て、Ｙ方向クロスバスイッチＸＢＹ０〜ＸＢＹ３では、
ポート０と２をパーティション０、ポート１と３をパー
シィション１に割り当てる。図４に、各ノードの分割グ
ループとＸＢＸ、ＸＢＹのパーティションの対応関係を
示す。

【００１６】後述するように、各ノードは、自ノードが
属する分割グループに対応する、ＸＢＸ、ＸＢＹの各パ
ーティションに属する出力ポート情報（出力可能ポート
情報）を分割情報として格納する分割情報レジスタを具
備する。また、各クロスバスイッチは、自クロスバスイ
ッチを論理的に分割する各パーティションに属する入出
力ポート情報を分割構成情報として格納する構成情報レ
ジスタを具備する。分割運転を行う前に、各グループの
ノードの分割情報レジスタ、各クロスバスイッチの構成
情報レジスタに当該情報を格納しておく。

【００１７】分割運転時、各ノード、各クロスバスイッ
チでは、パケットを送出するに先立ち、該パケットのル
ーティングフィールドの内容を該当レジスタにあらかじ
め格納されている情報と照合して、パケット送出の可否
を確認する。その結果、送出可であれば、パケットを送
出し、不可であれば、パケットの送出を中止する。これ
により、各分割グループ、即ち、ＸＢＸ、ＸＢＹの各パ
ーティションのグループに属するノード群ごとのデータ
転送が実現する。

【００１８】以下、各ノード、各クロスバスイッチの具
体的構成例について説明する。図５は、本実施例のノー
ドの構成例を示す。ここでは、図１中のノード１を例に
とるが、他のノードも同様の構成である。図５におい
て、１００は演算ユニット、１０５はローカルメモリ、
１１５は通信ユニットであり、これらは内部バス１１０
で相互接続される。該ノード１には、入力信号線Ｉi
Ｘ，ＩiＹに各々接続される入力ポートiＸ，iＹ、及
び、出力信号線ＩoＸ，ＩoＹに各々接続される出力ポー
トoＸ，oＹがある。入力ポートiＸ，iＹは各々信号線１
１１，１１２で通信ユニット１１５に接続され、通信ユ
ニット１１５は各々信号線１１３，１１４で出力ポート
oＸ，oＹに接続される。１２０は分割情報レジスタ、１
２１はエラー情報レジスタ１２１であり、通信ユニット
１１５に設けられる。

【００１９】演算ユニット１００は、あるノードにデー
タを転送する際、先頭にルーティングフィールドを付加
したパケットをローカルメモリ１０５に生成する。通信
ユニット１１５は、該ローカルメモリ１０５のパケット
を出力ポートoＸあるいはoＹから送出する。また、通信
ユニット１１５は、入力ポートiＸあるいはiＹで受信し
たパケットが自ノード宛の場合、該パケットをローカル
メモリ１０５へ転送する。一方、自ノード宛でない場
合、入力ポートiＸで受信したパケットは出力ポートoＹ
へ送出し、入力ポートiＹで受信したパケットは出力ポ
ートoＸへ送出する。

【００２０】ここで、入力ポートiＸ，iＹで受信したパ
ケットあるいは自ノードで生成したパケットを出力ポー
トoＸ，oＹに送出する際、通信ユニット１１５にて、該
パケットのルーティングフィールドの内容を分割情報レ
ジスタ１２０の分割情報と照合して、パケット送出の可
否を確認する。その結果、不可であれば、該パケットの
送出を中止し、エラー情報レジスタ１２１をオンとす
る。

【００２１】図６は、分割情報を格納する分割情報レジ
スタ１２０の構成例を示す。該レジスタ１２０に格納さ
れる分割情報は、当該ノードが接続されるＸＢＸ，ＹＢ
Ｙの各パーティションの出力ポート情報である。このＸ
ＢＸ，ＹＢＹの当該パーティションに属する出力ポート
は、該ＸＢＸ，ＹＢＹに接続されるノードから入力した
パケットの送出が許可されるポート（出力可能ポート）
を意味している。

【００２２】本実施例では、分割情報レジスタ１２０は
８ビットからなる。該分割情報レジスタ１２０の上位４
ビットは上位から順番に、Ｘ方向クロスバスイッチ（Ｘ
ＢＸ）の出力ポート０から３に対応しており、下位４ビ
ットは上位から順番に、Ｙ方向クロスバスイッチ（ＸＢ
Ｙ）の出力ポート０から３に対応している。各ビットに
１が設定されている場合は、そのビットに対応するクロ
スバスイッチの出力ポートからパケットを送出できるこ
とを示す。該分割情報レジスタ１２０に格納されている
分割情報が等しいノード同士が同一の分割グループに属
することになる。

【００２３】図７に、図１に示す分割運転を行う場合
の、各分割グループに属するノードの分割情報レジスタ
１２０に格納される分割情報の具体的ビットパターンを
示す。例えば、図１より、第１分割グループに属する各
ノードは、各々、ＸＢＸ０，ＸＢＸ２のパーティション
０、ＸＢＹ０，ＸＢＹ１のパーティション０のポートに
接続されている。ここで、各ＸＢＸのパーティション０
のポート番号は０と１、また、各ＸＢＹのパーティショ
ン０のポート番号は０と２である。したがって、第１分
割グループに属する各ノードの分割情報レジスタ１２０
の、上位４ビットは“１１００”、下位４ビットは“１
０１０”であり、全体では“１１００１０１０”とな
る。同様にして、第２乃至第４分割グループに属する各
ノードの分割情報レジスタ１２０の内容は、各々、“０
０１１１０１０”、“１１０００１０１”，“００１１
０１０１”となる。

【００２４】なお、分割運転を実施しない場合は、各ノ
ードの分割情報レジスタ１２０の全ビットを“１”とす
ればよい。即ち、この場合は、ＸＢＸ，ＸＢＹの全ての
出力ポートからパケットの送出が許可されることを示し
ている。

【００２５】図８は、本実施例でノードを相互結合する
クロスバスイッチの構成例を示す。ここでは、図１中の
ＸＢＸ０を例にとるが、他のクロスバスイッチも同様の
構成である。各クロスバスイッチは、入出力ポートを各
々４個持っており、順番に０〜３のポート番号が付けら
れている。ＸＢＸ０では、入力ポート０〜３は各々入力
信号線０i０〜０i３に接続され、出力ポート０〜３は各
々出力信号線０o０〜０o３に接続される。ここで、入力
信号線０i０〜０i３、出力信号線０o０〜０o３は、各々
図１のノード０〜３の出力信号線０oＸ〜３oＸ、入力信
号線０iＸ〜３iＸに対応する。１３０は構成情報レジス
タ、１３１はエラー情報レジスタである。

【００２６】クロスバスイッチは、入力ポート０〜３の
いずれかに到来したパケットを、該パケットのルーティ
ングフィールドの転送先ノード情報にもとづいて、出力
ポート０〜３のいずれかを選択して送出す。この時、該
パケットのルーティングフィールドの内容を構成情報リ
ジスタ１３０の分割構成情報と照合して、パケット送出
の可否を確認する。その結果、不可であれば、該パケッ
トの送出を中止し、エラー情報レジスタ１３１をオンと
する。

【００２７】図９は、クロスバスイッチ内の分割構成情
報を格納する構成情報レジスタ１３０の構成例を示す。
該レジスタ１３０に格納される分割構成情報は、該クロ
スバスイッチを論理的に分割する各パーティションに属
する入出力ポート情報である。パケット転送は、該レジ
スタ１３０の分割構成情報で示される同一パーティショ
ンに属する入力ポートと出力ポート間でのみ許可され
る。

【００２８】本実施例では、図１に示す分割運転を行う
ため、各クロスバスイッチをパーティション０、パーテ
ィション１に２分割している。これに対応して、構成情
報レジスタ１３０は、パーティション０に属する入力ポ
ート構成情報を格納する入力ポート構成情報レジスタ
（０）１３１、出力ポート構成情報を格納する出力ポー
ト構成情報レジスタ（０）１３２、パーティション１に
属する入力ポート情報構成を格納する入力ポート構成情
報レジスタ（１）１３３、出力ポート構成情報を格納す
る出力ポート構成情報レジスタ（１）１３４の計４個の
レジスタからなる。各レジスタ１３１〜１３４は４ビッ
トからなる。これらレジスタのビットは上位から順番
に、各々クロスバスイッチの入力ポート０〜３、出力ポ
ート０〜３に対応しており、各パーティションに属する
入力ポートに対応するビットに“１”、出力ポートに対
応するビットに“１”を各々格納し、各パーティション
毎に、“１”の立っている入出力ポート間でパケットを
転送できることを示す。

【００２９】図１０に、図１に示す分割運転を行う場合
の、ＸＢＸ０〜ＸＢＸ３，ＸＢＹ０〜ＸＢＹ３における
パーティション０の各入／出力ポート構成情報レジスタ
１３１，１３２、及び、パーティション１の各入／出力
ポート構成情報レジスタ１３３，１３４に格納される入
／出力構成情報の具体的ビットパターンを示す。例え
ば、図１より、ＸＢＸ０のパーティション０に属する入
出力ポートはポート番号０と１である。したがって、入
力ポート構成情報レジスタ（０）１３１と出力ポート構
成情報レジスタ（０）１３２の内容は各々“１１００”
となり、ＸＢＸ０のパーティション０では、入力ポート
０，１のパケットを出力ポート０，１に送出できること
を示している。また、ＸＢＸ０のパーティション１に属
する入出力ポートはポート番号２と３である。したがっ
て、入力ポート構成情報レジスタ（１）１３３と出力構
成情報レジスタ（１）１３４の内容は各々“００１１”
となり、ＸＢＸ０のパーティション１では、入出力ポー
ト２，３のパケットを出力ポート２，３に送出できるこ
とを示している。他のＸＢＸ，ＸＢＹの各レジスタ１３
１〜１３４についても同様である。

【００３０】なお、分割運転を実施しない場合は、各ク
ロスバスイッチの構成情報レジスタ１３０中のパーティ
ション０の入出力ポート構成情報レジスタ１３１，１３
２に全ビット“１”を格納し、パーティション１の入出
力ポート構成情報レジスタ１３３，１３４に全ビット
“０”を格納する。即ち、各クロスバスイッチの論理分
割を見掛上、パーティション０のみとするのである。こ
れで、各クロスバスイッチが分割されず、全ての入力ポ
ートからパケットを受信し、全ての出力ポートからパケ
ットを送信できることになる。

【００３１】次に、本実施例の分割運転時の動作につい
て、同一の分割グループ内の任意のノード間の１対１通
信を例に説明する。ここでは、図１において、第１分割
グループ内のノード１からノード８へパケットを転送す
ると仮定する。分割運転を行う前に、あらかじめ各グル
ープのノードの分割情報レジスタ１２０には、図７に示
す情報を、また、各クロスバスイッチの構成情報レジス
タ１３０の各レジスタ１３１〜１３４には、図１０に示
す情報を格納しておく。

【００３２】分割運転時、第１分割グループ内に属する
ノード１からノード８へパケットを転送する際、ノード
１の演算ユニット１００は、図２に示すパケット２００
として、図３より、ＸＢＸルーティングフィールド２１
０には、転送先ノード番号８を２進数で表わした“１０
００”の下位２ビットをデコードした値、即ち、ＸＢＸ
の出力ポート番号０を示す値“１０００”を、ＸＢＹル
ーティングフィールド２２０には、同転送先ノード番号
８を２進数で表わした“１０００”の上位２ビットをデ
コードした値、即ち、ＸＢＹの出力ポート番号２を示す
値“００１０”を、また、データフィールド２５０には
転送データを各々格納し、該パケット２００を内部バス
１１０を通してローカルメモリ１０５に生成する。次
に、演算ユニット１００は、例えば乱数を発生させた結
果、使用する出力ポートをoＸとし、内部バス１１０を
通して通信ユニット１１５に、該パケット２００の転送
指示をする。通信ユニット１１５は、演算ユニット１０
０からパケット２００の転送指示を受けると、内部バス
１１０を通して、ローカルメモリ１０５から転送すべき
パケット２００を読み出し、該パケット２００のＸＢＸ
ルーティングフィールド２１０の値“１０００”から分
割情報レジスタ１２０の上位４ビット中の、ＸＢＸ出力
ポート０と対応したビット（１ビット目）を参照し、該
当ビットに“１”が格納されており、且つ、該パケット
２００のＸＢＹルーティングフィールド２２０の値“０
０１０”から分割情報レジスタ１２０の下位４ビットの
中の、ＸＢＹ出力ポート２と対応したビット（３ビット
目）を参照し、該当ビットに“１”が格納されているか
を確認する。本例では、図７より、ノード１の通信ユニ
ット１１５内の分割情報レジスタ１２０は“１１００１
０１０”であり、その上位４ビット中のＸＢＸ出力ポー
ト０と対応したビット（１ビット目）は“１”、且つ、
下位４ビット中のＸＢＹ出力ポート２と対応したビット
（３ビット目）も“１”であり、照合がとれる。そこ
で、通信ユニット１１５は、指定された出力ポートoＸ
から出力信号線１oＸを通してＸＢＸ０に、該読み出し
たパケット２００を転送する。

【００３３】なお、ノード１の通信ユニット１１５は、
転送パケットのルーティングフィールド２１０，２２０
の値から分割情報レジスタ１２０の該当出力ポートと対
応した２ビットを参照して、何れか一つのビットにでも
“１”が格納されていなかったならば、パケットの転送
処理を中止し、内部バス１１０を介して演算ユニット１
００に割り込みを発生する。または、図５に示すエラー
情報レジスタ１２１をオンとする。

【００３４】ＸＢＸ０は、ノード１からのパケット２０
０を、入力ポート１が受け取る。該ＸＢＸ０は、まず、
図９に示す入力ポート構成情報レジスタ１３１，１３３
中の入力ポート１と対応したビットを参照し、該当ビッ
トに“１”が格納されている側のパーティションを選択
する。本例では、図１０中のＸＢＸ０のレジスタ１３
１，１３３の内容より、パーティション０を選択する。
次に、パケット２００のＸＢＸルーティングフィールド
２１０の値“１０００”を参照し、出力ポート０を選択
する。次に、パーティション０の出力ポート構成情報レ
ジスタ１３２の出力ポート０に対応するビットを参照
し、該当ビットに“１”が格納されているか確認する。
本例では、図１０中のＸＢＸ０のレジスタ１３２の内容
より、該当ビットに“１”が格納されているので、ＸＢ
Ｘ０は、出力ポート０より出力信号線０o０を通して、
該信号線０o０（入力信号線０iＸ）と接続されているノ
ード０にパケット２００を転送する。

【００３５】パケット２００を受け取ったノード０の通
信ユニットは、該パケットの転送先ノード番号を示すＸ
ＢＸ／ＸＢＹルーティングフィールドが自ノード０宛で
ないことを確認し、さらに、ノード１の場合に、該ルー
ティングフィールドの値と該通信ユニット内の分割情報
レジスタ１２０の値を照合して、照合がとれたことを確
認した後、出力ポートＹから信号線０oＹを通してパケ
ット２００をＸＢＹ０に転送する。

【００３６】ＸＢＹ０は、ノード０からのパケット２０
０を、入力ポート０が受け取ると、まず、該ＸＢＹ０の
入力ポート構成情報レジスタ１３１，１３３の入力ポー
ト０と対応したビット（１ビット目）を参照し、本例で
は、図１０より、該当ビットに“１”が格納されている
パーティション０を選択する。次に、パケット２００の
ＸＢＹルーティングフィールド２００の値“００１０”
を参照し、出力ポート２を選択する。次に、パーティシ
ヨン０の出力ポート構成情報レジスタ１３２の出力ポー
ト２に対応するビット（３ビット目）を参照し、本例で
は、図１０より、該当ビットに“１”が格納されている
のを確認した後、出力ポート２から信号線８o２を通し
て、該信号線８o２（入力信号線８iＹ）と接続されてい
るノード８にパケット２００を転送する。

【００３７】パケット２００を受け取ったノード８の通
信ユニットは、該パケットの転送先ノード番号を示すル
ーティングフィールドが自ノード宛であることを確認す
ると、該パケットをローカルメモリへ取り込み、演算ユ
ニットにパケット受信を通知する。

【００３８】なお、クロスバスイッチＸＢＸ０，ＸＢＹ
０は、その構成情報レジスタの各入力／出力ポート構成
情報レジスタのビットを参照した際に、何れか一つのビ
ットにでも“１”が格納されていなければ、パケットの
転送処理は中止し、エラー情報レジスタ１３１をオンと
する。

【００３９】次に、本実施例の分割運転において、同一
の第１分割グループに属するノード１からノード８へパ
ケットを転送する際に、ＯＳ等のエラーが発生し、ノー
ド１が他の第３分割グループに属するノード４を転送先
に指定した場合の動作を説明する。

【００４０】ノード１の演算ユニット１００は、パケッ
トの転送先ノード番号８をノード番号４と誤って指定し
た場合、図２のパケット２００として、図３より、ＸＢ
Ｘルーティングフィールド２１０には、ノード番号４を
２進数で表わした“０１００”の下位２ビットをデコー
ドした値、即ち、ＸＢＸの出力ポート番号０を示す値
“１０００”を、ＸＢＹルーティングフィールド２２０
には、同ノード番号“０１００”の上位２ビットをデコ
ードした値、即ち、ＸＢＹの出力ポート番号１を示す値
“０１００”を、データフィールド２５０には転送デー
タを各々格納し、該パケット２００を内部バス１１０を
通してローカルメモリ１０５に生成する。次に演算ユニ
ット１００は、乱数を発生させた結果、例えば使用する
出力ポートをoＸとし、内部バス１１０を通して通信ユ
ニット１１５に該パケット２００の転送指示をする。通
信ユニット１１５は、演算ユニット１００からパケット
２００の転送指示を受けると、内部バス１１０を通し
て、ローカルメモリ１０５から転送すべきパケット２０
０を読み出し、該パケット２００のＸＢＸルーティング
フィールド２１０の値“１０００”から分割情報レジス
タ１２０の上位４ビット“１１００”中の、ＸＢＸ出力
ポート０と対応したビット（１ビット目）を参照し、当
該ビットに“１”が格納されていることを確認する。次
に、パケット２００のＸＢＹルーティングフィールド２
２０の値“０１００”から分割情報レジスタ１２０の下
位４ビット“１０１０”中の、ＸＢＹ出力ポート１と対
応したビット（２ビット目）を参照するが、当該ビット
は“０”である。このため、ノード１の通信ユニット１
１５は、パケットの転送処理を中止し、バス１１０を介
して演算ユニット１００に割り込みを発生させる。また
は、エラー情報レジスタ１２１をオンとする。

【００４１】これにより、分割運転時、転送元ノードが
誤って自分の属する分割グループとは別の分割グループ
のノードを転送先に指定した場合、該転送元ノードにて
直ちにパケットの転送を抑止できる。

【００４２】次に、本実施例の分割運転において、同一
の第１分割グループ内に属するノード１からノード８へ
パケットを転送する際に、ノード１とＸＢＸ０間でノイ
ズが発生し、ビット化けにより転送先ノード番号が８と
１２の両方に変わった場合の動作を説明する。

【００４３】ノード１の演算ユニット１００は、先と同
様に、ＸＢＸルーティングフィールドに、転送先ノード
番号８を２進数で表わした“１０００”の下位２ビット
をデコードした値、即ち、ＸＢＸの出力ポート番号０を
示す値“１０００”を、ＸＢＹルーティングフィールド
に、同転送先ノード番号８を２進数で表わした“１００
０”の上位２ビットをデコードした値、即ち、ＸＢＹの
出力ポート２を示す値“００１０”を、転送データフィ
ールドに転送データを各々格納し、図２に示されるパケ
ット２００を内部バス１１０を通してローカルメモリ１
０５に生成する。次に、演算ユニット１００は、例えば
使用する出力ポートをoＸとし、内部バス１１０を通し
て通信ユニット１１５に該パケット２００の転送指示を
する。通信ユニット１１５は、演算ユニット１００から
パケット２００の転送指示を受けると、内部バス１１０
を通して、ローカルメモリ１０５から該パケット２００
を読み出し、パケット２００のＸＢＸルーティングフィ
ールド２１０の値“１０００”から分割情報レジスタ１
２０の上位４ビット中の、ＸＢＸ出力ポート０と対応し
たビット（第１ビット目）を参照し、該当ビットに
“１”が格納されており、且つ、ＸＢＹルーティングフ
ィールド２２０の値“００１０”から分割情報レジスタ
１２０の下位４ビット中の、ＸＢＹ出力ポート２と対応
したビットを参照し、該当ビットに“１”が格納されて
いるのを確認した後、指定された出力ポートoＸから出
力信号線１oＸを通してＸＢＸ０に該パケット２００を
転送する。

【００４４】ノード１からＸＢＸ０へパケット２００を
転送中にノイズが発生し、該パケット２００のＸＢＹル
ーティングフィールド２２０の値が“００１０”から
“００１１”、即ち、ＸＢＹの出力ポートが２と３を示
す値に代わったとする。

【００４５】ＸＢＸ０は、ノード１からのパケット２０
０を、入力ポート１が受け取る。該ＸＢＸ０は、入力ポ
ート構成情報レジスタ１３１，１３３の入力ポート１と
対応したビット（２ビット目）を参照し、図１０より、
該当ビットに１が格納されているパーティション０を選
択する。次に、パケット２００のＸＢＸルーティングフ
ィールド２１０の値“１０００”を参照し、出力ポート
０を選択する。次に、パーティション０の出力ポート構
成情報レジスタ１３２の出力ポート０に対応するビット
（１ビット目）を参照し、図１０より、該当ビットに
“１”が格納されているのを確認する。そこで、ＸＢＸ
０は、出力ポート０より出力信号線０o０を通して、該
信号線０o０（入力信号線０iＸ）と接続されているノー
ド０にパケット２００を転送する。

【００４６】パケット２００を受け取ったノード０の通
信ユニットは、該パケット２００の転送先ノード番号を
示すＸＢＸ／ＸＢＹルーティングフィールドが自ノード
０でないことを確認し、また、該ルーティングフィール
ドの値と自分割情報レジスタ１２０の値の照合がとれて
いることを確認した後、出力ポートＹから出力信号線０
oＹを通してパケット２００をＸＢＹ０に転送する。

【００４７】ＸＢＹ０は、ノード０からのパケット２０
０を、入力ポート０が受け取る。該ＸＢＹ０は、入力ポ
ート構成情報レジスタ１３１，１３３の入力ポート０と
対応したビット（１ビット目）を参照し、図１０より、
該当ビットに“１”が格納されているパーティション０
を選択する。次に、パケット２００のＸＢＹルーティン
グフィールド２２０の値“００１１”を確認し、出力ポ
ート２と３を選択する。そこで、パーティション０の出
力ポート構成情報レジスタ１３２の出力ポート２、３に
対応するビット（３と４ビット目）を参照し、該当ビッ
トに“１”が格納されているか確認する。図１０より、
ＸＢＹ０のパーティション０の出力構成情報レジスタ１
３２は“１０１０”であり、出力ポート２に対応するビ
ット３は“１”が格納されているが、出力ポート３に対
応するビット４は“０”が格納されている。このため、
ＸＢＹ０は、パケット２００の転送処理を中止し、エラ
ー情報レジスタ１３１をオンとする。

【００４８】以上の様に、転送パケットのルーティング
フィールドを基に、逐次、各ノードの通信ユニットの分
割情報レジスタ、また、各クロスバスイッチの構成情報
レジスタの情報を参照することにより、他の分割グルー
プにパケットが転送されないことを保証し、相互結合網
の分割運転の信頼性が向上する。

【００４９】次に、本実施例において、任意のノードか
らの同一の分割グループ内へのブロードキャストについ
て説明する。ここでは、ノードから該同一分割グループ
内のノード０，８，９にパケットをブローキャストする
ものとする。

【００５０】ノード１から同一分割グループ内へブロー
ドキャストする際に、ノード１の演算ユニット１００
は、内部バス１１０を通して、通信ユニット１１５にあ
る分割情報レジスタ１２０の内容“１１００１０１０”
（図７）を読み出し、当該上位４ビットの値“１１０
０”をＸＢＸルーティングフィールドに、該下位４ビッ
トの値“１０１０”をＸＢＹルーティングフィールドに
格納し、転送するデータをデータフィールドに格納する
ことにより、図２に示されるパケット２００をローカル
メモリ１０５に生成する。次に、演算ユニット１００は
乱数等を発生させた結果、例えば使用する出力ポートを
oＸとし、内部バス１１０を通して通信ユニット１１５
に、該パケット２００の転送指示をする。通信ユニット
１１５は、演算ユニット１００からパケット２００の転
送指示を受けると、内部バス１１０を通して、ローカル
メモリ１０５から転送すべきパケット２００を読み出
し、該パケット２００のＸＢＸルーティングフィールド
の値“１１００”から分割情報レジスタ１２０の上位４
ビット中の、ＸＢＸ出力ポート０、１と対応したビット
（０と１ビット目）を参照し、それらのビットに各々
“１”が格納されており、且つ、該パケット２００のＸ
ＢＹルーティングフィールドの値“１０１０”から分割
情報レジスタ１２０の下位４ビット中の、ＸＢＹ出力ポ
ート０、２と対応したビット（１と３ビット目）を参照
し、それらのビットに各々１が格納されていることを確
認し、指定された出力ポートoＸから出力信号線１oＸを
通してＸＢＸ０に、該読み出したパケット２００を転送
する。

【００５１】なお、ノード１の通信ユニット１１５は、
該転送パケット２００のルーティングフィールドの値か
ら分割情報レジスタ１２０の出力ポートと対応したビッ
トを参照した際に、何れか一つのビットにでも“１”が
格納されていなかったならば、パケットの転送処理を中
止し、内部バス１１０を介して演算ユニット１００に割
り込みを発生させる。または、エラー情報レジスタ１２
１をオンとする。

【００５２】ＸＢＸ０は、ノード１からのパケット２０
０を、入力ポート１が受け取る。該ＸＢＸ０は、入力ポ
ート構成情報レジスタ１３１，１３３の入力ポート１と
対応したビット（２ビット目）を参照し、本例では、図
１０より、該当ビットに１が格納されているパーティシ
ョン０を選択する。次に、パケット２００のＸＢＸルー
ティングフィールドの値“１１００”を参照し、出力ポ
ート０、１を選択する。次に、パーティション０の出力
ポート構成情報レジスタ１３２の出力ポート０、１に対
応するビット（１と２ビット目）を参照し、本例では、
図１０より、該当ビットに“１”が格納されているのを
確認する。そこで、ＸＢＸ０は、出力ポート０、１の出
力信号線０oＸ、１oＸを通して、該信号線０oＸ、１oＸ
と接続されているノード０、ノード１にパケット２００
を転送する。

【００５３】パケット２００を受け取ったノード０、ノ
ード１の各通信ユニットは、該パケットがブロードキャ
ストであることを確認した後、それぞれの出力ポートか
ら出力信号線０oＹ、１oＹを通してパケット２００をＸ
ＢＹ０、ＸＢＹ１に転送する。

【００５４】ＸＢＹ０，ＸＢＹ１は、各々ノード０、１
からのパケット２００を、入力ポート０で受け取る。該
ＸＢＹ０、ＸＢＹ１は、各々入力ポート構成情報レジス
タ１３１，１３３の入力ポート０と対応したビット（１
ビット目）を参照し、本例では、該当ビットに“１”が
格納されているパーティション０を選択する。次に、Ｘ
ＢＹ０、ＸＢＹ１は、各々パケット２００のＸＢＹルー
ティングフィールドの値“１０１０”を確認し、出力ポ
ート０、２を選択する。次に、ＸＢＹ０、ＸＢＹ１は、
それぞれのパーティション０の出力ポート構成情報レジ
スタ１３２の出力ポート０、２に対応するビット（１と
３ビット目）を参照し、そのビットに１が格納されてい
るのを確認した後、各々出力信号線０oＹ、８oＹ、１o
Ｙ、９oＹと接続されているノード０、ノード８、ノー
ド１、ノード９にパケット２００を転送する。

【００５５】なお、各クロスバスイッチＸＢＸ０，ＸＢ
Ｙ０，ＸＢＹ１の構成情報レジスタのビットを参照した
際に、何れか一つの該当ビットにでも“１”が格納され
ていなければ、パケットの転送処理は中止し、エラー情
報レジスタ１３１をオンとする。

【００５６】以上、本発明の一実施例として、各ＸＢ
Ｘ，ＸＢＹの入出力ポートをパーティション０、パーテ
ィション１に２分割する場合について説明したが、本発
明は一般的に、ＸＢＸの入出力ポートをＭ分割、ＸＢＹ
の入出力ポートをＮ分割する任意の組み合せに適当可能
である（ただし、Ｍ，Ｎは１から最大ポート数）。この
場合、ＸＢＸ，ＸＢＹには、ＭあるいはＮ組の各入出力
ポート構成情報レジスタを設ければよい。

【００５７】

【発明の効果】本発明によれば、並列計算機の分割運転
時、ノードが分割情報レジスタを基に転送パケットの各
ルーティングフィールドの決定や確認を行い、また、ク
ロスバスイッチが構成情報レジスタのビットを基に各ル
ーティングフィールドの確認を行うことにより、他の分
割グループにパケットが転送されないことを保証し、高
信頼性の分割運転が可能になる。該相互結合網の分割運
転を行っている。

【図面の簡単な説明】

【図１】本発明の一実施例の並列計算機を示す構成図で
ある。

【図２】通信パケットの構成例を示す図である。

【図３】転送先ノード番号とルーティングフィールドの
対応を示す図である。

【図４】分割グループとパーティションの対応を示す図
である。

【図５】ノードの構成例を示す図である。

【図６】ノード内の分割情報レジスタの構成例を示す図
である。

【図７】実施例における分割情報レジスタのビットパタ
ーンを示す図である。

【図８】クロスバスイッチの構成例を示す図である。

【図９】クロスバスイッチ内の構成情報レジスタの構成
例を示す図である。

【図１０】実施例における構成情報レジスタのビットパ
ターンを示す図である。

【符号の説明】１〜１５ノードＸＢＸ０〜ＸＢＸ３、ＸＢＹ０〜ＸＢＹ３クロスバス
イッチ１２０分割情報レジスタ１３０構成情報レジスタ２００通信パケット２１０，２２０ルーティングフィールド

───────────────────────────────────────────────────── フロントページの続き (72)発明者舟窪伸夫神奈川県秦野市堀山下１番地株式会社日立製作所汎用コンピュータ事業部内

Claims

【特許請求の範囲】

【請求項１】複数個のプロセッサ（以下、ノード）と
いうと、複数個の入出力ポートを持ったクロスバスイッ
チからなる相互結合網で構成された並列計算機におい
て、ノードを複数のグループに分割し、同一グループに
属するノード同士でパケット形式によりデータを転送す
る方法であって、クロスバスイッチの入出力ポートを複数の部分に分割し
（以下、分割した各部分をパーティションという）、各ノードに、自ノードが接続されるクロスバスイッチの
該当パーティションに属する出力ポート情報をあらかじ
め保持し、各ノードは、パケットを転送する前に、該パケットにル
ーティング情報として付加されている転送先ノードのポ
ート情報を前記あらかじめ保持された出力ポート情報と
照合し、照合がとれたならば、自ノードが接続されるク
ロスバスイッチに該パケットを送出し、照合がとれない
場合には該パケットの送出を中止することを特徴とする
並列計算機のデータ転送方法。
【請求項２】複数個のプロセッサ（以下、ノードとい
う）と、複数個の入出力ポートを持ったクロスバスイッ
チからなる相互結合網で構成された並列計算機におい
て、ノードを複数のグループに分割し、同一グループに
属するノード同士でパケット形式によりデータを転送す
る方法であって、クロスバスイッチの入出力ポートを複数の部分に分割し
（以下、分割した各部分をパーティションという）、各クロスバスイッチに、自クロスバスイッチの各パーテ
ィションに属する入出力ポート情報をあらかじめ保持
し、各クロスバスイッチは、パケットを入力ポートで受信す
ると、入力ポート情報により該入力ポートの属するパー
ティションを選択し、前記受信したパケットにルーティ
ング情報として付加されている転送先ノードのポート情
報を前記選択されたパーティションに属する出力ポート
情報と照合し、照合がとれたならば、該当出力ポートよ
り該パケットを送出し、照合がとれない場合には該パケ
ットの送出を中止することを特徴とする並列計算機のデ
ータ転送方法。
【請求項３】請求項１、２記載の並列計算機のデータ
転送方法において、分割グループの構成変更に応じ、各
ノードの出力ポート情報あるいは各クロスバスイッチの
入出力ポート情報の内容を変更することを特徴とする並
列計算機のデータ転送方法。