JPH11232236A - 並列計算機におけるモニタデータ収集方法及び並列計算機 - Google Patents

Abstract

(57)【要約】 【課題】 複数のノードをスイッチ型のネットワークで
接続した並列計算機において、ネットワーク上のモニタ
データを低コストでリアルタイムに収集する。 【解決手段】 複数ノード１１〜１４を多段のクロスバ
スイッチ１５〜１８を介して接続した並列計算機におい
て、各クロスバスイッチに、入力ポート毎のモニタデー
タを収集するモニタ回路１１２，１１３、モニタデータ
収集用のコンテナパケットが送られてきた際にモニタデ
ータセレクト信号を発行するヘッダデコード回路１０
７，１０８、モニタデータセレクト信号が発行された場
合に接続を入力バッファ１０５，１０６からハードウェ
アモニタ回路１１２，１１３に切り替えるセレクト回路
１１４、１１５を設け、経路上のクロスバスイッチ毎の
モニタデータを格納するコンテナパケットを転送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のノード間を
スイッチ型のネットワークで接続した並列計算機におけ
るネットワークのモニタデータ収集に関し、特に１段あ
るは多段のクロスバスイッチなどのルータで構成された
ネットワークの各ルータから性能評価用モニタデータを
収集する方法及びそれを適用した並列計算機に関する。

【０００２】

【従来の技術】複数のノード間でスイッチ型のネットワ
ークを介してデータ転送を行う並列計算機においては、
ネットワーク中でのデータの滞留をいかに小さくするか
が問題となる。特にネットワーク中でのメッセージの衝
突による待ち時間が発生する可能性のあるネットワーク
では、この待ち時間の低減のための工夫が不可欠であ
る。そこで普段からネットワーク上の各ポイントにおけ
るネットワーク稼働率等の性能モニタデータを収集し、
ホットスポットの検出やメッセージ衝突時の調停方式の
不良によりメッセージの転送が滞るようなポイントの検
出を行う必要がある。

【０００３】従来、ネットワークのモニタリング機能と
しては、ＴＣＰ／ＩＰ（Ｔransmission Ｃontrol Ｐrot
ocol／Ｉnternet Ｐrotocol suite of communications
protocols）のインターネット制御メッセージ・プロト
コル（ＩＣＭＰ）における所謂“ピンギング（pingin
g）”が知られている。これは、ピングコマンドを使っ
てエコー要求を送出し、そのエコー応答メッセージによ
り、ＩＰネットワークの中の特定のホストやノードが正
常に動作しているかどうかを確認するというものであ
る。しかし、このテスト機能は、ノード間の終端間性能
のテストに限られており、前述したようなネットワーク
上の各ポイントにおける性能モニタデータを収集するも
のではない。

【０００４】一方、ＬＳＩの内部情報を読み出す方法と
しては、ＬＳＩをＳＣＡＮネットで接続し、ホスト計算
機やサービスプロセッサ（ＳＶＰ）からのＳＣＡＮ命令
で該ＬＳＩの内部レジスタの値を直接読み出す方法が知
られている。この方法を用いることによりネットワーク
上の各ポイントのモニタデータを収集することができ
る。図２はＬＳＩ構成の多段クロスバスイッチで接続さ
れた並列計算システムにおいて、ＳＣＡＮネットを用い
てＬＳＩ ＳＣＡＮを行い、各クロスバスイッチ上のモ
ニタデータの収集を行うシステムの一例である。

【０００５】図２に示したシステムはホスト計算機（ま
たはＳＶＰ）５０、クロスバ（ＸＢ）パッケージ５１〜
５４及び信号線５１０から構成される。ホスト計算機５
０は、ＸＢパッケージ５１〜５４と信号線５１０を介し
て接続されている。ＸＢパッケージ５１はＳＣＡＮコン
トローラ５００、ＸＢ ＬＳＩ５０１〜５０４、信号線
５１１〜５１５から構成され、ＸＢパッケージ５２〜５
４もＸＢパッケージ５１と同様に構成される。ＳＣＡＮ
コントローラ５００は、ＸＢ ＬＳＩ５０１と信号線５
１１を介して、ＸＢ ＬＳＩ５０１はＸＢ ＬＳＩ５０２
と信号線５１２を介して、ＸＢ ＬＳＩ５０２はＸＢ Ｌ
ＳＩ５０３と信号線５１３を介して、ＸＢ ＬＳＩ５０
３はＸＢ ＬＳＩ５０４と信号線５１４を介して、ＸＢ
ＬＳＩ５０４はＳＣＡＮコントローラ５００と信号線５
１５を介してそれぞれ接続される。

【０００６】ホスト計算機５０から発行されたＬＳＩ
ＳＣＡＮ命令は、信号線５１０を介して各ＸＢパッケー
ジ内のＳＣＡＮコントローラ５００へと伝えられる。Ｓ
ＣＡＮコントローラ５００ではＬＳＩ ＳＣＡＮ命令の
デコードが行われ、ＬＳＩ ＳＣＡＮ命令の対象となる
ＸＢＬＳＩが同一のＸＢパッケージ内にある場合は、当
該ＸＢＬＳＩに対してのＳＣＡＮ動作を行い、該ＸＢＬ
ＳＩ内のモニタデータを読み出し、信号線５１０を介し
てホスト計算機５０へ結果を送り戻す。このようにし
て、全ＸＢ ＬＳＩに対してＬＳＩ ＳＣＡＮを行うこと
で、ネットワーク上のすべてのポイントのモニタデータ
を収集することが可能である。

【０００７】しかし、この方法ではすべてのクロスバス
イッチに対してＳＣＡＮネットを接続する必要があり、
システムの規模が大きくなりネットワークに必要なクロ
スバスイッチが増えるのに伴ってハードウェア量は増加
する。また、全経路のクロスバスイッチのモニタデータ
を同時にリアルタイムに収集しようとした場合は、すべ
てのクロスバスイッチに対してホスト計算機から専用線
を張る等の手段が必要であり、これはさらにハードウェ
ア量の増加を招く。

【０００８】さらに、収集したモニタデータをノード上
で稼働中の並列プログラムが利用しようとする場合は、
上記構成の他にホスト計算機からノードへデータを送る
ための何らかの手段が必要となり、これもハードウェア
量の増加を招くことになる。

【０００９】

【発明が解決しようとする課題】上述のように、従来技
術では、複数のノードを多段のルータで構成されたネッ
トワークを介して接続した並列計算機における各ルータ
の性能モニタデータを、あまりハードウエア量を増加さ
せることなく、低コストで効果的に収集することはでき
なかった。

【００１０】本発明の目的は、１段あるいは多段のルー
タで構成されたネットワークを持つ並列計算機における
各ルータの性能モニタデータを低コストでリアルタイム
に、かつ、ノード上の並列プログラムが直接利用できる
ように収集する方法及びそれを適用した並列計算機を提
供することにある。

【００１１】

【課題を解決するための手段】本発明は、複数の入力ポ
ートと複数の出力ポートを備えたルータを１段あるいは
多段に接続したネットワークを介して、複数のノード間
でメッセージ転送を行う並列計算機において、ノードか
ら前記ネットワークにモニタデータ収集メッセージを流
し、ルータは、入力ポートに前記モニタデータ収集メッ
セージが到来すると、該モニタデータ収集メッセージの
所定位置に当該ルータの該当経路のモニタデータを格納
して出力ポートへ転送することを特徴とする。

【００１２】また、本発明は、複数のノードから並列に
モニタデータ収集メッセージをネットワークに流し、複
数経路のモニタデータを収集することを特徴とする。

【００１３】また、本発明は、複数の入力ポートと複数
の出力ポートを備え、入力ポートに入力されるメッセー
ジを任意の出力ポートへ出力するルータを１段あるいは
多段に接続したネットワークを介して複数のノード間で
メッセージ転送を行う並列計算機において、各ルータ
は、各入力ポート対応に到着したメッセージを格納する
入力バッファと、前記メッセージの種類を識別する手段
と、各入力ポート対応のモニタデータを採取する手段
と、前記メッセージがモニタデータ収集メッセージの場
合には、当該メッセージの所定位置に当該入力ポートの
モニタデータを格納して出力ポートへ転送する手段とを
有することを特徴とする。

【００１４】このように、本発明では、ネットワークの
所望経路上のモニタデータをモニタデータ収集用の言わ
ば、コンテナパケット内に格納して受信ノードに送るこ
とで、ＳＣＡＮネットや専用線等を必要とせずにモニタ
データの収集を行うことができる。さらに、コンテナパ
ケットを複数のノードから並列に転送することで、同時
に複数経路のモニタデータが収集でき、ネットワーク全
体のハードウェアモニタをリアルタイムで行うことがで
きる。また、収集したモニタデータは受信ノードのメモ
リ内に格納されるため、ノード上で稼動する並列プログ
ラムがその結果を利用することも容易である。

【００１５】

【発明の実施の形態】以下、本発明の一実施の形態を図
面により詳細に説明する。図１は、本発明の一実施の形
態の、４ノードと２×２段のクロスバスイッチのネット
ワークで構成された並列計算機の全体的ブロック図であ
り、図３は図１中のヘッダデコード回路の構成図、図４
は図１中のプライオリティコントローラの構成図、図５
は図１中のハードウェアモニタ回路の構成図である。

【００１６】図１に示した並列計算機は、４個のノード
（１）１１〜（４）１４、４個のクロスバスイッチ
（１）１５〜（４）１８及び信号線１５０〜１６１から
構成される。各クロスバスイッチ（ルータ）１５〜１８
は、それぞれ入力ポート０，１、出力ポート０，１を有
している。ノード１１，１２は、クロスバスイッチ１５
と信号線１５０，１５１を介してそれぞれ入力ポート
０，１に、また、クロスバスイッチ１７と信号線１５
８，１５９を介してそれぞれ出力ポート０，１に接続さ
れている。ノード１３，１４は、クロスバスイッチ１６
と信号線１５２，１５３を介して、クロスバスイッチ１
８と信号線１６０，１６１を介して接続されている。ク
ロスバスイッチ１５は、クロスバスイッチ１７と信号線
１５４を介して、クロスバスイッチ１８と信号線１５６
を介して接続され、クロスバスイッチ１６は、クロスバ
スイッチ１７と信号線１５５を介して、クロスバスイッ
チ１８と信号線１５７を介して接続される。

【００１７】ノード（１）１１は命令処理装置（ＩＰ）
１０１、主記憶装置（ＭＳ）１０２、メッセージ受信部
（ＲＣＶ）１０３及びメッセージ送信部（ＳＮＤ）１０
４で構成され、ノード（２）１２〜（４）１４もノード
（１）１１と同様に構成される。ここでは、ＳＮＤ１０
４は１サイクルに１ワードのデータ転送を行うとする。
クロスバスイッチ（１）１５は、入力バッファ１０５，
１０６、ヘッダデコード回路（ＨＤ０，１）１０７，１
０８、プライオリティコントローラ（ＰＲＴＣＴＬ）１
０９、プライオリティ回路（ＰＣ０，１）１１０〜１１
１、ハードウェアモニタ回路（ＨＭ０，１）１１２，１
１３、セレクト回路１１４，１１５及び信号線１７０〜
１８５から構成され、クロスバスイッチ（２）１６〜
（４）１８もクロスバスイッチ（１）１５と同様に構成
される。入力バッファ１０５，１０６及びヘッダデコー
ド回路１０７，１０８、ハードウェアモニタ回路１１
２，１１３、セレクト回路１１４，１１５はそれぞれ入
力ポート０，１に対応して設けられ、プライオリティ回
路１１０，１１１は出力ポート０，１に対応してそれぞ
れ設けられる。

【００１８】初めに、クロスバスイッチ１５内の各構成
要素の動作を説明する。入力バッファ１０５，１０６
は、ノード１１，１２対応の入力ポート０，１からのメ
ッセージを信号線１５０，１５１を介してワード単位に
順次受け取り、一時的に格納した後、セレクト回路１１
４，１１５へ転送を行う。ヘッダデコード回路１０７，
１０８は入力バッファ１０５，１０６からその先頭に格
納されているメッセージワードを信号線１７０，１７１
を介して受け取り、メッセージヘッダの検出、デコード
を行う。プライオリティコントローラ１０９はヘッダデ
コード回路１０７，１０８からメッセージヘッダ情報を
信号線１７２，１７３を介して受け取り、その内部で出
力ポート使用要求（リクエスト）の発行及び調停処理を
行い、信号線１７４，１７５を介してプライオリティ回
路１１０，１１１に対してメッセージ送出許可信号を発
行する。プライオリティ回路１１０，１１１はセレクト
回路１１４，１１５からメッセージを信号線１８４，１
８５を介して受け取り、また、プライオリティコントロ
ーラ１０９からメッセージ送出許可信号を信号線１７
４，１７５を介して受け取り、送出許可の下りた入力ポ
ートからのメッセージを信号線１５４，１５６を介して
出力ポート０，１へ転送する。ハードウェアモニタ回路
１１２，１１３は入力ポート０，１をそれぞれ監視し、
採取したモニタデータを信号線１８０，１８１を介して
セレクト回路１１４，１１５に対して送る。セレクト回
路１１４，１１５は入力バッファ１０５，１０６からメ
ッセージを信号線１７０，１７１を介して受け取り、ま
た、ハードウェアモニタ回路１１２，１１３からその採
取したモニタデータを信号線１８０，１８１を介して受
け取り、ヘッダデコード回路１０７，１０８から信号線
１８２，１８３を介してのセレクト信号にしたがい、何
れかの入力をプライオリティ回路１１０，１１１に対し
て送る。

【００１９】次に図５により、まず、ハードウェアモニ
タ回路１１２について説明する。なお、他のハードウェ
アモニタ回路１１３についても同様である。ハードウェ
アモニタ回路１１２はモニタデータカウンタ群４００か
ら構成され、常に入力バッファ１０５を監視してモニタ
データの採取を行っている。本例では、モニタデータカ
ウンタ群４００は、Ｔimerカウンタ、Ｗait Ｔimeカウ
ンタ、通過ワード数カウンタ、及び通過messege数カウ
ンタからなり、それぞれ経過サイクル数、出力ポートが
競合した場合の待ち時間、通過したワード数、通過した
メッセージ数をモニタデータとして採取し、それぞれ信
号線４０１〜４０４を通して出力する。信号線４０１〜
４０４は束ねられて信号線１８０として図１のセレクト
回路１８４へ接続される。

【００２０】図５のモニタデータカウンタ群４００は、
常にカウントアップのみを行う。即ち、Ｔimerカウンタ
はシステム立ち上げからクロックを継続してカウントア
ップし、その総カウント値を経過サイクル数（総経過時
間）とする。Ｗait Ｔimeカウンタは、各メッセージが
入力バッファ１０５に入力されて出力されるまでのサイ
クル数をカウントし、そのシステム立ち上げからの総カ
ウント値を出力ポートが競合した場合の総待ち時間とす
る。通過ワード数カウンタは、システム立ち上げ以降、
入力バッファ１０５を通過したワード数をカウントし、
通過messege数カウンタは、同様にシステム立ち上げ以
降、入力バッファ１０５を通過したメッセージ数（パケ
ット数）をカウントする。

【００２１】次に図３により、ヘッダデコード回路１０
７について説明する。なお、他のヘッダデコード回路１
０８についても同様である。ヘッダデコード回路１０７
は、メッセージヘッダレジスタ２０１、クロスバ（Ｘ
Ｂ）ステージ格納レジスタ２０２、同期ラッチ２０３、
ＡＮＤ回路２０４、セレクト回路２０５、ＡＮＤ回路２
０６，２０７、コンテナラッチ２０８、カウンタラッチ
２０９、２ビットカウンタ２１０、コンパレータ２１
１、ＡＮＤ回路２１２及び信号線２５１〜２６５から構
成される。ここで、ノードからクロスバスイッチに入力
されるメッセージは図６に示すようなフォーマットをし
ており、メッセージヘッダには、同期ビット、コンテナ
パケット識別ビット及び多段構成時のクロスバスイッチ
の各ステージ毎の宛先ポートが含まれているとする。コ
ンテナパケット識別ビットは、メッセージがモニタデー
タ収集用のパケット（以下、コンテナパケットという）
かそれ以外のパケットかを識別するビットである。宛先
ポートには出力ポート数分のビットが設けられ（本例で
は２ビット）、メッセージが出力されるポートに対応す
るビットに“１”が格納されるものとする。従って、本
例では“０１”（出力ポート０）、“１０”（出力ポー
ト１）の何れかの値が設定される。さらに、モニタデー
タ収集用のコンテナパケットは、図７に示すようなフォ
ーマットをしており、メッセージヘッダを含めて５ワー
ドで構成され、データ部の０ワード目にはステージ０の
クロスバスイッチのモニタデータが、１〜３ワード目に
はそれぞれステージ１〜３のクロスバスイッチのモニタ
データが格納されるものとする。

【００２２】図３において、メッセージヘッダレジスタ
２０１はメッセージ転送の際に毎サイクル更新される
が、その内容が有効になるのは入力バッファ１０５から
送られる信号がメッセージの先頭ワード（メッセージヘ
ッダ）の場合だけである。同期ビットは、図６、図７に
示すように、メッセージの先頭で“０”に、最後で
“１”になり、メッセージが到着しない間はずっと
“１”を保持すると定める。従ってメッセージヘッダレ
ジスタ２０１の内容が有効になるのは、同期ビットが
“１”から“０”へ変化した時、即ち、メッセージヘッ
ダが格納された時だけである。コンテナパケット識別ビ
ットは、メッセージがコンテナパケットの場合は“１”
に、それ以外のメッセージの場合は“０”になると定め
る。ＸＢステージ格納レジスタ２０２には、多段構成時
における各クロスバスイッチ毎のステージ数が格納され
るものとする。本実施例では、ネットワークが２段のク
ロスバスイッチからなるため、クロスバスイッチ１５，
１６のＸＢステージ格納レジスタには“０”を、クロス
バスイッチ１７，１８のＸＢステージ格納レジスタには
“１”をそれぞれ格納する。なお、信号線２５１（１ビ
ット）、２６０（２ビット）は、束ねられ３ビットの信
号線１７２としてプライオリティコントローラ１０９に
接続されるとする。

【００２３】次に、ヘッダデコード回路１０７の各構成
要素の動作を説明する。メッセージヘッダレジスタ２０
１は入力バッファ１０５からメッセージワード信号を信
号線１７０を介して受け取り、その内容を毎サイクル更
新する。同期ラッチ２０３はメッセージワード内の同期
ビットを信号線２５１を介して受け取り、１サイクルの
間保持する。ＡＮＤ回路２０４は、メッセージワード内
の同期ビットを信号線２５１を介して受け取り、また、
同期ラッチ２０３から１サイクル前の同期ビットを信号
線２５２を介して受け取り、同期ビットが“１”から
“０”に変化するのを検出してメッセージヘッダを識別
し、ヘッダ識別信号を信号線２５３に出力（アサート）
する。セレクト回路２０５はメッセージヘッダレジスタ
２０１のステージ０〜３宛先ポートをそれぞれ信号線２
５４〜２５７を介して受け取り、ＸＢステージ格納レジ
スタ２０２からクロスバスイッチのステージ数を信号線
２５８を介してセレクト信号として受け取り、該当する
ステージの宛先ポートを出力先ポート信号（２ビット）
として選択する。本例では、セレクト回路２０５は、ス
テージ０宛先ポートを選択する。ＡＮＤ回路２０６はセ
レクト回路２０５から出力先ポート信号を信号線２５９
を介して受け取り、ＡＮＤ回路２０４からヘッダ識別信
号を信号線２５３を介して受け取り、現在入力バッファ
１０５から送られているメッセージワードがメッセージ
ヘッダの場合（ヘッダ識別信号が“１”）のみ、セレク
ト回路２０５の出力先ポート信号を信号線２６０に出力
する。該信号線２６０の出力ポート信号（２ビット）及
び信号線２５１の同期ビット（１ビット）がメッセージ
ヘッダ情報として信号線１７２を介してプライオリティ
コントローラ１０９に対して与えられる。

【００２４】ＡＮＤ回路２０７はメッセージヘッダレジ
スタ２０１内のコンテナパケット識別ビットを信号線２
６１を介して受け取り、また、ＡＮＤ回路２０４からヘ
ッダ識別信号を信号線２５３を介してそれぞれ受け取
り、現在入力バッファ１０５から送られているメッセー
ジワードがメッセージヘッダの場合のみ、コンテナパケ
ット識別ビットの値を信号線２６１へ出力する。コンテ
ナラッチ２０８はメッセージヘッダのコンテナパケット
識別ビットの値を信号線２６１を介してセット入力とし
て、同期ビットの値を信号線２５１を介してリセット入
力としてそれぞれ受け取り、コンテナパケットのデータ
部（モニタデータ）を転送している間、モニタデータ転
送信号を信号線２６２へ出力する。

【００２５】カウンタラッチ２０９は２ビットカウンタ
２１０の出力を信号線２６４を介して受け取り、コンテ
ナパケットを転送している間は転送中のデータワード数
を保持する。２ビットカウンタ２１０はカウンタラッチ
２０９の値を信号線２６３を介して受け取り、また、コ
ンテナラッチ２０８からモニタデータ転送信号を信号線
２６２を介してカウント信号（ＣＮ）入力として受け取
り、モニタデータ転送信号が出力されている間は“０
０”〜“１１”の間でカウントを続ける。コンパレータ
２１１は、ＸＢステージ格納レジスタ２０２からクロス
バスイッチのステージ数を信号線２５８を介して受け取
り、また、カウンタラッチ２０９から転送中のデータワ
ード数を信号線２６３を介して受け取り、両信号が等し
い場合にモニタデータセレクト信号を信号線２６５へ出
力する。ＡＮＤ回路２１２はコンテナラッチ２０８から
モニタデータ転送信号を信号線２６２を介して受け取
り、また、コンパレータ２１１からモニタデータセレク
ト信号を信号線２６５を介して受け取り、モニタデータ
転送信号が出力されている場合、モニタデータセレクト
信号を図１のセレクト回路１１４に対して信号線１８２
を介して出力する。即ち、ＡＮＤ回路２１２は、転送中
のパケットがモニタデータ収集用のコンテナパケットの
場合、クロスバスイッチのステージ数に応じてデータ部
の０〜３ワード目（図７参照）を転送する際に、モニタ
データセレクト信号を信号線１８２を介して図１のセレ
クト回路１１４に対して送出する。

【００２６】図１のセレクト回路１１４は、入力バッフ
ァ１０５から信号線１７０を介して通常の転送データ
を、ハードウェアモニタ回路１１２から信号線１８０を
介してモニタデータを、ヘッダデコード回路１０７から
信号線１８２を介してモニタデータセレクト信号をそれ
ぞれ受け取り、該モニタデータセレクト信号が“０”の
場合は入力バッファ１０５からの転送データを、“１”
の場合はモニタデータを信号線１８４に出力する。本例
では、ＸＢステージ格納レジスタ２０２には“０”が格
納されている為、コンテナパケットが到着した場合は、
そのデータ部の０ワード目には、入力バッファ１０５内
のデータの代わりにハードウェアモニタ回路１１２内の
モニタデータが格納され、信号線１８４を介してプライ
オリティ回路１１０、１１１に対して転送されることに
なる。

【００２７】次に、図４により、プライオリティコント
ローラ１０９について説明する。プライオリティコント
ローラ１０９は、リクエスト発行回路（０）３１，
（１）３２、リクエスト調停回路（０）３５，（１）３
６及び信号線３５０〜３５２，３６０〜３６２，３９０
〜３９２から構成される。ここで、リクエスト発行回路
（０）３１，（１）３２はそれぞれ入力ポート０，１に
対応して、また、リクエスト調停回路（０）３５，
（１）３６はそれぞれ出力ポート０，１に対応して設け
られる。リクエスト発行回路（０）３１は、出力先ポー
トレジスタ３０１からなり、リクエスト発行回路（１）
３２も同様の構成をしている。リクエスト調停回路
（０）３５は、リクエストレジスタ３０２、セレクトポ
ート保持ラッチ３０３、デコード回路３０４、ＡＮＤ回
路３０５、ＯＲ回路３０６、ＥＯＲ回路（排他ＯＲ回
路）３０７及び信号線３５５〜３５９からなり、リクエ
スト調停回路（１）３６も同様の構成をしている。

【００２８】前述したように、本例では出力先ポート信
号は２ビットであり、リクエスト発行回路（０）３１の
出力先ポートレジスタ３０１も同じく２ビットで構成さ
れ、メッセージの出力先ポートに対応したビットに
“１”が格納される。例えば、ポート０宛のメッセージ
の場合、出力先ポートレジスタ３０１には出力ポート０
に“１”が、出力ポート１に“０”がそれぞれ格納され
る。

【００２９】次にプライオリティコントローラ１０９の
各構成要素の動作を説明する。リクエスト発行回路
（０）３１、（１）３２は図１のヘッダデコード回路１
０７、１０８からメッセージヘッダ情報（同期ビット、
出力先ポート信号）を信号線１７２，１７３を介して受
け取り、各出力ポート対応のリクエスト調停回路（０）
３５，（１）３６に対してリクエスト信号をそれぞれ信
号線３５０，３５１，３６０，３６１を介して発行し、
同期ビットをそれぞれ信号線３９０，３９１を介して供
給する。信号線３５０，３５１は束ねられて信号線３５
２となり、信号線３６０，３６１は束ねられて信号線３
６２となり、信号線３９０，３９１は束ねられて信号線
３９２となる。リクエスト調停回路（０）３５，（１）
３６はリクエスト発行回路（０）３１，（１）３２から
リクエスト信号を信号線３５２，３６２を介して受け取
り、同期ビットを信号線３９２を介して受け取り、リク
エストの調停処理を行ってメッセージ送出許可信号を信
号線１７４，１７５を介してプライオリティ回路１１
０，１１１に対して送出する。

【００３０】以下、リクエスト発行回路（０）３１とリ
クエスト調停回路（０）３５を例にして各構成要素の動
作を説明する。リクエスト発行回路（０）３１内におい
て、出力先ポートレジスタ３０１はヘッダデコード回路
１０７から出力先ポート信号（２ビット）を信号線２６
０を介して受け取り、ビット毎に格納し、リクエスト信
号として信号線３５０，３６０を介してそれぞれリクエ
スト調停回路（０）３５，（１）３６に対して出力す
る。また、リクエスト発行回路（０）３１は、ヘッダデ
コード回路１０７から受け取った同期ビットをそのまま
信号線３９０へ出力する。リクエスト調停回路（０）３
５内において、リクエストレジスタ３０２は入力ポート
数分のラッチからなり（本例では２個）、それぞれリク
エスト発行回路（０）３１，（１）３２からリクエスト
信号を信号線３５２を介してセット信号として受け取
り、また、ヘッダデコード回路１０７，１０８からの同
期ビットをリクエスト発行回路（０）３１，（１）３
２、信号線３９２を介してリセット信号として受け取
り、同期ビットが“１”になるまで各入力ポートからの
リクエストを保持する。セレクトポート保持ラッチ３０
３（１ビット）はＥＯＲ回路３０７の出力信号を信号線
３５９を介して受け取り、それを保持する。ここで、ポ
ート保持ラッチ３０３は、“０”のとき入力ポート０、
“１”のとき入力ポート１を示すとする。デコード回路
３０４はセレクトポート保持ラッチ３０３の出力を信号
線３５６を介して受け取り、２ビットにデコードする。
ＡＮＤ回路３０５はリクエストレジスタ３０２の各ラッ
チに対応して設けられ、それぞれ、リクエストレジスタ
３０２の各ラッチから保持されたリクエストを信号線３
５５を介して受け取り、また、デコード回路３０４から
その出力信号を信号線３５８を介して受け取り、セレク
トポート保持ラッチ３０３の示す番号の入力ポートから
リクエストが発行されていた場合、プライオリティ回路
１１０に該入力ポートに対するメッセージ送出許可信号
を信号線１７４（２ビット）を介して送出する。図１の
プライオリティ回路１１０では、メッセージ送出許可信
号で指定された入力ポートに対応するセレクタ１１４，
１１５の出力を選択し、メッセージ（通常パケットある
いはコンテナパケット）を出力ポート０の信号線１５４
に出力する。

【００３１】一方、ＯＲ回路３０６は、ＡＮＤ回路３０
５のそれぞれからのメッセージ送出許可信号を信号線１
７４を介して受け取り、そのＯＲを取る。ＥＯＲ回路３
０７はセレクトポート保持ラッチ３０３からその出力信
号を信号線３５６を介して受け取り、また、ＯＲ回路３
０６からその出力信号を信号線３５７を介して受け取
り、メッセージ送出許可信号が送出されていない間はセ
レクトポート保持ラッチ３０３からの入力の否定を出力
し、一度メッセージ送出許可信号が送出されると、メッ
セージの送出が完了するまでセレクトポート保持ラッチ
３０３からの入力と同じ値を出力する。即ち、プライオ
リティ回路１１０を介して出力ポート０に対してメッセ
ージが転送されている間、セレクトポート保持ラッチ３
０３は選択された入力ポート番号を保持し、メッセージ
の送出が終わると、セレクトポート保持ラッチ３０３の
値は次にメッセージ転送が開始されるまで毎サイクル、
“０”、“１”が繰り返される。

【００３２】次に、図１において、ノード（１）１１が
自ノード（１）１１宛（ステージ０宛先ポート“０
１”、ステージ１宛先ポート“０１”）の通常の１対１
通信メッセージ（以下、通常メッセージという）を送出
した場合を例に取って、クロスバスイッチ（１）１５内
の動作の流れを具体的に説明する。

【００３３】ノード１１のＳＮＤ１０４からクロスバス
イッチ１５へ送信された通常メッセージは、信号線１５
０を介して入力ポート０対応の入力バッファ１０５へ一
時的に格納される。入力バッファ１０５内のメッセージ
の先頭ワードはヘッダデコード回路１０７へ入力され、
ヘッダ部のデコードが行われる。

【００３４】図３のヘッダデコード回路１０７におい
て、まず、メッセージの到着と共に、メッセージヘッダ
レジスタ２０１の同期ビットが“１”から“０”に変化
し、ＡＮＤ回路２０４にて、メッセージヘッダが識別さ
れ、ヘッダ識別信号が信号線２５３にアサートされる。
前述したように、クロスバスイッチ１５ではＸＢステー
ジ格納レジスタ２０２の出力は“０”であるため、セレ
クト回路２０５では、ステージ０の宛先ポート“０１”
が選択され、信号線２５９を介してＡＮＤ回路２０６へ
入力される。この時、信号線２５３のヘッダ識別信号も
アサートされているため、出力先ポート信号“０”は信
号線２５９、ＡＮＤ回路２０６、信号線２６０、信号線
１７２を介してプライオリティコントローラ１０９へ伝
達される。同期ビットも信号線２５１、信号線１７２を
介して同じくプライオリティコントローラ１０９へ伝達
される。

【００３５】なお、メッセージ送出中には、入力バッフ
ァ１０５から信号線１７０を介して伝送されるメッセー
ジワードは毎サイクル変化するため、メッセージヘッダ
レジスタ２０１の内容も毎サイクル更新され、セレクト
回路２０５等の出力は変化するが、メッセージの先頭以
外では、信号線２５３へヘッダ識別信号がアサートされ
ないため、プライオリティコントローラ１０９に対して
の出力信号は同期ビット以外は“０”のまま変化しな
い。また、通常メッセージではコンテナパケット識別ビ
ットは“０”であるため、コンテナラッチ２０８にはセ
ット信号が入力されず、信号線１８２を介して図１のセ
レクト回路１１４へ入力されるモニタデータセレクト信
号は“０”のままであり、セレクト回路１１４は常に入
力バッファ１０５の出力信号線１７０を選択して信号線
１８４と接続することになる。

【００３６】図４のプライオリティコントローラ１０９
内のリクエスト発行回路（０）３１では、信号線１７２
中の信号線２６０の出力先ポート信号“０１”を出力先
ポートレジスタ３０１で出力ポート毎に分割、格納し
て、信号線３５０，３５２を介してリクエスト調停回路
（０）３５に対してリクエストを発行する。ここで、入
力ポート１に対応するリクエスト発行回路（１）３２か
らリクエストが発行されていない場合、信号線３５２を
伝達される信号は“０１”となる。前述のように、図４
に示したリクエスト調停回路では各入力ポートからのリ
クエストの調停処理をラウンドロビンで行っている。ま
ず、リクエスト調停回路（０）３５内では、リクエスト
発行回路（０）３１からのリクエストを受けると、リク
エストレジスタ３０２の入力ポート０に対応するビット
（ラッチ）をセットする。本例では、リクエストレジス
タ３０２は“０１”とセットされる。即ち、１ビット目
が入力ポート０、２ビット目が入力ポート１に対応し、
本例では、出力ポート０へのリクエストが入力ポート０
から到来したことを示す。リクエストが到着するまで、
ＥＯＲ回路３０７の出力は毎サイクル変化し、セレクト
ポート保持ラッチ３０３の出力は“０”、“１”を交互
に取っているが、入力ポート０からのリクエストが到着
すると、次にセレクトポート保持ラッチ３０３の値が
“０”になった時（デコード回路３０４の出力が“０
１”になる）、ＡＮＤ回路３０５の入力ポート０に対応
する出力が“１”となり、該入力ポート０に対するメッ
セージ送出許可信号“０１”が、信号線１７４を介して
プライオリティ回路１１０へ伝達される。同様に、ＯＲ
回路３０６の出力が“１”になり、セレクトポート保持
ラッチ３０３の更新が一時停止する。

【００３７】図１のプライオリティ回路１１０は、信号
線１７４を介してメッセージ送出許可信号“０１”を受
信すると、セレクト回路１１４の出力線１８４が出力ポ
ート０へ接続されるよう内部のスイッチ切り替えを行
い、入力ポート０の入力バッファ１０５のメッセージの
転送を開始する。メッセージは信号線１５４を介してク
ロスバスイッチ（２）１７の入力ポート０へ転送され
る。入力バッファ１０５からのメッセージの転送が終了
すると、同期ビットは“１”になり、信号線２５１、３
９０、３９２を介してリクエスト調停回路（０）３５内
のリクエストレジスタ３０２の入力ポート０に対応する
ビット（ラッチ）をリセットし、該リクエストレジスタ
３０２は“００”となるため、ＡＮＤ回路３０５はすべ
てオフ、ＯＲ回路３０６の出力は“０”になり、セレク
トポート保持ラッチ３０３の値は次のメッセージが到着
するまで、毎サイクル“０”、“１”を繰り返す。

【００３８】図１において、信号線１５４を介してクロ
スバスイッチ１７の入力ポート０に入力されたメッセー
ジは、クロスバスイッチ１５と同様に処理され、信号線
１５８を介して出力ポート０に出力され、ノード（１）
１１のＲＣＶ１０３に入力される。

【００３９】次に、図１において、ノード（１）１１が
自ノード（１）１１宛にコンテナパケットを送出した場
合を例に取って、モニタデータを収集する場合のクロス
バスイッチ１５内の動作の流れを具体的に説明する。

【００４０】ノード１１のＳＮＤ１０４からクロスバス
イッチ１５へ送信されたコンテナパケットは、通常メッ
セージの時と同じく、信号線１５０を介して入力ポート
０対応の入力バッファ１０５へ一時的に格納され、メッ
セージの先頭ワードはヘッダデコード回路１０７へ入力
されて、ヘッダ部のデコードが行われる。

【００４１】図３のヘッダデコード回路１０７では、通
常メッセージの時と同様に、まず、メッセージの到着と
共に、メッセージヘッダレジスタ２０１の同期ビットが
“１”から“０”に変化し、メッセージヘッダが識別さ
れ、ヘッダ識別信号が信号線２５３にアサートされる。
セレクト回路２０５では、ステージ０の宛先ポート“０
１”が選択され、信号線２５９、ＡＮＤ回路２０６、信
号線２６０、信号線１７２を介してプライオリティコン
トローラ１０９へ伝達される。同期ビットも信号線２５
１、信号線１７２を介して同じくプライオリティコント
ローラ１０９へ伝達される。また、コンテナパケットの
場合、メッセージヘッダレジスタ２０１のコンテナパケ
ット識別ビットが“１”であるため、ＡＮＤ回路２０７
がオンして、コンテナラッチ２０８がセットされ、信号
線２６２を介して２ビットカウンタ２１０にカウント信
号が入力され、メッセージのデータ部の先頭転送時から
カウンタラッチ２０９の値の更新を開始する。カウンタ
ラッチ２０９の値がＸＢステージ格納レジスタ２０２の
出力と等しい（本例では“０”）場合、ＡＮＤ回路２１
２の出力がアサートされ、モニタデータセレクト信号が
信号線１８２を介して図１のセレクト回路１１４へ送出
される。従って、セレクト回路１１４では、入力バッフ
ァ１０５に格納されたコンテナパケットのデータ部の０
ワード目を転送する際に、接続を入力バッファ１０５の
出力信号線１７０からハードウェアモニタ回路１１２の
出力信号線１８０に切り替える。そのため、コンテナパ
ケットのデータ部の０ワード目にはステージ０のクロス
バスイッチ１５の入力ポート０のモニタデータ（図５）
が格納されて、該コンテナパケットが図１の信号線１８
４へ送出される。

【００４２】図４のプライオリティコントローラ１０９
内では、通常メッセージの場合と同様の処理が行われ、
入力ポート０に対するメッセージ送出許可信号“０１”
を信号線１７４を介して図１のプライオリティ回路１１
０へ伝達する。図１のプライオリティ回路１１０は、メ
ッセージ送出許可信号“０１”を受信すると、入力ポー
ト０側の信号線１８４を信号線１５４へ接続し、出力ポ
ート０に対してメッセージの転送を開始する。従って、
データ部の０ワード目にクロスバスイッチ１５の入力ポ
ート０のモニタデータを格納したコンテナパケットが、
信号線１５４を介してクロスバスイッチ１７の入力ポー
ト０へ転送される。

【００４３】クロスバスイッチ１７でもクロスバスイッ
チ１５と同様の処理が行われ、今度はコンテナパケット
のデータ部の１ワード目にクロスバスイッチ１７の入力
ポート０のモニタデータが格納され、該コンテナパケッ
トは信号線１５８を介してノード（１）１１のＲＣＶ１
０３へ転送される。

【００４４】以上のようにして、ノード（１）１１では
クロスバスイッチ（１）１５及びクロスバス（３）１７
の各入力ポート０のモニタデータを収集することができ
る。図１のシステム構成の場合、最低各ノード１つず
つ、合計４つのコンテナパケットを転送すれば、全クロ
スバスイッチの全ポートのモニタデータを収集可能であ
る。

【００４５】次に、収集したモニタデータの利用法につ
いて説明する。各ノードは、定期的あるいは必要に応じ
て不定期にコンテナパケットを転送して、該コンテナパ
ケットの経路上の各入力ポートのモニタデータを収集
し、あらかじめ定めたノード（以下、ホストノードと記
す）に転送する。ホストノードでは、前回収集されたモ
ニタデータとの差分をとることで、各モニタデータを計
算する。

【００４６】前述したように、図５のハードウェアモニ
タ回路では、各入出力ポート毎に以下のモニタデータを
収集することができる。 （１）経過時間：総マシンサイクル数。 （２）通過ワード数：通過したパケットの総ワード数。 （３）Ｗait Ｔime：競合調停に負けて待された時間の
総計。 （４）メッセージ数：通過した総メッセージ数。 （５）パケット数：通過した総パケット数。

【００４７】以上のモニタデータから次のような値が計
算ができる。 （ａ）ネットワーク稼働率：ポートをメッセージが通過
している時間の割合。これは（１）と（２）から求め
る。 （ｂ）競合待ち比率：異なるメッセージ間の経路の重複
により出力ポートで競合が発生し、待たされた時間の割
合。これは（１）と（３）から求める。 （ｃ）Ｉdle時間比率：入力ポートを何も通過しなかっ
た時間の割合。これは１００％から（ａ）と（ｂ）を引
いた値で求める。 （ｄ）通過メッセージ数：モニタリングインタバルに通
過したメッセージ数。これは（４）より求める。さらに
長いメッセージをパケットに分割して転送するシステム
では、次の値が計算できる。 （ｅ）通過パケット数：モニタリングインタバルに通過
したパケット数。これは（５）より求める。 （ｆ）メッセージの平均パケット数：メッセージ当たり
のパケット数。これは（４）と（５）より求める。

【００４８】これらの値により、ネットワーク上のホッ
トスポットの検出や競合調停方式の不良によるメッセー
ジの沈み込みの検出等が容易に可能になる。他にも種々
の利用法が考えられる。以下に、収集したモニタデータ
の利用法の一例をまとめて示す。 １．ハードウェアパラメータの決定 性能測定によって以下のようなハードウェアパラメータ
の最適値を見つけることできる。 ・パケット長 ・スイッチにおける競合調停方式 ・スイッチ毎のバッファ容量 等 ２．アプリケーションの性能測定 並列アプリケーションの性能評価を行うことによって、
アルゴリズムやデータ割り付け等の検証、評価を行うこ
とができる。 ３．アプリケーションのチューニング 過度の通信や通信の偏りが検出された場合には、アルゴ
リズムやノードへの割り付けを変更し、通信パターンを
改善（通信量の削減、通信の並列化等）することで、ア
プリケーションの性能向上が図れる。 通信量の削減：他ノードに割り付けられたデータの参照
を減らして並列化の効率を向上させる。 通信の並列化：通信の偏りを避け、通信が並列に行われ
るようにして通信効率を向上させる。 ４．アプリケーションのデバッグ 実行しているアプリケーションのネットワークの挙動と
予測した挙動との比較をリアルタイムに行うことがで
き、デバッグ効率を向上できる。

【００４９】

【発明の効果】以上述べたように、本発明によれば、１
段あるいは多段のルータで接続された並列計算機システ
ムにおいて、各ルータ内でモニタデータ収集用メッセー
ジ（コンテナパケット）が到着した場合に、ハードウェ
アモニタ回路で収集したモニタデータをコンテナパケッ
ト内のデータ部に格納して転送するようにしたことで、
低コストでリアルタイムに各ルータ上のモニタデータを
収集する事ができる。また、収集したデータはノード上
で稼動している並列プログラムから容易に利用すること
ができる。また、他にも種々の利用が可能になる。

【図面の簡単な説明】

【図１】本発明の一実施例の４ノードと２入力２出力の
クロスバスイッチ２×２段で構成された並列計算機の全
体構成図である。

【図２】従来技術における並列計算機の構成図である。

【図３】図１における本発明のヘッダデコード回路の構
成図である。

【図４】図１におけるプライオリティコントローラ回路
の構成図である。

【図５】図１におけるハードウェアモニタ回路の構成図
である。

【図６】ノードからクロスバスイッチへ転送されるメッ
セージのフォーマットの一例である。

【図７】本発明に係わるノードからクロスバスイッチへ
転送されるモニタデータ収集用のコンテナパケットの一
例である。

【符号の説明】

１１〜１４ ノード １５〜１８ クロスバスイッチ １０５，１０６ 入力バッファ １０７，１０８ ヘッダデコード回路 １０９ プライオリティコントローラ １１０，１１１ プライオリティ回路 １１２，１１３ ハードウェアモニタ回路

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の入力ポートと複数の出力ポートを
   備えたルータを１段あるいは多段に接続したネットワー
   クを介して、複数のノード間でメッセージ転送を行う並
   列計算機におけるネットワーク上のモニタデータを収集
   する方法であって、 ノードから前記ネットワークにモニタデータ収集メッセ
   ージを流し、 ルータは、入力ポートに前記モニタデータ収集メッセー
   ジが到来すると、該モニタデータ収集メッセージの所定
   位置に当該ルータの該当経路のモニタデータを格納して
   出力ポートへ転送することを特徴とする並列計算機にお
   けるモニタデータ収集方法。
2. 【請求項２】 請求項１記載の並列計算機におけるモニ
   タデータ収集方法において、複数のノードから並列にモ
   ニタデータ収集メッセージをネットワークに流し、複数
   経路のモニタデータを収集することを特徴とする並列計
   算機におけるモニタデータ収集方法。
3. 【請求項３】 複数の入力ポートと複数の出力ポートを
   備え、入力ポートに入力されるメッセージを任意の出力
   ポートへ出力するルータを１段あるいは多段に接続した
   ネットワークを介して複数のノード間でメッセージ転送
   を行う並列計算機において、 ルータは、各入力ポート対応に到着したメッセージを格
   納する入力バッファと、前記メッセージの種類を識別す
   る手段と、各入力ポート対応のモニタデータを採取する
   手段と、前記メッセージがモニタデータ収集メッセージ
   の場合に、当該メッセージの所定位置に当該入力ポート
   のモニタデータを格納して出力ポートへ転送する手段と
   を有することを特徴とする並列計算機。