JPH0926942A - 並列計算機のプロセッサ間ネットワークモニタリング装置およびその方法 - Google Patents

Abstract

(57)【要約】 【構成】複数のプロセッサ５とネットワーク２，３，プ
ロセッサ間通信路を判定するネットワークルータ４から
なる並列計算機１で、ネットワークルータ部に通信パケ
ットをモニタする部分を設け、通過した通信パケットの
識別子，通過時刻，通信データ長などを監視し、モニタ
リング専用線６を介して、モニタリング制御装置１０に
通知する。モニタリング制御装置１０では、モニタリン
グレコードを解析して、リアルタイムにディスプレイ装
置に解析結果を表示する。 【効果】プロセッサ間通信モニタ専用線を設けることに
より、並列計算機のプログラム動作に干渉せずに、プロ
セッサ間ネットワークの混雑率がリアルタイムに認識で
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は並列計算機のプロセッサ
間ネットワーク動作状況を観察するためのモニタリング
装置、および、プロセッサ間通信パケットの生成方法に
関する。

【０００２】

【従来の技術】従来、並列計算機の稼働状況の性能モニ
タリングは、ソフトウェアにプローブを挿入するなどし
て、情報を収集し、並列計算機内のプロセッサに付属す
る記憶装置に収集したモニタリングデータを蓄積してい
た。

【０００３】特開平6−19865号公報によれば、プロセッ
サがプロセッサ間通信を生じたとき、通信状況を示すデ
ータを自己プロセッサの記憶部に記録しておき、動作終
了後に各プロセッサに保持している通信状況データを収
集して、解析編集している。

【０００４】ソフトウェアにプローブを挿入するなどし
て情報を収集し、並列計算機内のプロセッサに付属する
記憶装置に収集したモニタリングデータを蓄積する方法
では、本来の並列計算機のプロセッサ動作が使用する記
憶装置を共有し、並列計算機の動作を妨げ、実行時間を
遅らせたり、動作順序やタイミングを本来ではない姿に
変化させてしまう可能性があり、正確なモニタリング情
報は得られない。

【０００５】

【発明が解決しようとする課題】並列計算機のデバッグ
や性能チューニングは、多数のプロセッサやプロセッサ
間ネットワークが複雑に動作するため、解析が難しい。

【０００６】特に、プロセッサ間ネットワークでは多数
のプロセッサ間パケットが通過するため、混雑や衝突が
生じ、ユーザの期待したプロセッサ間通信性能が期待で
きない場合も多い。

【０００７】本発明の目的は、プロセッサ間ネットワー
クの混雑度をリアルタイムに直感的に認識し、プログラ
マがデバッグおよび通信性能チューニングするための情
報を提供するため、並列計算機のプログラム動作に干渉
せずに、ネットワークをリアルタイムモニタリングし、
混雑度を視覚化することにある。混雑度を認識するた
め、ネットワークを通過するプロセッサ間パケットの
量、および通過に要した時間の監視が必要である。

【０００８】本発明のさらに他の目的は、並列計算機の
プロセッサ間を通過したプロセッサ間通信パケットのサ
イズ，種類，通過時間を、並列計算機の本来の動作に干
渉せずに、正確にモニタリングしてプロセッサ間通信履
歴情報を収集し、後刻に詳細解析することにある。

【０００９】

【課題を解決するための手段】上記目的達成のため、本
発明では、ネットワークルータ部にモニタリング機構
と、リアルタイムに解析するための通信履歴情報を含む
プロセッサ間通信パケット生成手段を備える。

【００１０】複数のネットワークルータ部に共通の時計
を持たせ、ネットワークルータ部を通過するプロセッサ
間パケットに、通過した時刻，通信データ長，通過した
ネットワークルータ識別番号の情報を付加して、プロセ
ッサ間ネットワークに送出する。

【００１１】ネットワークルータ内の通信パケット監視
部では、ルータ識別番号，通信パケットの始点プロセッ
サ識別番号，通信パケットの終点プロセッサ識別番号，
プロセッサ間通信パケット識別番号，ルータ通過時刻，
通信データ長，通信種類，既通過ルータ識別番号、およ
び既通過ルータ通過時刻の情報をモニタリングレコード
として、構成生成する。モニタリングレコードは、並列
計算機の動作に干渉しないために張り巡らせた、ネット
ワークルータ部に接続するモニタ専用回線を介して収集
する。

【００１２】プロセッサ間通信パケットの識別子に着目
して、これらの情報をモニタリング，解析することによ
って、(i）ルータ間を通過するのに要した時間，(ii)通
過したルータ識別番号の履歴，(iii）ルータ間の混雑
率，(iv)特定プロセッサ間の通信パケットの発生頻度等
が計算出来る。

【００１３】

【作用】プロセッサ間通信パケットに、ネットワークル
ータの通過時刻を付加し、プロセッサ間を通過する間
中、通過ルータ識別番号と通過時刻を保存することによ
って、ネットワークルータを通過した通信パケットのネ
ットワーク通過履歴が、ネットワークモニタで瞬時に判
別可能となり、従来全実行履歴を採集した後に後刻に解
析する必要があったが、リアルタイムに可視化すること
が出来る。

【００１４】プロセッサ間通信パケットモニタリング専
用回線を設けることによって、並列計算機上のプログラ
ム動作に干渉せずに、客観的にモニタリングデータ収集
できる。

【００１５】共通の時計を持ったネットワークルータ上
にモニタリング機構を持たせることによって、複数の通
信パケットを同じ時間軸上で解析でき、プロセッサやル
ータ間の時刻差を考慮せずに、ネットワーク間通信の履
歴が収集できる。

【００１６】

【実施例】図１は本発明の一実施例の全体構成を表すブ
ロック図である。

【００１７】１は並列計算機を表し、複数のプロセッサ
ユニット５が、プロセッサ間ネットワーク２，３で接続
される。ここで、２はクロスバネットワークであり、１
本のクロスバネットワークに接続しているプロセッサユ
ニットは、互いに１対１に接続される。４はルータであ
り、２のクロスバと３のクロスバを接続する機能があ
る。また、ルータ４はプロセッサ間に発行された通信パ
ケットを、適当な通信ポートを選んで出力する。

【００１８】８はクロック発振器であり、複数のルータ
４に同時にクロック信号を送る。９はクロック幅調整器
であり、クロック信号を出力する間隔を調整する。

【００１９】１０はモニタリング制御装置である。ルー
タ４に接続したモニタリング信号線６と接続し、ルータ
内部に存在する通信パケット・モニタ部２０７から、モ
ニタリング・レコードを受け取る。モニタリングレコー
ドは、モニタリングレコード解析部１１を介して、通信
パケット解析テーブル１２に登録される。計算および表
示部１３では、通信パケット解析テーブル１２の内容を
参照して、通信パケットの履歴，ルータ間の混雑率をデ
ィスプレイ装置１４に表示する。

【００２０】図２はルータ４およびプロセッサユニット
５を表す図である。プロセッサユニット５は、CPU201，
主記憶２０２，ネットワークインタフェース部２０３か
ら構成する。他のプロセッサへの通信要求が生じると、
ネットワークインタフェース部２０３で通信データに行
き先プロセッサ識別番号等を付加した通信パケットを生
成し、ルータ４側に送出する。

【００２１】ルータ４では、通信パケットを通信パケッ
ト入力部２０４から受け取り、通信パケット・タイムス
タンプ付加部２０５で、クロック発振器８の信号をカウ
ントしてタイムスタンプ生成部２０６で生成されたタイ
ムスタンプ、すなわち、通信パケットの先頭部が通過し
た時刻のタイムスタンプを、通信パケットに付加する。
さらに、ルータ識別番号を図３で示す形式に付加する。

【００２２】通信パケット・モニタ部２０７では、通信
パケットに付属する以下の情報，ルータ識別番号，通信
始点プロセッサＩＤ，通信パケットＩＤ，通信終点プロ
セッサＩＤ，通信種類，通信データ長などを解析し、モ
ニタリング・レコード生成部２０８で現在の時刻を付加
して、図４で示すモニタリング・レコード４０を生成す
る。モニタリング・レコードはモニタ信号線６から外部
モニタリング制御装置１０に送出する。

【００２３】通信パケットは、さらにルーティング判定
部２０９を通過して、次に出力するネットワークポート
を選定し、プロセッサ間ネットワーク２または３を選別
して、通信パケット出力部２１０から出力する。

【００２４】図３はプロセッサ間通信パケット形式を示
す。３０はプロセッサ間通信パケットを示す。３０７は
パケット情報タグ部であり、通信始点プロセッサＩＤ３
０１，通信パケットＩＤ３０２，通信終点プロセッサＩ
Ｄ３０３，通信種類３０４，通信データ長３０５、およ
び予備領域３０６から構成する。通信始点プロセッサＩ
Ｄ３０１とは、他のプロセッサへデータを送出するプロ
セッサの識別番号を示す。通信パケットＩＤ３０２は、
通信始点プロセッサにおいて発行したプロセッサ間通信
パケットの順に番号付けされた番号である。従って、通
信始点プロセッサＩＤ３０１と通信パケットＩＤ３０２
の組によって、通信パケットは一意に決まる。通信終点
プロセッサＩＤ３０３とは、通信始点プロセッサ３０３
の通信先であり、通信パケットの最終的な目的地であ
る。通信種類３０４は、例えば、１プロセッサから全ユ
ニットに通信するブロードキャスト通信，１対１の通
信，優先順位の高い高速通信などの、通信のタイプを表
すフラグである。通信データ長３０５は、プロセッサ間
通信で送信する通信パケットのデータ量を示す。

【００２５】３１２はルータ通過時刻格納領域を示す。
この例では、第１通過ルータID308,第１ルータ通過時刻
３０９，前段通過ルータＩＤ３１０，前段ルータ通過時
刻３１１を格納する。

【００２６】第１通過ルータとは通信パケットが最初に
通過したルータＩＤ、前段通過ルータとは通信パケット
が現在までに最後に通過したルータＩＤと定義する。ま
た、通過時刻とは、ルータの通信パケット・モニタ部２
０８を、通信パケットの先頭が通過したときのタイムス
タンプの値と定義する。

【００２７】通信始点プロセッサから通信パケットが送
出される時点では、ルータ通過時刻格納領域３１２には
初期値０を記載する。

【００２８】通信パケットの先頭部がルータを通過した
時点で、第１通過ルータＩＤ領域３０８、および第１ル
ータ通過時刻領域３０９が初期値の場合は、ルータＩ
Ｄ、およびルータ通過時刻をそれぞれ第１通過ルータＩ
Ｄ領域３０８、および第１ルータ通過時刻領域３０９
と、前段通過ルータＩＤ領域３１０，前段ルータ通過時
刻領域３１１に記載する。

【００２９】また、通信パケットの先頭部がルータを通
過した時点で、第１通過ルータＩＤ領域３０８、および
第１ルータ通過時刻領域３０９が初期値でない場合は、
ルータＩＤ、およびルータ通過時刻をそれぞれ前段通過
ルータＩＤ領域３１０，前段ルータ通過時刻領域３１１
に記載する。

【００３０】３１３には、通信するデータを格納する。

【００３１】図４はモニタリングレコード形式を表す図
である。４０はルータ４内のモニタリング・レコード生
成部２０８で生成するモニタリングレコードの形式を表
す。

【００３２】通信パケット・モニタ部２０７を通過する
通信パケット３０のパケット情報タグ３０７、およびル
ータ通過時刻格納領域３１２の内容に、ルータＩＤ４０
１，ラップアラウンドコード４０５，現在の時刻４０６
を追加したものである。

【００３３】ラップアラウンドコード４０５は、ルータ
４のタイムスタンプ生成部２０６のタイマカウンタの値
が、カウンタの最大値を超えたときに、真（true）とす
る。通常のモニタリングレコード４０は、ラップアラウ
ンドコード部４０５を偽（false）として他の領域に
は、通信パケットの情報を記載する。

【００３４】図５はラップアラウンドコード認識レコー
ド４０を示す。ラップアラウンドコード部４０５は、ル
ータ４のタイムスタンプ生成部２０６のタイマカウンタ
の値が、カウンタの最大値を超えたときにtrueとする。
このとき、ルータＩＤ４０１はルータ識別番号を記載
し、他の領域５０１〜５０３，５０４〜５１０はドント
ケアとする。

【００３５】通信パケット・モニタ部２０７では、(i)
通信パケットがルータを通過したとき、および(ii)タイ
マカウンタがラップアラウンドしたときの二つの場合
に、イベント・ドリブン方式で、図４および図５で示す
同サイズのモニタリング・レコードを発行する。

【００３６】図６は、通信パケット・モニタ部２０７の
挙動フローを示す図である。

【００３７】タイムスタンプ生成部２０６のタイマカウ
ンタがラップアラウンドコードを発行（６０２）すれば
（６０９）、ラップアラウンドコード部４０５をtrueと
した、モニタリングレコードを生成し（６０６）、モニ
タリングレコードを発行する（６０７）。

【００３８】プロセッサ間通信パケットが通過する（６
０３）と、通信パケットのパケット情報タグ３０７，ル
ータ通過時刻格納領域３１２の情報を判別して（６０
４）、タイムスタンプを取得(６０５)，付加してモニタ
リングレコードを生成(６０６)，発行（６０７）する。

【００３９】図７は本実施例で取得したモニタリングレ
コードをリアルタイムで解析，画面表示する場合のフロ
ーを示す。図８に示す、ＰＵ間通信混雑率を表す例を表
示する場合の処理を示す。

【００４０】モニタリング制御装置１０では、表示間隔
であるモニタリングインターバル時間を設定し（７０
２）、さらにモニタリングする対象の通信パス｛始点プ
ロセッサ，終点プロセッサ｝の組を設定する（７０
３）。これらの情報を、リアルタイムにメモリ上に判別
するために、メモリ上にモニタリングカウンタを確保
し、初期化しておく（７０４）。メモリカウンタの形式
は、通信パス｛始点プロセッサ，終点プロセッサ｝の組
をアドレスとし、(i）トラベル時間カウンタ，(ii)通過
データ長カウンタを具備する。

【００４１】モニタリングを開始する（７０５）と、モ
ニタリング中止命令（７０７）が発行されるまで、以下
の処理を行う。

【００４２】モニタリングインターバル時間内（７０
８),（７２１）に、モニタリング・レコードが入力され
た場合、モニタリング・レコードを取得（７１０）解析
し、始点プロセッサＩＤ・終点プロセッサＩＤを判別
(７１１)する。ルータＩＤ４０１＝通信終点プロセッサ
ＩＤ４０３の場合のみ解析対象とし、その他のデータ
は、そのまま廃棄する。

【００４３】トラベル時間＝（現在の時刻４０６−第１
ルータ通過時刻４１０）の絶対値 と定義し、対応する｛始点プロセッサ，終点プロセッ
サ｝の組のトラベル時間カウンタに値を足し込む（７１
２）。同様に、通信データ長４０８の値を通過データ長
カウンタに足し込む（７１３）。

【００４４】一つのモニタリング・レコードに対する処
理が終了したら（７２３）、モニタリング・インターバ
ル時間内、以上の処理を繰り返す。

【００４５】モニタリング・インターバル時間が終了し
たら（７２４）、(i）トラベル時間カウンタ，(ii)通過
データ長カウンタの値を解析し、表示する。

【００４６】経路の平均実転送性能＝通信データ長の和
／トラベル時間の和 経路の平均混雑率＝経路の平均実転送性能／理想転送性
能 （理想転送性能とは、論理的に全く障害無くデータが転
送されると考えたときの最大転送性能であり、並列計算
機システムに固有の一定値。）と定義する。

【００４７】まず、モニタリング対象パスに対し、モニ
タリング・インターバル中の通信パス平均混雑率を上記
定義により、(i）トラベル時間カウンタ，(ii)通過デー
タ長カウンタの値を用いて計算し（７１４）、混雑率に
対応する表示線分の太さを計算する（７１５）。インタ
ーバル時間の混雑率を画面描画（７１６）して、モニタ
リング・インターバル時間における一連の処理を終わ
り、モニタリング・インターバル時間を更新する（７１
７）。

【００４８】図７の例では、始点プロセッサと終点プロ
セッサ間の通信をモニタリングしたが、４０のモニタリ
ング・レコードから、以下の計算が可能となり、始点プ
ロセッサ・終点プロセッサ間の混雑率の表現方法と同様
に、リアルタイムに解析可能となる。

【００４９】（１）始点プロセッサからルータまでのト
ラベル時間＝現時刻−第１ルータ通過時刻 （２）始点プロセッサからルータまでの経路の平均混雑
率＝（通信データ長／ルータまでのトラベル時間）／理
想転送性能 （３）ルータと前段ルータ間のトラベル時間＝現時刻−
前段ルータ通過時刻 （４）ルータと前段ルータ間の経路の平均混雑率＝（通
信データ長／ルータと前段ルータ間のトラベル時間）／
理想転送性能 さらに、図７では、トラベル時間の定義を トラベル時間＝（現在の時刻４０６−第１ルータ通過時
刻４１０）の絶対値 とした。ここでは、リアルタイム性を重視し混雑率の計
算を高速にするために、ラップアラウンドコード４０５
については扱わない。従って、タイムカウンタの最大値
を超える場合は除外する。このため、トラベル時間が十
分タイムカウンタの最大値以下に収まるように、クロッ
ク幅調整器９にてクロック幅を大きくし、タイムカウン
タの最大値を変更することが出来る。

【００５０】図８はプロセッサ間ネットワークモニタリ
ング・リアルタイム表示例を示す図である。

【００５１】８０は特定のプロセッサ間通信混雑率を示
す。ＰＵ１〜ＰＵｎは、プロセッサ識別番号を表す。ま
た、８０７〜８１０の矢印は、プロセッサ間の混雑率を
表す。矢印の方向は通信データの移動した方向を示す。
矢印の線分の太さを混雑率で表現し、細いほど混雑率が
高く、通信性能が得られないことを示す。言い換えれ
ば、矢印線分の太さが太いほど実転送性能が高く、一定
時間における通信データ量が多いことを示す。例えば、
ＰＵｎからＰＵ１への通信はスムーズに流れているのに
対し、ＰＵｉからＰＵ０への通信は、何らかの障害があ
って、スムーズに行かないことを示している。この原因
は、(i) 複数プロセッサから同一プロセッサへの通信要
求が発生し、ネットワーク衝突待ちが生じている、(ii)
いずれかの通信経路上ルータの通信が混雑している、な
どを推測することが出来る。

【００５２】図９はプロセッサ間ネットワーク・モニタ
リング・データの加工前の構成を示す図である。

【００５３】プロセッサ間ネットワークのモニタリング
レコードを後刻に解析する場合に、まず、図９の形式で
蓄積しておく。モニタリングレコード４０は、モニタリ
ング制御装置１０に到着順に通信パケット解析テーブル
１２の領域にテーブルの形式で登録する。

【００５４】項目は、ルータＩＤ，通信始点プロセッサ
ＩＤ，通信パケットＩＤ，通信終点プロセッサＩＤ，ラ
ップアラウンドコード，現在の時刻，通信種類，通信デ
ータ長，第１通過ルータＩＤ，第１ルータ通過時刻，前
段通過ルータＩＤ，前段ルータ通過時刻とする。１〜５
…の列は、各モニタリングレコードの項番を表す。

【００５５】モニタリングレコード項番１は、ルータＩ
Ｄ Ｒ１を観測したとき、通信始点プロセッサＩＤがＰ
０で、通信パケットＩＤが０、通信終点プロセッサＩＤ
がＰ５の通信パケットが通過した。このときの通信パケ
ットの先頭部が通過した時刻はｔ１で、通信種類はＡタ
イプ、通信データ長はｌ０であった。このパケットの第
１通過ルータＩＤはＲ０であり、第１ルータ通過時刻は
ｔ０である。前段通過ルータＩＤもＲ０であり、前段ル
ータの通過時刻はｔ０である。従って、この通信パケッ
トはプロセッサＰ０→ルータＲ０→ルータＲ１の順に通
過してきたことがわかる。

【００５６】モニタリングレコード項番３は、ラップア
ラウンド認識レコードを示している。ルータＩＤ Ｒ３
では、通信パケットが通過する前にタイマがラップアラ
ウンドし、ラップアラウンドコード部がtrueのモニタリ
ングレコードが発行された。

【００５７】この後に、モニタリングレコード項番５
に、ルータＩＤ Ｒ３のモニタリングレコードが通知さ
れた。このモニタリングレコード項番５は、通信パケッ
ト｛始点プロセッサＰ０，通信パケットＩＤ １｝が、
プロセッサＰ０→ルータＲ０→（不明）→ルータＲ１→
ルータＲ３の順に通過し、終点プロセッサＰ６に向かっ
て進んでいることがわかる。

【００５８】図１０はプロセッサ間ネットワーク・モニ
タリング・解析テーブルの構成を表す図である。

【００５９】これは、前記テーブル９０を後刻に解析し
整理したテーブルであり、通信パケット解析テーブル１
２の領域に格納する。図１０では、通信パケットの通信
履歴を表す項目，第１通過ルータＩＤ，第１ルータ通過
時刻，前段通過ルータＩＤ，前段ルータ通過時刻は省い
ている。テーブルは、ラップアラウンドコードを除き、
正確な通過時刻に変換した後のテーブルである。

【００６０】項目は、９０の項目を継承し、ルータＩ
Ｄ，通信始点プロセッサＩＤ，通信パケットＩＤ，通信
終点プロセッサＩＤ，通過時刻，通信種類，通信データ
長で表す。

【００６１】モニタリングレコード項番１は、このモニ
タリングレコードが到着する前にラップアラウンドコー
ドが到着していないので、図９の項番１の値をそのまま
継承する。

【００６２】モニタリングレコード項番３は、通過時刻
を変換する。モニタリングレコード項番５が到着する前
に１個のラップアラウントコードが到着しているので、
タイムスタンプ値ｔ４に、タイマの最大値Ｍを足して、
Ｍ＋ｔ４とする。

【００６３】図１１にタイムスタンプのラップアラウン
ドコードの解読方法と、モニタリングレコードのプロセ
ッサ間ネットワーク・モニタリング・解析テーブルへの
登録方法の流れを示す。

【００６４】はじめにタイムスタンプ生成部２０６内の
タイマカウンタの最大値を取得して、定数Timer_MAX を
定義する（１１０２）。

【００６５】モニタリングレコード原データに対して、
モニタリングルータＩＤに関してソートし（１１０
３）、ルータＩＤ毎（１１０４）に以下の処理を行う。

【００６６】ラップアラウンドカウンタWA_counterを定
義し、０をセットする（１１０５）。当該ルータＩＤに
ついて、モニタリングデータが終了するまで（１１０
６）、ソート後のモニタリングデータを読み（１１０
７）、ラップアラウンドコードがtrueの場合（１１０
８）、ラップアラウンドカウンタWA_counterをインクリ
メントする。ラップアラウンドコードがfalseの場合
は、現在時刻をTpseudoという変数に格納し（１１１
０）、ラップアラウンドカウンタの値を読んで実時刻Tr
ealを計算する（１１１１）。実時刻Trealは、Treal＝T
pseudo＋WA_counter＊Timer_MAXと定義できる。計算し
たTrealの値を、図１０の通過時刻（１００６）に、そ
の他の項目は値をそのまま継承して、解析テーブルに登
録する(１１１２)。

【００６７】以上の処理を各ルータＩＤについて（１１
０４）実行し、全モニタリングレコードが終了したら、
終わる（１１１３）。

【００６８】図１２はプロセッサ間ネットワークモニタ
リング解析結果を表現する１つの方法を表す図である。

【００６９】通信パケット各々について、通信履歴を可
視化したものである。

【００７０】横軸は時間を、縦軸は通信パケットＩＤを
表す。１２０３，１２０４はそれぞれ通信パケットＩＤ
Ｐ０−１，Ｐ４−１の通信履歴に対応する。Ｐ０−１
とは、始点プロセッサＩＤ Ｐ０が発行した通信パケッ
トＩＤ１を表す。

【００７１】通信パケットＩＤ Ｐ０−１の履歴を追っ
てみると、ルータＲ０→Ｒ１→Ｒ２→Ｒ３を通過し、Ｒ
３に接続するプロセッサに通信データが送られる。１２
０５，１２０７，１２０９，１２１１はそれぞれルータ
Ｒ０，Ｒ１，Ｒ２，Ｒ３を表すノードである。１２０
６，１２０８，１２１０はルータ間の通信がどのように
実行されたかを表す線分である。線分の長さをルータ間
のトラベル時間，線分の面積を通信データ長で表すと、
線分の太さは実転送性能となる。ルータ間の混雑度が高
ければ、線分が長く細くなる。

【００７２】複数の通信パケットＩＤの通信履歴につい
て、同時刻頃に同一のルータを通過している場合があれ
ば、ルータにおいて通信待ちが生じていることが表現で
きる。

【００７３】図１３は図１２を表現するためのデータ構
造を表す。

【００７４】通信パケットについて、データ１３０１を
先頭とした構造体が出来る。

【００７５】パケットＩＤ，通信種類，データ長，ルー
タの通過履歴リストで構成する。

【００７６】１３０３，１３０５は、通過ルータ，通過
時刻を持った構造体である。

【００７７】図１４はプロセッサ間ネットワークモニタ
リング解析結果を表現するもう一つの方法を表す図であ
る。横軸に時間，縦軸にルータＩＤを示す。Ｒ０〜Ｒ３
はルータのＩＤである。黒い矩形１４１１，１４１３，
１４１５，１４１７、および白い矩形１４１２，１４１
４，１４１６は、ルータを通過した通信パケットを表し
ている。

【００７８】矩形に通信パケットＩＤを付加するか、ま
たは色によって通信パケットを認識することによって、
通信パケットがルータを渡って行く様子が認識できる。
矩形の時間軸方向の幅は、通信データ長を疑似的に表現
したものである。データ長が大きいときは矩形の幅を大
きくする。縦軸方向の高さは、矩形に大きさを持たせる
ためのものでありどの通信パケットに関しても一定とす
る。

【００７９】図１５は、図１４を表現するためのデータ
構造を表す。ルータＩＤを先頭とした構造体が出来る。
その下のブロックは、ルータＩＤを通過した通信パケッ
トのリストを表す。１５０３は１通信パケットのルータ
通過時のデータである。通過時刻，始点ルータＩＤ，パ
ケットＩＤ，通信種類，データ長，次に通過する通信パ
ケットデータへのポインタで構成する。

【００８０】通信パケットに関するデータには、通信種
類も含んでいるので通信種類の情報を、図１４の通信パ
ケットを示す矩形１４１１に付加することが可能であ
る。

【００８１】

【発明の効果】本発明では、プロセッサ間通信パケット
に、ネットワークルータの通過時刻を付加し、プロセッ
サ間を通過する間中、通過ルータ識別番号と通過時刻を
保存することによって、ネットワークルータを通過した
通信パケットのネットワーク通過履歴が、ネットワーク
モニタで瞬時に判別可能となり、リアルタイムに可視化
することが出来る。

【００８２】また、モニタリング専用線を設けることに
より、並列計算機のプログラム動作に干渉せずに、プロ
セッサ間通信状況がリアルタイムに取得できる。

【００８３】モニタリングレコードの１種として、タイ
マのラップアラウンドコードを生成し、通知することに
よって、タイマの最大値を超えた値であっても、正確な
時刻が計算できる。

【図面の簡単な説明】

【図１】全体構成のブロック図。

【図２】ルータおよびプロセッサユニットを表すブロッ
ク図。

【図３】プロセッサ間通信パケットの構成の説明図。

【図４】プロセッサ間通信パケット・モニタリング・レ
コード構成の説明図。

【図５】ラップアラウンド認識レコード構成の説明図。

【図６】ルータ内通信パケットモニタ部動作のフローチ
ャート。

【図７】プロセッサ間ネットワーク・モニタリング・リ
アルタイム解析のフローチャート。

【図８】プロセッサ間ネットワーク・モニタリング・リ
アルタイム表示例の説明図。

【図９】プロセッサ間ネットワーク・モニタリング・デ
ータ加工前の構成の説明図。

【図１０】プロセッサ間ネットワーク・モニタリング・
解析テーブルの構成の説明図。

【図１１】タイムスタンプ・ラップアラウンド・コード
解読のフローチャート。

【図１２】プロセッサ間ネットワーク・モニタリング・
解析結果表現方法の説明図。

【図１３】図１２を表現するためのデータ構成の説明
図。

【図１４】プロセッサ間ネットワーク・モニタリング・
解析結果表現方法の説明図。

【図１５】図１４を表現するためのデータのブロック
図。

【符号の説明】

１…並列計算機、２，３…プロセッサ間ネットワーク、
４…プロセッサ間ネットワークルータ、５…プロセッサ
ユニット、６…ネットワークモニタリング専用線、７…
ネットワークルータにクロックを配布する電線、８…ネ
ットワークルータにクロックを発振するクロック発振
器、１０…モニタリング制御装置、１１…モニタリング
レコード解析部、１２…通信パケットの解析テーブル、
１３…通信パケット解析結果を計算表示する部分、１４
…ディスプレイ装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 武内 茂雄 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内 (72)発明者 鳥羽 達 東京都小平市上水本町５丁目20番１号 日 立超エル・エス・アイ・エンジニアリング 株式会社内

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサと前記プロセッサ間ネッ
   トワークから構成され、プロセッサ間通信パケットの受
   信先を判別して適当なネットワーク経路を選んで通信パ
   ケットを送出するネットワークルータに対し、並列計算
   機の内部または外部にクロック発振器を持つ並列計算機
   において、前記通信パケットの先頭部が通過した時刻を
   前記通信パケットの通過時刻として定義し、前記プロセ
   ッサ間通信パケットが前記ネットワークルータを通過す
   る時に、前記ネットワークルータ識別番号と、前記通信
   パケットの通過時刻を、前記ネットワークルータにおい
   て前記プロセッサ間通信パケットに付加して送出する前
   記プロセッサ間通信パケット生成手段を具備し、前記ネ
   ットワークルータに前記プロセッサ間通信用回線とは独
   立なモニタ専用線を接続し、前記ネットワークルータを
   通過する前記プロセッサ間通信パケットをモニタし、 現時刻、および前記プロセッサ間通信パケットに付属す
   る以下の情報，送信元プロセッサ識別番号，通信パケッ
   ト識別番号，送信元プロセッサ出発時刻，受信先プロセ
   ッサ間識別番号，既通過ルータ識別番号および通過時
   刻，通信種類タグ，通信パケットデータ長、を識別し、
   通信パケット解析テーブルに前記プロセッサ間通信パケ
   ットに付属する情報を蓄積する手段を持つことを特徴と
   する並列計算機のプロセッサ間ネットワークモニタリン
   グ装置。
2. 【請求項２】複数のプロセッサと前記プロセッサ間ネッ
   トワークから構成され、プロセッサ間通信パケットの受
   信先を判別して適当なネットワーク経路を選んで通信パ
   ケットを送出するネットワークルータに対し、並列計算
   機の内部または外部にクロック発振器を持つ並列計算機
   において、前記通信パケットの先頭部が通過した時刻を
   前記通信パケットの通過時刻として定義し、前記プロセ
   ッサ間通信パケットが前記ネットワークルータを通過す
   る時に、前記ネットワークルータ識別番号と、前記通信
   パケットの通過時刻を、前記ネットワークルータにおい
   て前記プロセッサ間通信パケットに付加して送出する前
   記プロセッサ間通信パケット生成手段を具備し、前記ネ
   ットワークルータに前記プロセッサ間通信用回線とは独
   立なモニタ専用線を接続し、前記ネットワークルータを
   通過する前記プロセッサ間通信パケットをモニタし、 前記プロセッサ間通信パケットの先頭部通過時刻，プロ
   セッサ間通信パケットの末尾部通過時刻、および前記プ
   ロセッサ間通信パケットに付属する以下の情報，送信元
   プロセッサ識別番号，通信パケット識別番号，送信元プ
   ロセッサ出発時刻，受信先プロセッサ間識別番号，既通
   過ルータ識別番号および通過時刻，通信種類タグ，通信
   パケットデータ長、を識別し、通信パケット解析テーブ
   ルに前記プロセッサ間通信パケットに付属する情報を蓄
   積する手段を持つ並列計算機のプロセッサ間ネットワー
   クモニタリング装置。
3. 【請求項３】請求項１または請求項２において、前記プ
   ロセッサ間通信パケットがネットワークルータを通過す
   る時に当該ネットワークルータ識別番号と通信パケット
   の通過時刻を、前記ネットワークルータにおいてプロセ
   ッサ間通信パケットに付加して送出するプロセッサ間通
   信パケット生成方法。
4. 【請求項４】請求項１または請求項２において、前記ネ
   ットワークルータを通過する前記プロセッサ間通信パケ
   ットをモニタし、現時刻、および前記プロセッサ間通信
   パケットに付属する以下の情報，送信元プロセッサ識別
   番号，送信元プロセッサ出発時刻，受信先プロセッサ間
   識別番号，通過ルータ識別番号および通過時刻，通信種
   類タグ，通信パケットデータ長、を識別し、上記情報
   を、プロセッサ間通信パケットが通過する度に、前記プ
   ロセッサ間通信パケット・モニタリングレコードとして
   モニタ専用線を介してモニタリング制御装置に通知する
   ための、並列計算機のプロセッサ間通信パケットのモニ
   タリングレコード生成方法。
5. 【請求項５】請求項４において、時刻を観察する際に、
   ネットワークルータに付属するクロックカウンタの最大
   値を超えた場合、ネットワークルータ番号とクロックカ
   ウンタのラップアラウンドコードを、モニタリング制御
   装置に通知するプロセッサ間通信パケットのモニタリン
   グレコード生成方法。
6. 【請求項６】請求項１または請求項２において、前記プ
   ロセッサ間パケット各々に関して得られたモニタリング
   情報に対して、通信ルートに沿って、時間軸を設定し、
   通過ルータ識別番号を通過時刻の該当する位置に配置
   し、通過ルータを示すノード間を、長さがルータ間トラ
   ベル時間，面積がプロセッサ間通信パケット長に相当す
   る矩形で接続するグラフにて表現するプロセッサ間通信
   パケット通信履歴表現方法。