JPH07262146A

JPH07262146A - 並列プロセッサシステムの通信制御方法

Info

Publication number: JPH07262146A
Application number: JP6047245A
Authority: JP
Inventors: Kaoru Suzuki; 薫鈴木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-03-17
Filing date: 1994-03-17
Publication date: 1995-10-13
Anticipated expiration: 2018-05-06
Also published as: US5808886A; JP3402398B2

Abstract

(57)【要約】【目的】パケットのネットワークルーチングの動的再
構成処理を高速かつ効率的に行う。【構成】送信元プロセッサユニット１０１は、受信先
プロセッサユニットの論理アドレスを付加してパケット
を送信する。ネットワークルータ１０２〜１０８は、信
号線１４０を介しプロセッサアドレス変換テーブル１２
２を参照して宛先論理アドレスに対応する物理アドレス
を得、ルート１１２を設定して、受信先プロセッサユニ
ット１０７にパケットを転送する。受信先１０７で障害
が発生すると、サービスプロセッサ１２０は変換テーブ
ル１２２の論理／物理アドレスの対応を変更する。この
結果、代替プロセッサユニット１０５へのルート１１３
が動的に設定される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のプロセッサユニ
ットが各々ネットワークルータを介してネットワーク網
で結合され、プロセッサユニット間のデータ転送がパケ
ット送受信によって行われる並列プロセッサシステムに
おける通信制御方法に係り、特にプロセッサユニットの
動的再構成を効率良く行うのに好適な並列プロセッサシ
ステムの通信制御方法に関する。

【０００２】

【従来の技術】単一プロセッサの高速化の限界と、大量
のデータの高速処理要求に伴って、例えばＳＩＭＤ（Ｓ
ingle Ｉnstruction Ｓtream Ｍultiple Ｄata Ｓtrea
m；各プロセッサが異なるデータに対して、同一の命令
を実行する方式）、ＭＩＭＤ（Ｍultiple Ｉnstruction
Ｓtream Ｍultiple Ｄata Ｓtream；各プロセッサが独
立に個別の命令を実行する方式）など種々の方式の並列
処理マシンが開発され、実用に供されている。通常、こ
の種の並列プロセッサシステムは、数百から数万のプロ
セッサユニットで構成されている。

【０００３】従来、このような並列プロセッサシステム
において、プロセッサユニット間のデータ転送をパケッ
ト送受信によって行う場合、実際にプロセッサユニット
が接続されている物理ネットワークアドレスを用いて、
送受信プロセッサユニットを指定し、該送受信プロセッ
サユニット間でパケットを送受信する方法が採られてい
る。

【０００４】

【発明が解決しようとする課題】上記した従来技術で
は、パケット受信動作中、または受信待ち動作中に当該
プロセッサユニットで障害が発生した場合や、定期保守
のために所定のプロセッサユニットをネットワーク網か
ら切り離す必要が生じた場合、処理中のタスクを一旦中
断し、プロセッサユニットの切離し、再構成が完了した
後に、送信元プロセッサユニットのＯＳ（オペレーティ
ングシステム）は、ネットワーク構成情報を変更し、該
変更された物理ネットワークアドレスを用いて、処理中
の通信処理を最初からやりなおす必要があり、ＯＳのオ
ーバヘッドが大きくなり、また、通信処理制御が複雑に
なるという問題があった。

【０００５】本発明の目的は、上記従来技術の問題点を
解決し、必要に応じてプロセッサユニットの動的再構成
を高速かつ効率的に行うことのできる並列プロセッサシ
ステムの通信制御方法を提供することにある。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、複数のプロセッサユニットが各々ネット
ワークルータを介してネットワーク網で結合され、プロ
セッサユニット間のデータ転送がパケット送受信により
行われる並列プロセッサシステムにおいて、システムの
状態を監視する監視プロセッサ、あるいは、複数のプロ
セッサユニットの各ネットワークルータに、各プロセッ
サユニットの論理アドレスと物理アドレスとの対応を登
録したプロセッサアドレス変換テーブルを用意し、パケ
ット送信元プロセッサユニットは宛先プロセッサユニッ
トアドレスとして論理アドレスを付加したパケットを送
信し、該パケットを受信したネットワークルータは、前
記監視プロセッサに要求を出して前記論理アドレスに対
応する物理アドレスを得、該物理アドレスにもとづいて
ネットワーク網の経路選択を行うようにしたことであ
る。

【０００７】

【作用】ネットワーク網から、例えば障害発生プロセッ
サユニットを切り離す必要が生じた場合、プロセッサア
ドレス変換テーブル内の当該プロセッサユニットの論理
アドレスと対の物理アドレスを代替先プロセッサユニッ
トの物理アドレスに変更する。これにより、障害発生プ
ロセッサユニットのネットワーク網からの切り離しが達
成されたことになる。

【０００８】ネットワークルータでは、障害発生プロセ
ッサユニットの論理アドレスが付加されたパケットを受
信すると、プロセッサアドレス変換テーブルより代替先
プロセッサユニットの物理アドレスを得、動的に該代替
先プロセッサに対応する経路選択が実施される。また、
送信元プロセッサユニットでは、パケットを再送信する
場合、代替先プロセッサをまったく意識することなく、
送信先プロセッサユニットアドレスとして障害発生プロ
セッサユニットの論理アドレスが付加されたパケットを
そのまま再送信するだけでよい。

【０００９】このように、本発明によれば、再構成時の
ソフトウェア処理が容易になり、ＯＳのオーバヘッドを
最小限に抑えることができる。また、高速にネットワー
ク網からの対象プロセッサの切離し、処理中タスクの継
続実行が可能になる。

【００１０】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。図１は、本発明の一実施例のブロック構
成図である。図において、１０１、１０３、１０５、１
０７はプロセッサユニットであり、各々、ネットワーク
ルータ１０２、１０４、１０６、１０８を介し、ネット
ワーク網を構成するＸおよびＹのクロスバスイッチ１１
０、１１１に接続され、並列プロセッサシステムを構成
している。１０９は受信パケット中の送信元プロセッサ
ユニットの論理アドレスを一時保持する受信アドレステ
ーブルで、便宜上、図１ではネットワークルータ１０８
についてのみ示したが、他のネットワークルータ１０
２、１０４、１０６にも同様に具備される。１２０はシ
ステムのネットワーク網の状態を監視するサービスプロ
セッサ（ネットワーク監視プロセッサ）であり、保守・
診断用等の専用の信号線１４０により、プロセッサユニ
ット１０１、１０３、１０５、１０７及びネットワーク
ルータ１０２、１０４、１０６、１０８と接続されてい
る。１２２はサービスプロセッサ１２０が管理するプロ
セッサアドレス変換テーブルであり、各プロセッサユニ
ット１０１、１０３、１０５、１０７の仮想的なアドレ
ス（論理プロセッサアドレス）とネットワーク網上の物
理的なアドレス（物理プロセッサアドレス）との対応を
保持している。１３０はシステムコンソールであり、オ
ペレータは該コンソール１３０を使用してプロセッサア
ドレス変換テーブル１２２の内容を設定することができ
る。

【００１１】なお、ネットワーク網は、通常、Ｘ方向、
Ｙ方向、Ｚ方向のクロスバスイッチで構成されている
が、図１では説明を簡単にするためにＸ方向、Ｙ方向の
二次元のクロスバスイッチのみを示す。また、図１では
４台のプロセッサユニットのみが示されているが、前述
したように、この種の並列プロセッサシステムは数百か
ら数万のプロセッサユニットで構成されている。

【００１２】プロセッサユニット間のデ−タ転送はパケ
ットの送受信によって行われる。いま、プロセッサユニ
ット１０１を送信元、プロセッサユニット１０７を受信
先として、まず、プロセッサユニット１０７が正常の場
合の動作を説明する。図４に、この場合のネットワーク
ルータの処理フローチャートを示す。

【００１３】ここで、便宜上、プロセッサユニット１０
１、ネットワークルータ１０２の座標位置を原点とし、
右方向をＸ方向、下方向をＹ方向とする。従って、プロ
セッサユニット１０１、ネットワークルータ１０２の座
標は（０，０）、プロセッサユニット１０３、ネットワ
ークルータ１０４の座標は（０，１）、プロセッサユニ
ット１０５、ネットワークルータ１０６の座標は（１，
０）、プロセッサユニット１０７、ネットワークルータ
１０８の座標は（１，１）となる。これらの座標値を、
各プロセッサユニットの物理プロセッサアドレスとす
る。

【００１４】送信元プロセッサユニット１０１は、ヘッ
ダ部に自プロセッサユニットの論理プロセッサアドレス
（送信元論理アドレス）と受信先プロセッサユニット１
０７の論理プロセッサアドレス（宛先論理アドレス）が
付加されたパケットを送信する。ネットワークルータ１
０２は、該パケットを受信すると、ヘッダ部から宛先論
理アドレスを読み出し（ステップ４０１）、信号線１４
０を介してサービスプロセッサ１２０へ、該宛先論理ア
ドレスの付加された物理アドレス取得要求を発行するこ
とで（ステップ４０２）、サービスプロセッサ１２０か
ら同じく信号線１４０を介して、該宛先論理アドレスに
対応する物理アドレス（宛先物理アドレス）を得る（ス
テップ４０３）。サービスプロセッサ１２０でのプロセ
ッサアドレス変換テーブル１２２による論理／物理アド
レス変換動作については、図２により後述する。ネット
ワークルータ１０２は、自物理アドレスすなわちプロセ
ッサユニット１０１の物理アドレスと取得した宛先論理
アドレスとを比較し（ステップ４０４）、同一アドレス
か否か判定し（ステップ４０５）、本例では同一でない
ので、経路選択アルゴリズムで所定のクロスバを選択し
てパケットを送信する（ステップ４０６）。具体的に
は、ネットワークルータ１０２は、サービスプロセッサ
１２０から宛先物理アドレスとして（１，１）を得て、
自分の物理アドレス（０，０）と該宛先物理アドレス
（１，１）とを比較し、その差分方向にパケットを送
る。ここでは、Ｙ方向のクロスバ１１１を選択してパケ
ットを送るとする（もちろん、Ｘ方向を選択してもよ
く、これは経路選択アルゴリズムによる）。これによ
り、次にパケットはネットワークルータ１０４で受信さ
れる。

【００１５】パケットを受信したネットワークルータ１
０４も、同様にしてサービスプロセッサ１２０から宛先
物理アドレス（１，１）を得て、自分の物理アドレス
（０，１）と宛先物理アドレス（１，１）とを比較し、
一致しないため、その差分方向、つまりここではＸ方向
のクロスバ１１２を選択してパケットを送る。

【００１６】このようにして、プロセッサユニット１０
１が送信したパケットは、１１２の経路でネットワーク
ルータ１０８まで到達する。ネットワークルータ１０８
でも、パケットを受信すると、同様にサービスプロセッ
サ１２０から宛先物理アドレス（１，１）を得て、自分
の物理アドレス（１，１）と比較する。この結果、アド
レスが一致するので、該ネットワークルータ１０８は、
受信パケットを自プロセッサユニット１０７に送る（ス
テップ４０７）。この時、ネットワークルータ１０８
は、受信パケットに付加されている送信元論理アドレス
を受信アドレステーブル１０９に一時登録しておき、受
信パケットがすべて正常にプロセッサユニット１０７に
取り込まれると、当該送信元論理アドレスを削除する。
この受信アドレステーブル１０９の詳細は図３により後
述する。

【００１７】次に、受信先プロセッサユニット１０７で
障害が発生した場合について説明する。プロセッサユニ
ット１０７は、障害が発生すると、信号線１４０を介し
てサービスプロセッサ１２０へ障害発生割込みを通知す
る。サービスプロセッサ１２０は、システムをフリーズ
（凍結）した後、プロセッサアドレス変換テーブル１２
２を書き替え、プロセッサユニット１０７の論理プロセ
ッサアドレスに対応する物理プロセッサアドレスを変更
し、フリーズを解除する。ここでは、プロセッサユニッ
ト１０５の物理プロセッサアドレス（１，０）に変更さ
れたとする。

【００１８】いま、フリーズ時、プロセッサユニット１
０１の送信したパケットがネットワークルータ１０４と
ネットワークルータ１０８の途中のクロスバ上にあった
とすると、フリーズ解除で、該パケットはネットワーク
ルータ１０８に到達する。ネットワークルータ１０８
は、パケットを受信すると、上記と同様にしてサービス
プロセッサ１２０から宛先物理アドレスを取得するが、
この時、サービスプロセッサ１２０からは宛先物理アド
レスとしてプロセッサユニット（代替受信先プロセッサ
ユニット）１０５の物理アドレス（１，０）が返ってく
る。ネットワークルータ１０８は、自分の物理アドレス
（１，１）と宛先物理アドレス（１，０）とを比較し、
一致しないため、その差分方向、即ち、ここではＹ方向
のクロスバ１１１を選択してパケットを送信する。この
結果、１１３の経路で、パケットは代替受信先プロセッ
サユニット１０５のネットワークルータ１０６に受信さ
れる。ネットワークルータ１０６は、サービスプロセッ
サ１２０から同様に宛先物理アドレス（１，０）を得、
自分の物理アドレス（１，０）と一致するため、受信パ
ケットを自プロセッサユニット１０５へ取り込む。

【００１９】図２は、サービスプロセッサ１２０が管理
するプロセッサアドレス変換テーブル１２２の具体的構
成例、及び、該変換テーブル１２２を用いたプロセッサ
ユニット間の通信および動的な再構成を説明する図であ
る。

【００２０】図１で説明したと同様にして、送信元プロ
セッサユニット２０１から送信されたパケットは、ネッ
トワークルータ、クロスバスイッチを経由して受信先プ
ロセッサユニット２０３に転送される。そのとき、各ネ
ットワークルータは、パケットのヘッダ部に付加された
宛先論理アドレスに対応する物理アドレスの取得要求を
サービスプロセッサ１２０へ発行する。これを受けて、
サービスプロセッサ１２０では、テーブル参照回路１２
１を介してプロセッサアドレス変換テーブル１２２を参
照し、宛先論理アドレス（物理プロセッサアドレス）に
対応する物理アドレス（物理プロセッサアドレス）を読
み出して、要求のあったネットワークルータへ返送す
る。

【００２１】プロセッサアドレス変換テーブル１２２の
各エントリは、プロセッサグループのクラスを指定する
クラスビット、エントリの有効無効を判断する有効ビッ
ト、論理プロセッサアドレス、及び、論理プロセッサア
ドレスに対応する物理プロセッサアドレスで構成され
る。該プロセッサアドレス変換テーブル１２２は、サー
ビスプロセッサ１２０が発行するＤＩＡＧ（診断）命令
により初期化され、障害が発生した場合は、サービスプ
ロセッサ１２０により自動的に、又は、システムコンソ
ール１３０からマニアル指示により書替えられる。

【００２２】クラスビットは、サービスプロセッサ１２
０のＯＳが初期化する際に、グループ分けしたプロセッ
サユニット群毎にシリアル番号を持っている。例えば、
ｎ台のプロセッサユニットからなる並列プロセッサシス
テムを、２つのグループに論理的に分けて動作させたと
き、一方のプロセッサグループに例えばクラス００１を
割り当て、他方のプロセッサグループにクラス００２を
割り当てる。有効ビットは、処理参加中のプロセッサユ
ニットに対応するエントリには“１１”（使用中）が設
定され、論理的に切り離されているが、動作可能なプロ
セッサユニットに対応するエントリには“１０”（待期
中）が設定され、論理的に切り離されていて、且つ動作
不可であるプロセッサユニットに対応するエントリには
“００”（無効）が設定されている。論理プロセッサア
ドレスはプロセッサユニットに任意に割り当てた仮想ア
ドレス、物理プロセッサアドレスはネットワーク網の実
際の物理アドレスを示す。

【００２３】いま、送信元プロセッサユニット２０１の
論理プロセッサアドレスを“０００００００１”、その
物理プロセッサアドレスを“００００００００”とし、
受信先プロセッサユニット２０３の論理プロセッサアド
レスを“０００００００９”、その物理プロセッサアド
レスを“０００２０００２”とする。また、代替受信先
プロセッサユニット２０５の論理プロセッサアドレスを
“０００００００４”、その物理プロセッサアドレスを
“０００１００００”とする。

【００２４】送信元プロセッサユニット２０１から受信
先プロセッサユニット２０３へデータ転送する場合、プ
ロセッサユニット２０１は、送信元論理アドレスとして
論理プロセッサアドレス“０００００００１”、宛先論
理アドレスとして論理プロセッサアドレス“０００００
００９”を付加したパケットを送信する。該パケットを
受信した各ネットワークルータは、宛先論理アドレス
“０００００００９”を指定して、それに対応する物理
アドレスの取得要求を、サービスプロセッサ１２０へ発
行する。サービスプロセッサ１２０のテーブル参照回路
１２１は、プロセッサアドレス変換テーブル１２２より
論理プロセッサアドレス“０００００００９”に対応す
る論理プロセッサアドレス“０００２０００２”を検索
し、要求のあったネットワークルータへ返送する。この
ようにして、受信先プロセッサユニット２０３が正常で
あれば、プロセッサユニット２０１から送信されたパケ
ットは、経路２１０でプロセッサユニット２０３に受信
される。

【００２５】一方、障害発生時におけるパケットルーチ
ングの動的再構成は、プロセッサアドレス変換テーブル
１２２により以下のようにして行う。まず、プロセッサ
アドレス変換テーブル１２２について、障害プロセッサ
ユニットと同一クラス内で有効ビットが“１０”となっ
ているエントリに対応するプロセッサユニットを、代替
受信プロセッサユニットとして選択する。次に、障害発
生プロセッサユニットの論理プロセッサアドレスに対応
する物理プロセッサアドレスを、該選択されたプロセッ
サユニットの物理プロセッサアドレスに書き換え、該選
択されたエントリの有効ビットを“１０”から“００”
に書き換えて無効にする。

【００２６】例えば、受信先プロセッサユニット２０３
に障害が発生すると、該プロセッサユニット２０３は、
自論理プロセッサアドレス“０００００００９”を指定
して、障害発生割込みをサービスプロセッサ１２０へ通
知する。サービスプロセッサ１２０は、プロセッサアド
レス変換テーブル１２２を参照して、同一クラス（００
１）内で有効ビットが“１０”となっているエントリと
して、論理プロセッサアドレスが“０００００００４”
で、物理プロセッサアドレスが“０００１００００”で
あるプロセッサユニット２０５を代替受信プロセッサユ
ニットとして選択する。そして、障害が発生したプロセ
ッサユニット２０３のエントリの論理プロセッサアドレ
ス“０００００００９”に対応する物理プロセッサアド
レス“０００２０００２”を“０００１００００”に書
き換えるとともに、選択されたエントリの有効ビット
“１０”を“００”に書き換えて無効化する。この結
果、フリーズ解除後、パケットを受信したネットワーク
ルータ２０４が、宛先論理アドレス“０００００００
９”を指定して物理アドレス取得要求をサービスプロセ
ッサ１２０へ発行すると、サービスプロセッサ１２０の
テーブル参照回路１２１は、プロセッサアドレス変換テ
ーブル１２２より論理アドレス“０００００００９”に
対応する論理プロセッサアドレス“０００１００００”
を検索してネットワークルータ２０４へ返送する。これ
により、経路２１１を経由して、パケットが代替受信先
プロセッサユニット２０５で受信可能となる。

【００２７】図３は、各ネットワークルータが具備する
受信アドレステーブルの具体的構成例、及び、その働き
を説明する図である。

【００２８】図３において、３０１、３０３を送信元プ
ロセッサユニット、３０５を受信先プロセッサユニット
とする。３０６は受信先プロセッサユニット３０５のネ
ットワークルータであり、テーブル参照回路３１０、受
信アドレステーブル３１１を具備する。受信アドレステ
ーブル３１１のエントリは、当該エントリの有効・無効
を示すＶＬＤビットと、受信パケットの送信元論理アド
レスが登録される論理アドレスとで構成される。図３で
は、ネットワークルータ３０６についてのみ示したが、
このような受信アドレステーブルが、すべてのネットワ
ークルータ１０２に内蔵されている。

【００２９】いま、送信元プロセッサユニット３０１か
ら送信されたパケットが受信先プロセッサユニット３０
５のネットワークルータ３０６に到達すると、当該ネッ
トワークルータ３０６では、テーブル参照回路３１０を
介して、受信アドレステーブル３１１に、受信パケット
に付加されている送信元プロセッサユニット３０１の論
理アドレス（送信元論理アドレス）を登録し、そのエン
トリのＶＬＤビットに“１”を設定する。そして、当該
送信元プロセッサユニット３０１からのパケットがすべ
てプロセッサユニット３０５に取り込まれると（受信完
了）、該ネットワークルータ３０６は、該当エントリの
ＶＬＤビットを“０”に書き換える。テーブル参照回路
３１０は、１エントリの登録が終了すると、エントリの
ポインタを次のエントリアドレスにポイントし、受信ア
ドレステーブル３０６がフルになった場合、ＶＬＤビッ
トが“０”となっている低位アドレスのエントリの先頭
をポイントする。

【００３０】ここで、受信先プロセッサユニット３０５
で障害が発生した場合、該プロセッサユニット３０５は
サービスプロセッサに障害発生割込みを通知する。これ
を受けてサービスプロセッサでは、図２で説明したよう
にプロセッサアドレス変換テーブルを書き替えてパケッ
トルーティングの動的再構成を行う。その後、サービス
プロセッサは、該障害発生プロセッサユニット３０５に
接続されたネットワークルータ３０６内の受信アドレス
テーブル３１１の内容をテーブル参照回路３１０を通し
て読み取り、ＶＬＤビットが“１”すなわちパケットの
受信が完了していない論理アドレスに対応する送信元プ
ロセッサユニット（図３では３０１）に対してパケット
の再送要求割込みを報告する。

【００３１】パケットの再送要求に対して、送信元プロ
セッサユニット３０１のＯＳでは、受信先プロセッサユ
ニット３０５の障害発生をまったく意識することなく、
障害発生前と同じ条件設定のままで、パケットの送出指
示を行う。この結果、該送信元プロセッサユニット３０
１から再送されたパケットは、図２で説明したようにし
て、所定の代替受信先プロセッサユニットで受信され
る。

【００３２】一方、図３において、他の送信元プロセッ
サユニット３０３からのパケットは、まだクロスバスイ
ッチ上にあり、受信先プロセッサユニット３０５に到達
していないので、ネットワークルータ３０６の受信アド
レステーブル３１１にはその論理アドレスは登録されて
いない。したがって、サービスプロセッサからは該送信
元プロセッサユニット３０３に対して、パケットの再送
要求割込みを報告されない。これは、途中のパケット
は、フリーズ解除後、自動的に代替受信先プロセッサユ
ニットで受信されることによる。

【００３３】また、受信アドレステーブル３１１内にお
いて、ＶＬＤビットが“０”、すなわち、障害発生プロ
セッサユニット３０５で障害発生前にパケットの受信が
完了した論理アドレスに対応する送信元プロセッサユニ
ットに対しても、サービスプロセッサからはパケットの
再送要求割込みを報告されない。これは、図４で後述す
るように、サービスプロセッサが障害発生プロセッサユ
ニットから代替受信先プロセッサユニットにコピーする
情報に正常なパケット内容が含まれていることによる。

【００３４】図５は、任意プロセッサユニットで障害が
発生してから代替プロセッサユニットで処理の継続を開
始するまでの、サービスプロセッサの全体的な処理フロ
ーチャートを示したものである。

【００３５】ある受信先プロセッサユニットで障害が発
生すると、該プロセッサユニットは障害発生割込みをサ
ービスプロセッサに対して報告する（ステップ５０
１）。サービスプロセッサは、障害報告割込みを受け取
ると、直ちにシステム全体の動作をフリーズ（凍結）す
る（ステップ５０２）。次いで、図２で説明したよう
に、プロセッサアドレス変換テーブルを参照して、同一
クラス内で代替プロセッサユニットの対象となるエント
リ（有効ビットが“１０”のエントリ）を選択し（ステ
ップ５０３）、該変換テーブルに登録されている障害発
生受信先プロセッサユニットのエントリの物理プロセッ
サアドレスを、選択された代替プロセッサユニットのエ
ントリの物理プロセッサアドレスに書き換え（ステップ
５０４）、代替プロセッサユニットのエントリを無効化
（有効ビットを“００”）する（ステップ５０５）。そ
の後、障害が発生した受信先プロセッサユニットのハー
ドウェア情報を、代替受信先プロセッサユニットにコピ
ーする（ステップ５０６）。

【００３６】次いで、サービスプロセッサは障害が発し
た受信先プロセッサユニットに接続されているネットワ
ークルータ内の受信アドレステーブルを読み込み（ステ
ップ５０７）、ＶＬＤビットにより、該障害発生受信先
プロセッサユニットがパケット受信処理中かどうか判定
する（ステップ５０８）。そして、障害発生受信先プロ
セッサユニットがパケット受信処理中（ＶＬＤビットが
“１”）の場合、受信アドレステーブルの当該エントリ
に登録されている論理アドレスの送信元プロセッサユニ
ットに対して、パケットの再送要求割込みを報告し（ス
テップ５０９）、代替受信先プロセッサユニットに対し
ては、ステップ５０６でコピーした障害発生プロセッサ
ユニットのハードウェア情報中の受信中パケットの破棄
割込みを報告して（ステップ５１０）、システムフリー
ズを解除する（ステップ５１１）。また、障害発生プロ
セッサユニットがパケット受信処理中でない場合は（Ｖ
ＬＤビットが“０”）、ステップ５０９、５１０の処理
を行うことなく、システムフリーズを解除する。

【００３７】図６は、本発明の第２の実施例のブロック
構成図で、各ネットワークルータ６０２、６０４、６０
６、６０８にそれぞれプロセッサアドレス変換テーブル
６２２１〜６２２４を用意したものである。なお、図６
では省略したが、該変換テーブルの他に、各ネットワー
クルータ６０２、６０４、６０６、６０８は図３で説明
した受信アドレステーブルを持つことは第１の実施例と
同様である。

【００３８】サービスプロセッサ６２０はマスタプロセ
ッサアドレス変換テーブル６２２を持っており、システ
ム立上げ時、該マスタプロセッサアドレス変換テーブル
６２２の内容を信号線６４０により各ネットワークルー
タ６０２、６０４、６０６、６０８に配布してプロセッ
サアドレス変換テーブル６２２１〜６２２４を初期設定
する。また、任意プロセッサユニットで障害が発生した
場合、サービスプロセッサ６２０は、図２で説明したと
同様にしてマスタプロセッサアドレス変換テーブル６２
２を書き換え、その変更後のマスタプロセッサアドレス
変換テーブル６２２の内容を、信号線６４０を介して、
各ネットワークルータ６０２、６０４、６０６、６０８
のプロセッサアドレス変換テーブル６２２１〜６２２４
に再設定する。これにより、各ネットワークルータ内の
プロセッサアドレス変換テーブルの一致性が保証され
る。

【００３９】図６の構成によれば、各ネットワークルー
タ６０２、６０４、６０６、６０８はパケットを受信し
た時、それぞれ自分のアドレス変換テーブル６２２１、
６２２２、６２２３、６２２４を参照して宛先論理アド
レスに対応する物理アドレスを得ることができ、一々、
サービスプロセッサ６２０へ物理アドレス取得要求を発
行する必要がなくなる。また、サービスプロセッサ６２
０においても、該物理アドレス取得要求に一々応答する
必要がなくなる。

【００４０】以上、本発明の一実施例について説明した
が、パケット転送路としては、クロスバスイッチに限定
されるものではなく、他の任意のものを用いることがで
きる。また、並列プロセッサシステムを構成するプロセ
ッサユニット群の１台あるいは複数台のプロセッサユニ
ットにサービスプロセッサの機能を兼ねさせ、サービス
プロセッサが故障した場合、当該プロセッサユニットに
サービスプロセッサの処理を代替させるようにしてもよ
い。

【００４１】

【発明の効果】

（１）本発明によれば、ネットワーク網に接続されてい
る全てのプロセッサユニットを論理アドレスと物理アド
レスで管理しているので、ネットワーク網から対象プロ
セッサユニットを容易に切離すことができ、動的な再構
成処理を高速に行うことができ、可用性、保守性が格段
に向上する。

【００４２】（２）各プロセッサユニットの論理アドレ
スと物理アドレスの対応を登録したプロセッサアドレス
変換テーブルは、システムの状態を監視する監視プロセ
ッサでの一元管理、あるいは、各プロセッサユニット対
応のネットワークルータでの分散管理のいずれでもよ
い。ここで、監視プロセッサでの一元管理は、保守が簡
単であるが、ネットワークルータが一々、監視プロセッ
サに参加要求を発行する必要があるため、プロセッサユ
ニットの構成数があまり多くない場合に向いている。一
方、各ネットワークルータでの分散管理は、監視プロセ
ッサへの参照要求が不要であり、プロセッサの構成数が
多量の場合に有効である。

【００４３】（３）各ネットワークルータは、対応する
プロセッサユニットがパケット受信処理中であるか否か
を示す識別ビット、及び、当該パケットの送信元プロセ
ッサユニットの論理アドレスの対応を管理しているの
で、受信中に障害があった送信元プロセッサユニットに
対してのみ再送信処理を行い、パケット送信途中で、ま
だ受信側に到達していないパケットは、動的に再構成さ
れても再送信処理を行うことなく、新たに割り付けられ
た受信先プロセッサユニットに送信される。従って、プ
ロセッサユニットのＯＳの再送信処理が簡素化され、処
理オーバヘッドを大幅に削減することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例のブロック構成図であ
る。

【図２】プロセッサアドレス変換テーブルの構成例およ
びネットワークルーチンの動的な再構成を説明する図で
ある。

【図３】受信アドレステーブルの構成例およびその働き
を説明する図である。

【図４】ネットワークルータのパケット受信時の処理フ
ローチャートである。

【図５】障害発生時のサービスプロセッサの動的再構成
制御の処理フローチャートである。

【図６】本発明の第２の実施例のブロック構成図であ
る。

【符号の説明】

１０１、１０３、１０５、１０７プロセッサユニット１０２、１０４、１０６、１０８ネットワークルータ１０９受信アドレステーブル１１０、１１１クロスバスイッチ１２０サービスプロセッサ１２２プロセッサアドレス変換テーブル

Claims

【特許請求の範囲】

【請求項１】複数のプロセッサユニットが各々ネット
ワークルータを介してネットワーク網で結合され、プロ
セッサユニット間のデータ転送がパケット送受信により
行われる並列プロセッサシステムにおける通信制御方法
であって、前記複数のプロセッサユニット中の任意プロセッサユニ
ットあるいは別に設けた、システムの状態を監視する監
視プロセッサに、各プロセッサユニットの論理アドレス
と物理アドレスとの対応を登録したプロセッサアドレス
変換テーブルを設け、パケット送信元プロセッサユニットは自プロセッサユニ
ットアドレス及び受信先プロセッサユニットアドレスと
して論理アドレスを付加したパケットを送信し、前記パケットを受信したネットワークルータは、前記監
視プロセッサに要求を出して受信先プロセッサユニット
の論理アドレスに対応する物理アドレスを得、該物理ア
ドレスにもとづいてネットワーク網の経路選択を行う、ことを特徴とする並列プロセッサシステムの通信制御方
法。
【請求項２】複数のプロセッサユニットが各々ネット
ワークルータを介してネットワーク網で結合され、プロ
セッサユニット間のデータ転送がパケット送受信により
行われる並列プロセッサシステムにおける通信制御方法
であって、各ネットワークルータに、該並列プロセッサシステムを
構成する各プロセッサユニットの論理アドレスと物理ア
ドレスとの対応を登録したプロセッサアドレス変換テー
ブルを設け、パケット送信元プロセッサユニットは自プロセッサユニ
ットアドレス及び受信先プロセッサユニットアドレスと
して論理アドレスを付加したパケットを送信し、前記パケットを受信したネットワークルータは、前記プ
ロセッサアドレス変換テーブルを参照して受信先プロセ
ッサユニットの論理アドレスに対応する物理アドレスを
得、該物理アドレスにもとづいてネットワーク網の経路
選択を行う、ことを特徴とする並列プロセッサシステムの通信制御方
法。
【請求項３】請求項１もしくは２記載の並列プロセッ
サシステムの通信制御方法において、プロセッサアドレ
ス変換テーブルの論理アドレスと物理アドレスの対応を
変更して、ネットワーク網から任意プロセッサユニット
を論理的に切り離すことを特徴とする並列プロセッサシ
ステムの通信制御方法。
【請求項４】請求項３記載の並列プロセッサシステム
の通信制御方法において、各ネットワークルータに当該ネットワークルータに接続
されたプロセッサユニットがパケット受信処理中である
か否かを示す識別ビットと当該パケットの送信元プロセ
ッサユニットの論理アドレスとの対応を登録する受信ア
ドレステーブルを設け、受信先プロセッサユニットの障害発生時、監視プロセッ
サが当該障害発生プロセッサユニットに接続されたネッ
トワークルータの受信アドレステーブルを読み込み、前
記識別１ビットがパケット受信処理中を示していれば、
対応する論理アドレスのパケット送信元プロセッサユニ
ットに対してパケット再送を通知することを特徴とする
並列プロセッサシステムの通信制御方法。