JPH07210524A - 計算機システムのメッセージ転送順序保証装置 - Google Patents

Abstract

(57)【要約】 【目的】ハードウェアでメッセージの転送順序を保証す
るネットワークを有する計算機システムを提供する。 【構成】プロセッサとネットワーク、上記両者間のイン
タフェースであるメッセージコントローラ１３０〜１３
３で構成され、メッセージコントローラは、放送を実行
しているときに設定される順序保証ビットを保持するレ
ジスタ４４０を有し、放送を行う場合、メッセージコン
トローラが直接接続するプロセッサ番号と送信元プロセ
ッサ番号を比較する比較器４３０の結果と転送制御情報
によりレジスタ４４０に値をセットし、プロセッサから
のメッセージの送信発送を停止したり、再開したりす
る。 【効果】ユーザ自身がプログラム上で順序保証をする必
要がなくユーザのプログラミング労力を軽減できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のプロセッサ間で
ネットワークを介してメッセージ転送を行うシステムに
おいて、メッセージ転送順序保証装置に関する。

【０００２】

【従来の技術】従来、複数のプロセッサ間でネットワー
クを介してメッセージ転送を行うシステムでは、メッセ
ージの転送順序を保証するために、あるプロセッサから
任意のプロセッサにデータを転送する経路を一意に決定
していた。一方、近年システムの信頼性および性能を向
上させる技術の研究が盛んになってきており、転送経路
の選択幅を広げたアダプティブ・ルーティングが提案さ
れている。例えば、アイーイーイー トランザクション
ズ オン パラレル アンド ディストリビューテッド
システムス ボリューム４ ナンバー４（IEEE TRANS
ACTIONS ONPARALLEL AND DISTRIBUTED SYSTEMS VOL
４，NO.４）の第４６６頁から第４７５頁および、コン
ピュータ（COMPUTER）１９９３年５月号の第１２頁から
第２３頁において、数多くのアダプティブ・ルーティン
グが紹介されている。

【０００３】アダプティブ・ルーティングでは、経路が
混みあっているときには空いている経路にメッセージを
転送したり、経路が故障しているときにその経路を避け
て通る。そのため、同じプロセッサから発生したメッセ
ージでも、転送の種類によっては、経路が異なる場合が
ある。経路が異なる場合、ユーザは、自分のプログラム
のなかで同期をとる、あるいはソフトウェアで自動的に
同期をとることにより、メッセージの転送順序を保証し
なければならない。

【０００４】種々のメッセージの中で、すべてのプロセ
ッサに対してデータを転送する放送と１対１転送を続け
て実行することが必要な場合がある。例えば、代表的な
数値応用プログラムである近接作用問題では、各プロセ
ッサにデータが割り当てられる。そして、隣接するプロ
セッサ間で１対１転送を行ってデータを交換し、演算を
行った後、一つのプロセッサに結果を収集し、解析した
結果を放送により各プロセッサに転送し、さらに再び１
対１転送を行うという動作を繰り返し実行する。放送
は、転送先プロセッサへの経路のすべてを確保できない
とメッセージを転送することができないため、同一プロ
セッサから放送が発生した後に放送とは経路の異なる１
対１転送が発生する場合、放送が終了していないのに１
対１転送が先に終了してしまうといった転送順序の逆転
が起こる。

【０００５】

【発明が解決しようとする課題】上記の従来技術を、例
えば並列計算機等のプロセッサを有するシステムに適用
すると、放送が発生した後、放送とは経路の異なる１対
１転送や放送が発生する場合、ユーザは自分のプログラ
ムのなかで、これらの順序を保証するために同期をとる
必要があり、ユーザのプログラミング労力は増大してし
まう。また、ソフトウェアで同期をとると、処理が重く
なりオーバーヘッドが増大してしまう。

【０００６】本発明の目的は、同一プロセッサにおいて
放送が発生した後で、放送とは経路の異なる１対１転送
や放送が発生する場合、ユーザ自身が同期をとる、ある
いはソフトウェアで自動的に同期をとることなく、メッ
セージの転送順序を保証するメッセージ順序保証装置を
提供することにある。

【０００７】

【課題を解決するための手段】本発明は、ネットワーク
とプロセッサの間でメッセージの送受信制御を行うメッ
セージコントローラに、送信元プロセッサから放送メッ
セージを送出した場合に設定する順序保証ビットを保持
する手段を設ける。また、順序保証ビットが設定された
場合に、送受信制御を行う部分からプロセッサに対して
次のメッセージの送信発送を停止する手段を設ける。

【０００８】次に、送信元プロセッサにおいてメッセー
ジを受信する場合、メッセージコントローラ内部に、順
序保証ビットが設定された場合に送信元プロセッサ番号
と、メッセージコントローラに直接接続するプロセッサ
番号とを比較する手段を設ける。メッセージコントロー
ラに直接接続するプロセッサ番号は、ホスト計算機また
はプロセッサによりあらかじめ設定されている。さら
に、比較結果が一致した場合には、メッセージの転送を
再開する手段を設ける。

【０００９】

【作用】本発明は、上述した構成により、次のような作
用を有している。放送と１対１転送の経路が異なる場合
に、送信元プロセッサにおいて放送が発生すると、メッ
セージコントローラにあるレジスタに順序保証ビットを
設定し、そこからプロセッサにメッセージの送信発送を
停止する信号を送って、メッセージの送信を停止する。

【００１０】また、送信元プロセッサに接続するメッセ
ージコントローラでは、転送されたメッセージに含まれ
る送信元プロセッサ番号とメッセージコントローラに直
接接続するプロセッサ番号が一致する場合に、転送順序
保証ビットをリセットし、メッセージコントローラから
プロセッサに対し、メッセージの転送を再開する信号を
送って、メッセージの転送を再開する。送信元プロセッ
サ番号とメッセージコントローラに直接接続するプロセ
ッサ番号が不一致である場合、一致する場合の動作をす
ることなく、メッセージを受信する。

【００１１】送信元プロセッサに放送メッセージが到着
する時、すべてのプロセッサに放送メッセージが到着し
ていることが保証されているため、以上のような作用に
より、同一プロセッサから放送の後放送とは経路の異な
る１対１転送が発生する場合にメッセージの転送順序を
保証できる。

【００１２】

【実施例】本発明は複数のプロセッサがネットワークを
介してメッセージ転送を行うすべてのシステムに適用可
能であるが、ここでは一つの実施例として並列計算機に
適用した例で説明する。

【００１３】図１は本実施例における並列計算機の構成
を示したものである。図１において、１０１，１０２，
１０３，１０４は並列計算機を構成するプロセッサ（四
台の場合を示すが、本発明はその台数を限らない）を表
わし、１１０はホスト計算機、１２０はネットワーク、
１３０〜１３３はメッセージコントローラを表わす。各
プロセッサ１０１，１０２，１０３，１０４は、図１中
には示されていないが、内部にデータおよびプログラム
を格納するメモリと、データを用いてプログラムを実行
するＣＰＵで構成され、各プロセッサは、それぞれ独立
に動作可能である。ホスト計算機１１０は、各プロセッ
サ１０１，１０２，１０３，１０４にプログラムとデー
タをロードし、また、プログラムの終了後、各プロセッ
サで得られた結果のデータを読み出す。

【００１４】ネットワーク１２０は複数のプロセッサ間
および各プロセッサとホスト計算機間でデータに送信元
プロセッサ番号や送信先プロセッサ番号などデータの属
性情報を付加したメッセージを転送する。ここでは、ネ
ットワークの形状については特に言及しない。メッセー
ジコントローラ１３０〜１３３は、プロセッサから転送
されたメッセージをネットワークに出力する、あるい
は、ネットワークから転送されるメッセージをプロセッ
サに出力するプロセッサとネットワークのインタフェー
スを受け持つ回路である。

【００１５】プロセッサから送出されたメッセージは、
メッセージコントローラにおいて制御され、ネットワー
クに送出される。ネットワーク内では、メッセージに含
まれる属性情報により経路が選択され、送信先プロセッ
サに接続するメッセージコントローラに出力される。メ
ッセージコントローラにおいて、再び制御された後メッ
セージは送信先プロセッサに転送される。ここで、ネッ
トワーク内部のスイッチ制御は従来例として述べたよう
なアダプティブ・ルーティングを用いて行う。

【００１６】次に、本発明における並列計算機のメッセ
ージ転送について、図１を用いて説明する。同じジョブ
内の処理を分割して割り当てられた各プロセッサは、ネ
ットワークを介して、実行に必要なメッセージを相互に
転送しあい、それぞれ独立にプログラムを実行する。こ
こでは、プロセッサ１０１から、放送が発生した後に放
送とは経路の異なるプロセッサ１０２へのメッセージ転
送が行われる場合を例にとって説明する。

【００１７】メッセージは送信元のプロセッサ１０１に
よって、図３に示すフォーマットに従って組み立てられ
る。メッセージの組み立ては、プログラムによって行わ
れてもよいし、専用に設けられたハードウェアにより行
われてもよい。図３に示すように、メッセージは一時に
転送される単位であるワードを基本とし、複数ワードで
１メッセージが構成される。

【００１８】メッセージはｍワード長あり、第一ワード
から第四ワードまではメッセージの属性情報である。第
五ワード以降はデータである。本実施例では、メッセー
ジ長の制限については特に言及しない。第一ワードはメ
ッセージに付加された放送ビットや優先順位情報であ
る。第二ワードは受信先プロセッサ番号であり、第三ワ
ードは送信元プロセッサ番号である。第四ワードはメッ
セージ中のデータ転送長である。

【００１９】図１において、送信元のプロセッサ１０１
で構成されたメッセージは、信号線１０１Ｘを介してメ
ッセージコントローラ１３０に転送される。信号線１０
１Ｘは、それぞれ図２に示すような信号線１０１Ｓ，１
０１Ｂ，１０１Ｅで構成される。図２に示すように、信
号線１０１Ｓは、メッセージ転送開始を示す信号、信号
線１０１Ｂは、メッセージ本体を転送する信号、信号線
１０１Ｅは、メッセージの転送終了を示す信号である。
メッセージ転送開始信号１０１Ｓは、第一ワードの転送
の直前に１となる。メッセージ転送終了信号は第ｍワー
ドの転送の直前に１となる。このメッセージ転送開始信
号１０１Ｓとメッセージ転送終了信号１０１Ｅにより、
ネットワークはメッセージの開始と終了を知ることがで
きる。他プロセッサまたはホスト計算機からネットワー
クへメッセージを転送する信号も同様な３種類の信号線
からなっている。

【００２０】信号線１０１Ｚ〜１０３Ｚは、メッセージ
コントローラからの指示に従い、メッセージの送信発送
を停止するか，再開するかを示す信号である。メッセー
ジの送信発送を停止する場合には０を出力し、再開する
場合は１を出力する。プロセッサは、この指示信号に従
い、メッセージの送信を停止，再開する。

【００２１】次に図４を用いて、メッセージコントロー
ラにおけるメッセージの制御について説明する。メッセ
ージコントローラ１３０は、シーケンサ４００と、メッ
セージの属性情報を保持するレジスタ４１０，４１１
と、ホスト計算機やプロセッサによりあらかじめ設定さ
れる情報を保持するレジスタ４２１と、比較器４３０
と、放送と１対１転送のメッセージの順序を保証する情
報を保持する順序保証ビット保持レジスタ４４０と、デ
ータを一時的に格納するバッファ４５０と、送受信制御
回路４６０と、アンド回路４７０〜４７３で構成され
る。

【００２２】送受信制御回路４６０では、信号線１０１
Ｘを通るプロセッサ１０１からのメッセージ（送信）
と、信号線１５０Ｘを通るネットワーク１２０からのメ
ッセージ（受信）が入力となる。送受信制御回路４６０
内部では、到着順にメッセージをシリアライズして信号
線４０１Ｘに出力する。また、信号線４０１Ｓには送信
と受信を識別するための１ビット信号を出力する。１ビ
ット信号は、送信するためのメッセージ転送開始信号が
出力されると同時にセットされる。送受信制御回路は従
来技術で実現可能である。

【００２３】シーケンサ４００には、信号線１０１Ｘの
信号が入力される。シーケンサ400は、メッセージ転送
開始信号１０１Ｓによってリセットされ、メッセージの
第一ワードが転送されてきたとき、信号線４０１Ｘの信
号によって、レジスタ４１０に放送ビットをセットす
る。同様に、第三ワードが転送されてきたとき、信号線
４０１Ｘの信号によって、レジスタ４１２に送信元プロ
セッサ番号をセットする。

【００２４】レジスタ４２１は、メッセージコントロー
ラに直接接続するプロセッサ番号を保持しておく保持回
路である。この値は、あらかじめ信号線１９０Ｘを介し
てホスト計算機あるいはプロセッサによりセットしてお
く。

【００２５】データバッファ４５０は、メッセージが読
みだされるまでデータを保持しておくデータ保持回路で
ある。

【００２６】比較器４３０は、レジスタ４１０に１がセ
ットされているとき、自分が直接接続するプロセッサ番
号と送信元プロセッサ番号とを比較する回路である。

【００２７】レジスタ４４０は、放送ビットが１である
場合に１をセットし、送信元プロセッサ番号とメッセー
ジコントローラに直接接続するプロセッサ番号が等しい
場合、０にリセットする順序保証ビット保持レジスタで
ある。

【００２８】以下メッセージコントローラ内部の動作概
要を図４を用いて説明する。

【００２９】（１）放送ビットに０がセットされた場合
（１対１転送） （ａ）送信処理を行う場合 転送順序保証ビット保持レジスタ４４０には０がセット
される。メッセージは、データバッファ４５０から読み
だされ、信号線４０１Ｓの入力は１であるから、アンド
回路４７３はゲートオンになり、信号線１０１Ｙに転送
される。また、信号線１７０Ｓおよび１７０Ｅは１０１
Ｙに同期して転送され、図２のタイミングでメッセージ
の転送開始と転送終了を出力する。

【００３０】（ｂ）受信処理を行う場合 メッセージは、データバッファ４５０から読みだされ、
アンド回路４７３において、信号線４０１Ｓにより信号
線１７０Ｂに転送される。また、信号線170Sおよび１７
０Ｅは１７０Ｂに同期して転送され、図２のタイミング
でメッセージの転送開始と転送終了を出力する。

【００３１】（２）放送ビットに１がセットされた場合
（放送） （ａ）送信処理を行う場合 放送ビットが１である場合、レジスタ４１０に１がセッ
トされる。順序保証ビット保持レジスタ４４０に１をセ
ットし、信号線にメッセージ停止信号を出力する。メッ
セージはデータバッファ４５０から読みだされ、アンド
回路４７３において、信号線４０１Ｓにより、信号線１
７０Ｂに転送される。また、信号線170Sおよび１７０Ｅ
は１７０Ｂに同期して転送され、図２のタイミングでメ
ッセージの転送開始と転送終了を出力する。

【００３２】（ｂ）受信処理を行う場合 放送ビットが１である場合、レジスタ４１０に１がセッ
トされる。レジスタ４１２の値とレジスタ４２１の値を
比較器４３０により比較する。一致する場合は、順序保
証ビット保持レジスタに０をセット（リセット）する。
そして、メッセージ再送信号を出力する。一致しない場
合は順序保証ビットの値をリセットすることなく、デー
タバッファ４５０からデータを読みだす。アンド回路４
７２では、信号線４０１Ｓにより、信号線１０１Ｙにデ
ータを出力する。また、信号線１７０Ｓおよび１７０Ｅ
は１０１Ｙに同期して転送され、図２のタイミングでメ
ッセージの転送開始と転送終了を出力する。

【００３３】次に図４を用いて、具体的な例を示す。

【００３４】プロセッサ１０１から放送メッセージが転
送されることを考える。プロセッサから送出されたメッ
セージは信号線１０１Ｘを通り、送受信制御回路４６０
に出力される。送受信制御回路では、メッセージが入力
されると、信号線４０１Ｂにメッセージを出力し、送信
メッセージか受信メッセージであるかを識別するための
信号を信号線４０１Ｓに出力する。送信メッセージであ
れば１を、受信メッセージであれば０を信号線４０１Ｓ
に出力する。ここでは、送信メッセージであるから、信
号線４０１Ｓには１が出力され、信号線４０１Ｂにメッ
セージが出力される。信号線１５０Ｘと信号線１０１Ｘ
から複数のメッセージが送受信制御回路に入力された場
合は、到着順に出力してもよいし、受信を優先して受け
付けてもよい。

【００３５】シーケンサ４００により、レジスタ４１０
には１がセットされる。レジスタ４１０に１がセットさ
れると、レジスタ４４０にも１がセットされる。レジス
タ４４０に１がセットされると、メッセージ転送を停止
するように信号線１０１Ｚにも１が転送される。プロセ
ッサ１０２への転送を行おうとしても、信号線101Zの信
号が１ではないため、メッセージの転送は行われない。
アンド回路４７３では、信号線４０１Ｓが１であるか
ら、信号線１７０Ｂにメッセージを出力する。ネットワ
ークに出力されたメッセージはメッセージ中の属性情報
により、すべてのプロセッサに転送されるようにルーテ
ィングされる。このとき、送信元プロセッサにも転送す
る。

【００３６】送信元プロセッサ１０１に接続するメッセ
ージコントローラへのメッセージは、ネットワークか
ら、信号線１５０Ｘに出力される。受信メッセージであ
るから、信号線４０１Ｓには０が出力され、レジスタ４
２１にはメッセージコントローラに直接接続するプロセ
ッサ番号がセットされている。レジスタ４１０の値が１
にセットされているので、比較器４３０によりレジスタ
４２１の値とレジスタ４１１の値が比較される。比較結
果が一致するため、レジスタ４４０の値はリセットされ
る。そして信号線１０１Ｚにも０が出力される。プロセ
ッサは信号線１０１Ｚに０が出力されたのを受けて、プ
ロセッサ１０２への１対１メッセージ転送を再開する。
メッセージはデータバッファ４５０を通り、アンド回路
４７２により信号線１０１Ｙに出力される。

【００３７】送信元プロセッサ以外のプロセッサへの転
送では、比較器４３０の比較結果が異なるため、レジス
タ４４０の値を変更することなく、データバッファ４５
０からメッセージを信号線１０１Ｙに出力する。

【００３８】上記の例では、メッセージコントローラが
ネットワークおよびプロセッサとは独立した回路である
場合について示したが、メッセージコントローラをプロ
セッサ内にインプリメントすることも可能である。この
場合、送受信制御回路およびシーケンサの動作はＣＰＵ
で行い、レジスタを主記憶に配置することでメッセージ
コントローラと同等の機能を実現できる。

【００３９】

【発明の効果】本発明によれば、あるプロセッサにおい
て放送が行われた後、放送とは経路の異なる１対１転送
や放送が発生しても、放送を実行中であることを示す順
序保証ビットによりメッセージの順序を保証することが
できる。そのため、メッセージの順序を保証するために
ユーザ自らがプログラムで同期をとる必要がなくプログ
ラミングの労力を軽減できる。

【図面の簡単な説明】

【図１】本発明の実施例における並列計算機のブロック
図。

【図２】本発明の実施例におけるメッセージのインタフ
ェースの構成を示す説明図。

【図３】本発明の実施例におけるメッセージのフォーマ
ットを示す説明図。

【図４】図１のメッセージコントローラの内部構成を示
すブロック図。

【符号の説明】

１０１…プロセッサ、４００…シーケンサ、４１０，４
１１…レジスタ、421…接続プロセッサ番号レジスタ、
４３０…比較器、４４０…順序保証ビット保持レジス
タ、４５０…データバッファ、４６０…送受信制御回
路。

Claims (3)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサ間でネットワークを介し
   てメッセージを転送する計算機システムにおいて、送信
   元プロセッサから放送が行われる場合、前記送信元プロ
   セッサに放送が実行中であることを示す情報Ａを設定
   し、前記放送は前記送信元プロセッサにも送出され、前
   記送信元プロセッサに到着したメッセージが、前記送信
   元プロセッサが送出したメッセージであることを前記情
   報Ａを用いて確認する手段を有することを特徴とする計
   算機システムのメッセージ転送順序保証装置。
2. 【請求項２】請求項１において、 前記プロセッサと前記ネットワークの間にあるメッセー
   ジ送受信装置に直接接続するプロセッサ番号はあらかじ
   めホスト計算機あるいはプロセッサにより設定され、前
   記送信元プロセッサから放送を行った後に放送とは経路
   の異なる１対１転送もしくは放送が行われる場合、放送
   を実行中であることを示す情報を保持する手段を有し、
   前記情報が設定された場合に、次のメッセージが送出さ
   れないように一時的にメッセージの送出を停止する手段
   を有し、前記送信元プロセッサでメッセージを受信する
   場合には、前記情報が設定された場合、メッセージに含
   まれる前記送信元プロセッサの番号と、前記メッセージ
   送受信装置に直接接続するプロセッサ番号を比較する手
   段を有し、一致した場合は、メッセージの転送を再開す
   る手段を有する計算機システムのメッセージ転送順序保
   証装置。
3. 【請求項３】請求項２において、 前記メッセージ送受信装置を前記プロセッサ内で実現す
   る計算機システムのメッセージ転送順序保証装置。