JPH1185716A - 並列プロセッサ - Google Patents

Abstract

(57)【要約】 【課題】 ネットワークの経路切り替えの前後でメッセ
ージを送受信する処理を継続することが可能な技術を提
供する。 【解決手段】 経路の切り替え中であるがどうかを示す
切り替え処理表示、当該メッセージを送信する経路を識
別する経路識別子及び当該メッセージを識別するメッセ
ージ番号を格納した通常メッセージを作成して送信する
通常メッセージ送信部と、通常メッセージの経路識別子
が示す経路と受信ノードの有効表示が示す経路とが一致
し、そのメッセージ番号が以前に受信したメッセージ番
号と連続する場合に当該通常メッセージを受信する通常
メッセージ受信部と、通常メッセージの受信確認メッセ
ージを送信する受信確認メッセージ送信部と、受信確認
メッセージを受信し当該受信確認メッセージ番号を更新
する受信確認メッセージ受信部とを備えるものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のノードをネ
ットワークを介して接続して並列処理を行う並列プロセ
ッサに関し、特に、冗長経路を持つネットワークを介し
て複数のノードを結合し、障害時に通信経路の変更を行
う並列プロセッサに適用して有効な技術に関するもので
ある。

【０００２】

【従来の技術】複数のノードをネットワークで結合し、
各ノード間の通信を該ネットワークを使用して行うこと
により処理を進める並列プロセッサやクラスタシステム
（以下、後者を含めて並列プロセッサと記載する）にお
いては、複数のノードが存在する為、障害に際してノー
ドが単一故障点となってシステム全体のダウンを招くこ
とはないが、ネットワークに故障箇所を迂回してメッセ
ージを転送する機能がない場合、ネットワークが単一故
障点となって、システム全体のダウンを招くことがあり
得る。

【０００３】ここで、単一故障点とは、ある１つのコン
ポーネントの故障によりシステム全体がダウンする様な
コンポーネントがシステム内に存在する場合、その様な
コンポーネントのことをいう。

【０００４】ノード数が多くなるとネットワークの物量
が大きくなり、ネットワークで故障が発生する確率が高
くなる為、ネットワークに冗長性を持たせ、ネットワー
クが単一故障点とならない様にすることが可用性の面で
重要である。

【０００５】並列プロセッサの接続に冗長性を持たせる
方法として最も単純なものは、図９に示す様に各ノード
を多重化した複数のネットワークに接続する方法があ
る。

【０００６】図９は、従来の並列プロセッサの一例の概
略構成を示す図である。図９に示す様に、従来の並列プ
ロセッサは、ノード９０１〜９０４と、ネットワーク９
０５及び９０６とを有している。

【０００７】ノード９０１〜９０４は並列処理を行う処
理装置である。ネットワーク９０５及び９０６はノード
９０１〜９０４を接続する通信媒体である。

【０００８】図９の様な構成では、通信路がネットワー
ク９０５及び９０６によって２重化されており、ネット
ワーク９０５又は９０６いずれか一方で故障が発生して
も、もう一方を使用して通信ができる為、ネットワーク
９０５及び９０６が単一故障点になることがない。

【０００９】

【発明が解決しようとする課題】上記従来技術において
は、ネットワークの多重化等の方法により、ネットワー
クが単一故障点となることを防ぐことができるが、以下
の様な特性を有するネットワークにおいては、障害を迂
回する為の経路の切り替えを行うときに注意を要する。

【００１０】一般に、任意の２ノード間の通信において
送信順にメッセージが受信ノードに到着することをネッ
トワークのハードウェアにおいて保証する場合と保証し
ない場合があるが、並列プロセッサのネットワークの様
に限定された範囲で使用する場合、メッセージの順序保
証をする方がソフトウェアから使用しやすく、性能面で
も有利である。

【００１１】ここでメッセージの順序を保証するという
のは、任意の２ノード間の通信路上でメッセージの追い
越しが起きない様にすることに等しい。

【００１２】互いに通信する任意の２プロセス間にメッ
セージの追い越しが起きない仮想的な通信路を１つ考
え、これを仮想通信路と呼ぶことにすると、この仮想通
信路は、複数の物理的な通信路の中から選択可能であっ
て良いが、一時点では１つの物理的通信路に対応してい
なければならない。

【００１３】メッセージの順序を保証するネットワーク
においても、ネットワークの障害により経路を切り替え
る前後で実行していた処理を続行しなくても良い様に、
新たなジョブの起動を抑止し、実行中のジョブが終了す
るのを待つか、又は実行中のジョブを強制終了させてネ
ットワークが使用されなくなってから経路を切り替える
のであれば、メッセージの順序保証を気にする必要はな
い。

【００１４】しかし、この場合には実行中のジョブの終
了まで待つ必要がある為、可用性が低くなったり、障害
とは無関係のジョブまで強制終了する為、ユーザに与え
る影響が大きくなったりするという問題が生じる。

【００１５】逆に、経路切り替えの前後でジョブの続行
を保証しようとすると、経路の切り替え中にどの様にメ
ッセージの順序を保証するかということと、障害によっ
て失われたかもしれないメッセージを経路切り替え後に
再送する場合に、どの様に２重送信を防ぐかということ
が課題となる。

【００１６】図９を例にとって、メッセージの順序を保
証しつつ経路を切り替える従来の方法を説明する。

【００１７】図９ではメッセージを送受信する経路を完
全に２重化しているので、ネットワーク９０５を運用
系、ネットワーク９０６を予備系として、通常はネット
ワーク９０５を使用し、ネットワーク９０５に障害が発
生して経路切り替えが必要になった時点で、ネットワー
ク９０６に切り替えるものとする。

【００１８】ノード９０１〜９０４のネットワーク９０
５及び９０６とのインタフェース部では、通常はネット
ワーク９０５への送信ポート及び受信ポートがオンさ
れ、ネットワーク９０６への送信ポート及び受信ポート
がオフされている。

【００１９】ノード９０１〜９０４は、経路切り替えを
指示されると、各々のネットワーク９０５とのインタフ
ェース部において、ハードウェア的に送信を停止した
後、一定時間待つ。この間に受け取ったメッセージは通
常通り受信される（エラーがあればエラー処理がされ
る）。

【００２０】一定時間が経過するとノード９０１〜９０
４のネットワーク９０５に対する送信ポート及び受信ポ
ートがオフされ、反対にネットワーク９０６に対する送
信ポート及び受信ポートがオンされる。

【００２１】ノード９０１〜９０４は、送信再開を許可
されるとネットワーク９０６を使用して経路切り替えの
前に停止したメッセージの送信から再開する。

【００２２】経路切り替えの指示があった直後にネット
ワーク９０６を使用して送信を再開すると、ネットワー
クの規模やネットワーク内の負荷によっては、経路切り
替えの指示の前にネットワーク９０５側へ送信したメッ
セージよりも、経路切り替えの指示後にネットワーク９
０６側へ送信したメッセージの方が、受信ノードに先に
到着してメッセージの順序が保証できない可能性があ
る。したがって、ネットワーク９０５内にメッセージが
残存していないことを保証する為、経路を切り替える前
に全ノードで送信を停止し、一定時間待つ。

【００２３】また、正常に相手側ノードにメッセージが
到着したかどうかを確認する為、ソフトウェア又は直接
ハードウェアによって、受信ノードから送信ノードに受
信確認メッセージを送る様にすることが多い。

【００２４】受信ノードから送信ノードに受信確認メッ
セージを送る様にした場合には、ネットワーク障害によ
って消失するのはメッセージそのものの場合もあれば、
受信確認メッセージの場合もある。

【００２５】いずれの場合にも、送信ノードは受信ノー
ドにおいて正常にメッセージが受信されているかどうか
分からないが、後者の場合には実際にはメッセージが正
常に受信されている。

【００２６】したがって、ネットワークの経路切り替え
が終了した後、単純に受信確認メッセージの返ってきて
いないメッセージから再送すると、後者の場合には受信
ノードは２重にメッセージを受信してしまい、メッセー
ジの順序保証ができない。

【００２７】並列プロセッサの接続に冗長性を持たせる
技術としては、以上説明した通信媒体全体の多重化によ
る方法以外に、通信媒体に接続された任意の２つのプロ
セッサ間を接続する通信媒体が複数存在するトポロジー
を採用し、ある通信媒体で障害が発生した場合には他の
通信媒体に切り替える方法もある。

【００２８】前記従来の並列プロセッサのネットワーク
の経路切り替えの方法には、以下の様な問題がある。

【００２９】（１）ノード数が多くなってネットワーク
が大規模になると、全ノードが最大メッセージ長で同一
ノードに送信する等の最悪ケースを考えた場合、メッセ
ージがネットワーク内に残存しないことを保証する時間
はかなり長くなり、通信を行っているソフトウェアにお
いて特定の時間の間に応答メッセージが受信されない状
態であるタイムアウトを引き起こす可能性がある。

【００３０】（２）全ノードの同期を取ってネットワー
クの経路切り替えを行う必要がある為、ネットワーク障
害に影響されないジョブであっても、処理を停止しなけ
ればならないという問題がある。

【００３１】（３）ネットワークの経路切り替えが終了
した後、単純に受信確認メッセージの返ってきていない
メッセージから再送すると、受信ノードでは２重にメッ
セージを受信してしまい、メッセージの順序保証ができ
ないという問題がある。

【００３２】本発明の目的は、上記問題を解決し、ネッ
トワークの経路切り替えの前後でメッセージを送受信す
る処理を継続することが可能な技術を提供することにあ
る。

【００３３】

【課題を解決するための手段】本発明は、複数の経路で
接続された複数のノード間でメッセージを送受信して並
列処理を行う並列プロセッサにおいて、時間監視を用い
ないで経路切り替え中及び前後でメッセージの順序保証
を行い、経路切り替えの前後でメッセージを送受信する
処理を継続するものである。

【００３４】本発明の並列プロセッサにおいて、通常メ
ッセージを送信する送信指示を受けると、次に送信すべ
き通常メッセージのメッセージ番号を示す送信メッセー
ジ番号と、受信確認されている通常メッセージのメッセ
ージ番号を示す受信確認メッセージ番号とを比較する。

【００３５】送信ノードの通常メッセージ送信部は、送
信メッセージ番号と受信確認メッセージ番号との比較結
果を調べ、送信メッセージ番号が受信確認メッセージ番
号を追い越していないときに、経路の切り替え中である
かどうかを示す切り替え処理表示、当該メッセージを送
信する経路を識別する経路識別子及び当該メッセージを
識別するメッセージ番号を格納した通常メッセージを組
み立てて受信ノードに送信し、前記送信メッセージ番号
を更新する。

【００３６】受信ノードの通常メッセージ受信部は、送
信ノードから通常メッセージを受信すると、受信した通
常メッセージの経路識別子が示す経路と、受信ノードに
設定されている有効表示が示す経路とを比較して、その
通常メッセージが前記有効表示の示す経路から受信され
たものであるかどうかを調べる。

【００３７】受信ノードの通常メッセージ受信部は、受
信した通常メッセージが前記有効表示の示す経路から受
信されたものである場合に、受信した通常メッセージの
メッセージ番号が、当該経路で最も最近に受信した通常
メッセージのメッセージ番号を示す受信メッセージ番号
に連続するかどうかを調べ、連続する場合に当該通常メ
ッセージを受信して前記受信メッセージ番号を更新す
る。

【００３８】通常メッセージを受信した受信ノードの受
信制御部は、受信ノードの受信確認メッセージ送信部に
受信確認メッセージの送信を指示し、受信した通常メッ
セージのメッセージ番号を格納した受信確認メッセージ
を当該通常メッセージの送信ノードに送信する。

【００３９】送信ノードの受信確認メッセージ受信部
は、受信ノードから送信された受信確認メッセージを受
信すると、そのメッセージ番号が送信ノードの受信確認
メッセージ番号に連続するかどうかを調べ、連続する場
合にその受信確認メッセージ番号を更新する。

【００４０】本発明の並列プロセッサにおいて、障害の
発生等の理由によりメッセージを送受信する経路の切り
替えが開始された場合には、送信ノードに設定されてい
る切り替え処理表示を経路の切り替え中であることを示
す内容に変更する。

【００４１】送信ノードの通常メッセージ送信部は、経
路切り替え処理中に通常メッセージの送信指示を受ける
と、経路の切り替え中であることを示す切り替え処理表
示、経路識別子及びメッセージ番号を格納した通常メッ
セージを組み立てて受信ノードに送信し、送信ノードの
送信メッセージ番号を更新する。

【００４２】受信ノードの通常メッセージ受信部は、送
信ノードから通常メッセージを受信すると、その通常メ
ッセージが有効表示の示す経路から受信されたものであ
るか調べ、前記有効表示が示す経路以外で通常メッセー
ジを受信した場合には、受信した通常メッセージの切り
替え処理表示の内容を調べる。

【００４３】前記有効表示が示す経路以外で受信した通
常メッセージの切り替え処理表示が、経路の切り替え中
であることを示しており、そのメッセージ番号が前記受
信メッセージ番号に連続している場合には、受信した通
常メッセージの経路識別子が示す経路に受信ノードの有
効表示が示す経路を変更し、その受信メッセージ番号を
更新する。

【００４４】前記通常メッセージを受信した受信ノード
の受信制御部は、受信ノードの受信確認メッセージ送信
部に受信確認メッセージの送信を指示し、経路の切り替
え中であることを示す切り替え処理表示を格納した受信
確認メッセージを送信ノードに送信する。

【００４５】送信ノードの受信確認メッセージ受信部
は、経路の切り替え中であることを示す切り替え処理表
示を格納した受信確認メッセージを受信すると、そのメ
ッセージ番号が受信確認メッセージ番号に連続するかど
うかを調べ、連続する場合にその受信確認メッセージ番
号を更新し、送信ノードの切り替え処理表示を経路の切
り替えが終了したことを示す内容に変更する。

【００４６】以上の様に、本発明の並列プロセッサによ
れば、時間監視を用いないでネットワークの経路切り替
え中及び前後でメッセージの順序保証を行うので、ネッ
トワークの経路切り替えの前後でメッセージを送受信す
る処理を継続することが可能である。

【００４７】

【発明の実施の形態】以下に、複数のノード間でメッセ
ージを送受信して並列処理を実行し、障害発生時にメッ
セージの送受信を行う経路を変更する一実施形態の並列
プロセッサについて説明する。

【００４８】図１は、本実施形態の並列プロセッサの概
略構成を示す図である。図１に示す様に、並列プロセッ
サは、ノード１０１〜１０３と、ネットワーク１０４及
び１０５とを有している。

【００４９】ノード１０１〜１０３は並列処理を行う処
理装置である。ネットワーク１０４及び１０５はノード
１０１〜１０３を接続し各ノード１０１〜１０３間の通
信で用いられる２重化された通信媒体である。

【００５０】ノード１０１は、命令プロセッサ１１０
と、メインメモリ１１１と、システムバス１２０と、ネ
ットワークインタフェース制御部１３０と、メッセージ
番号テーブルメモリ１４０とを有している。

【００５１】命令プロセッサ１１０はノード１０１〜１
０３間で通信を行うプログラムを含む各種プログラムを
実行するプロセッサである。メインメモリ１１１は上記
各種プログラム及び通信するデータを含む各種データを
格納するメモリである。システムバス１２０は命令プロ
セッサ１１０、メインメモリ１１１及びネットワークイ
ンタフェース制御部１３０を接続し、命令プロセッサ１
１０とメインメモリ１１１とネットワークインタフェー
ス制御部１３０との間のアクセスを可能とするバスであ
る。

【００５２】ネットワークインタフェース制御部１３０
は命令プロセッサ１１０からの指示によりメッセージを
送信したり、到着したメッセージを受信してメインメモ
リ１１１内の受信領域に格納したりする制御回路であ
る。メッセージ番号テーブルメモリ１４０はメッセージ
番号及び有効な経路を示すフラグ等からなるメッセージ
番号テーブルを格納するメモリである。

【００５３】ネットワークインタフェース制御部１３０
は、バスインタフェース制御部１３１と、ＲＡＭインタ
フェース制御部１３２と、送信制御部１３３と、セレク
タ１３４と、比較器１３５と、受信制御部１３６と、セ
レクタ１３７と、制御線１３８とを有している。

【００５４】バスインタフェース制御部１３１はシステ
ムバス１２０にネットワークインタフェース制御部１３
０を接続する制御回路である。ＲＡＭインタフェース制
御部１３２はメッセージ番号テーブルメモリ１４０への
アクセスを制御する制御回路である。送信制御部１３３
は命令プロセッサ１１０からの送信指示を受けてメッセ
ージの送信を制御する制御回路である。

【００５５】セレクタ１３４は命令プロセッサ１１０に
よってメインメモリ１１１内に用意された送信制御ワー
ドを送信制御部１３３が読み出してメッセージを組み立
てる際に必要な情報を選択する回路である。比較器１３
５はＲＡＭインタフェース制御部１３２を介してメッセ
ージ番号テーブルメモリ１４０から読み出した送信関連
のメッセージ番号を比較する回路である。受信制御部１
３６はノード１０１〜１０３に到着したメッセージを命
令プロセッサ１１０がメインメモリ１１１内に用意した
受信制御ワード（受信場所、受信バッファのサイズ等を
記述）の内容にしたがってメインメモリ１１１内に格納
する制御回路である。

【００５６】セレクタ１３７はＲＡＭインタフェース制
御部１３２を介してメッセージ番号テーブルメモリ１４
０から読み出した受信関連の複数のメッセージ番号から
有効な経路に対応するメッセージ番号を選択する回路で
ある。制御線１３８は受信制御部１３６から送信制御部
１３３に受信確認メッセージの送信を依頼する信号線で
ある。

【００５７】送信制御部１３３は、通常メッセージ送信
部１４１と、受信確認メッセージ送信部１４２とを有し
ている。通常メッセージ送信部１４１は次に送信すべき
通常メッセージのメッセージ番号を示す送信メッセージ
番号が受信確認された通常メッセージのメッセージ番号
を示す受信確認メッセージ番号を追い越していないとき
に、経路の切り替えが行われているかどうかを示す切り
替え処理表示、経路の切り替え中であるがどうかを示す
切り替え処理表示、当該メッセージを送信する経路を識
別する経路識別子及び当該メッセージを識別するメッセ
ージ番号を格納した通常メッセージを作成して送信する
処理部である。受信確認メッセージ送信部１４２は受信
した通常メッセージの受信確認を行う為のメッセージを
当該通常メッセージの送信元に送信する処理部である。

【００５８】受信制御部１３６は、通常メッセージ受信
部１４３と、受信確認メッセージ受信部１４４とを有し
ている。通常メッセージ受信部１４３は送信された通常
メッセージの経路識別子が示す経路と有効表示が示す経
路とが一致し、そのメッセージ番号が前記有効表示の示
す経路で受信した通常メッセージのメッセージ番号を示
す受信メッセージ番号と連続する場合に当該通常メッセ
ージを受信する処理部である。受信確認メッセージ受信
部１４４は受信した受信確認メッセージのメッセージ番
号が受信確認メッセージ番号と連続する場合に当該受信
確認メッセージ番号を更新する処理部である。

【００５９】図１において、ＤＮＮは受信ノード番号、
ＭＤＬは送信データ長、ＤＡＴＡは送信データ、ＲＮＯ
はメッセージがネットワーク１０４又は１０５のどの経
路を使用して送信されているかを示す経路識別子、ＳＭ
ＩＤは次の送信で使用すべきメッセージ番号、ＲＭＩＤ
は受信確認済みのメッセージ番号、ＳＡＲは送信制御部
１３３に送信を指示する信号である。

【００６０】更にＲＭＩＤ０及びＲＭＩＤ１は、ネット
ワーク１０４上の第１の経路とネットワーク１０５上の
第２の経路のそれぞれで最も最近に受信した通常メッセ
ージのメッセージ番号、Ｖ０及びＶ１は、ネットワーク
１０４上の第１の経路とネットワーク１０５上の第２の
経路のそれぞれに対応し、現在有効な経路がどちらであ
るかを示す信号を表している。

【００６１】図１において、ノード１０１〜１０３は並
列プロセッサを構成する処理装置であり、各ノード１０
１〜１０３内の構成は同じであるものとする。なお、各
ノード１０１〜１０３のＩ／Ｏ装置については、本実施
形態の並列プロセッサの説明では不要なので省略する。

【００６２】また、ネットワーク１０４及び１０５の各
々は冗長経路を持たず、２重化によって冗長性を実現し
ているものとする。

【００６３】各ノード１０１〜１０３において、各々の
ネットワーク１０４及び１０５へ接続する為の送信ポー
ト及び受信ポートがそれぞれ２重化されている。したが
って、ある仮想通信路はネットワーク１０４上の第１の
経路とネットワーク１０５上の第２の経路を持っている
ことになる。

【００６４】本実施形態の並列プロセッサでは、通常は
ネットワーク１０４上の第１の経路を使用し、ネットワ
ーク１０４が故障した場合にネットワーク１０５上の第
２の経路に切り替えるものとする。

【００６５】なお、ネットワークインタフェース制御部
１３０だけでなく、命令プロセッサ１１０もバスインタ
フェース制御部１３１及びＲＡＭインタフェース制御部
１３２を介してメッセージ番号テーブルメモリ１４０に
アクセスすることができるものとする。

【００６６】命令プロセッサ１１０は、メインメモリ１
１１にロードされたオペレーティングシステム等の処理
によりメインメモリ１１１内に送信制御ワードを準備し
た後、バスインタフェース制御部１３１を介して送信制
御ワードのアドレスをＳＡＲと記した線を通じて送信制
御部１３３に書き込むことにより送信を起動する。

【００６７】送信が起動されると送信制御部１３３は、
指示されたメモリアドレスから図２に示す様な送信制御
ワードを読み出し、図３に示す様なメッセージを組み立
ててネットワーク１０４又は１０５に送出する（ネット
ワーク１０４又は１０５の選択方法は後述する）。

【００６８】図２は、本実施形態の送信制御ワードの概
要を示す図である。図２に示す様に、送信制御ワード
は、受信ノード番号フィールド２０１と、メッセージデ
ータ長フィールド２０２と、送信データアドレスフィー
ルド２０３と、送受信ステータスフィールド２０４とを
有している。

【００６９】受信ノード番号フィールド２０１は受信ノ
ード番号を格納するフィールドである。メッセージデー
タ長フィールド２０２は送信するメッセージのデータ長
を格納するフィールドである。送信データアドレスフィ
ールド２０３は送信データを格納している領域の先頭ア
ドレスを格納するフィールドである。送受信ステータス
フィールド２０４は送信終了時の送信ステータス又は受
信確認メッセージによって返された受信ステータスを書
き込むフィールドである。

【００７０】図３は、本実施形態のメッセージの概要を
示す図である。図３に示す様に、メッセージは、メッセ
ージ形式フィールド３０１と、受信ノード番号フィール
ド３０２と、送信ノード番号フィールド３０３と、切り
替え処理表示ビット３０４と、経路識別子フィールド３
０５と、メッセージ番号フィールド３０６と、メッセー
ジデータ長フィールド３０７と、送信制御ワードアドレ
スフィールド３０８と、メッセージデータ／受信ステー
タスフィールド３０９とを有している。

【００７１】メッセージ形式フィールド３０１はメッセ
ージの形式を格納するフィールドであり、メッセージが
通常メッセージ又は通常メッセージに対する受信確認メ
ッセージのどちらであるかを示すフィールドである。受
信ノード番号フィールド３０２は受信ノード番号を格納
するフィールドである。送信ノード番号フィールド３０
３は送信ノード番号を格納するフィールドである。

【００７２】切り替え処理表示ビット３０４はメッセー
ジを送受信する経路の切り替え処理を実行中であるかど
うかを示す情報を格納するビットである。経路識別子フ
ィールド３０５は当該メッセージがどの経路を使用して
送信されているかを示す経路識別子を格納するフィール
ドである。メッセージ番号フィールド３０６は当該メッ
セージを識別するメッセージ番号を格納するフィールド
である。

【００７３】メッセージデータ長フィールド３０７は当
該メッセージのデータ長を格納するフィールドである。
送信制御ワードアドレスフィールド３０８はメッセージ
の送信に使用された送信制御ワードの送信ノード内のメ
インメモリ１１１中の先頭アドレスを格納するフィール
ドである。メッセージデータ／受信ステータスフィール
ド３０９は通常メッセージの場合はメッセージデータ、
受信確認メッセージの場合は受信ステータスを格納する
フィールドである。

【００７４】図３は、送信制御部１３３が送信するメッ
セージの形式を表しており、本実施形態の並列プロセッ
サでは通常メッセージ及び通常メッセージに対する受信
確認メッセージの２通りのメッセージ形式がある。

【００７５】ここで、命令プロセッサ１１０の送信指示
に基づいて送信されるメッセージが通常メッセージであ
り、通常メッセージを受信した受信制御部１３６が、受
信確認メッセージの送信指示を送信制御部１３３に出す
ことによって送信されるメッセージが受信確認メッセー
ジである。

【００７６】図２と図３において、フィールド名が同一
の場合には、送信制御ワードの情報がそのまま対応する
メッセージヘッダで使用されることを意味している。

【００７７】送信制御部１３３の通常メッセージ送信部
１４１は、命令プロセッサ１１０からメッセージの送信
指示を受けると、セレクタ１３４によってメッセージヘ
ッダのフィールドの順に選択された送信制御ワード及び
メッセージ番号テーブルの情報を入力して通常メッセー
ジを組み立てる処理を行う。

【００７８】通常メッセージ送信部１４１は、まずメッ
セージヘッダのメッセージ形式フィールド３０１に通常
メッセージであることを示す値を格納し、送信制御ワー
ドの受信ノード番号フィールド２０１から読み出した値
をそのままメッセージヘッダの受信ノード番号フィール
ド３０２に格納する。

【００７９】次に、自ノード番号をメッセージヘッダの
送信ノード番号フィールド３０３に格納し、メッセージ
番号テーブルから読み出した切り替え処理表示、経路識
別子及びメッセージ番号を、それぞれメッセージヘッダ
の切り替え処理表示ビット３０４、経路識別子フィール
ド３０５及びメッセージ番号フィールド３０６に格納す
る。

【００８０】次に、送信制御ワードのメッセージデータ
長フィールド２０２から読み出した値をそのままメッセ
ージヘッダのメッセージデータ長フィールド３０７に格
納し、使用している送信制御ワードの先頭アドレスを送
信制御ワードアドレスフィールド３０８に格納し、最後
に送信制御ワードの送信データアドレスフィールド２０
３で指定されたメインメモリ１１１内のアドレスからメ
ッセージデータ長分だけ読み出したデータをメッセージ
データ／受信ステータスフィールド３０９に格納して通
常メッセージを作成する。

【００８１】ネットワークインタフェース制御部１３０
は、命令プロセッサ１１０からメッセージの送信指示を
受けると、比較器１３５により次に送信すべき通常メッ
セージのメッセージ番号を示す送信メッセージ番号と、
受信確認された通常メッセージのメッセージ番号を示す
受信確認メッセージ番号とを比較し、その比較結果を送
信制御部１３３に入力する。

【００８２】このとき比較器１３５は、前記送信メッセ
ージ番号が前記受信確認メッセージ番号を追い越してい
るときに送信処理を停止させる比較結果を送信制御部１
３３に入力するものとする。

【００８３】送信制御部１３３の通常メッセージ送信部
１４１は、比較器１３５の比較結果が送信停止を示して
おらず、他のエラーもない場合は通常メッセージを送信
する処理を行う。比較器１３５の比較結果が送信停止を
示す場合及びその場合の送信制御部１３３の処理につい
ては後で説明する。

【００８４】なお、図３の送信制御ワードアドレスフィ
ールド３０８の値は受信確認メッセージのヘッダにその
まま引き継がれ、元の通常メッセージを送信するのに使
用された送信制御ワードの送受信ステータスフィールド
２０４は、受信ステータスを格納するのに使用される。

【００８５】図４は、本実施形態のメッセージ番号テー
ブルの形式を示す図である。図４に示す様に、メッセー
ジ番号テーブルは、仮想通信路識別子フィールド４０１
と、切り替え処理表示ビット４０２と、経路識別子フィ
ールド４０３と、送信メッセージ番号フィールド４０４
と、受信確認メッセージ番号フィールド４０５と、有効
表示フィールド４０６と、受信メッセージ番号フィール
ド４０７と、有効表示フィールド４０８と、受信メッセ
ージ番号フィールド４０９とを有している。

【００８６】仮想通信路識別子フィールド４０１はメッ
セージを送受信する仮想通信路の識別子を格納するフィ
ールドである。切り替え処理表示ビット４０２は経路切
り替え処理を実行中であるかどうかを示すビットであ
る。経路識別子フィールド４０３は送信に使用する経路
の識別子を格納するフィールドである。

【００８７】送信メッセージ番号フィールド４０４は次
に送信すべき通常メッセージのメッセージ番号を示す送
信メッセージ番号を格納するフィールドである。受信確
認メッセージ番号フィールド４０５は受信確認済みの通
常メッセージのメッセージ番号を格納するフィールドで
ある。有効表示フィールド４０６はネットワーク１０４
上の第１の経路が有効であるかどうかを示す情報を格納
するフィールドである。

【００８８】受信メッセージ番号フィールド４０７はネ
ットワーク１０４上の第１の経路で最も最近に受信した
通常メッセージの受信メッセージ番号を保持するフィー
ルドである。有効表示フィールド４０８はネットワーク
１０５上の第２の経路が有効であるかどうかを示す情報
を格納するフィールドである。受信メッセージ番号フィ
ールド４０９はネットワーク１０５上の第２の経路で最
も最近に受信した通常メッセージの受信メッセージ番号
を保持するフィールドである。

【００８９】図４に示す様に本実施形態の並列プロセッ
サでは、メッセージ番号テーブルを単一のテーブルで表
しているが、これを複数のテーブルで表しても良い。ま
た、メッセージ番号テーブルの各フィールド内の情報を
それぞれ別のレジスタに格納し、対応するレジスタから
必要な情報を読み出すものとしても良い。

【００９０】図４の左端の仮想通信路識別子フィールド
４０１内の数字は、各通信処理で仮想的に用いられてい
る通信路を識別する番号を表している。

【００９１】本実施形態の並列プロセッサでは前記の仮
想通信路の識別子は送信ノード番号と受信ノード番号の
組によって一意に決まるが、メッセージに優先度を設
け、その優先度によって経路を変えたりする様な場合に
は仮想通信路の識別子を決定する為にメッセージの優先
度も考慮しなければならない。

【００９２】また、オペレーティングシステムを介さ
ず、ユーザプロセス同士で直接通信することが可能なシ
ステムにおいては、仮想通信路の識別子を決定する為に
プロセス間の通信コンテキストを区別する為の識別子も
考慮しなければならない。

【００９３】メッセージ番号テーブルは、各仮想通信路
毎に切り替え処理表示ビット４０２、経路識別子フィー
ルド４０３、送信メッセージ番号フィールド４０４、受
信確認メッセージ番号フィールド４０５、有効表示フィ
ールド４０６、受信メッセージ番号フィールド４０７、
有効表示フィールド４０８及び受信メッセージ番号フィ
ールド４０９からなるエントリを格納している。

【００９４】切り替え処理表示ビット４０２は、システ
ムの初期化時に命令プロセッサ１１０によって経路の切
り替え処理中でないことを示す内容に初期化され、経路
の切り替えが必要になったとき命令プロセッサ１１０に
よって経路の切り替え処理中であることを示す内容に変
更される。

【００９５】メッセージ番号テーブルの切り替え処理表
示ビット４０２の値は、送信制御部１３３の通常メッセ
ージ送信部１４１によって読み出され、そのまま通常メ
ッセージの切り替え処理表示ビット３０４に格納されて
送出される。

【００９６】送信先の受信制御部１３６の通常メッセー
ジ受信部１４３で正常に通常メッセージが受信される
と、通常メッセージの切り替え処理表示ビット３０４
は、送信先の送信制御部１３３の受信確認メッセージ送
信部１４２により、そのまま受信確認メッセージの切り
替え処理表示ビット３０４に格納されて、当該通常メッ
セージを送信した送信元の受信制御部１３６に戻され
る。

【００９７】当該通常メッセージを送信した送信元の受
信制御部１３６の受信確認メッセージ受信部１４４は、
送信先の送信制御部１３３から送信された受信確認メッ
セージを受信し、受信した受信確認メッセージの切り替
え処理表示ビット３０４の内容を調べる。

【００９８】受信制御部１３６の受信確認メッセージ受
信部１４４は、受信した受信確認メッセージの切り替え
処理表示ビット３０４が経路切り替え処理の実行中を表
しており、かつメッセージ番号テーブルの切り替え処理
表示ビット４０２も経路切り替え処理の実行中を表して
いる場合には、メッセージ番号テーブルの切り替え処理
表示ビット４０２を経路切り替え処理の実行中でないこ
と表示する様に変更する。

【００９９】すなわち、メッセージ番号テーブルの切り
替え処理表示ビット４０２は、命令プロセッサ１１０に
よって経路切り替え処理の実行中を表示する様に変更さ
れた後、その切り替え処理表示ビット３０４が経路切り
替え処理の実行中を表示している最初の受信確認メッセ
ージを受信するまで経路切り替え処理の実行中を表示し
続ける。

【０１００】この間に送信された全てのメッセージの切
り替え処理表示ビット３０４は経路切り替え処理の実行
中を表示しており、この間を過ぎるとメッセージの切り
替え処理表示ビット３０４は経路切り替え処理の実行中
を表示しない。

【０１０１】経路識別子フィールド４０３は、システム
の初期化時に命令プロセッサ１１０によって通常は第１
の経路を示す様に初期化され、経路の切り替えが必要に
なったときに命令プロセッサ１１０によって新たに使用
すべき経路を示す様に書き換えられる。

【０１０２】送信制御部１３３は、メッセージ番号テー
ブルから読み出した経路識別子フィールド４０３の値
を、メッセージヘッダの経路識別子フィールド３０５に
格納すると共にネットワーク１０４又は１０５のいずれ
にメッセージを送出するかを決定するのにも使用する。

【０１０３】送信メッセージ番号フィールド４０４は、
システムの初期化時に命令プロセッサ１１０によって最
小値に初期化され、通常メッセージを送信する度に送信
制御部１３３の通常メッセージ送信部１４１によってイ
ンクリメントされた値が格納される。

【０１０４】受信確認メッセージ番号フィールド４０５
は、システムの初期化時に命令プロセッサ１１０によっ
て最大値に初期化され、以下の様にして更新される。

【０１０５】受信確認メッセージが受信制御部１３６の
受信確認メッセージ受信部１４４によって受信される
と、受信確認メッセージ受信部１４４は、受信確認メッ
セージのメッセージ番号フィールド３０６のメッセージ
番号とメッセージ番号テーブル内の受信確認メッセージ
番号フィールド４０５に格納されている値とを比較す
る。

【０１０６】受信確認メッセージ受信部１４４は、受信
確認メッセージのメッセージ番号が受信確認メッセージ
番号フィールド４０５の値と連続する番号であれば、受
信確認メッセージのメッセージ番号を新たな受信確認メ
ッセージ番号フィールド４０５の値として格納する。

【０１０７】また、受信確認メッセージ受信部１４４
は、受信確認メッセージのメッセージ番号が受信確認メ
ッセージ番号フィールド４０５の値と連続していない場
合には、当該受信確認メッセージを廃棄し、エラーを命
令プロセッサ１１０に報告する。

【０１０８】送信制御部１３３の通常メッセージ送信部
１４１は、メッセージ番号テーブルの送信メッセージ番
号フィールド４０４及び受信確認メッセージ番号フィー
ルド４０５の値を比較器１３５によって比較し、前者が
後者を追い越していないこと（等しい場合を含む）を比
較結果が示していれば、メッセージヘッダのメッセージ
番号フィールド３０６に送信メッセージ番号フィールド
４０４の値を格納して以後の処理を続ける。

【０１０９】送信メッセージ番号フィールド４０４の値
が受信確認メッセージ番号フィールド４０５の値を追い
越していることを比較器１３５の比較結果が示している
場合、送信制御部１３３の通常メッセージ送信部１４１
は、送信制御ワードの送受信ステータスフィールド２０
４に送信メッセージ番号フィールド４０４の値が受信確
認メッセージ番号フィールド４０５の値を追い越したこ
とによる送信停止を示すステータスを書き込んだ後、送
信処理を終結させる。

【０１１０】一旦送信停止の状態となった後、メッセー
ジ番号テーブルの受信確認メッセージ番号フィールド４
０５の値が変化し、送信ができる様になったことを確認
して再度送信を行う処理は、メッセージの送信を行うソ
フトウェアの責任で行われるものとする。

【０１１１】以上の様にして送信元及び送信先の送信制
御部１３３及び受信制御部１３６の動作により、ある仮
想通信路に対応した１つの物理的経路上の通常メッセー
ジのメッセージ番号が一意になる様に制御することがで
きる。

【０１１２】なお、受信確認メッセージを受信した受信
制御部１３６がメッセージ番号テーブルの切り替え処理
表示ビット４０２及び受信確認メッセージ番号フィール
ド４０５にアクセスする場合の仮想通信路の識別子を決
定する際に、受信確認メッセージのヘッダ内の受信ノー
ド番号フィールド３０２及び送信ノード番号フィールド
３０３の値は、それぞれ送信ノード番号及び受信ノード
番号と解釈することに注意しなければならない。

【０１１３】図４の有効表示フィールド４０６、受信メ
ッセージ番号フィールド４０７、有効表示フィールド４
０８及び受信メッセージ番号フィールド４０９は、受信
制御部１３６によって使用されるフィールドである。

【０１１４】有効表示フィールド４０６及び有効表示フ
ィールド４０８は、ネットワーク１０４上の第１の経路
とネットワーク１０５上の第２の経路のそれぞれに対応
し、現在有効な経路がどちらであるかを示すフィールド
である。

【０１１５】また、受信メッセージ番号フィールド４０
７及び受信メッセージ番号フィールド４０９は、ネット
ワーク１０４上の第１の経路とネットワーク１０５上の
第２の経路のそれぞれで最も最近に受信した通常メッセ
ージの受信メッセージ番号を保持するフィールドであ
る。

【０１１６】有効表示フィールド４０６、受信メッセー
ジ番号フィールド４０７、有効表示フィールド４０８及
び受信メッセージ番号フィールド４０９は、システムの
初期化時に命令プロセッサ１１０によって初期化され
る。その際、有効表示フィールド４０６及び有効表示フ
ィールド４０８は、いずれも対応する経路が有効でない
ことを示す値に初期化される。

【０１１７】第１の経路が有効でないことを有効表示フ
ィールド４０６の値が示している場合には、受信メッセ
ージ番号フィールド４０７の値は意味を持たないものと
する。同様に、第２の経路が有効でないことを有効表示
フィールド４０８の値が示している場合には、受信メッ
セージ番号フィールド４０９の値は意味を持たないもの
とする。

【０１１８】ある仮想通信路において、システム初期化
後に初めて正常な通常メッセージを受信したときには、
有効表示フィールド４０６及び有効表示フィールド４０
８がいずれも無効を表しており、受信した通常メッセー
ジの経路識別子フィールド３０５の値で示される経路が
有効な経路であると認識される。

【０１１９】例えば、メッセージヘッダの経路識別子フ
ィールド３０５がネットワーク１０４上の第１の経路を
示しているときは、受信制御部１３６の通常メッセージ
受信部１４３は、ネットワーク１０４上の第１の経路が
有効であることを示す様に有効表示フィールド４０６を
変更し、同時にメッセージヘッダのメッセージ番号フィ
ールド３０６の値を受信メッセージ番号フィールド４０
７に格納する。

【０１２０】一旦有効表示フィールド４０６或いは有効
表示フィールド４０８のいずれかが対応する経路の有効
を表す様に変更されると、以降は受信メッセージ番号フ
ィールド４０７又は受信メッセージ番号フィールド４０
９は、以下の規則にしたがって受信制御部１３６の通常
メッセージ受信部１４３によって更新される。

【０１２１】メッセージヘッダの経路識別子フィールド
３０５の値で示される経路と有効表示フィールド４０６
又は有効表示フィールド４０８で示される有効な経路が
一致し、かつメッセージヘッダのメッセージ番号フィー
ルド３０６の値が有効な経路で最も最近に受信された通
常メッセージの受信メッセージ番号と連続しているとき
は、メッセージヘッダのメッセージ番号フィールド３０
６の値を有効な経路のメッセージ番号として受信メッセ
ージ番号フィールド４０７又は受信メッセージ番号フィ
ールド４０９の対応するいずれかのフィールドに格納す
る。

【０１２２】ここでメッセージヘッダの経路識別子フィ
ールド３０５の値で示される経路と有効表示フィールド
４０６又は有効表示フィールド４０８で示される有効な
経路が一致すると共にメッセージヘッダのメッセージ番
号フィールド３０６の値が有効な経路で最も最近に受信
された通常メッセージの受信メッセージ番号と連続して
いる場合には、メッセージヘッダの切り替え処理表示ビ
ット３０４の値は、経路切り替え処理の実行中を表示し
ない様に制御されなければならない。

【０１２３】メッセージヘッダの経路識別子フィールド
３０５の値で示される経路と有効表示フィールド４０６
又は有効表示フィールド４０８で示される有効な経路が
一致せず、かつメッセージヘッダのメッセージ番号フィ
ールド３０６の値が有効な経路で最も最近に受信された
通常メッセージの受信メッセージ番号と連続しており、
かつメッセージヘッダの切り替え処理表示ビット３０４
が経路切り替え処理の実行中を表示しているときは、メ
ッセージヘッダの経路識別子フィールド３０５の値で示
される経路を新たに有効とし、以前に有効であった経路
を無効とし、更にメッセージヘッダのメッセージ番号フ
ィールド３０６の値を新たに有効とした経路の受信メッ
セージ番号として格納し、経路を切り替える前に有効で
あった経路の受信メッセージ番号は更新しない。なお、
最も最近に受信された通常メッセージの受信メッセージ
番号は受信メッセージ番号フィールド４０７又は受信メ
ッセージ番号フィールド４０９に保持されている。

【０１２４】上記以外の場合は、受信した通常メッセー
ジを廃棄し、有効表示フィールド４０６、受信メッセー
ジ番号フィールド４０７、有効表示フィールド４０８及
び受信メッセージ番号フィールド４０９の各フィールド
の値はいずれも更新されない。

【０１２５】図５〜図８は、ネットワーク１０４及び１
０５の経路切り替え処理を実行中に第１の経路と第２の
経路上のいずれにもメッセージが存在する状態を説明す
る為の模式的な図である。以下に図５〜図８の状態を説
明した後、本実施形態の並列プロセッサでは、図５〜図
８のいずれの状態であってもメッセージの順序保証が可
能であることを説明する。

【０１２６】図５は、経路切り替え処理の例を示す図で
ある。送信ノード５０１は通常メッセージの送信を行う
処理装置である。受信ノード５０２は通常メッセージの
受信を行う処理装置である。第１の経路５０３は通常の
動作時にメッセージの送受信を行うネットワーク１０４
上の経路である。第２の経路５０４は経路切り替え後に
メッセージの送受信を行うネットワーク１０５上の経路
である。

【０１２７】今、送信ノード５０１から受信ノード５０
２への通信の経路を第１の経路５０３から第２の経路５
０４に切り替える処理を実行中の状態であるとする。な
お、メッセージ番号として、「０」から「ｊ」まで使用
可能であり、「ｊ」まで使用すると「０」へ戻るものと
する。

【０１２８】また、メッセージヘッダの切り替え処理表
示ビット３０４は、経路切り替え処理を実行中の時は
「１」を、そうでない場合は「０」を保持し、メッセー
ジヘッダの経路識別子フィールド３０５は、第１の経路
５０３を使用する場合は「０」を、第２の経路５０４を
使用する場合は「１」を保持するものとする。

【０１２９】第１の経路５０３の側に□を付して示した
数字は、切り替え処理が始まる前に送出された通常メッ
セージのメッセージ番号を表しており、このメッセージ
ヘッダの切り替え処理表示ビット３０４及び経路識別子
フィールド３０５は、共に「０」を保持している。

【０１３０】第２の経路５０４の側に○を付して示した
数字は、切り替え処理が始まった後に送出された通常メ
ッセージのメッセージ番号を表しており、このメッセー
ジヘッダの切り替え処理表示ビット３０４及び経路識別
子フィールド３０５は、共に「１」を保持している。

【０１３１】図５において、第１の経路５０３及び第２
の経路５０４に沿って示されたメッセージ番号を持つ通
常メッセージは、受信ノード５０２に近い順に受信され
ることを表している。但し、第１の経路５０３と第２の
経路５０４にまたがって点線が示されている場合、点線
より受信ノード５０２に近い通常メッセージの方が、遠
い通常メッセージよりも前に受信されることを表してい
る。

【０１３２】図５は、経路切り替え処理が始まる前にメ
ッセージ番号「２」の通常メッセージまで第１の経路５
０３に送出しており、それらが全て受信確認されている
場合（Ａ）や、第１の経路５０３にメッセージ番号
「３」以降の通常メッセージも送出しているが第１の経
路５０３の故障によりメッセージ番号「３」以降の通常
メッセージが受信ノード５０２に到達しない場合（Ｂ）
を表している。

【０１３３】この場合、経路切り替え処理が開始される
と送信ノード５０１では、メッセージ番号テーブルの切
り替え処理表示ビット４０２及び経路識別子フィールド
４０３が「１」に変更される。

【０１３４】前記（Ａ）の場合には、メッセージ番号テ
ーブルの送信メッセージ番号フィールド４０４の値は
「３」を示しており、受信確認メッセージ番号フィール
ド４０５の値は「２」を示している。したがって、全て
の通常メッセージが受信確認されているので、送信メッ
セージ番号フィールド４０４の値を用いて通常メッセー
ジの送信が再開される。

【０１３５】前記（Ｂ）の場合には、「３」以降のメッ
セージ番号の通常メッセージも送出されているので、メ
ッセージ番号テーブルの送信メッセージ番号フィールド
４０４の値は「３」よりも大きくなっているが、受信確
認メッセージ番号フィールド４０５の値は「２」である
ので、命令プロセッサ１１０によって送信メッセージ番
号フィールド４０４の値が「３」に変更された後、通常
メッセージの送信が再開される。

【０１３６】受信ノード５０２では、メッセージ番号テ
ーブルの有効表示フィールド４０６は有効であることを
表す「１」を示し、有効表示フィールド４０８は無効で
あることを表す「０」を示している。また、受信メッセ
ージ番号フィールド４０７は「２」を示している。

【０１３７】この状態で第２の経路５０４を通って、メ
ッセージ番号が「３」、切り替え処理表示ビット３０４
が「１」、経路識別子フィールド３０５が「１」の通常
メッセージが来るので、受信ノード５０２の受信制御部
１３６の通常メッセージ受信部１４３は、メッセージ番
号テーブルの有効表示フィールド４０６を「０」、有効
表示フィールド４０８を「１」、受信メッセージ番号フ
ィールド４０９を「３」に変更する。

【０１３８】また、受信ノード５０２の通常メッセージ
受信部１４３は、受信ノード５０２の送信制御部１３３
の受信確認メッセージ送信部１４２に受信確認メッセー
ジの送信を依頼する。

【０１３９】受信ノード５０２の受信確認メッセージ送
信部１４２は、受信した通常メッセージの切り替え処理
表示ビット３０４及びメッセージ番号フィールド３０６
の値をそれぞれ受信確認メッセージのヘッダの切り替え
処理表示ビット３０４及びメッセージ番号フィールド３
０６にそのまま格納する。

【０１４０】また、受信確認メッセージの経路識別子フ
ィールド３０５には、受信ノード５０２が送信ノード５
０１に送信する時に使用する仮想通信路に対応するメッ
セージ番号テーブルのエントリの経路識別子フィールド
４０３の値を格納して、受信確認メッセージを送信ノー
ド５０１に送信する。

【０１４１】図５の場合は、（Ａ）（Ｂ）いずれの場合
も第１の経路５０３上を通ってメッセージ番号「３」以
降の通常メッセージが受信ノード５０２に到着しないの
で、メッセージ順序の問題はない。

【０１４２】図６は、本実施形態において切り替え前の
通常メッセージが遅れて到着する場合の例を示す図であ
る。図６は、第１の経路５０３にメッセージ番号「３」
の通常メッセージも送出したが、第１の経路５０３の負
荷が重い為、第１の経路５０３上のメッセージ番号
「３」の通常メッセージが遅れて受信ノード５０２に到
着し、第１の経路５０３上のメッセージ番号「３」の通
常メッセージより第２の経路５０４上のメッセージ番号
「３」の通常メッセージの方が早く受信ノード５０２に
到着する場合（Ｃ）を表している。

【０１４３】前記（Ｃ）の場合には、送信ノード５０１
の処理は、前記（Ｂ）の場合と同様である。

【０１４４】受信ノード５０２では、第２の経路５０４
上のメッセージ番号「３」の通常メッセージが先に到着
し、当該通常メッセージのヘッダの切り替え処理表示ビ
ット３０４が「１」、経路識別子フィールド３０５が
「１」を示しているので、受信ノード５０２の受信制御
部１３６の通常メッセージ受信部１４３は、メッセージ
番号テーブルの有効表示フィールド４０６を「０」、有
効表示フィールド４０８を「１」、受信メッセージ番号
フィールド４０９を「３」に変更する。

【０１４５】次に、第１の経路５０３のメッセージ番号
「３」の通常メッセージ及び第２の経路５０４のメッセ
ージ番号「４」の通常メッセージのいずれかが受信ノー
ド５０２に到着する。

【０１４６】第１の経路５０３のメッセージ番号「３」
の通常メッセージが先に到着するものとすると、受信ノ
ード５０２の通常メッセージ受信部１４３は、メッセー
ジ番号テーブルの有効表示フィールド４０６が「０」で
あるのに対し、メッセージヘッダの経路識別子フィール
ド３０５が「０」であり、かつ切り替え処理表示ビット
３０４が「０」であるので、到着した通常メッセージは
不要な通常メッセージであって、経路変更をする必要が
ないと判断し、当該通常メッセージを廃棄する。

【０１４７】次に、第２の経路５０４を通って、メッセ
ージ番号「４」の通常メッセージが到着するが、この場
合は、メッセージ番号テーブルの有効表示フィールド４
０８が「１」であり、かつメッセージヘッダの経路識別
子フィールド３０５が「１」であり、かつメッセージ番
号テーブルの受信確認メッセージ番号フィールド４０５
の値「３」とメッセージヘッダのメッセージ番号フィー
ルド３０６の値「４」が連続しているので正常に受信さ
れる。

【０１４８】なお、第１の経路５０３上に「４」以降の
通常メッセージがある場合は、「３」の場合と同様に廃
棄される。

【０１４９】また、第１の経路５０３のメッセージ番号
「３」の通常メッセージと第２の経路５０４のメッセー
ジ番号「４」の通常メッセージの内、第２の経路５０４
のメッセージ番号「４」の通常メッセージが第１の経路
５０３のメッセージ番号「３」の通常メッセージよりも
先に到着した場合は、第１の経路５０３上のメッセージ
番号「３」の通常メッセージの廃棄が、第２の経路５０
４のメッセージ番号「４」の通常メッセージが正常に受
信された後になるだけで、前記と同様の処理が行われ
る。

【０１５０】以上の様に、図６の場合でも第１の経路５
０３上のメッセージ番号「３」及びそれ以降の通常メッ
セージは廃棄され、メッセージ順序を保証して経路の切
り替えができる。

【０１５１】図７は、本実施形態において切り替え前後
の通常メッセージの到着順が微妙な場合の例を示す図で
ある。図７は、第１の経路５０３にメッセージ番号
「３」の通常メッセージも送出したが、第１の経路５０
３の負荷が重い為、第１の経路５０３上のメッセージ番
号「３」の通常メッセージが遅れて受信ノード５０２に
到着し、第１の経路５０３上のメッセージ番号「３」の
通常メッセージと第２の経路５０４上のメッセージ番号
「３」の通常メッセージの受信ノード５０２への到着順
が微妙となる場合（Ｄ）を表している。

【０１５２】前記（Ｄ）の場合でも、第２の経路５０４
上のメッセージ番号「３」の通常メッセージが先に到着
する場合は、前記（Ｃ）の場合と同様になる。

【０１５３】第１の経路５０３上のメッセージ番号
「３」の通常メッセージが先に到着する場合は、第１の
経路５０３上のメッセージ番号「３」の通常メッセージ
のヘッダの切り替え処理表示ビット３０４は「０」、経
路識別子フィールド３０５は「０」、メッセージ番号フ
ィールド３０６は「３」を表しており、受信ノード５０
２のメッセージ番号テーブルの有効表示フィールド４０
６は「１」、受信メッセージ番号フィールド４０７は
「２」を表しているので正常に受信される。

【０１５４】その後、第２の経路５０４上のメッセージ
番号「３」の通常メッセージが受信ノード５０２に到着
するが、通常メッセージのヘッダの切り替え処理表示ビ
ット３０４は「１」、経路識別子フィールド３０５は
「１」、メッセージ番号フィールド３０６は「３」を表
しているのに対し、受信ノード５０２のメッセージ番号
テーブルの有効表示フィールド４０６は「１」、受信メ
ッセージ番号フィールド４０７は「３」を表しており、
メッセージ番号フィールド３０６の値と受信メッセージ
番号フィールド４０７の値が連続しないので、当該通常
メッセージは廃棄される。

【０１５５】次に、第２の経路５０４上のメッセージ番
号「４」の通常メッセージが受信ノード５０２に到着す
るが、これは前記（Ｃ）の場合と同様に有効な経路が第
２の経路５０４に変更される。

【０１５６】以上の様に、図７の場合でも第２の経路５
０４上のメッセージ番号「３」の通常メッセージは廃棄
され、メッセージ順序を保証して経路の切り替えができ
る。

【０１５７】図８は、本実施形態において切り替え前の
メッセージ番号が切り替え後のメッセージ番号と連続す
る場合の例を示す図である。図８は、第１の経路５０３
にメッセージ番号「２」の通常メッセージも送出した
が、第１の経路５０３の負荷が重い為、第１の経路５０
３上のメッセージ番号「２」の通常メッセージが遅れて
受信ノード５０２に到着し、それ以前に第２の経路５０
４上でメッセージ番号「１」の通常メッセージまで送信
し、かつ第１の経路５０３にメッセージ番号「２」の通
常メッセージが第２の経路５０４上でメッセージ番号
「１」の通常メッセージの後に到着する場合（Ｅ）を表
している。

【０１５８】ここで、第２の経路５０４の側に△を付し
て示した数字は、切り替え処理が完了した後に送出され
た通常メッセージのメッセージ番号を表しており、この
メッセージヘッダの切り替え処理表示ビット３０４は
「０」を保持し、経路識別子フィールド３０５は「１」
を保持している。

【０１５９】前記（Ｅ）の場合は、第１の経路５０３上
のメッセージ番号「２」の通常メッセージと第２の経路
５０４上のメッセージ番号「１」の通常メッセージとが
メッセージ番号の上で連続していることが問題となる。

【０１６０】これらは、メッセージヘッダのメッセージ
番号フィールド３０６の値が連続しており、経路識別子
フィールド３０５の値が「０」と「１」なので、経路切
り替えを行う場合と似ている。

【０１６１】しかし、この場合でも第１の経路５０３上
のメッセージ番号「２」の通常メッセージのヘッダの切
り替え処理表示ビット３０４は「０」であり、経路切り
替え処理の実行中を表していないので、受信ノード５０
２の受信制御部１３６の通常メッセージ受信部１４３は
当該通常メッセージを不要と判断し、廃棄することがで
きる。

【０１６２】なお、第２の経路５０４上に△を付して示
した通常メッセージは、メッセージ番号が「２」であ
り、経路切り替え処理を開始した後２回目の使用となる
為、少なくとも△を付して示した通常メッセージにおい
ては、ヘッダ内の切り替え処理表示ビット３０４は
「０」に戻り、経路切り替え処理の実行中でないことを
示している。

【０１６３】少なくともメッセージ番号「２」が再度使
用される以前に経路切り替えの処理が完了していること
を保証できるので、図８の場合の様に、偶然第１の経路
５０３上の通常メッセージと第２の経路５０４上の通常
メッセージのメッセージ番号が連続することがあっても
誤って経路切り替え処理を実行することがない。

【０１６４】最後に、通常メッセージは正常に受信ノー
ド５０２に到着しているが、受信確認メッセージがネッ
トワーク１０４の故障の為に送信ノード５０１に返って
こない為、受信確認できない場合について説明する。

【０１６５】実際には受信確認メッセージが返ってこな
い為に送信ノード５０１において受信確認ができないの
であるが、送信ノード５０１においては、受信確認でき
ない理由が通常メッセージが届いていない為なのか受信
確認メッセージが返ってこない為なのかを通常は判別す
ることができない。

【０１６６】しかし、この様な状況においても、本実施
形態の並列プロセッサによれば送信ノード５０１が受信
確認できていない通常メッセージを再送しても、受信ノ
ード５０２において通常メッセージを２重に受け取って
しまい、通常メッセージの順序保証ができなくなるとい
うことがない。

【０１６７】なぜならば、本実施形態の並列プロセッサ
では受信確認メッセージが返ってこないという状況の下
では、再送する通常メッセージのメッセージ番号は、受
信ノード５０２において最も最近に受信した通常メッセ
ージの受信メッセージ番号と連続しない為、受信ノード
５０２において廃棄されるからである。

【０１６８】送信ノード５０１は、経路切り替え処理を
実施した後も、再送した通常メッセージの受信確認メッ
セージが返ってこない場合は、通常メッセージが届かな
いのではなく、受信確認メッセージの通る経路に何らか
の障害が発生していると判断できる。

【０１６９】受信確認メッセージの通る経路に問題があ
ることを送信ノード５０１において認識できれば、送信
ノード５０１から受信ノード５０２へ以前に送った通常
メッセージの受信確認をソフトウェアによって行う様に
依頼する特別なメッセージを送る等して、ソフトウェア
的に回復処理を行うことができる。

【０１７０】以上の様に、本実施形態の並列プロセッサ
によれば、受信確認メッセージの送信に問題がある場合
でも、２重受信を引き起こすことなく安全に状況を把握
する為の処置を取り、状況を把握した後に適切な処理を
すばやく行うことができる。

【０１７１】本実施形態の並列プロセッサでは、メッセ
ージ番号テーブルがネットワークインタフェース制御部
１３０の外にあるとしたが、内部に置いても良いし、メ
インメモリ１１１上に置く様な仕組みにしても構わな
い。

【０１７２】また、各ノード内の構成は同一であるとし
たが、本実施形態の並列プロセッサに係わらないところ
の構成は異なっていても構わないのは当然である。更
に、本実施形態の並列プロセッサは、ネットワークイン
タフェース制御部１３０の制御により、ソフトウェアか
ら見えない形でメッセージを更に小さな単位に分割して
送信し、受信時に元のメッセージに再構成する様な通信
形態に対しても適用できる。

【０１７３】以上説明した様に、本実施形態の並列プロ
セッサによれば、時間監視を用いないでネットワークの
経路切り替え中及び前後でメッセージの順序保証を行う
ので、ネットワークの経路切り替えの前後でメッセージ
を送受信する処理を継続することが可能である。

【０１７４】

【発明の効果】本発明によれば、時間監視を用いないで
ネットワークの経路切り替え中及び前後でメッセージの
順序保証を行うので、ネットワークの経路切り替えの前
後でメッセージを送受信する処理を継続することが可能
である。

【図面の簡単な説明】

【図１】本実施形態の並列プロセッサの概略構成を示す
図である。

【図２】本実施形態の送信制御ワードの概要を示す図で
ある。

【図３】本実施形態のメッセージの概要を示す図であ
る。

【図４】本実施形態のメッセージ番号テーブルの形式を
示す図である。

【図５】本実施形態の経路切り替え処理の例を示す図で
ある。

【図６】本実施形態のおいて切り替え前の通常メッセー
ジが遅れて到着する場合の例を示す図である。

【図７】本実施形態のおいて切り替え前後の通常メッセ
ージの到着順が微妙な場合の例を示す図である。

【図８】本実施形態のおいて切り替え前のメッセージ番
号が切り替え後のメッセージ番号と連続する場合の例を
示す図である。

【図９】従来の並列プロセッサの一例の概略構成を示す
図である。

【符号の説明】

１０１〜１０３…ノード、１０４及び１０５…ネットワ
ーク、１１０…命令プロセッサ、１１１…メインメモ
リ、１２０…システムバス、１３０…ネットワークイン
タフェース制御部、１４０…メッセージ番号テーブルメ
モリ、１３１…バスインタフェース制御部、１３２…Ｒ
ＡＭインタフェース制御部、１３３…送信制御部、１３
４…セレクタ、１３５…比較器、１３６…受信制御部、
１３７…セレクタ、１３８…制御線、１４１…通常メッ
セージ送信部、１４２…受信確認メッセージ送信部、１
４３…通常メッセージ受信部、１４４…受信確認メッセ
ージ受信部、２０１…受信ノード番号フィールド、２０
２…メッセージデータ長フィールド、２０３…送信デー
タアドレスフィールド、２０４…送受信ステータスフィ
ールド、３０１…メッセージ形式フィールド、３０２…
受信ノード番号フィールド、３０３…送信ノード番号フ
ィールド、３０４…切り替え処理表示ビット、３０５…
経路識別子フィールド、３０６…メッセージ番号フィー
ルド、３０７…メッセージデータ長フィールド、３０８
…送信制御ワードアドレスフィールド、３０９…メッセ
ージデータ／受信ステータスフィールド、４０１…仮想
通信路識別子フィールド、４０２…切り替え処理表示ビ
ット、４０３…経路識別子フィールド、４０４…送信メ
ッセージ番号フィールド、４０５…受信確認メッセージ
番号フィールド、４０６…有効表示フィールド、４０７
…受信メッセージ番号フィールド、４０８…有効表示フ
ィールド、４０９…受信メッセージ番号フィールド、５
０１…送信ノード、５０２…受信ノード、５０３…第１
の経路、５０４…第２の経路、９０１〜９０４…ノー
ド、９０５及び９０６…ネットワーク。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の経路で接続された複数のノード間
   でメッセージを送受信して並列処理を行う並列プロセッ
   サであって、 経路の切り替え中であるがどうかを示す切り替え処理表
   示、当該メッセージを送信する経路を識別する経路識別
   子及び当該メッセージを識別するメッセージ番号を格納
   した通常メッセージを作成して受信ノードに送信する通
   常メッセージ送信部と、 送信ノードから送信された通常メッセージの経路識別子
   が示す経路と受信ノードの有効表示が示す経路とが一致
   し、そのメッセージ番号が前記有効表示の示す経路で受
   信した通常メッセージのメッセージ番号を示す受信メッ
   セージ番号と連続する場合に当該通常メッセージを受信
   する通常メッセージ受信部と、 受信した通常メッセージのメッセージ番号を格納した受
   信確認メッセージを当該通常メッセージの送信ノードに
   送信する受信確認メッセージ送信部と、 受信ノードから送信された受信確認メッセージのメッセ
   ージ番号が受信確認メッセージ番号と連続する場合に当
   該受信確認メッセージ番号を更新する受信確認メッセー
   ジ受信部とを備えることを特徴とする並列プロセッサ。
2. 【請求項２】 前記通常メッセージ送信部は、経路の切
   り替えが行われている場合に経路の切り替え中であるこ
   とを示す切り替え処理表示を格納した通常メッセージを
   送信し、 前記通常メッセージ受信部は、受信ノードの有効表示が
   示す経路以外で受信した通常メッセージの内で、その切
   り替え処理表示が経路の切り替え中であることを示すと
   共にそのメッセージ番号が前記受信メッセージ番号に連
   続する通常メッセージを受信し、受信した通常メッセー
   ジの経路識別子が示す経路に受信ノードの有効表示が示
   す経路を変更することを特徴とする請求項１に記載され
   た並列プロセッサ。
3. 【請求項３】 前記受信確認メッセージ送信部は、受信
   した通常メッセージの切り替え処理表示を格納した受信
   確認メッセージを当該通常メッセージの送信ノードに送
   信し、 前記受信確認メッセージ受信部は、経路の切り替え中で
   あることを示す切り替え処理表示を格納した受信確認メ
   ッセージを受信したときに、それ以降に送信される通常
   メッセージの切り替え処理表示を経路の切り替えが終了
   したことを示す内容に変更することを特徴とする請求項
   １または請求項２のいずれかに記載された並列プロセッ
   サ。