JPH09218864A

JPH09218864A - データ中継システム

Info

Publication number: JPH09218864A
Application number: JP8022382A
Authority: JP
Inventors: Shigeki Yamada; 茂樹山田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-02-08
Filing date: 1996-02-08
Publication date: 1997-08-19

Abstract

(57)【要約】【課題】中継ノード内で余計なコピーを避け、中継ノ
ードでのメモリアクセス回数を低減することによってメ
ッセージスループットを向上させることが可能なデータ
中継システムを提供すること。【解決手段】最初に中継ノードのプロセッサがメッセ
ージバッファ１内のメッセージヘッダを書き替えた後、
分散メモリカップラによってメッセージバッファ１から
次段ノードのメッセージバッファ３へ直接、コピーを行
う。これによって中継ノードでの無駄なコピーを無く
し、メモリブロック１から次段ノードのメモリブロック
３に効率的に転送を行うことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデータ中継システム
に関し、特に、ネットワーク内のノード間でデータを中
継していく場合に、必要に応じて中継ノードにおいてデ
ータの一部を書き換えて次段ノードに転送する処理を、
効率良く行うことが可能なデータ中継システムに関する
ものである。

【０００２】

【従来の技術】従来から、ネットワークによって相互接
続された複数のノード間でメッセージを転送しながらネ
ットワーク全体で分散処理を行うシステムが提案されて
いる。このようなシステムの基本的なアイデアの一例
が、本出願人が先に特願平6-202071号により提案した
「マルチプロセッサシステム」に示されている。図２は、
上記提案に係るネットワーク分散処理システムの実施例
を、その主旨を損なわない範囲で簡略化して示すもので
ある。図２中、１-1，１-2，１-3はメッセージを送受信
するノードである。なお、以下の説明では、複数個の同
一要素について、特に必要な場合を除いて、その添字
(例えば、「１-2」における「-2」)を省略する。また、ここ
では、説明を簡略化するため、各ノードが１個のプロセ
ッサモジュール(ＰＭ)２から構成されている例を示して
いるが、一般的には、一つのノードが複数のＰＭから構
成されていても良い。

【０００３】各ノードは、以下の如き内部構造を有す
る。３はプロセッサ、４はそれぞれ対応するプロセッサ
３から読み書きアクセスが可能なローカルメモリ、５は
全ノードで共通のアドレスが与えられた分散共有メモリ
である。但し、プロセッサ３-1からアクセスできる分散
共有メモリは５-1のみであり、分散共有メモリ５-2、５
-3にはアクセスできない。同様に、プロセッサ３-2から
アクセスできる分散共有メモリは５-2のみで、プロセッ
サ５-3からアクセスできる分散共有メモリは５-3のみで
ある。６は分散メモリカップラで、自ノード内の分散共
有メモリ５にデータがそれぞれ書き込まれたとき、それ
と同じアドレスを持つ他のノードの分散共有メモリ５に
データをコピーする機能を有する。７は分散メモリプロ
テクタで、それぞれ、自ノードの分散共有メモリ５内の
メッセージバッファに記憶されているメッセージを不正
なアクセスから保護する装置である。８はノード内の各
装置を接続するプロセッサバスである。９はノード間を
相互接続するＡＴＭ-ＷＡＮ(ワイドエリアネットワー
ク)である。

【０００４】図３は、分散共有メモリ５におけるデータ
配置例を物理アドレスレベルで図示したものである。各
分散共有メモリ５-1，５-2，５-3には、同一の物理アド
レスが割り付けられている。分散共有メモリ５内の通信
領域は、(ａ)ノード間通信エリアと、(ｂ)ＦＩＦＯ通信
エリアに大別される。ノード間通信エリアは、基本的に
は同一ノード内通信も含んで、ノード間で送受信される
通信情報を記憶するエリアである。また、ＦＩＦＯ通信
エリアは、ノード間にまたがる処理要求をＦＩＦＯ形式
で蓄積記憶するエリアである。ノード間通信エリアは、
それぞれ、ノードを単位としてメッセージを記憶するメ
ッセージバッファ(ＭＢ)エリアと、メッセージバッファ
アドレス等の送受間引き継ぎ制御情報(ディスクリプタ)
を記憶するディスクリプタ(ＭＤ)エリアとに分割されて
いる。

【０００５】図３において、分散共有メモリ５上の各種
エリアを識別するために、Ｍij-kという識別名を用い
る。ここで、Ｍはノード対応のメッセージバッファ／デ
ィスクリプタ／ＦＩＦＯ通信エリアの識別記号で、ＭＢ
エリアはＭＢ、ディスクリプタエリアはＭＤ、ＦＩＦＯ
通信エリアはＭＦと表現される。また、ｉ，ｊはそれぞ
れ送信ノードの識別番号と受信ノードの識別番号を表わ
し、ノード１(１-1)，ノード２(１-2)，ノード３(１-3)
に対応して、それぞれ、１,２,３という番号が与えられ
ている。但し、例外として、ＦＩＦＯ通信エリアＭＦは
値ｊのみを有し、値ｉを持たない。この理由は、ＦＩＦ
Ｏ通信エリアが、値ｊで表わされる受信側ノード対応に
分割されており、値ｉで表わされる各送信ノード間で共
通に使用するため、エリアの指定情報として値ｉを必要
としないためである。また、ｋは対応するエリアの実装
位置を示している。例えば、ＭＢ１３-1はノード１(１-
1)の分散共有メモリ５-1上の、ノード１(１-1)からノー
ド３(１-3)宛通信用のＭＢエリアを示している。

【０００６】上述のＭＢエリア，ＭＤエリアについて
は、二つのエリアのｉ，ｊの値がそれぞれ一致し、ｋの
値が異なるエリアがペアを構成し、異なる分散共有メモ
リの同一物理アドレスロケーションに配置される。な
お、図３のＦＩＦＯ通信エリアのうち、送信ノードの分
散共有メモリは、通常のＲＡＭ(ランダムアクセスメ
モリ)で構成されるが、受信ノードの分散共有メモリ
は、ＦＩＦＯ(Ｆirst Ｉn Ｆirst Ｏutメモリ)で構成さ
れている。例えば、ノード１(１-1)の分散共有メモリ５
-1上のノード１宛処理要求ＦＩＦＯエリアＭＦ１-1は、
ＦＩＦＯメモリで構成されているが、ノード２(１-2)の
分散共有メモリ５-2上のノード１宛処理要求ＦＩＦＯエ
リアＭＦ１-2、および、ノード３(１-3)上のノード１宛
処理要求ＦＩＦＯエリアＭＦ１-3は、ＲＡＭで構成され
ている。これによって、処理要求を書き込む側のノード
(ノード２とノード３)が処理要求をそれぞれ、処理要求
ＦＩＦＯエリアＭＦ１-2とＭＦ１-3に同時に書き込んだ
場合、それらのコピーが同時に、処理要求を読み出す側
のノード１(１-1)のＦＩＦＯ通信エリアＭＦ１-1に送ら
れ、これらがＦＩＦＯメモリによってすべて蓄積できる
ようにしている。

【０００７】このようなＰＭ構造を有するノード間通信
において、送信オブジェクトの存在する送信ノード１-1
から、受信オブジェクトの存在する受信ノード１-3にメ
ッセージを転送する場合、メッセージを中継ノード１-2
経由で転送しなければならないケースがある。このよう
な中継ノード１-2が必要な理由は、送信ノード１-1と受
信ノード１-3が直接接続されていない場合にも、送信ノ
ード１-1から受信ノード１-3にメッセージを正しく送り
届けることが必要とされるからである。この場合、送信
ノード１-1は、直接接続されている中継ノード１-2宛に
一旦メッセージを送り、中継ノード１-2では、メッセー
ジヘッダを参照して転送先ノード(＝受信ノード(１-3))
を識別するとともに、メッセージヘッダの一部を必要に
応じて書き替えて、受信ノード１-3にメッセージをフォ
ワードする機能が要求される。

【０００８】ところで、上述の従来技術においては、こ
のような中継ノード機能の実現方法については、何も言
及されていない。そこで、もし、上記従来技術を単純に
中継ノードに適用すれば、中継ノード機能は以下のよう
に実現されるであろう。すなわち、図３において、ま
ず、送信ノード１-1がメッセージを中継ノード１-2に転
送するために、中継ノード１-2宛のメッセージバッファ
ＭＢ１２-1を捕捉し、そこにメッセージを書き込む。こ
の書き込みに同期して、送信ノード１-1の分散メモリカ
ップラ６-1が起動され、書き込みアドレスとデータを中
継ノード１-2に転送する。中継ノード１-2の分散メモリ
カップラ６-2は、分散共有メモリ５-2上のメッセージバ
ッファＭＢ１２-2にコピーを行う。このようにして、分
散共有メモリ間コピーによって、メッセージの転送が行
われる。

【０００９】続いて、送信ノード１-1では、メッセージ
バッファＭＢ１２-1に対応するディスクリプタエリアＭ
Ｄ１２-1に制御情報を、ＦＩＦＯ通信エリアＭＦ２-1に
処理要求を書き込む。その結果、メッセージの場合と同
様に、分散メモリカップラ６-1，６-2によって送信ノー
ド１-1のＭＤ１２-1，ＭＦ２-1から、中継ノード１-2の
ＭＤ１２-2，ＭＦ２-2にそれぞれコピー転送が行われ
る。中継ノード１-2では、ＦＩＦＯ通信エリアＭＦ２-2
をポーリングしてメッセージ到着を検出し、メッセージ
バッファＭＢ１２-2上のメッセージを参照して、そのヘ
ッダ部を書き替える。次に、メッセージに含まれている
受信オブジェクトＩＤを参照して、宛先受信ノードとア
ドレスを共有しているメッセージバッファＭＢ２３-2を
捕捉する。

【００１０】そして、プロセッサ３-2がメッセージバッ
ファＭＢ１２-2からメッセージを読み出して、ＭＢ２３
-2にコピーを行う。ＭＢ２３-2へのコピーはメモリ書き
込み動作なので、この書き込みに同期して分散メモリカ
ップラ６-2が起動され、書き込みアドレスとデータが受
信ノードに送られる。受信ノード１-3では、受信したデ
ータをＭＢ２３-3にコピーする。制御データについて
も、ディスクリプタエリアＭＤ１２-2から読み出しで変
更を行い、ＭＤ２３-2に書き込むと、分散メモリカップ
ラ６-2，６-3によって受信ノード１-3のＭＤ２３-3にコ
ピー転送が行われる。同様に、処理要求についても、中
継ノード１-2でＭＦ３-2に書き込むと、分散メモリカッ
プラ６-2，６-3によって、受信ノード１-3のＭＦ３-3に
コピー転送が行われる。受信ノード１-3ではＭＦ３-3を
ポーリングしてメッセージ到着を検出し、ＭＢ２３-3上
のメッセージを読み出して必要な処理を行う。

【００１１】

【発明が解決しようとする課題】上記従来技術におけ
る、メッセージ中継ノードにおいては、メッセージのメ
モリアクセス単位(例えば、４バイトデータ)に対するメ
モリアクセス回数を考えると、以下の如き問題がある。
メッセージのうち、中継ノードで変更を受けない部分に
ついては、(１)前段ノードからの受信データのＭＢ１２
-2への書き込み、(２)コピーのためのＭＢ１２-2からの
読み出し、(３)ＭＢ２３-2へのコピー書き込みにより、
１アクセス単位に付き３回のメモリアクセスを経て受信
ノードに転送される。一方、メッセージのうち、中継ノ
ードで変更を受ける部分については、(１)前段ノードか
らの受信データのＭＢ１２-2への書き込み、(２)変更の
ためのＭＢ１２-2からの読み出し、(３)変更後のＭＢ１
２-2への書き込み、(４)コピーのためのＭＢ１２-2から
の読み出し、(５)ＭＢ２３-2へのコピー書き込みによ
り、１アクセス単位に付き５回のメモリアクセスを経て
受信ノードに転送される。

【００１２】このように、従来システムを中継ノードに
単純に適用した場合、１メッセージあたりのメモリアク
セス回数が多いので、中継ノードでの処理効率を低下さ
せる心配があった。本発明は上記事情に鑑みてなされた
もので、その目的とするところは、従来の技術における
上述の如き問題を解消し、中継ノード内で余計なコピー
を避け、中継ノードでのメモリアクセス回数を低減する
ことによってメッセージスループット(単位時間あたり
に処理可能なメッセージ数)を向上させることが可能な
データ中継システムを提供することにある。

【００１３】

【課題を解決するための手段】本発明の上記目的は、下
記の如き構成により達成される。 (１)ネットワークによって相互接続された、互いにメモ
リ空間を共有する分散共有メモリとその制御手段を有す
る複数のノードから構成される分散処理システムにおい
て、前段ノードから受信したデータを次段ノードに送信
する中継ノードでは、前段ノードから受信したデータを
前段ノードとアドレスを共有する中継ノードのメモリブ
ロック１に一旦格納し、必要に応じてメモリブロック１
の内容を更新し、次段ノードとアドレスを共有する中継
ノードのメモリブロック２を捕捉する。次に、中継ノー
ドの分散メモリ制御手段が、メモリブロック１から読み
出したデータにメモリブロック２のアドレスを付与して
次段ノードに送信し、次段ノードの分散メモリ制御手段
はメモリブロック２とアドレスを共有するメモリブロッ
ク３に受信したデータを格納する如く構成する。

【００１４】(２)ネットワークによって相互接続され
た、互いにメモリ空間を共有する分散共有メモリとその
制御手段を有する複数のノードから構成される分散処理
システムにおいて、前段ノードから受信したデータを前
段ノードとアドレスを共有する中継ノードのメモリブロ
ック１に一旦格納し、次段ノードとアドレスを共有する
中継ノードのメモリブロック２を捕捉する。次に、メモ
リブロック１からデータを読み出し、必要に応じて変更
を行ってメモリブロック２に書き込み、分散メモリ制御
手段はメモリブロック２のアドレスとメモリブロック２
への書き込みデータを次段ノードに転送し、次段ノード
の分散メモリ制御手段はメモリブロック２とアドレスを
共有するメモリブロック３に受信したデータを格納す
る。

【００１５】

【発明の実施の形態】本発明に係る第１のデータ中継シ
ステムにおいては、最初に中継ノードのプロセッサがメ
ッセージバッファ１内のメッセージヘッダを書き替えた
後、分散メモリカップラによってメッセージバッファ１
から次段ノードのメッセージバッファ３へ直接、コピー
を行う。これによって中継ノードでの無駄なコピーを無
くし、メモリブロック１から次段ノードのメモリブロッ
ク３に効率的に転送を行うことができる。本発明に係る
第２のデータ中継システムにおいては、最初に中継ノー
ドの分散メモリカップラがメッセージバッファ１から次
段ノードのメッセージバッファ３へのコピーを行う。次
に、プロセッサがメッセージバッファ１からヘッダを読
み出すが、変更結果は送信メッセージバッファ２に書き
込む。この書き込みに同期して分散メモリカップラが次
段ノードのメッセージバッファ３にコピーを行う。従っ
て、メッセージバッファ３には、メッセージバッファ１
から変更前のメッセージがコピーされた後、ヘッダの変
更部分のみがメッセージバッファ３に上書きされて最終
的なメッセージがメッセージバッファ３に組み上げられ
る。これによって、やはり中継ノードでの無駄なコピー
を無くし、メモリブロック１から次段ノードのメモリブ
ロック３に効率的に転送を行うことができる。なお、中
継ノードが複数段続く場合にも、上記構成を各段に適用
していくことにより、効率的なメッセージ中継を実現す
ることができる。

【００１６】以下、本発明の実施例を図面に基づいてよ
り詳細に説明する。図１は、本発明の一実施例に用いて
いる分散メモリカップラ６の内部構成を示したもので、
プロセッサ３からの分散共有メモリ５への書き込みに同
期して、コピー情報を作り出す自律モードと、転送アド
レスを与えられてＤＭＡ(ＤirectＭemory Ａccess)に
より分散共有メモリ５をアクセスしてコピー情報を作り
出すＤＭＡモードの両方の機能を有する。分散メモリカ
ップラ６は特に指定がない場合は自律モードで動作す
る。自律モードの実行を司る部分として共有ページディ
レクトリ１０があり、その各エントリは共有ページアド
レス部１１とルーティング情報部１２のペアで構成され
る。共有ページアドレス部１１は、他ノードと共用され
ているアドレスのページを記憶する部分で、具体的には
ＭＢページアドレス、ディスクリプタページアドレス、
ＦＩＦＯ通信エリアページアドレス等を記憶する。図３
において説明したＭＢ，ディスクリプタ，ＦＩＦＯ通信
エリアは、それぞれ、宛先ノード毎に異なるページに割
り付けられている。一方、ルーティング情報部１２は、
ＡＴＭセルのルーチング情報、具体的にはＶＰＩ(Ｖirt
ual ＰathＩdentifier)，ＶＣＩ(Ｖirtual Ｃhannel Ｉ
dentifier)情報を含んでいる。ＶＰＩ，ＶＣＩはセル
の送り先を特定する２段階の識別子である。ＶＰＩ，Ｖ
ＣＩの値は、ノード間でコネクションを張った時点で決
まるので、その値を予めルーティング情報部１２に記憶
させておく。

【００１７】自律モードの場合、分散共有メモリ５への
書き込みが生ずると、プロセッサバス８上に送出された
書き込みアドレスと共有ページディレクトリ１０内の各
共有ページアドレス部１１との一斉比較が行われる。も
し、一致したアドレスがあれば、対応するルーティング
情報１２を取り出し、ＡＴＭセルインタフェース部１３
に送り出す。ＡＴＭセルインタフェース部１３は、ＡＴ
ＭＡＡＬタイプ５と呼ばれるＡＴＭセル形式にデータ
を編集してＡＴＭセルレジスタ１４に送り出す制御回路
である。ＡＴＭセルレジスタ１４は組み立てられたＡＴ
Ｍセルを記憶するレジスタで、セルヘッダフィールド１
５と情報フィールド１６に分けられる。ＡＴＭセルイン
タフェース部１３はルーティング情報１２を受けるとＡ
ＴＭセルレジスタ１４のセルヘッダ部１５に埋め込む。
それと並行してプロセッサバス８上の書き込みアドレス
と書き込みデータをＡＴＭセルレジスタ１４の情報フィ
ールド部１６に入れる。ＡＴＭセルレジスタ１４に１セ
ル分の情報がたまると、ＡＴＭセルを送信バッファ２３
経由でＡＴＭ-ＷＡＮ９に送り出す。２４は受信バッフ
ァで、ＡＴＭ-ＷＡＮ９経由で他ノードから転送されて
きたＡＴＭセルを一時蓄積する。２５はメモリインタフ
ェース部で、受信バッファ２４から受信したＡＴＭセル
をデコードして、共有分散メモリ５への書き込み要求で
あれば、セル内の書き込みアドレスと書き込みデータを
プロセッサバス８経由で分散共有メモリ５に送る。

【００１８】分散共有メモリ５では、指定されたアドレ
スに書き込みを行うことで送信ノードの分散共有メモリ
から受信ノードの分散共有メモリにコピーが行われる。
ディスクリプタページアドレスに対して、送信ノードの
共有ページディレクトリ１０には受信ノード宛のルーテ
ィング情報を登録し、受信ノードの共有ページディレク
トリ１０には送信ノード宛のルーティング情報を登録し
ておくことによって、分散共有メモリのエリアに送信
側，受信側どちらから書き込んでも、互いに相手側の分
散共有メモリにコピーを行うことができる。ディスクリ
プタエリアは、このような双方向通信エリアとして使用
される。一方、ＭＢエリアとＦＩＦＯ通信エリアについ
ては送信ノードから受信ノードへの一方向通信エリアと
して使用される。

【００１９】分散メモリカプラのもう一方の動作モード
であるＤＭＡモードは、図１中のＤＭＡ制御レジスタ群
２９とＤＭＡ制御部３６によって制御される。ＤＭＡモ
ードによって、自ノードの分散共有メモリから他ノード
の分散共有メモリへのメモリ間コピー転送が高速に実現
される。ＤＭＡ制御レジスタ群２９には、オペレーティ
ングシステム(ＯＳ)によって、ＤＭＡ制御情報の読み書
きが行われる。ＤＭＡ制御レジスタ群２９のうち、ソー
スアドレスレジスタ(ＳＡＲ)３０は、自ノードの分散共
有メモリ内のコピー元データが配置されているアドレス
を記憶するレジスタである。デスティネーションアドレ
スレジスタ(ＤＡＲ)３１は、転送先ノードの分散共有メ
モリのコピー先アドレスを記憶するレジスタである。転
送先ノードの指定のために、転送先ノードへのルーティ
ング情報(ＶＰＩ，ＶＣＩ情報)がルーティング情報レジ
スタ(ＲＩＲ)３３に記憶される。バイトカウントレジス
タ(ＢＣＲ)３２は、ＤＭＡモードで転送を行う時の転送
量を記憶するレジスタである。ＤＭＡコマンドレジスタ
(ＤＣＲ)３４は、ＤＭＡモードによる転送開始の指示
等、各種ＤＭＡ制御コマンドを記憶するレジスタであ
る。ＤＭＡステータスレジスタ(ＤＳＲ)３５は、ＤＭＡ
転送後の状態や転送中のエラー状態を表示するレジスタ
である。

【００２０】分散メモリカップラ６にＤＭＡ動作を行わ
せる場合、転送元ノードのＯＳがＳＡＲ３０，ＤＡＲ３
１，ＢＣＲ３２，ＲＩＲ３３，ＤＣＲ３４に必要な制御
情報を書き込む。その結果、ＤＭＡ制御部３６は、ＳＡ
Ｒ３０で示されるアドレスを基に、自ノードの分散共有
メモリ５からデータを読み出し、ＤＡＲ３１にあるコピ
ー先アドレスを付加して、ＡＴＭインタフェース部１３
に送り込む。ＡＴＭインタフェース部１３は、それらを
ＡＴＭセルレジスタ１４の情報フィールド部１６に格納
する。次に、ＡＴＭインタフェース部１３は、ＢＣＲ３
２に示されるバイトカウントの値をデクリメントし、０
でなければ、転送データが残っているので、ＳＡＲ３０
のコピー元アドレスとＤＡＲ３１のコピー先アドレスを
それぞれインクリメントし、その結果をＳＡＲ３０，Ｄ
ＡＲ３１にそれぞれ格納する。その後、自ノードの分散
共有メモリ５からＳＡＲ３０で示されるデータを読み出
し、ＡＴＭインタフェース部１３経由でＡＴＭセルレジ
スタ１４に格納する。

【００２１】このような操作を繰り返して、１ＡＴＭセ
ルに相当するデータ量がたまると、ＡＴＭインタフェー
ス部１３は、ＲＩＲ３３からルーティング情報を取り出
し、ＡＴＭセルレジスタ１４のセルヘッダ部１５に埋め
込み、ＡＴＭセルを送信バッファ２３経由でＡＴＭ-Ｗ
ＡＮ９に送り出す。受信側の分散メモリカップラ６で
は、自律モードの場合と同様に、ＡＴＭセルを受信する
と、その情報フィールド１６で指定された分散共有メモ
リのアドレスにデータを書き込むことでコピーが行われ
る。転送元ノードの分散メモリカップラのＤＭＡ動作
は、ＢＣＲ３２のバイトカウント値が０になった時点で
終了する。ＤＭＡ制御部３６は、転送結果の状態あるい
は転送途中のエラー状態をＤＳＲ３５に書き込み、プロ
セッサ３に割り込みで通知する。このように、ＤＭＡモ
ードによって自ノードの分散共有メモリから他ノードの
分散共有メモリへのメモリ間コピーが容易に実現でき
る。

【００２２】図４は、本発明の実施例で使用する各種デ
ータの構造とそれらの参照関係を示したものである。ま
ず、送信オブジェクトや受信オブジェクトのような個々
のアプリケーションプログラムに一意に与えられるオブ
ジェクトＩＤ７０は、そのオブジェクトが存在するノー
ドのＩＤ(ノード_ＩＤ）７１，ノード内のＰＭ_ＩＤ７
２，ＰＭ内のローカルＩＤ７３の各フィールドより構成
され、分散処理システム全体の中で一意に識別できるよ
うに構成されている。次に、ＦＩＦＯ通信エリアに記憶
される処理要求７６は、図４に示すように、その処理要
求の送信元であるノードの送信ノード_ＩＤ７５，その
ノードの送信ＰＭ_ＩＤ７６、ディスクリプタへのポイ
ンタ７７から構成されている。また、ディスクリプタ８
０は、対応するＭＢの先頭アドレスＭＢＡを記憶するＭ
Ｂポインタフィールド８１，ディスクリプタに対応する
メッセージバッファの空塞状態を表示するＭＢ状態フィ
ールド８２，メッセージの受信側から送信側への、メッ
セージを正しく受信したかどうか、あるいは、誤りが生
じた場合の誤りの内容を表示する受信状態フィールド８
３から構成される。

【００２３】メッセージバッファ(ＭＢ)９０は、受信オ
ブジェクト宛のメッセージを、リスト構造で接続するた
めのポインタＮＥＸＴＭＰ９１，このメッセージの送信
元である送信オブジェクトのＩＤであるＳＩＤフィール
ド９２，このメッセージの宛先である受信オブジェクト
のＩＤであるＲＩＤフィールド９３，メッセージ本体
(ＢＯＤＹ(９６))のサイズを表わすＳＩＺＥフィールド
９４，メッセージの付属属性を表示したＡＴＲフィール
ド９５，メッセージの中味を示すＢＯＤＹフィールド９
６から構成される。ＢＯＤＹフィールド９６以外の部分
は、ヘッダ９７と呼ばれる。受信ノードでは、ＦＩＦＯ
通信エリアを定期的に読み出すことにより、処理要求７
４をポーリングする。処理要求７４を検出すると、ディ
スクリプタポインタ７７を参照して、ディスクリプタ８
０を読み出し、受信したメッセージの制御情報を得る。

【００２４】図５は、ＡＴＭ-ＷＡＮ９を通過するＡＡ
Ｌタイプ５のＡＴＭセル１００のフォーマットの詳細
を示したものである。図５中、１０１は５バイトのＡＴ
Ｍヘッダ、１０２はＡＴＭネットワークにルーチング情
報の一部であるＶＰＩフィールドで、各バーチャルパス
(ＶＰ)を識別するために使用する。１０３はＡＴＭネッ
トワークにルーチング情報の一部であるＶＣＩフィール
ドで、各バーチャルチャネル(ＶＣ)を識別するために使
用する。１０４はペイロードタイプ(ＰＴ)フィールド
で、ＡＡＬ５のＡＴＭセルの場合は、ユーザデータの最
終セルかどうかを識別するために使用する。１０５はＨ
ＥＣ(ヘッダ誤り制御)フィールドで、ヘッダ部分の誤り
検出とセル同期に用いられる。１０６は情報フィールド
で、ユーザデータ部１０７と、ＣＰＣＳトレイラ部１０
８に分けられる。ユーザデータ部１０７は、データタイ
プ１０９-1とデータエントリ１０９-2から構成される。
データタイプ１０９-1がＤＭＡモード１２０を表示して
いる場合、データエントリ部１０９-2の構造は、データ
の先頭メモリアドレス１２１と、連続アドレスに配置さ
れた複数のデータ(１２２-1，１２２-2，・・・・，１２２-
m)から構成される。

【００２５】また、データタイプ１０９-1が自律モード
１３０を表示している場合は、データエントリ部１０９
-2の構造は、複数の(メモリアドレス，データ)のペア、
すなわち、１３１-1，１３１-2，１３２-1，１３２-2，
・・・・，１３３-2から構成される。１５０はセル内の有効
情報長を示すＬＩフィールドである。１５１はセルの誤
り検出を行うＣＲＣフィールドである。なお、ＤＭＡモ
ードでは転送するメモリブロック全体を複数のＡＴＭセ
ルに分解して転送するが、個々のＡＴＭセルにはＣＰＣ
Ｓトレイラは付加されずに、最終ＡＴＭセル(ＰＴ１０
４で表示)にのみ含まれる。一方、自律モードの場合に
は各ＡＴＭセル毎にＣＰＣＳトレイラが付加される。

【００２６】以下、本発明に係るデータ中継システムの
第１の動作例を、図６，図７のタイミングチャートを用
いて説明する。図６，図７は、送信ノード１-1から中継
ノード１-2を経由して受信ノード１-3にメッセージを転
送する場合を示している。本発明の第１の動作例『送信ノード１-1での処理』図６のステップＳ２１０で
は、送信ノード１-1のＯＳがステップＳ２１０のＡＰＬ
オブジェクト起動処理で、送信オブジェクトの実行を開
始させる。ステップＳ２１１では、送信オブジェクトが
メッセージ送信のためにメッセージバッファの捕捉をＯ
Ｓに要求し、ＯＳはメッセージヘッダ内の受信オブジェ
クトＩＤ(図４中のＲＩＤ９３)を参照し、中継ノード１
-2へメッセージをルーチングすべきものと判断する。そ
して中継ノード１-2宛のメッセージバッファＭＢ１２-1
を捕捉し、送信オブジェクトにＭＢ１２-1のアドレスを
通知する。

【００２７】ステップＳ２１２では、送信オブジェクト
がメッセージをＭＢ１２-1にタイミングｔ２２１で４バ
イトづつ書き込みを行う。この書き込みを、図１の送信
側分散メモリカップラ６-1が検出して、図５に示す構造
の自律モード用のＡＴＭセルにまとめ、ＡＴＭ-ＷＡＮ
９経由で中継ノード１-2に転送する。中継ノード１-2で
は、分散メモリカップラ６-2が、ＡＴＭセルを分解し
て、自ノードの指定された分散共有メモリ５-2のロケー
ション、すなわち、図３のＭＢ１２-2に書き込みを行
う。このようにして、ＭＢ１２-1からＭＢ１２-2へのメ
ッセージコピーが行われる。送信オブジェクトによるメ
ッセージ書き込みがすべて終了すると、ステップＳ２１
３で、ＯＳがディスクリプタＭＤ１２-1にタイミングｔ
２１２でメッセージ制御情報を書き込む。

【００２８】制御情報として、図４に示すようにＭＢポ
インタフィールド８１にＭＢ１２-1のアドレスを、ＭＢ
状態フィールド（８３）に、ＭＢ１２-1が『捕捉状態』
にあることを示すデータを書き込む。更に、図４のフォ
ーマットの処理要求７４を中継ノード１-2宛の受信処理
ＦＩＦＯ(ＭＦ２-1)に書き込む。その結果、分散メモリ
カップラ６-1でＭＤ１２-1とＭＦ２-1への書き込みアド
レスとデータが、図５の自律モード用ＡＴＭセルに組み
立てられてＡＴＭ-ＷＡＮ９経由で中継ノード１-2に転
送され、中継ノード１-2の分散共用メモリ５-2のＭＤ１
２-2，ＭＦ２-2にそれぞれコピーされる。最後に、ステ
ップＳ２１４でＯＳは送信オブジェクトの実行を終了す
る。

【００２９】『中継ノード１-2での処理』中継ノード１
-2のＯＳは、ステップＳ２２０の中継受信処理で他ノー
ドからの処理要求が書き込まれているＦＩＦＯ通信エリ
アＭＦ２-2を定期的に読み出し、タイミングｔ２２０
で、送信ノード１-1からの処理要求(図４中の７４)を検
出する。そして、図４に示すポインタアドレスに従っ
て、分散共有メモリ５-2上のディスクリプタＭＤ１２-
2，メッセージバッファＭＢ１２-2を順にアクセスし、
ＭＢ１２-2内の受信オブジェクトのＩＤ(図４中のＲＩ
Ｄ９５)を入手する。ＲＩＤ９５は、図４のオブジェク
トＩＤ７０の構造を持っており、本実施例では中継ノー
ド１-2内のオブジェクトのＩＤではなく、他ノード１-3
のオブジェクトのＩＤを表示しているので、ここでは単
に中継すべきものと判定する。そこで、ＯＳはステップ
Ｓ２２１の中継送信処理１を開始し、受信ノード１-3宛
のメッセージバッファＭＢ２３-2を捕捉する。ＭＢ２３
-2の捕捉は、コピー先である受信ノード１-3のＭＢ２３
-3の捕捉をも意味する。

【００３０】次に、ＯＳはＭＢ１２-2からヘッダ内(図
４中の９７)の、例えば、ＡＴＲフィールド９５を読み
出し、その内容を書き替える。その際、分散メモリカッ
プラ６-2の共有ページディレクトリ１０には、ＭＢ１２
-2のアドレスは登録されていないので、ＭＢ１２-2に書
き込みを行っても他ノード(１-2)にコピーアドレスとデ
ータが送られることはない。次に、タイミングｔ２２１
では、分散メモリカップラ６-2をＤＭＡ起動する。具体
的には、分散メモリカップラ６-2のＳＡＲ３０-2に、コ
ピー元であるＭＢ１２-2のアドレスを、ＤＡＲ３１-2に
はコピー先であるＭＢ２３-3のアドレス(ＭＢ２３-2の
アドレスと同じ)を、ＢＣＲ３２-3にはＭＢ１２-2のメ
ッセージサイズを、ＲＩＲ３３-2には受信ノード１-3と
の間のＡＴＭルーティング情報(ＶＣＩ，ＶＰＩ)を、Ｄ
ＣＲ３４にはＤＭＡ動作指示コマンドを書き込んでＤＭ
Ａモードを起動する。これによって分散メモリカップラ
６-2はタイミングｔ２２２で、中継ノード１-2のＭＢ１
２-2から受信ノード１-3のＭＢ２３-3へ直接、転送を行
う。

【００３１】タイミングｔ２２３でＤＭＡ転送が終了す
ると、送信ノード１-1とアドレスを共有するディスクリ
プタＭＤ１２-2を読み出し、必要な部分を変更して受信
ノード１-2とアドレスを共有するＭＤ２３-2に、タイミ
ングｔ２２５で書き込みを行う。その結果、分散メモリ
カップラ６-2の自律モードによって中継ノード１-2のＭ
Ｄ２３-2から受信ノード１-3のＭＤ２３-3にディスクリ
プタが転送される。タイミングｔ２２５の最後で受信ノ
ード１-3宛のＦＩＦＯ通信エリアＭＦ３-2に処理要求を
書き込むと分散メモリカップラ６-2の自律モードによっ
て受信ノード１-3のＦＩＦＯ通信エリアＭＦ３-3に転送
が行われ、メッセージ到着が受信ノード１-3に通知され
る。

【００３２】『受信ノード１-3での処理』受信ノード１
-3のＯＳは、ステップＳ２３０の受信起動処理で、他ノ
ードからの処理要求が書き込まれているＦＩＦＯ通信エ
リアＭＦ３-3を定期的に読み出して、タイミングｔ２３
０で、中継ノード１-2からの処理要求(図４中の７４)を
検出する。そして、図４に示すポインタアドレスに従っ
て、分散共有メモリ５-3上のディスクリプタＭＤ２３-
3，メッセージバッファＭＢ２３-3を順にアクセスし
て、ＭＢ２３-3内の受信オブジェクトのＩＤ(図４中の
ＲＩＤ９５)を入手する。ＲＩＤ９５は、受信ノード１-
3内のオブジェクトを示しているので、ステップＳ２３
１のＡＰＬオブジェクト起動処理でＲＩＤ９５に対応す
る受信オブジェクトを起動する。ステップＳ２３２の受
信処理で、受信オブジェクトはメッセージ受信の準備を
ＯＳに依頼し、ＯＳは、ＭＤ２３-3が指定するメッセー
ジバッファＭＢ２３-3のアドレスを受信オブジェクトに
伝える。受信オブジェクトはステップＳ２３３でＭＢ２
３-3からタイミングｔ２３１でメッセージを読み出し、
対応する処理を行う。

【００３３】受信オブジェクトは、ステップＳ２３３
で、ＭＢ２３-3からタイミングｔ２３１でメッセージを
読み出し、対応する処理を行う。受信オブジェクトによ
るメッセージ処理が終了すると、ＯＳはステップＳ２２
４でＭＢ２３-3の解放の準備を行う。具体的には、タイ
ミングｔ２３２でＭＢ２３-3に対応するディスクリプタ
ＭＤ２３-3のＭＢ状態フィールド(図４中の８２)を『Ｍ
Ｂ解放状態』に書き替える。また、正常受信したかどう
かの受信結果を、ディスクリプタＭＤ２３-3の受信状態
フィールド(図４中の８３)に書き込む。タイミングｔ２
３２の最後で、中継ノード１-2宛のＦＩＦＯ通信エリア
ＭＦ２-3に処理要求を書き込むと、分散メモリカップラ
６-3の自律モードによって、それぞれ、中継ノード１-2
のＭＤ２３-2の対応フィールドおよびＭＦ２-2に逆方向
コピーされる。最後に、ステップＳ２３５でＯＳは受信
オブジェクトの実行を終了する。

【００３４】『中継ノード１-2での処理』中継ノード１
-2のＯＳは、ステップＳ２２４の中継送信後処理で、他
ノードからの処理要求が書き込まれているＦＩＦＯ通信
エリアＭＦ２-2を定期的に読み出して、タイミングｔ２
３３で中継ノード１-2からの処理要求(図４中の７４)を
検出する。更に、ディスクリプタＭＤ２３-2の内容をチ
ェックし、受信ノード１-3で正常に受信されていること
を確認する。なお、ＭＤ２３-2内のＭＢ状態フィールド
８２が『解放状態』を指定しているので、以後、対応す
るＭＢ２３-2は、次のメッセージ通信用に再使用するこ
とができる。次に、送信ノード１-1とアドレスを共有す
るＭＢ１２-1を解放するために、タイミングｔ２３４で
は、ディスクリプタＭＤ１２-2のＭＢ状態フィールド８
２を『解放状態』に書き替える。また、受信ノードの状
態を送信ノードに通知するために、ディスクリプタＭＤ
２３-2の受信状態フィールド８３の値を、ディスクリプ
タＭＤ１２-2の受信状態フィールド８２にコピーして、
中継ノード１-2でのディスクリプタを作成する。最後
に、送信ノード１-1宛のＦＩＦＯ通信エリアＭＦ１-2に
処理要求を書き込む。その結果、分散メモリカップラ６
-2の自律モードによって、それぞれ、送信ノード１-1の
ＭＤ１２-1の対応するフィールドおよびＭＦ１-1に逆方
向コピーが行われる。

【００３５】『送信ノード１-1での処理』送信ノード１
-1のＯＳは、ステップＳ２１５の送信後処理で、受信ノ
ード１-3からの処理要求をタイミングｔ２３５で検出し
て、ディスクリプタＭＤ１２-1の内容をチェックし、受
信ノード１-3で正常に受信されていることを確認する。
なお、前述の処理により、ＭＤ１２-1内のＭＢ状態フィ
ールド８２が『解放状態』を指定しているので、以後、
対応するＭＢ１２-1は、次のメッセージ通信用に再使用
することができる。以上により、送信ノード１-1から中
継ノード１-2を経由した受信ノード１-3への一連のメッ
セージ通信処理を完了する。

【００３６】以下、本発明に係るデータ中継システムの
第２の動作例を、図８，図９のタイミングチャートを用
いて説明する。図８および図９に示す本発明の第２の動
作例と、図６，図７に示した実施例との相違点は、図
６，図７のステップＳ２２１で中継ノード１-2がメッセ
ージ変更内容をＭＢ１２-2に書き込んでいるのに対し、
図８，図９ではステップＳ３２２でＭＢ２３-2に書き込
んでいる点である。本発明の第２の動作例図８，図９において中継ノード１-2のＯＳは、ステップ
Ｓ３２１の中継送信処理１において、まず、受信ノード
１-3宛のメッセージバッファＭＢ２３-2を捕捉する。Ｍ
Ｂ２３-2の捕捉はコピー先である受信ノード１-3のＭＢ
２３-3の捕捉をも意味する。次に、タイミングｔ３２１
では、分散メモリカップラ６-2をＤＭＡ起動する。具体
的には、分散メモリカップラ６-2のＳＡＲ３０-2にコピ
ー元であるＭＢ１２-2のアドレスを、ＤＡＲ３１-2には
コピー先であるＭＢ２３-3のアドレスを、ＢＣＲ３２-3
にはＭＢ１２-2のメッセージサイズを、ＲＩＲ３３-2に
は受信ノード１-3との間のＡＴＭルーティング情報(Ｖ
ＣＩ，ＶＰＩ)を、ＤＣＲ３４にはＤＭＡ動作指示コマ
ンドを書き込んで、ＤＭＡモードを起動する。

【００３７】これによって分散メモリカップラ６-2はタ
イミングｔ３２２で中継ノード１-2のＭＢ１２-2から受
信ノード１-3のＭＢ２３-3への転送を実行する。ステッ
プＳ３２２の中継送信処理２でＯＳがタイミングｔ３２
３でＤＭＡ転送終了を検出すると、メッセージヘッダ内
の必要な部分の書き替え処理を行う。具体的には、送信
ノード１-1とアドレスを共有するＭＢ１２-2からヘッダ
内(図４中の９７)の、例えば、ＡＴＲフィールド９５を
読み出し、その内容を変更して、今度は受信ノード１-3
とアドレスを共有するＭＢ２３-2のヘッダ内９７のＡＴ
Ｒフィールド９５に、タイミングｔ３２４で書き込みを
行う。その結果、分散メモリカップラ６-2の自律モード
によって中継ノード１-2のＭＢ２３-2のＡＴＲフィール
ドから、受信ノード１-3のＭＢ２３-3のＡＴＲフィール
ドにコピーが行われる。その際、ＭＢ２３-3には、タイ
ミングｔ３２２で既に変更前のメッセージが書き込まれ
ているので、タイミングｔ３２４の書き込みによってＭ
Ｂ２３-3に変更内容が上書きされ、結果的に中継ノード
で最新状態のメッセージがＭＢ２３-3に組み立てられ
る。

【００３８】それ以降の処理は、図６および図７に示し
たものと同じであり、図６，図７と図８，図９はステッ
プ数の番号(ｓ-**)およびタイミング番号(ｔ-**)がそれ
ぞれ１００番違いになるように記載されているので、詳
細な説明は省略する。上記実施例では、中継ノードが一
段の場合を説明したが、送信ノードと受信ノード間に複
数段の中継ノードが介在する場合は、上述の中継ノード
における実施例１または実施例２の処理を繰り返すこと
により、効率的なメッセージ転送が実現できることは明
らかである。なお、上記実施例は本発明の一例を示した
ものであり、本発明はこれに限定されるべきものではな
いことは言うまでもないことである。

【００３９】

【発明の効果】以上、詳細に説明した如く、本発明によ
れば、中継ノード内で余計なコピーを避け、中継ノード
でのメモリアクセス回数を低減することによってメッセ
ージスループット(単位時間あたりに処理可能なメッセ
ージ数)を向上させることが可能なデータ中継システム
を実現できるという顕著な効果を奏するものである。

【００４０】より具体的に述べれば、本発明の第一の利
点は、中継ノード１-2におけるメモリバストラヒックの
低減である。中継ノードで処理されるメッセージのう
ち、中継ノードで変更を受けない部分について、従来方
式では１メモリアクセス単位に付き３回のアクセスが必
要であったが、本発明に係る第１のデータ中継システム
によれば、(１)前段ノードからの受信データのＭＢ１２
-2への書き込み、(２)次段ノードへの転送ためのＭＢ１
２-2からの読み出しで、２回のメモリアクセスで次段ノ
ードに転送される。一方、メッセージのうち、中継ノー
ドで変更を受ける部分について、従来方式では１メモリ
アクセス単位に付き５回のアクセスが必要であったが、
本発明に係る第１のデータ中継システムによれば、(１)
前段ノードからの受信データのＭＢ１２-2への書き込
み、(２)変更のためのＭＢ１２-2の読み出し、(３)変更
後のＭＢ１２-2への書き込み、(４)次段ノードへの転送
ためのＭＢ１２-2の読み出しにより、１アクセス単位に
付き４回のメモリアクセスに低減される。

【００４１】また、本発明に係る第２のデータ中継シス
テムによれば、中継ノードで処理されるメッセージのう
ち、中継ノードで変更を受けない部分について、(１)前
段ノードからの受信データのＭＢ１２-2への書き込み、
(２)次段ノードへの転送ためのＭＢ１２-2からの読み出
しで、２回のメモリアクセスで次段ノードに転送され
る。一方、メッセージのうち、中継ノードで変更を受け
る部分については、(１)前段ノードからの受信データの
ＭＢ１２-2への書き込み、(２)次段ノードへの転送ため
のＭＢ１２-2の読み出し、(３)変更のためのＭＢ１２-2
読み出し、(４)変更後のＭＢ２３-2への書き込みによ
り、１アクセス単位に付き４回のメモリアクセスに低減
される。このように、本発明によりメモリアクセストラ
ヒックを低減し、中継ノードにおけるメッセージスルー
プットを向上させることができる。また、中継ノードで
は、ＤＭＡモードを用いて異アドレス間メモリコピーを
行うので、プロセッサがメモリ読み出し，書き込みを繰
り返す従来方式に比較して、プロセッサの負荷の軽減を
図ることができる他、ＤＭＡで連続アドレスロケーショ
ンに対してバースト転送を行うので、シングルビート転
送に比較して更に高速の転送を実現することができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係る分散処理システムの分
散メモリカップラの内部構成を示す図である。

【図２】本発明の適用対象である分散処理システムの全
体構成を示す図である。

【図３】分散共有メモリのデータ配置例を示す図であ
る。

【図４】実施例に係る各種データのフォーマット例を示
す図である。

【図５】実施例に係るＡＴＭセルのフォーマット例を示
す図である。

【図６】本発明の第１の実施例におけるメッセージ中継
通信のタイムチャート(その１)である。

【図７】本発明の第１の実施例におけるメッセージ中継
通信のタイムチャート(その２)である。

【図８】本発明の第２の実施例におけるメッセージ中継
通信のタイムチャート(その１)である。

【図９】本発明の第２の実施例におけるメッセージ中継
通信のタイムチャート(その２)である。

【符号の説明】

１通信ノード２プロセッサモジュール３プロセッサ４ローカルメモリ５分散共有メモリ６分散メモリカップラ７分散メモリプロテクタ８プロセッサバス９ＡＴＭ-ＷＡＮ１０共有ページディレクトリ１３ＡＴＭインタフェース部１４ＡＴＭセルレジスタ２３送信バッファ２４受信バッファ２５メモリインタフェース部２９ＤＭＡ制御レジスタ群３６ＤＭＡ制御部

Claims

【特許請求の範囲】

【請求項１】ネットワークによって相互接続された、
互いにメモリ空間を共有する分散共有メモリとその制御
手段を有する複数のノードから構成される分散処理シス
テムにおいて、前段ノードから受信したデータを次段ノ
ードに送信する中継ノードでは、前記前段ノードから受
信したデータを、前段ノードとアドレスを共有する中継
ノードのメモリブロック１に一旦格納し、必要に応じて
前記メモリブロック１の内容を更新し、次段ノードとア
ドレスを共有する中継ノードのメモリブロック２を捕捉
し、中継ノードの分散メモリ制御手段が、メモリブロッ
ク１から読み出したデータに前記メモリブロック２のア
ドレスを付与して次段ノードに送信し、次段ノードの分
散メモリ制御手段は、受信したデータを、前記メモリブ
ロック２とアドレスを共有するメモリブロック３に格納
することにより、中継ノードのメモリブロック１から次
段ノードのメモリブロック３にデータ転送を行うことを
特徴とするデータ中継システム。
【請求項２】ネットワークによって相互接続された、
互いにメモリ空間を共有する分散共有メモリとその制御
手段を有する複数のノードから構成される分散処理シス
テムにおいて、前段ノードから受信したデータを次段ノ
ードに送信する中継ノードでは、前記前段ノードから受
信したデータを、前段ノードとアドレスを共有する中継
ノードのメモリブロック１に一旦格納し、次段ノードと
アドレスを共有する中継ノードのメモリブロック２を捕
捉し、前記メモリブロック１からデータを読み出し、必
要に応じて変更を行って前記メモリブロック２に書き込
み、分散メモリ制御手段が、メモリブロック２のアドレ
スとメモリブロック２への書き込みデータを次段ノード
に転送し、次段ノードの分散メモリ制御手段は、受信し
たデータを、メモリブロック２とアドレスを共有するメ
モリブロック３に格納することにより、中継ノードのメ
モリブロック１から次段ノードのメモリブロック３にデ
ータ転送を行うことを特徴とするデータ中継システム。