JPH08339354A - ネットワーク分散処理システム - Google Patents

Abstract

(57)【要約】 【目的】ＷＡＮを経由したシステム間通信のソフトウェ
アオーバヘッドを削減し、システム内通信と同程度に転
送遅延時間を短縮し、処理効率を向上させる。 【構成】システム間通信もシステム内通信と同じよう
に、分散共有メモリ経由で行うことを基本にして、シス
テム間で共通の分散共有メモリ空間を共有させる。送信
プロセッサモジュールの分散メモリカップラがプロセッ
サ間通信路経由のローカル通信かＷＡＮ経由の通信かを
判定し、各プロトコルに合わせて送信側と受信側の共有
メモリの同一アドレスロケーション間でコピーを行うこ
とにより、メッセージパッシングプログラミングモデル
を実現する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、プロセッサモジュール
間通信路と通信ネットワーク（例えばＷＡＮ）に相互接
続された１個以上のプロセッサモジュールからなるネッ
トワーク分散処理システムに関し、特にプロセッサモジ
ュール間で分散共有メモリ間コピーにより効率よくメッ
セージ通信を行うことができるネットワーク分散処理シ
ステムに関するものである。

【０００２】

【従来の技術】従来より、複数のコンピュータがそれぞ
れ他のコンピュータと相互通信を行いながら処理を行う
分散処理システムが実用化されている。また、複数のプ
ロセッサモジュールがプロセッサ間通信路を介して相互
接続された超並列システムは、各プロセッサモジュール
が各々独立したコンピュータとみなすことができるの
で、分散処理システムの一種と考えることができる。超
並列システム内のプロセッサモジュール相互間、あるい
は超並列システム相互間で通信を行う方式としては、例
えば特願平６−２０２０７１号明細書および図面（平成
６．８．２６出願）に記載された『マルチプロセッサシ
ステム』がある。以下、このシステムについて説明す
る。図２は、上記従来例のマルチプロセッサシステムの
構成図である。図２においては、３台のプロセッサモジ
ュール２−１，２−２，２−３から構成されたマルチプ
ロセッサシステム１が示されている。各プロセッサモジ
ュール２−１，２−２，２−３内には、モジュール全体
を制御するプロセッサ３−１，３−２，３−３、それぞ
れ対応するプロセッサ３−１，３−２，３−３から読み
書きアクセスが可能なローカルメモリ４−１，４−２，
４−３、全プロセッサモジュール間で共通のアドレスが
与えられた分散共有メモリ５−１，５−２，５−３が設
けられている。なお、プロセッサ３−１からアクセスで
きる分散共有メモリは５−１のみであって、他の分散共
有メモリ５−２，５−３にはアクセスすることはできな
い。 同じようにして、分散共有メモリ５−２は、プロ
セッサ３−２のみからアクセスでき、分散共有メモリ５
−３は、プロセッサ３−３のみからアクセスできる。

【０００３】これらの分散共有メモリ５−１，５−２，
５−３には、それぞれメッセージバッファ６−１，６−
４，６−２，６−３，６−５が設けられている。この場
合に、メッセージバッファ６−１，６−２，６−３は各
分散共有メモリ内の第１番目のメッセージバッファであ
って、同一のアドレスが割り当てられている。また、プ
ロセッサモジュールでは、必要に応じて複数個のメッセ
ージバッファが設けられる。例えば、プロセッサモジュ
ール２−１では、６−１の他にメッセージバッファ６−
４が設けられ、プロセッサモジュール２−３では、６−
３の他にメッセージバッファ６−５が設けられている。
次に、分散メモリカップラ７−１，７−２，７−３は、
それぞれプロセッサモジュール間通信路１０に接続され
ており、分散共有メモリ５−１，５−２，５−３のメッ
セージバッファ６−１，６−２，６−３にデータがそれ
ぞれ書き込まれた時、その書き込まれたデータを予め指
定された他のプロセッサモジュール（１個ないし複数
個）に送信するとともに、他のプロセッサモジュールか
ら受信した書き込みデータを、分散共有メモリ５−１，
５−２，５−３の中の送信側と同一のアドレスロケーシ
ョン（つまり、メッセージバッファ６−１，６−２，６
−３）に書き込むための装置である。これは、あるメッ
セージバッファ６−１に書き込みが起ると、例えばメッ
セージバッファ６−２にもその書き込みデータが送られ
て、コピーされることを意味している。次に、分散メモ
リプロテクタ８−１，８−２，８−３は、それぞれメッ
セージバッファ６−１，６−２，６−３，６−４，６−
５に記憶されているメッセージを、不正なアクセスから
保護するための装置である。また、ネットワークアダプ
タ９−１，９−２，９−３は、それぞれ通信ネットワー
ク１１に接続されており、通信ネットワーク１１を介し
て他の分散システムとメッセージ等を交換するための一
種の入出力装置である。なお、通信ネットワーク１１と
しては、ワイドエリアネットワーク（ＷＡＮ）等を使用
することができる。

【０００４】プロセッサモジュール間通信路１０は、マ
ルチプロセッサシステム１内のプロセッサモジュール２
−１，２−２，２−３間でメッセージあるいはそれらの
制御情報を比較的近距離で転送するための通信媒体であ
る。一方、通信ネットワーク１１は、マルチプロセッサ
システム１間を相互接続する比較的遠距離通信用の通信
ネットワークである。この通信ネットワーク１１のイン
タフェースとプロトコルは一般に標準化されており、イ
ンタフェースとプロトコルの条件を満足する限り、どの
ようなシステムでも接続できるような、いわゆるオープ
ンシステムアーキテクチャ構造を採用している。このよ
うな構成において、分散メモリカップラ８−１〜８−３
はメッセージバッファアドレス対応に受信先プロセッサ
モジュールＩＤ番号（ＰＭ ＩＤ）を記憶しておく。例
えば、同一システム内のプロセッサモジュール２−１か
らプロセッサモジュール２−２に通信できるようにする
ため、プロセッサモジュール２−１では分散メモリカッ
プラ７−１内に予め『メッセージバッファ６−１アドレ
スと、受信ＰＭ ＩＤ＝ＰＭ２−２のＩＤ』の情報を記
憶させておく。これにより、送信ＰＭ２−１ではＰＭ間
通信用のメッセージバッファ６−１にメッセージを書き
込むと、分散メモリカップラ７−１が、メッセージバッ
ファ６−１のアドレスに対応する受信ＰＭ ＩＤ（＝Ｐ
Ｍ２−１のＩＤ）を書き込みデータとそのアドレスに付
与してプロセッサモジュール間通信路１０に送出する。
プロセッサモジュール間通信路１０は、受信ＰＭ２−２
に書き込みデータとアドレスを送り届け、受信側の分散
メモリカップラ７−２が分散共有メモリのメッセージバ
ッファ６−２に書き込むことにより、システム内ＰＭ間
通信を実現することができる。

【０００５】次に、通信ネットワーク１１を介して接続
されたマルチプロセッサシステム間で、メッセージ通信
を行うシステム間通信の場合には、各システムに通信ネ
ットワークインタフェース装置と通信制御ソフトウェア
を配置して、標準化されたプロトコルを用いてシステム
間通信を行う。すなわち、送信システム内の送信ＰＭ２
−１では、分散共有メモリ５−１上にシステム間通信用
メッセージバッファ６−４を確保して、ネットワークア
ダプタ制御に必要な制御データをネットワークアダプタ
９−１に設定し、通信プロトコル処理を実行する。ネッ
トワークアダプタ９−１は、送信制御プログラムからの
起動によりメッセージバッファ６−４からＤＭＡ（Ｄir
ect Ｍemory Ａccess)モードで転送データを読み出
し、通信ネットワーク１１に送出する。送信システムが
図２のマルチプロセッサシステム１であるから、受信シ
ステムは図示されていないのであるが、仮に受信システ
ムを図２のマルチプロセッサシステム１として、プロセ
ッサモジュール２３で受信するものと仮定する。受信シ
ステム１では、受信用プロセッサモジュール２−３で通
信プロトコル処理を行い、分散共有メモリ５−３上にシ
ステム間通信用メッセージバッファ６−５を確保し、ネ
ットワークアダプタ９−３に実行に必要な制御データを
設定する。メッセージバッファ６−５は、送信側システ
ムのメッセージバッファ（例えば、６−４）とは独立に
捕捉されるため、両者のアドレスは異なっている。ネッ
トワークアダプタ９−３は、通信ネットワーク１１から
受信した転送データをメッセージバッファ６−５に書き
込む。メッセージの転送が完了すると、ネットワークア
ダプタ９−３は、プロセッサ３−３に割り込みをかけて
メッセージの到着を通知する。最終的には、受信プロセ
スがメッセージバッファ６−５からデータを読み取っ
て、対応する処理を実行する。

【０００６】別の従来例として、複数のコンピュータシ
ステムがＷＡＮを介して接続されたネットワーク分散処
理システムにおいて、コンピュータシステム間通信を行
う方式が、例えば文献Ｍ．Ｔ．Ｔam andＤ．Ｆarber
‘ＣＡＰＮＥＴ-Ａn Ａpproach to Ｕltra Ｈigh
Ｓpeed Ｎetwork, Ｐroceedings of the 1990 Ｉ
nternational Ｃonference on Ｃommunications,pp.
955-961(1990)'に記載されている。 図３は、上記従来
例を示すネットワーク分散処理システムの接続図であ
る。図３においては、３つのシステム１２−１，１２−
２，１２−３がワイドエリアネットワーク（ＷＡＮ）１
３を介して接続されており、各システムは分散共有メモ
リ２１−１，２１−２，２１−３を備えている。つま
り、３つのシステム１２−１〜１２−３は共通なメモリ
アドレス空間（共有空間）２１−１〜２１−３を共有
し、各システム１２−１〜１２−３は分散共有メモリ内
にオリジナルデータまたはそのコピー（以下、キャッシ
ュと記す）を記憶している。いずれのノードがオリジナ
ルデータを保有し、いずれのノードがキャッシュを保有
しているかは、ＷＡＮ１３内の交換機１４のページテー
ブル１５上に記憶されている。システム間通信を行う場
合には、送信側システム（例えば、１２−１）は分散共
有メモリ２１−１上のあるアドレスロケーションに通信
情報を書き込む。一方、受信側システム（例えば、１２
−３）では、そのデータを読み出す時には、メモリアク
セス要求を交換機１４に送出する。交換機１４は、ペー
ジテーブル１５を参照することにより、そのデータの所
有権を求つシステム（ここでは１２−１）にそのメモリ
アクセス要求を送出する。要求を受信したシステム１２
−１は、オリジナルデータを要求元システム１２−３に
転送する。このようにして、分散共有メモリ２１−１〜
２１−３と交換機１４内のページテーブル１５の情報に
より、送信システムから受信システムへの通信が行われ
る。

【０００７】

【発明が解決しようとする課題】しかしながら、前者の
システム（図２のシステム）では、システム内通信は分
散メモリ間コピーで極めて効率よく実現することができ
るが、システム間通信については問題が多い。すなわ
ち、システム間通信では、入出力装置の一種であるネッ
トワークアダプタを用いて通信を行うために、入出力装
置の起動、入出力装置からの転送終了を処理する割り込
み処理、あるいは受信システムにおけるメッセージバッ
ファの捕捉等、多くの通信ソフトウェアの実行が必要と
なる。また、標準化された通信ネットワークインタフェ
ースプロトコルを用いることにより、プロトコル処理送
信プロセスから受信プロセスにデータが渡るまでに、階
層化された多くの階層化ソフトウェアを実行する必要が
あり、そのオーバヘッドおよび遅延時間が極めて大であ
るという問題がある。次に、後者のシステム（図３のシ
ステム）についても、いくつかの問題がある。すなわ
ち、メモリアクセス要求を送出するシステムから見る
と、メモリアクセス要求を所有権を持つシステムに送出
して、オリジナルデータを返送してもらうので、大きな
ラウンドトリップ遅延を生じる。また、メモリアクセス
要求を受けるシステムから見ると、メモリアクセス要求
を受ける度に実行中の処理を中断し、データ転送の処理
を行うためのソアトウェアオーバヘッドが大きい。ま
た、交換機から見ると、ページテーブルの状態を最新状
態に整えておくためのソフトウェアオーバヘッドも大き
い。さらに、ＷＡＮから見ると、１回のメモリ参照に対
して、メモリ要求、ページ転送の２回のメッセージ交換
が必要となるため、ネットワークトラヒックの増加を招
く。そこで、本発明の目的は、これら従来の課題を解決
し、ＷＡＮを経由したコンピュータシステム間通信のソ
フトウェアオーバヘッドを削減し、コンピュータシステ
ム内の通信と同じ程度に転送遅延時間が短く、処理効率
の高いネットワーク分散処理システムを提供することに
ある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明のネットワーク分散処理システムでは、共有
メモリ空間の共有範囲を１つのシステム内プロセッサモ
ジュール間のみならず、通信ネットワークに接続された
複数のシステム全体に拡張する。従って、ここでは、１
つ以上のプロセッサモジュールを論理的にまとめたもの
をシステムと呼び、システム間およびシステム内（プロ
セッサモジュール間）の接続媒体としては、比較的近距
離通信用のプロセッサ間通信路あるいは比較的遠距離通
信用のＷＡＮのいずれでも差し支えないものとする。こ
のようにして、ネットワーク全体にわたる共有メモリ空
間にメッセージバッファを配置して、送信プロセッサモ
ジュールがメッセージバッファに書き込み、受信プロセ
ッサモジュールがメッセージバッファから読み出す。つ
まり、メッセージパッシングモデルにより実現してい
る。分散共有メモリ上のメッセージバッファは、物理的
に送信プロセッサモジュールと受信プロセッサモジュー
ルの両方を配置する。送信プロセッサモジュールと受信
プロセッサモジュールは、それぞれ分散メモリカップラ
を備え、送信側の分散メモリカップラはメッセージバッ
ファアドレスに１対１に対応するＷＡＮルーチング情報
またはプロセッサモジュール間通信路ルーチング情報を
記憶し、ＷＡＮインタフェースとプロセッサ間通信路イ
ンタフェースとの両インタフェースに対応できるように
している。

【０００９】

【作用】本発明においては、送信プロセッサモジュール
がそれぞれ宛先受信プロセッサモジュールに対応する分
散共有メモリ上のメッセージバッファを選択し、そこに
転送データを書き込む。分散メモリカップラは、書き込
みアドレスに対応するＷＡＮルーチング情報あるいはプ
ロセッサモジュール間通信路ルーチング情報を取り出
し、それがＷＡＮルーチング情報であれば、メモリ書き
込みアドレスとデータにＷＡＮルーチング情報を付与し
たＷＡＮパケットをＷＡＮに送出し、一方、プロセッサ
モジュール間通信路ルーチング情報であれば、メモリ書
き込みアドレスとデータにプロセッサモジュール間通信
路ルーチング情報を付与したローカルパケットをプロセ
ッサモジュール間通信路に送出する。ＷＡＮは、ＷＡＮ
ルーチング情報に従ってＷＡＮパケットを受信プロセッ
サモジュールに送り届け、またプロセッサモジュール間
通信路は、プロセッサモジュール間通信路ルーチング情
報に従ってローカルパケットを受信プロセッサモジュー
ルに送り届ける。受信プロセッサモジュールの分散メモ
リカップラは、ＷＡＮパケットあるいはローカルパケッ
トが指定する分散共有メモリのアドレスロケーションに
データを書き込む。これにより、従来のシステム間通信
もシステム内通信も、ＷＡＮまたはプロセッサモジュー
ル間通信路を経由した分散共有メモリ間のコピーによ
り、同じように高速かつ効率よく行われる。つまり、従
来では、極め多くのオーバヘッドを要していたシステム
間通信に相当する機能を、システム内通信と同じ程度の
軽いオーバヘッドと短い遅延時間で実現することができ
る。

【００１０】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。前述のように、本発明では、システム間およ
びシステム内（プロセッサモジュール間）の接続媒体と
しては、比較的近距離通信用のプロセッサ間通信路ある
いは比較的遠距離通信用のＷＡＮのいずれでも差し支え
ない。このような考えから、システム間通信、システム
内通信という分け方は論理的には意味があっても物理的
には無意味であるため、本実施例では、プロセッサモジ
ュール間通信を基本とし、それがＷＡＮ経由の通信か、
あるいはプロセッサモジュール間通信路経由の通信かで
分けて説明することにする。図４は、本発明の一実施例
を示すシステム構成図である。図４において、１７−１
はメッセージを送信する送信システム、１７−２はメッ
セージを受信する受信システムである。送信システム１
７−１は、２個のプロセッサモジュール（以下、ＰＭ）
１８−１，１８−２から構成され、受信システム１７−
２は、１個のＰＭ１８−３から構成される。すなわち、
本実施例では、複数のＰＭから構成されるシステムは勿
論のこと、１個のＰＭのみから構成されるシステムも含
まれる。なお、図４では、１個の場合にもＰＭ間通信路
に接続されているが、実際にはＰＭ間通信路は不要であ
る。各プロセッサモジュール（ＰＭ）は、プロセッサ１
９−１〜１９−３、それぞれ対応するプロセッサ１９−
１〜１９−３から読み書きアクセスが可能なローカルメ
モリ２０−１〜２０−３、全システムおよび全ＰＭで共
通のアドレスが与えられた分散共有メモリ２１−１〜２
１−３、それぞれ分散共有メモリ２１−１〜２１−３に
データが書き込まれた時、その書き込みデータを予め指
定された他のシステムあるいは自システム内の他のＰＭ
に送信するとともに、他システムあるいは自システム内
の他のＰＭより受信した書き込みデータを分散共有メモ
リ２１−１〜２１−３の中の送信側と同一アドレスロケ
ーションに書き込むための分散メモリカップラ２２−１
〜２２−３、ならびに分散メモリプロテクタ２３−１〜
２３−３を含んでいる。

【００１１】なお、プロセッサ１９−１からアクセスで
きる分散共有メモリは、２１−１のみであって、分散共
有メモリ２１−２，２１−３にはアクセスできない。同
じように、プロセッサ１９−２からアクセスできる分散
共有メモリは２１−２のみであり、またプロセッサ１９
−３からアクセスできる分散共有メモリは２１−３のみ
である。また、分散メモリプロテクタ２３−１〜２３−
３は、それぞれ分散共有メモリ２１−１〜２１−３内の
メッセージバッファに記憶されているメッセージを不正
なアクセスから保護する。２５−１，２５−２はＰＭ間
通信路であって、比較的近距離に配置されたＰＭ相互間
でメッセージあるいはそれらの制御情報を転送する。例
えば、システムバス、多段スイッチングネットワーク、
ＡＴＭ（Ａsynchronous Ｔransfer Ｍode)−ＬＡＮや
ＡＴＭスイッチファブリック等を想定している。勿論、
その他の種類のプロセッサモジュール間通信路も適用す
ることができる。なお、受信システム１７−２は、１つ
のＰＭで構成されているので、ＰＭ間通信路２５−２を
省略してもよい。２６は、比較的遠距離に配置された複
数のＰＭを相互接続する通信ネットワークであって、本
実施例では、転送データを固定長のブロックに分割し、
それに行き先ヘッダを付加した５３バイトのセルにし
て、ネットワーク内を転送するＡＴＭネットワークある
いはセルリレーネットワークを考えているが、その他の
種類の通信ネットワークであってもよいのは勿論であ
る。

【００１２】図５は、図４における分散共有メモリ上の
データ配置図である。分散共有メモリ２１−１〜２１−
３におけるデータ配列を物理アドレスレベルで示すと、
図５のようになる。各分散共有飯モリ２１−１〜２１−
３は、対応する横列が同一アドレスとなっており、いず
れも同一の物理アドレスが割り付けられている。分散共
有メモリ内の通信領域は、（ａ）システム内通信エリ
ア、（ｂ）システム間通信エリア、（ｃ）ＦＩＦＯ通信
エリア、に分けられている。システム内通信エリアは、
同一システム内で送受信される通信情報を記憶するエリ
アであり、システム間通信エリアは、異なるシステム間
の通信情報を記憶するエリアである。また、ＦＩＦＯ通
信エリアは、システム間または同一システム内ＰＭ間に
またがる処理要求をＦＩＦＯ形式で蓄積記憶するエリア
である。システム内通信エリアおよびシステム間通信エ
リアは、それぞれＰＭを単位として次の３つのエリアに
分割されている。すなわち、（ｉ）メッセージを記憶す
るメッセージバッファ（以下、ＭＢ）エリアと、（ii）
メッセージバッファの捕捉／解放状態を表示するＭＢ管
理マップエリアと、（iii）ＭＢアドレス等の送受間引
き継ぎ制御情報（ディスクリプタ）を記憶するディスク
リプタエリアである。

【００１３】図５において、分散共有メモリ２１−１〜
２１−３上にこれらのエリアを識別するため、Ｍ_ijの識
別名を用いることにする。ここでＭは、ＰＭ対応のＭＢ
／ＭＢ管理マップ／ディスクリプタ／ＦＩＦＯ通信エリ
アの識別記号で、図４のＰＭ１８−１に対応するＭＢは
Ｘ、そのＭＢ管理マップはＸＭ、ディスクリプタはＸＤ
と表現されている。同じように、ＰＭ１８−２に対応す
るＭＢはＹ、そのＭＢ管理マップはＹＭ、ディスクリプ
タはＹＤ、ＦＩＦＯ通信エリアはＹＦ、またＰＭ１８−
３に対応するＭＢはＺ、そのＭＢ管理マップはＺＭ、デ
ィスクリプタはＺＤ、ＦＩＦＯ通信エリアはＺＦという
名前が付されている。ここで、ｉ，ｊは、それぞれ送信
プロセッサモジュール（ＰＭ）の識別番号（ＰＭ Ｉ
Ｄ）と受信ＰＭの識別番号（ＰＭ ＩＤ）を表わしてお
り、ＰＭ１８−１，ＰＭ１８−２，ＰＭ１８−３に対応
してそれぞれ１，２，３の番号が与えられている。ただ
し、例外として、ＦＩＦＯ通信エリアＸＦ，ＹＦ，ＺＦ
は値ｊのみを有し、値ｉを持たない。その理由は、ＦＩ
ＦＯ通信エリアは値ｊで表わされる受信側ＰＭ対応に分
割されており、値ｉで表わされる各送信ＰＭ間で共通に
使用するため、エリアの指定情報として値ｉを必要とし
ないからである。例えば、Ｚ１３は、分散共有メモリ２
１−３上のＰＭ１８−１からＰＭ１８−３への通信用Ｍ
Ｂを表わしている。また、ＸＤ２１は、分散共有メモリ
２１−１上のＰＭ１８−２から１番目のＰＭ１８−１へ
のディスクリプタ、ＺＦ２は分散共有メモリ２１−３上
のＰＭ１８−２への受信処理ＦＩＦＯ通信エリアを表わ
す。簡単のために、ＭＢ，ＭＢ管理マップ、ディスクリ
プタは、受信システムのＰＭ対応に１個のみ用意されて
いるものとする。

【００１４】図５から明らかなように、ｉ＝ｊとなる場
合には同一ＰＭ内での通信エリアを示している。２つの
ＭＢのｉｊの値がそれぞれ一致し、Ｍの値が異なるＭＢ
がペアを構成し、異なる分散共有メモリの同一物理アド
レスロケーションに配置される。例えば、図５におい
て、ＭＢＸ１２とＹ１２はペアを構成して、互いに同じ
物理アドレスを有している。各ペアは、送信ＰＭのカー
ネルにより動的に捕捉と解放が行われる。各ＰＭは固定
長の大きさで構成されており、各ＰＭ対応にＭＢ管理マ
ップが存在している。例えば、図５では、ＭＢのＸ１２
に対してＭＢ管理マップエントリＸＭ１２が対応してい
る。ここで、『対応』という意味は、ＭＢの先頭アドレ
ス（以下、単にＭＢアドレスと呼ぶ）が与えられると、
そのＭＢ管理マップエントリアドレスを求めることがで
き、逆にＭＢ管理マップエントリアドレスからＭＢアド
レスも求めることができることを意味する。ＭＢ管理マ
ップの各エントリは、対応するＭＢが『未使用』か／
『使用中』かの状態を表示し、カーネルにより値が設定
される。ＭＢの場合と同じ考えにより、送信側分散共有
メモリのＭＢ管理マップエントリと、受信側分散共有メ
モリの同一アドレスのＭＢ管理マップエントリがペアを
構成している。例えば、ＭＢ管理マップエントリＸＭ１
２とＹＭ１２がペアを構成している。

【００１５】ディスクリプタエリアも、ＭＢと同じよう
に宛先受信ＰＭ対応に分散共有メモリのアドレスロケー
ションに割り付けられている。送信側の各ディスクリプ
タと同一アドレスのエリアが受信ＰＭの分散共有メモリ
にも配置されている。ディスクリプタもＭＢやＭＢ管理
マップの場合と同じように、送信ＰＭと受信ＰＭの同一
アドレス間でペアを構成する。ディスクリプタとＭＢと
の対応は、実行時にカーネルにより動的に決定される。
具体的には、例えば、ＰＭ１８−１からＰＭ１８−２に
メッセージを送信する場合、ＰＭ１８−１のカーネルが
ＭＢ（Ｘ１２）を捕捉し、次に対応するディスクリプタ
（ＸＤ１２）を選択し、ＭＢアドレスを登録する。この
ような動作により、ディスクリプタとＭＢとの対応が動
的に決定される。なお、送信側のディスクリプタＸＤ１
２とペアを構成する受信側のディスクリプタはＹＤ１２
である。図５のＦＩＦＯ通信エリアのうち、送信ＰＭの
分散共有メモリは通常のＲＡＭで構成されるが、受信Ｐ
Ｍの分散共有メモリ２１−１上のＰＭ１宛処理要求ＦＩ
ＦＯエリアＸＦ１はＦＩＦＯ（Ｆirst Ｉn Ｆirst
Ｏut)メモリで構成されている。例えば、ＰＭ１８−１の
分散共有メモリ２１−１上のＰＭ１宛処理要求ＦＩＦＯ
エリアＸＦ１は、ＦＩＦＯメモリで構成されているが、
ＰＭ１８−２の分散共有メモリ２１−２上のＰＭ１宛処
理要求ＦＩＦＯエリアＹＦ１、およびＰＭ１８−３上の
ＰＭ１宛処理要求ＦＩＦＯエリアＺＦ１はＲＡＭで構成
されている。これにより、処理要求を書き込んだ場合、
それらが同時に処理要求を読み出す側のＰＭ１８−１の
ＦＩＦＯ通信エリアＸＦ１にコピーされるので、これら
の受信処理要求をＦＩＦＯメモリにより全て蓄積できる
ようにしている。このような処理要求エリアのＦＩＦＯ
化により、マルチプロセッサ間の処理要求の競合処理が
ハードウェアで自動的に行われるので、処理オーバヘッ
ドは軽減されることになる。

【００１６】次に、図１は、図４におけるプロセッサモ
ジュールの内部構成図である。以下、３つのＰＭ内に存
在する構成要素をそれぞれ識別する必要がない場合に
は、−１〜−３を省略するものとする。図１において、
１６は分散共有メモリ２１上に配置されたＭＢ、２１は
分散共有メモリである。また、３０はＰＭ１８内の各種
装置を結合するためのプロセッサバスである。１９はプ
ロセッサ、２０はローカルメモリである。また、２２は
分散メモリカップラであって、分散共有メモリ２１に実
装されているエリアへの書き込みアクセスがあった場
合、他システムあるいは同一システム内の他ＰＭの分散
共有メモリの同じアドレスロケーションにも書き替えデ
ータを送信する機能と、他システムあるいは同一システ
ム内の他ＰＭから書き替えデータを受信し、自ＰＭの分
散共有メモリへの書き込みを行う機能とを備えている。
分散メモリカップラ２２には、以下の各構成要素が含ま
れている。先ず、バス信号デコーダ３１は、プロセッサ
バス３０の信号線上の信号を解読し、所属する分散共有
メモリへの書き込みアクセスがあれば、信号線３２に
‘１’を出力することにより、転送制御部３３を起動す
る。転送制御部３３は、分散メモリカップラ２２全体の
制御を司る部分であって、これから内部ロジックに各種
制御信号（図示省略）が供給される。ルーチング情報管
理部３４は、分散共有メモリ２１への書き込みデータを
通信ネットワークあるいはプロセッサモジュール間通信
路で送受する際に、ルーチング情報を記憶している。

【００１７】図１の送信ＰＭ１８において、パケット送
信レジスタ３５は、他システムあるいは自システム内の
他ＰＭに転送する書き込みデータとそのメモリアドレス
等を記憶する。宛先識別デコーダ３６は、送信パケット
がＰＭ間通信路２５経由か、通信ネットワーク２６経由
かを識別し、前者ならばローカル送信バッファ３７に移
送し、後者ならばＷＡＮ送信プロトコル処理部３８に移
送する。ＷＡＮ送信プロトコル処理部３８では、送信パ
ケットを通信ネットワーク２６のインタフェースに合わ
せてプロトコル変換や各種プロトコル処理を行ってＷＡ
Ｎ送信バッファ３９経由で通信ネットワーク２６に送出
する。ローカル受信バッファ４０は、ＰＭ間通信路２５
経由で他ＰＭから転送されてきたデータを一時蓄積す
る。ＷＡＮ受信バッファ４１は、通信ネットワーク２６
経由で受信したパケットを一時蓄積する。ＷＡＮ受信プ
ロトコル処理部４２は、通信ネットワーク２６のインタ
フェースに合わせて各種プロトコル処理を行い、受信パ
ケットをパケット受信レジスタ４３に移送する。パケッ
トデコーダ４４は、パケット受信レジスタ４３内のデー
タをデコードして、共有分散メモリ２１への書き込み要
求であれば、信号線４５を通して転送制御部３３に分散
共有メモリ書き込みの実行を依頼する。このようにし
て、送信側分散共有メモリ２１から受信側分散共有メモ
リ２１にコピーが行われる。

【００１８】次に、図１に示す分散メモリプロテクタ２
３は、分散共有メモリ２１に配置されたＭＢ１６内のメ
ッセージを不正なアクセスから保護するハードウェア機
構である。分散メモリプロテクタ２３は、カレントケー
パビリティレジスタ（ＣＣＲ：Ｃurrent Ｃapability
Ｒegister)５１、ＭＣＲメモリ（Ｍemory Ｃapabilit
y Ｒegister Ｍemory)５０、および比較器５２を具備
している。ここで、ＣＣＲ５１は、カレントケーパビリ
ティを記憶するレジスタである。カレントケーパビリテ
ィとは、具体的にはプロセッサ１９で実行中のアプリケ
ーション（ＡＰＬ）オブジェクト（プロセッサのユーザ
モードで実行されるオブジェクト）のＩＤを意味してい
る。ＭＣＲメモリ５０は、複数のＭＣＲ５３から構成さ
れており、それらの各ＭＣＲ５３は分散共有メモリ２１
上の各ＭＢ１６対応にメモリケーパビリティを記憶す
る。メモリケーパビリティは、具体的には、対応するＭ
Ｂ１６へのアクセス権が与えられたアプリケーションオ
ブジェクトのＩＤを意味している。ＭＢ１６へのメモリ
アクセスが発生すると、ＭＢアドレスを基にして対応す
るＭＣＲ５３をＭＣＲメモリ５０の中から選択し、これ
を取り出す。比較器５２は、選択されたＭＣＲ５３とＣ
ＣＲ５１とを比較してメッセージバッファへの正しいア
クセスか否かを判定し、不一致であれば不正アクセスと
判定する。不正アクセスを検出した場合には、並行して
行われているＭＢ１６へのアクセスを中断して、信号線
５４経由でプロセッサに緊急通知する。

【００１９】図４に示す送信システム１７−１における
送信ＰＭ１８−１内の送信オブジェクトから、受信シス
テム１７−２の受信ＰＭ１８−３内の受信オブジェクト
へのメッセージ通信に適用した場合の分散メモリプロテ
クタ２３の制御手順は、次のようになる。 （ａ）送信ＰＭ１８−１のカーネルは、送信オブジェク
トの実行を開始する前に、カレントケーパビリティレジ
スタ（ＣＣＲ）５１−１にカレントケーパビリティ、つ
まり送信オブジェクトＩＤを設定する。 （ｂ）送信ＰＭ１８−１のカーネルは、分散共有メモリ
２１−１上に送信ＭＢ１６−１を捕捉した後、送信ＭＢ
１６−１対応のＭＣＲ５３−１にメモリケーパビリティ
を設定する。この時点のメモリケーパビリティは、ＭＢ
の捕捉を要求したオブジェクトのＩＤ、つまり送信オブ
ジェクトＩＤである。 （ｃ）送信プロセッサ１９−１から送信ＭＢ１６−１へ
のメモリアクセスがある度に、分散メモリプロテクタ２
３−１ではＭＢアドレスを基に対応するＭＣＲ５３−１
を１個選択して、それをＣＣＲ５１−１と比較する。Ｍ
ＣＲ５３−１とＣＣＲ５１−１のオブジェクトＩＤの値
が等しければ正しいアクセス、等しくなければ不正アク
セスと判定する。 （ｄ）メッセージが受信システム１７−２の受信ＰＭ１
８−３の受信ＭＢ１６−３に到着したと仮定する。受信
ＰＭ１８−３のカーネルは、受信オブジェクトの実行を
開始する前にＣＣＲ５１−３にカレントケーパビリテ
ィ、つまり受信オブジェクトＩＤを設定する。

【００２０】（ｅ）受信ＰＭ１８−３のカーネルは、受
信ＭＢ１６−３に対応するＭＣＲ５３−３にメモリケー
パビリティを設定する。この時点のメモリケーパビリテ
ィは、メッセージの宛先であるオブジェクトのＩＤ、つ
まり受信オブジェクトＩＤである。 （ｆ）受信プロセッサ１９−３から受信ＭＢ１６−３へ
のメモリアクセスがある度に、分散メモリプロテクタ２
３−３では、比較器５２−３によりＭＣＲ５３−３とカ
レントケーパビリティレジスタ（ＣＣＲ）５１−３内の
オブジェクトＩＤの値を比較し、等しければ正しいアク
セス、等しくなければ不正アクセスと判定する。 上述の動作において、ＭＣＲ５３とＣＣＲ５１にそれぞ
れメモリケーパビリティとカレントケーパビリティが設
定されている期間（プロテクションウィンドウ開放期
間）は、ＭＢの所有権を与えられた送信または受信オブ
ジェクトだけがそのＭＢをアクセスすることができる。
プロテクションウィンドウ開放期間中に、もし無関係の
オブジェクトがＭＢアクセスを行ったときには、ＭＣＲ
とＣＣＲのケーパビリティの不一致が生じて不正アクセ
スであることが検出される。プロテクションウィンドゥ
開放期間以外では、送信、受信オブジェクトも含めた全
てのアプリケーションオブジェクトはこのＭＢにアクセ
スすることができないので、非常に強固なメモリの保護
が可能となる。

【００２１】図６は、図４におけるルーチング情報管理
部の内部構成ブロック図である。図６に示すように、ル
ーチングディレクトリ６０は、ＣＡＭ（Ｃontent Ａdd
ressable Ｍemory)セル部６１とデータメモリ部６２か
ら構成されている。ここでＣＡＭとは、検索キーデータ
を入力し、これと各ワード（ＣＡＭセル）の記憶データ
の内容を一斉に比較照合して、指定された検索条件に合
った内容のＣＡＭセルを選択表示するメモリである。Ｃ
ＡＭセルの各々には『分散共有メモリページアドレス６
３』が記憶される。分散共有メモリページアドレス６３
とは、他システムあるいは自システム内の他ＰＭと共用
されているアドレスのページのことであって、ＭＢのペ
ージアドレス、そのＭＢ管理マップのページアドレス、
ディスクリプタのページアドレス、ＦＩＦＯ通信エリア
のページアドレス等が設定される。図５で説明したよう
に、ＭＢ、ＭＢ管理マップ、ディスクリプタ、ＦＩＦＯ
通信エリアは、それぞれ宛先システムのＰＭ毎に異なる
ページに割り付けられている。 一方、データメモリ６
２は、各ＣＡＭセルのワードに対応する補助データを記
憶するＲＡＭであって、各エントリは情報タイプフィー
ルド６４とルーチング情報フィールド６５から構成され
ている。

【００２２】情報タイプフィールド６４の値が０の場合
には、書き込みデータのコピー先のＰＭとはプロセッサ
間通信路５２で接続されていることを表わしている。そ
の場合のルーチング情報フィールド６５は、宛先ＰＭ
ＩＤを含んでいる。一方、情報タイプフィールド６４の
値が１の場合には、書き込みデータのコピー先のＰＭと
は通信ネットワーク２６（ＡＴＭネットワーク）で接続
されていることを表わしている。その場合のルーチング
情報フィールド６５は、ＡＴＭセルのルーチングを行う
ためのＶＰＩ（Ｖirtual Ｐath Ｉdentifier)情報を
含んでいる。ＶＰＩ、ＶＣＩ（Ｖirtual Ｃhannel Ｉ
dentifier)は、セルの送り先を特定する２段階の識別子
である。ＶＰＩ、ＶＣＩの値は、システム間でコネクシ
ョンを張った時点で決まるので、その値を予め分散メモ
リカップラに記憶させておく。同一の分散共有メモリペ
ージアドレス６３に対して、送信ＰＭのルーチングディ
レクトリ６０には受信ＰＭのルーチング情報を登録し、
受信ＰＭのルーチングディレクトリ６０には送信ＰＭの
ルーチング情報を登録しておくことにより、分散共有メ
モリのエリアに送信側、受信側のいずれから書き込んで
も互いに相手側の分散共有メモリにコピーを行って、い
わゆる双方向通信を行うことができる。ＭＢ管理マップ
エリアは、このような双方向通信を行うエリアである。

【００２３】図７は、本発明で使用されるローカル／Ｗ
ＡＮ通信パケットのフォーマット図である。ＰＭ間通信
路２５を通過するローカル通信パケット８０と、通信ネ
ットワーク（ＡＴＭネットワーク）２６を通過するＷＡ
Ｎ通信パケット（ＡＴＭセル）８９のフォーマットは、
図７の８０と８９に示すようになっている。ローカル通
信パケット８０は、ルーチング情報管理部３４から出力
される宛先ＰＭ ＩＤを含むヘッダ８１、分散共有メモ
リアドレス８２、書き込みデータ８３、および書き込み
単位の各フィールド８４から構成される。書き込み単位
８４のフィールドは、書き込みのデータ幅、例えばバイ
ト、ハーフワード（１６ビット）、ロングワード（３２
ビット）等を指定するものである。また、ＷＡＮ通信パ
ケット８９は、例えばＡＴＭ ＡＡＬ５プロトコルを用
いてローカル通信パケットのペイロード部（ローカル通
信パケットのヘッダ以外の部分）を複数個埋め込んで５
３バイトの固定長ＡＴＭセルを作成する。ここで、複数
個のローカル通信パケットペイロードを１つのＡＴＭセ
ルに埋め込む理由は、ローカル通信パケット８０の長さ
がＡＴＭセル長よりも短いので、複数個詰め込んで転送
効率を上げるためである。宛先が同じパケットについて
は、複数個まとめて１つのＡＴＭセルにする操作も分散
メモリカップラ２２で行われるが、宛先が同じパケット
がある一定時間内に必要な個数分集まらなければ、ＰＡ
Ｄと呼ばれるダミーデータを埋め込んでＡＴＭセルを作
成する。

【００２４】図６のルーチング情報管理部３４は、次の
ように動作する。すなわち、分散共有メモリ２１に対す
る書き込みアクセスがあった場合、そのページアドレス
とＣＡＭセル部６１とが一斉に比較される。一致したセ
ルが検出されると、そのアドレスが他システムあるいは
自システム内の他ＰＭにより共用されていることを意味
するので、データメモリ部６２から対応する情報タイプ
６４とルーチング情報６５を読み出す。次に、図１の宛
先識別デコーダ３６で、情報タイプ６４を見ることによ
り判別する。例えば、情報タイプフィールド６４が０で
あれば、宛先ＰＭ ＩＤをヘッダに組み込んで図７のロ
ーカル通信パケット８０を作成し、図１のローカル送信
バッファ３７に送出する。一方、情報タイプフィールド
６４が１であれば、ＶＰＩ，ＶＣＩをヘッダに組み込ん
で、図７のＷＡＮ通信パケット８９を作成し、図１のＷ
ＡＮ送信プロトコル処理部３８に送出する。

【００２５】図８は、本発明で使用する各種データの構
造、およびそれらの参照関係図である。先ず、送信オブ
ジェクトや受信オブジェクトのようなアプリケーション
オブジェクトに一意的に与えられるオブジェクトＩＤ１
７０は、そのオブジェクトが存在するシステムのＩＤ
（ＳＹＳ ＩＤ）１７１、システム内のＰＭ Ｄ１０
２、ＰＭ内のローカルＩＤ１７３の各フィールドより構
成され、通信ネットワーク全体の中で一意に識別できる
ように構成される。次に、ＦＩＦＯ通信エリアに記憶さ
れる処理要求１７４は、図８に示すように、その処理要
求の送信元であるシステムの送信ＳＹＳ ＩＤ１７５、
そのシステムの送信ＰＭ ＩＤ１７６、およびディスク
リプタへのポインタ１７７から構成される。また、ディ
スクリプタ１８０は、対応するＭＢの先頭アドレスＭＢ
Ａを記憶するＭＢポインタフィールド１８１、およびそ
の他のメッセージ制御情報フィールド１８２から構成さ
れる。さらに、メッセージバッファＭＢ１９０は、受信
オブジェクト宛のメッセージをリスト構造で接続するた
めのポインタＮＥＸＴＭＰ１９１、このメッセージの送
信元である送信オブジェクトのＩＤであるＳＩＤフィー
ルド１９２、このメッセージの宛先である受信オブジェ
クトのＩＤであるＲＩＤフィールド１９３、メッセージ
本体（ＢＯＤＹ）１９６のサイズを表わすＳＩＺＥフィ
ールド１９４、メッセージの付属属性を表示したＡＴＴ
Ｒフィールド１９５、およびメッセージの中味を表わす
ＢＯＤＹフィールド１９６から構成される。

【００２６】また、ＭＢ管理マップ２００の各エントリ
については、その値Ｖ＝０の場合には、対応するＭＢが
『未使用』の状態、Ｖ＝１の場合には、対応するＭＢが
『使用中』の状態を表わしている。ＭＢが１つ与えられ
ると、その先頭アドレスの値から、対応するＭＢ管理マ
ップエントリ２００のアドレスが簡単な計算で求められ
るように構成されている。受信システムでは、ＦＩＦＯ
通信エリアを定期的に読み出すことにより、処理要求１
７４をポーリングする。処理要求１７４を検出すると、
ディスクリプタポインタ１７７を参照してディスクリプ
タ１８０を読み出し、受信したＭＢのアドレス１８１や
メッセージ制御情報１８２を知る。また、このＭＢアド
レスから、対応するＭＢ管理マップ２００のアドレスも
機械的に求めることができる。

【００２７】図９は、本発明の通信ネットワーク経由の
ＰＭ間通信のタイムチャートであり、図１０は、同じく
ＰＢ間通信路経由のＰＭ間通信のタイムチャートであ
る。なお、図９および図１０のプロセッサの実行ステッ
プのうち、太い罫線で示されるステップ（例えば、図９
のステップＳ１２０（ＡＰＬオブジェクト起動））は、
プロセッサのスーパバイザモードで実行している部分で
あり、細い罫線で示すステップ（例えば、図９のステッ
プＳ１２２（メッセージの書き込み））は、プロセッサ
のユーザモードで実行している部分である。

【００２８】ケース１・・・通信ネットワーク経由のＰ
Ｍ間通信の実施例（図９参照） （ａ）送信ＰＭの処理 ある送信システム１７−１において、いま送信オブジェ
クトの存在する送信ＰＭ１８−１から通信ネットワーク
２６を介して受信オブジェクトの存在する受信システム
１７−２の受信ＰＭ１８−３にメッセージを転送する場
合を想定する。送信側が使用するＭＢは、図５のＸ１
３、そのＭＢ管理マップエントリはＸＭ１３である。ま
た、この処理内容の詳細はディスクリプタＸＤ１３に、
メッセージ処理要求は送信ＰＭ１８−１上の受信ＰＭ宛
処理要求ＦＩＦＯ（ＸＦ３）に書き込まれる。また、送
信オブジェクトの実行終了前に、受信オブジェクトが実
行開始するものとする。処理の流れを図９の各ステップ
（ＳＸＸＸで表示した記号）に沿って説明する。 『ステップＳ１２０』送信ＰＭ１８−１のカーネルは、
ステップＳ１２０のＡＰＬ（アプリケーション）オブジ
ェクト起動の実行により、送信オブジェクトのＩＤ（Ｓ
ＩＤ）をタイミングｔ１２０でＰＭ１８−１のＣＣＲ５
１−１に設定し、送信オブジェクトの実行を開始する。

【００２９】『ステップＳ１２１』送信オブジェクト
は、ＭＢの捕捉をカーネルに要求する。カーネルは受信
オブジェクトＩＤを参照して宛先を確認し、送信ＰＭ１
８−１から受信ＰＭ１８−３への通信用のＭＢ（Ｘ１
３）を選択し、図９のタイミングｔ１２１で、対応する
ＭＢ管理マップエントリＸＭ１３を『使用中』に書き替
える。このとき、同時にＸＭ１３と同一アドレスを持つ
受信ＰＭ１８−３の分散共有メモリ２１−３のＭＢ管理
マップエントリ（ＺＭ１３）も書き替えられる。この書
き替えは、次のような操作によって行われる。先ず、送
信ＰＭ１８−１のプロセッサ１９−１がＭＢ管理マップ
エントリ（ＸＭ１３）を書き替えると、送信側分散メモ
リカップラ（図１の２２−１参照）内のルーチング情報
管理部３４−１に、ＭＢ管理マップエントリのページア
ドレスが供給される。本実施例では、ＸＭ１３のページ
アドレスに対して、図６の情報タイプ６４＝‘１’、ル
ーチング情報６５＝『受信ＰＭへの宛先を示すＶＰＩ，
ＶＣＩ』がルーチング情報管理部３４−１に記憶されて
いるので、それらが取り出されて、パケット送信レジス
タ（図１の３５−１参照）に移送される。次に、図１の
宛先識別デコーダ３６で情報タイプ６４＝‘１’から通
信ネットワーク経由の通信であることを識別し、図１の
ＷＡＮ送信プロトコル処理部３８で、分散共有メモリア
ドレス８２、書き込みデータ８３（『使用中』表示デー
タ）書き込み単位（具体的には、バイト書き込みとバイ
ト位置情報）のデータを、ＡＴＭヘッダ９０とトレイラ
９２で挟んで５３バイトにまとめたＡＴＭセル８９を作
成し、ＷＡＮ送信バッファ（図１の３９−１参照）に移
送する。ＷＡＮ送信バッファ３９−１は、ＡＴＭセルを
通信ネットワーク２６に送出する。通信ネットワーク２
６は、ＡＴＭヘッダ９０を見てルーチングを行い、受信
システム１７−２の受信ＰＭ１８−３の分散メモリカッ
プラ２２−３に送り届ける。

【００３０】受信側分散メモリカップラ２２−３では、
共有分散メモリ２１−３への書き込みであることを認識
し、ＡＴＭセルデータ内の分散共有メモリアドレス（Ｘ
Ｍ１３のアドレス）、書き込みデータ（『使用中』表示
データ）、書き込み単位の情報をもとに分散共有メモリ
２１−３のＺＭ１３に書き込みを行う。このようにし
て、共有分散メモリへの書き込み側が自分の共有分散メ
モリへのローカルな書き込みを行うだけで、分散メモリ
カップラ２２の働きにより自動的に宛先の共有分散メモ
リにも同じ値がコピーされる。従って、本発明では、Ｄ
ＭＡのようなソフトウェアによるコピーオーバヘッドを
伴わないという大きな作用効果が得られる。次に、図９
のタイミングｔ１２２で、ＭＢ（Ｘ１３）に対応するメ
モリケーパビリティレジスタ（ＭＣＲ）５３−１に、こ
のＭＢへのアクセス権を獲得した送信オブジェクトのＩ
Ｄ（ＳＩＤ）が登録される。

【００３１】『ステップＳ１２２』送信オブジェクト
が、メッセージを送信側分散共有メモリのＭＢ（Ｘ１
３）にタイミングｔ１２３で４バイト単位に書き込みを
行う。その４バイトの書き込みが２回発生する毎に、
『ステップＳ１２１』の場合と同じように、図７に示す
１つのＡＴＭセル８９にまとめて通信ネットワーク２６
経由で送受信を行い、受信ＰＭ１８−３の分散メモリカ
ップラ２２−３により分散共有メモリ２１−３の対応す
るアドレスのＭＢ（Ｚ１３）に４バイト単位で２回の書
き込みが行われる。これにより、メッセージバッファＸ
１３からメッセージバッファＺ１３へのコピーが行われ
ることになる。なお、このメッセージ書き込み処理で
は、ＣＣＲ５１−１とＭＣＲ５３−１の両方の値が設定
されている区間は、ＭＣＲとＣＣＲにより指定されてい
る送信オブジェクトがＭＢ（Ｘ１３）にアクセスするこ
とができるが、他のアプリケーションオブジェクトはア
クセスすることができない。

【００３２】『ステップＳ１２３』送信オブジェクトで
は、カーネルに送信（ＳＥＮＤ）処理を依頼すると、カ
ーネルはタイミングｔ１２４でＭＢ（Ｘ１３）に対応す
るＭＣＲ（図１の５３−１）をクリアする。これで、プ
ロテクションウィンドウ開放期間が終了するので、以後
はカーネル以外はＭＢ（Ｘ１３）にアクセスできなくな
る。次に、タイミングｔ１２５で、送信カーネルは送信
ＰＭ１８−１から受信ＰＭ１８−３宛のディスクリプタ
（ＸＤ１３）に制御情報を登録するとともに、図８のフ
ォーマットの処理要求１７４を受信ＰＭ１８−３宛の受
信処理ＦＩＦＯ（ＸＦ３）に書き込む。その結果、分散
メモリカップラ２２−１でＸＤ１３とＸＦ３への書き込
みデータとアドレスが図７のＡＴＭセル８９に詰め込ま
れて通信用メモリ２１−３の対応するエリアＺＤ１３と
ＺＦ３にコピーされる。その際に、送信ＰＭ１８−１の
処理要求ＦＩＦＯエリア（ＸＦ３）は、通常のＲＡＭで
構成され、受信ＰＭ１８−３側の処理要求ＦＩＦＯエリ
ア（ＺＦ３）はＦＩＦＯメモリで構成されている。従っ
て、ＸＦ３への書き込みデータは通常の書き込みである
が、ＺＦ３への書き込みは、以前に書き込まれたデータ
を保存したまま、新しいデータが追加書き込みされる。
以上の動作により、メッセージ送信に必要な情報が受信
システムの受信ＰＭ１８−３に全て伝達された。 『ステップ１２４』カーネルがＡＰＬオブジェクト終了
処理を起動し、カレントケーパビリティレジスタＣＣＲ
５１−１の値を、図９のタイミングｔ１２６でクリアす
る。

【００３３】 （ｂ）受信ＰＭ１８−３の処理 『ステップＳ１３０』図９において、受信システム１７
−２の受信ＰＭのカーネルは、次に実行すべきオブジェ
クトとして受信オブジェクトを選択し、タイミングｔ１
３０で受信オブジェクトＩＤ（ＲＩＤ）を受信ＰＭ１８
−３内のカレントケーパビリティレジスタ（ＣＣＲ）５
１−３に設定する。 『ステップＳ１３１』受信オブジェクトの実行が開始さ
れ、受信オブジェクトがカーネルに受信処理を要求する
と、カーネルは受信オブジェクトにメッセージが到着し
ているか否かをテストする。ここでは、この時点でメッ
セージが到着していないため、送信オブジェクトからメ
ッセージが届くまで受信オブジェクトを休止させるべき
ものと判断する。『ステップＳ１３２』カーネルは、受
信オブジェクトを休止させるため、タイミングｔ１３１
でカレントケーパビリティレジスタ（ＣＣＲ）５１−３
の値をクリアし、受信オブジェクト再開に必要な情報を
ローカルメモリ（図１の２０−３参照）に退避する。

【００３４】『ステップＳ１４０』受信ＰＭ１８−３の
カーネルは、タイミングｔ１４０で定期的に自ＰＭ宛の
処理要求ＦＩＦＯ（ＺＦ３）を読み出すことにより受信
処理要求の有無をチェックする。ここでは、既に図９の
ステップｔ１２５で処理要求が分散共有メモリのＦＩＦ
Ｏ処理要求エリア（ＺＦ３）に登録されているので、こ
の要求を検出し、図８に示す順番で分散共有メモリのデ
ィスクリプタ（ＺＤ１３）、ＭＢアドレス（Ｚ１３のア
ドレス）、ＭＢ内の受信オブジェクトＩＤを取り出して
受信オブジェクトの再起動に必要な情報をローカルメモ
リ（図１の２０−３参照）に設定する。 『ステップＳ１５０』受信システム１７−２の受信ＰＭ
１８−３のカーネルは、次に実行すべきオブジェクトと
して受信オブジェクトを選択し、図９のタイミングｔ１
５０で受信オブジェクトＩＤ（ＲＩＤ）を受信ＰＭ１８
−３内のカレントケーパビリティレジスタ（ＣＣＲ）５
１−３に設定する。

【００３５】『ステップＳ１５１』受信オブジェクトの
実行が開始され、受信オブジェクトがカーネルに受信処
理を要求すると、カーネルは受信オブジェクト用のメッ
セージが届いているか否かをテストする。この時点で
は、既にメッセージが送信側から届いているので、即時
メッセージを読み出してよい状態である。そこで、タイ
ミングｔ１５１で、ＭＢ（Ｚ１３）に対応するＭＣＲ５
３−３に受信オブジェクトＩＤ（ＲＩＤ）を設定する。
これにより、ＣＣＲ５１−３とＭＣＲ５３−３の両方に
受信オブジェクトＩＤ（ＲＩＤ）が設定されたので、以
後、ＭＢ（Ｚ１３）が受信オブジェクト以外のＡＰＬオ
ブジェクトからアクセスできないようにプロテクトされ
る。 『ステップＳ１５２』受信オブジェクトがＭＢ（Ｚ１
３）からタイミングｔ１５２でメッセージを読み出し、
対応する処理を行う。ＭＢ（Ｚ１３）には、送信システ
ムのＭＢ（Ｘ１３）からコピーされたメッセージが入っ
ている。

【００３６】『ステップＳ１５３』受信オブジェクトは
カーネルにＭＢ（Ｚ１３）の解放を依頼する。カーネル
は、ＭＢ（Ｚ１３）に対応するＭＣＲ５３−３をタイミ
ングｔ１５３でクリアする。次に、タイミングｔ１５４
でＭＢ（Ｚ１３）に対応するＭＢ管理マップエントリ
（ＺＭ１３）を『空き』の値に書き替える。受信側分散
メモリカップラ２２−３には、予め、このＭＢ管理マッ
プのページアドレスと、対応するルーチング情報（『送
信ＰＭ１８−１への宛先を示すＶＰＩ，ＶＣＩ』）が記
憶されているので、ＺＭ１３への書き込みが生じると、
受信側分散メモリカップラ２２−３、通信ネットワーク
２６、送信側分散メモリカップラ２２−１経由で送信側
分散共有メモリ２１−１の同一ロケーション（ＸＭ１
３）に『空き』の値がコピーされる。本実施例では、Ｍ
Ｂは常に送信ＰＭ側で一元管理されるようにする。図９
のタイミングｔ１５５で、送信側のＭＢ管理マップエン
トリＸＭ１３への書き替えが完了すると、この時点以降
はいつでも送信ＰＭ側でＭＢ（Ｘ１３）を再利用するこ
とができる。 『ステップＳ１５４』カーネルがＡＰＬオブジェクト終
了処理を実行し、カレントケーパビリティレジスタ（Ｃ
ＣＲ）５１−３の値を図９のタイミングｔ１５６でクリ
アする。

【００３７】（ケース２）ＰＭ間通信路経由のＰＭ間通
信の実施例（図１０参照） 図１０では、図９の通信ネットワーク経由の通信と類似
しているため、ケース１との相違点のみを説明すること
にする。先ず、ケース１では通信ネットワーク２６を経
由していたのに対して、ケース２ではＰＭ間通信路２５
経由になっている。従って、ルーチング情報としてはＶ
ＰＩ，ＶＣＩでなく、宛先ＰＭ ＩＤ（図８の１７６参
照）を使用する点が異なっている。通信ネットワーク２
６とＰＭ間通信路２５のインタフェースは、図７に示す
ように転送するパケットの構造やプロトコルが異なって
いる。一般に、通信ネットワーク２６では国際標準イン
タフェースを使用することが望ましく、また遠距離通信
や雑音の多い環境での通信にも対応するために、誤り制
御や再送手順も組み込んだプロトコルを用いることが多
い。また、運用コスト面から１回の転送でできる限り多
くの情報を送るようなプロトコルを用いて、転送効率を
上げていることも多い。

【００３８】一方、ＰＭ間通信路２５は、システム内部
のローカルインタフェースであり、簡略化した独自のイ
ンタフェースやプロトコルを用いて効率を上げることが
できる。本実施例の図９の通信ネットワーク経由のＰＭ
間通信では、４バイトのメモリ書き込み（最大）２回に
対して１つのＡＴＭセルで転送し、効率を上げているの
に対して、図１０のＰＭ間通信路経由の通信では、４バ
イトのメモリ書き込み毎に、ローカル通信パケット（図
７の８０参照）を転送させて単純化を図っている。ロー
カル通信かＷＡＮ通信かの切り分けと、それぞれのプロ
トコルに従って転送処理は図１に示したように分散メモ
リカップラ２２自身が行っている。なお、ＡＴＭのよう
に、ローカルなＬＡＮ通信技術（例えば、ＡＴＭ−ＬＡ
Ｎ）とＷＡＮ（Ｗide Ａrea Ｎetwork)通信技術(ＡＴ
Ｍ公衆網ネットワークやセルリレーネットワーク）と同
一技術をベースに実現されつつあり、両者の技術が競合
されつつある。このような場合には、最早やシステム間
とシステム内で同一のインタフェースとなり、分散メモ
リカップラ内で両者を識別する回路は必要なくなる。従
って、システム間通信とシステム内通信は、共に同一の
ものとして統合されることになるので、システム全体の
単純化を図ることができる。

【００３９】以上、本発明をまとめると、次のようにな
る。すなわち、従来はシステム間通信をＩＯ経由で行っ
ていたので、システム間通信を行うためのオーバヘッド
が極め大であった。そこで本発明においては、システム
間通信も分散共有メモリ経由で行うことを基本にして、
システム間で共通の分散共有メモリ空間を共有する。そ
して、送信システムの送信ＰＭ、受信システムの受信Ｐ
Ｍに同一のアドレスを割り当てられた分散共有メモリを
配置する。送信ＰＭと受信ＰＭとは、ＷＡＮまたはＰＭ
間通信路で接続される。送信ＰＭの分散メモリカップラ
がＰＭ間通信路経由のローカル通信か、またはＷＡＮ経
由のＷＡＮ通信かを判定し、それぞれのインタフェース
とプロトコルに合わせて、送信側の分散共有メモリと送
受信側の分散共有メモリの同一アドレスロケーション間
でコピーを行うことにより、メッセージパッシングプロ
グラミングモデルを実現する。このような方法を用いる
ことにより、システム間通信もシステム内通信も同一の
ＰＭ間通信として扱うことができ、システム間通信もシ
ステム内通信と同程度の軽いオーバヘッドで実現するこ
とができる。もし、ＷＡＮとＰＭ間通信路とを同一のイ
ンタフェースに合わせた場合には、システム間通信とシ
ステム内通信は物理的距離の差を除いて全く同じように
実現できる。従って、物理的距離に無関係に任意のＰＭ
を自由に１つのシステムに組み込むことができる他、あ
るシステム内のＰＭを他のシステムに組み替える場合に
も、全く修正無く行うことができる。

【００４０】

【発明の効果】以上説明したように、本発明によれば、
物理的な配置とは無関係に、ネットワーク全体に渡る分
散処理システムを、単純かつ極めて効率よく実現するこ
とが可能である。特に、ＷＡＮとしてＡＴＭネットワー
クを用いる場合には、ＡＴＭのＶＣＩ，ＶＰＩ情報を用
いてハードウェアのみでネットワークルーチング情報を
転送情報に付加することが容易になるので、ソフトウェ
アオーバヘッドの削減、および転送遅延時間の削減に大
きな効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例を示すプロセッサモジュール
の内部構成図である。

【図２】従来の分散処理システムの構成例図である。

【図３】従来の分散処理システムの別の構成例図であ
る。

【図４】本発明の一実施例を示す分散処理システムの全
体構成図である。

【図５】本発明における分散共有メモリのデータ配置図
である。

【図６】図１におけるルーチング情報管理部の構成図で
ある。

【図７】本発明で使用されるローカル／ＷＡＮ通信パケ
ットのフォーマット図である。

【図８】本発明における各種データのフォーマット図で
ある。

【図９】本発明におけるシステム間通信（通信ネットワ
ーク経由）のタイムチャートである。

【図１０】本発明におけるシステム内ＰＭ間通信（ＰＭ
間通信路経由）のタイムチャートである。

【符号の説明】

１７−１…送信システム、１７−２…受信システム、１
８−１〜１８−３…プロセッサモジュール（ＰＭ）、１
９−１〜１９−３…プロセッサ、２０−１〜２０−３…
ローカルメモリ、２１−１〜２１−３…分散共有メモ
リ、２２−１〜２２−３…分散メモリカップラ、２３−
１〜２３−３…分散メモリプロテクタ、２５…ＰＭ間通
信路、２６…通信ネットワーク（ＷＡＮ）、３４…ルー
チング情報管理部、３５…パケット送信レジスタ、３６
…宛先識別デコーダ、３７…ローカル送信バッファ、３
８…ＷＡＮ送信プロトコル処理部、３９…ＷＡＮ送信バ
ッファ、４０…ローカル受信バッファ、４１…ＷＡＮ受
信バッファ、４２…ＷＡＮ受信プロトコル処理部、４３
…パケット受信レジスタ、５０…ＭＣＲメモリ（Ｍemor
y Ｃapability Ｒegister Ｍemory)、５１…カレン
トケーパビリティレジスタ（ＣＣＲ）、５３…メモリケ
ーパビリティレジスタ（ＭＣＲ）、６０…ルーチングデ
ィレクトリ、６１…ＣＡＭ（Ｃontent Ａddressable
Ｍemory)セル部、６２…データメモリ部。

Claims (3)

【特許請求の範囲】
1. 【請求項１】各処理システムに含まれた１個以上のプロ
   セッサモジュールを、プロセッサモジュール間通信路お
   よびワイドエリアネットワークの両方を介して相互接続
   したネットワーク分散処理システムにおいて、 前記各プロセッサモジュールは、互いにメモリ空間を共
   用する分散共有メモリと、 該分散共有メモリのアドレスに１対１に対応するワイド
   エリアネットワークのルーチング情報、あるいはプロセ
   ッサモジュール間通信路ルーチング情報を記憶し、異な
   るプロセッサモジュールの分散共有メモリの同一アドレ
   スロケーション間で書き込みデータのコピーを行う分散
   メモリ制御手段とを有し、 送信側のプロセッサモジュールの分散共有メモリにデー
   タが書き込まれると、 前記分散メモリ制御手段は、書き込みアドレスに対応す
   るワイドエリアネットワークのルーチング情報、あるい
   はプロセッサモジュール間通信路ルーチング情報を取り
   出し、 前者の場合には、メモリ書き込みアドレスとデータにワ
   イドエリアネットワークのルーチング情報を付加したワ
   イドエリアネットワークパケットを前記ワイドエリアネ
   ットワークに送出すると、 該ワイドエリアネットワークは、該ワイドエリアネット
   ワークパケットをワイドエリアネットワークのルーチン
   グ情報に従って受信プロセッサモジュールに送り届け、 後者の場合には、メモリ書き込みアドレスとデータにプ
   ロセッサモジュール間通信路ルーチング情報を付加した
   ローカルパケットを前記プロセッサモジュール間通信路
   に送出すると、 該プロセッサモジュール間通信路は、該ローカルパケッ
   トをプロセッサモジュール間通信路ルーチング情報に従
   って前記プロセッサモジュールに送り届け、 該受信プロセッサモジュールの分散メモリ制御手段は、
   前記ワイドエリアネットワークパケット、あるいは前記
   ローカルパケットにより指定された分散共有メモリのア
   ドレスロケーションにデータを書き込むことにより、プ
   ロセッサモジュール間通信を行うことを特徴とするネッ
   トワーク分散処理システム。
2. 【請求項２】請求項１に記載のネットワーク分散処理シ
   ステムにおいて、前記ローカルパケットの構造を前記ワ
   イドエリアネットワークパケットに組み込めるようにし
   て、両パケットの構造を一致させ、前記プロセッサモジ
   ュール間通信路のインタフェースを前記ワイドエリアネ
   ットワークのインタフェースと同一にすることを特徴と
   するネットワーク分散処理システム。
3. 【請求項３】請求項１または２に記載のネットワーク分
   散処理システムにおいて、前記ワイドエリアネットワー
   クをＡＴＭネットワークとし、前記システム間のルーチ
   ング情報として、該システム間で予め値がそれぞれ決定
   されているバーチャル・チャネル・アイデンティファイ
   アとバーチャル・パス・アイデンティファイアを用いる
   ことを特徴とするネットワーク分散処理システム。