JPH0668047A

JPH0668047A - 分散システムのネットワーク利用共有記憶方法

Info

Publication number: JPH0668047A
Application number: JP4216084A
Authority: JP
Inventors: Hiroyuki Yamashita; 博之山下
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1992-08-13
Filing date: 1992-08-13
Publication date: 1994-03-11

Abstract

(57)【要約】【目的】分散システムにおける各ノードの共有記憶
を、ネットワークを利用することで、低コストでかつ容
易に実現可能とする。【構成】コンピュータや端末等のノード１１１、１１
２、１１３、１１４がそれぞれネットワークＤ１に接続
されて分散システムを構成している。アドレス付けされ
たデータの集合よりなるメモリ情報を、各アドレス対応
のデータを単位（データ単位）として、所望の順序で各
ノード間を巡回せしめる。各ノード側では、当該ノード
内からのメモリアクセス要求に基づき、ネットワークＤ
１を巡回するデータ単位から要求に合致したデータ単位
を識別して、読出し要求では該当データ単位をアクセス
要求元へ転送し、書込み要求では該当データ単位の内容
を書替えて中継する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コンピュータや端末等
のノードが、複数、それぞれネットワークアクセス制御
部等を介してネットワークに接続されている分散システ
ムにおける、ノード間のネットワーク利用共有記憶方法
に関する。

【０００２】

【従来の技術】共有記憶は、データベース等の複数ノー
ドがアクセス可能な共有資源に対する排他制御あるいは
アクセス競合制御を行うためのノード間通信のための１
手段として使用される。また、このような目的に使用さ
れる制御情報の量は、実際の共有資源の量に比べ、小さ
い量で十分である。

【０００３】従来の分散システムにおいては、ノード間
の共有記憶を持たず、メッセージ転送によりノード間通
信を行うか、あるいは、各ノード内のローカルメモリ
（分散共有メモリ）を他ノードからアクセスすることに
より通信していた。

【０００４】図２３に、分散共有メモリを適用した従来
の分散システムの構成例を示す。図において、ノード１
６１、１６２、１６３、１６４がそれぞれネットワーク
アクセス制御部２６１、２６３、２６４を介してネット
ワークＤ３に接続されている。ノード１６１はプロセッ
サ（ＰＵ）Ｇ１、ローカルメモリ（分散共有メモリ）Ｆ
１、リモートアクセス制御部Ｅ１を有する。ノード１６
２、１６３、１６４の構成も同様である。各ノードに接
続された各ネットワークアクセス制御部２６１、２６
２、２６３、２６４は通信手段３６１、３６２、３６３
を有し、該通信手段を用いて各ノード間の通信が行われ
る。いま、ノード１６１のプロセッサＧ１が例えばノー
ド１６２のローカルメモリＦ２をアクセスする場合、リ
モートアクセス制御部Ｅ１、通信手段３６１、ネットワ
ークＤ３、通信手段６３２、リモートアクセス制御部Ｅ
２を経由してローカルメモリＦ２をアクセスすることに
なる。

【０００５】〔発明が解決しようとする課題〕上述のよ
うに、従来の分散システムにおいては、ノード間の共有
記憶を持たず、メッセージ転送によりノード間通信を行
か、あるいは、各ノード内のローカルメモリ（分散共有
メモリ）を他ノードからアクセスすることにより通信し
ていたため、ノード間の共有記憶を低コストでかつ容易
に実現することができなかった。さらに、資源を共有す
るノード数が多い場合には、使用可能なネットワークの
高速・広帯域化が進展しているにもかかわらず、共有資
源に対する排他制御あるいはアクセス競合制御を行う場
合、前者のケースでは、各ノードにおけるメッセージ転
送のための通信処理オーバベッドにより通信時間の増大
を招き、また、後者のケースでは、各ノードにおけるア
クセス情報転送のための通信処理オーバヘッドによりア
クセス時間の増大を招いていた。

【０００６】本発明の目的は、分散システムにおけるノ
ード間の共有記憶を低コストで容易に実現するネットワ
ーク利用共有記憶方法を提供することにある。

【０００７】本発明の他の目的は、分散システムにおい
て、ノード間共有資源に対する排他制御あるいはアクセ
ス競合制御を行う場合、ノード数が多い場合にも、各ノ
ードにおけるノード間通信のための通信処理オーバヘッ
ドを低減するとともに、各ノードからの共有メモリへの
アクセス時間を短縮することが可能となるネットワーク
利用共有記憶方法を提供することにある。

【０００８】

【課題を解決するための手段】本発明の第１の実施例で
は、コンピュータや端末等のノードが、複数、それそれ
通信手段を有するネットワークアクセス制御部を介して
ネットワークに接続され、前記通信手段を用いて前記ノ
ード間での通信を行う分散システムにおいて、前記各ノ
ードに接続された前記ネットワークアクセス制御部内に
データ単位中継手段及びメモリアクセス制御手段を設け
る。

【０００９】本発明の第２の実施例では、コンピュータ
や端末等のノードが、複数、それそれ通信手段を有する
ネットワークアクセス制御部を介してネットワークに接
続され、前記通信手段を用いて前記ノード間での通信を
行う分散システムにおいて、前記ネットワークに接続さ
れる記憶管理ノードを設けると共に、各ノードに接続さ
れる前記ネットワークアクセス制御部内にメモリアクセ
ス制御手段を設ける。

【００１０】本発明の第３の実施例では、前記第１の実
施例において、メモリ情報を識別しそれを一定時間保持
するデータ単位一時蓄積手段を有する一時蓄積ノードを
設け、ノード群に加える。

【００１１】本発明の第４の実施例では、前記第１の実
施例において、データ単位を誤り訂正符号でコード化す
ると共に、データ誤り訂正手段を有する誤り訂正ノード
を設け、ノード群に加える。

【００１２】本発明の第５の実施例では、前記第１及び
第２の実施例において、メモリ情報を識別しその複製を
保持するデータ単位蓄積手段とデータ単位復旧手段とを
有するバックアップノードを設ける。

【００１３】本発明の第６の実施例では、前記第１の実
施例において、データ単位一時蓄積手段、ネットワーク
のトラヒック監視手段、及び巡回データ単位制御手段を
有するトラヒック管理ノードを設け、巡回ノード群に加
える。

【００１４】本発明の第７の実施例では、前記第１及び
第２の実施例において、全データ単位の、あるいは特定
のデータ単位の複製を設ける。

【００１５】本発明の第８の実施例では、前記第１及び
第２の実施例において、ノードに接続されたネットワー
クアクセス制御部内にアクセス方式制御手段を設ける。

【００１６】本発明の第９の実施例では、前記第１及び
第２の実施例において、ノードに接続されたネットワー
クアクセス制御部内に内容変化監視手段を設ける。

【００１７】

【作用】第１および第２の実施例では、アドレス付けさ
れたデータの集合より成るメモリ情報を、１つのアドレ
スに関する情報を単位（データ単位）として、その記憶
アドレス順等の所定の順序で、前記データ単位中継手段
により前記各ノード間で前記ネットワーク内を巡回させ
るか、あるいは、記憶管理ノードからネットワークを介
し全ノード宛に転送する。

【００１８】メモリアクセス制御手段は、ノード内から
のメモリアクセス要求に基づき、ネットワークから受信
するデータの中からメモリ情報を識別し、データ単位中
継手段及び通信手段、あるいは単に通信手段を介して、
その読出し（指定のデータ単位の内容をアクセス要求元
へ転送すること）、あるいは、書込み（指定のデータ単
位が自ノードに到着した時にそのデータ単位の内容を指
定内容に書替えて中継するか、あるいは、記憶管理ノー
ド宛に転送すること）を行う。

【００１９】第３の実施例では、データ単位を各ノード
間で巡回させる場合に、一時蓄積ノードにおいて、巡回
中の複数のデータ単位をデータ単位一時蓄積手段により
一時的に保持した後中継送出する。

【００２０】第４の実施例では、データ単位を各ノード
間で巡回させる場合に、誤り訂正ノードにおいて、デー
タ誤り訂正手段により巡回中の各データ単位の伝送誤り
があればそれを訂正後中継送出する。

【００２１】第５の実施例では、巡回中あるいは記憶管
理ノードから転送される、全アドレス対応のデータ単位
の複製をデータ単位蓄積手段により保持し、ネットワー
クあるいは記憶管理ノード等の障害によりデータ単位の
一部あるいは全部が失われた時には、バックアップノー
ドに保持されているデータ単位の複製を用いて、データ
単位復旧手段により失われたデータ単位を復旧する。

【００２２】第６の実施例では、トラヒック管理ノード
において、そのトラヒック監視手段により測定されるネ
ットワークの負荷状態に応じ、巡回データ単位制御手段
により、必要に応じデータ単位一時蓄積手段を用いて前
記データ単位を一時的に保持することにより、巡回中の
データ単位の中継送出契機を変更する。

【００２３】第７の実施例では、所定の順序で巡回する
か、あるいは記憶管理ノードから転送される、メモリ情
報の全データ単位に引き続き、該データ単位の複製を、
同じ順序で周期的に巡回させるか、あるいは記憶管理ノ
ードから転送する。

【００２４】第８の実施例では、アクセス方式制御手段
により、値を読出した後指定値を加算して書込むこと
（置換え加算）等の複合アクセスや、単一のメモリアド
レスで複数のデータ単位を指定可能なグループアドレス
指定や、データ単位の内容の全部が一致するデータ単位
を指定する内容指定等の、所定のアクセス方式に応じ、
データの読出し及び書込みを行う。

【００２５】第９の実施例では、ノード内のメモリアク
セス要求元から指定されたアドレスのデータ単位の内容
を一時的に保持すると共に、当該アドレスのデータ単位
の到着ごとに前記保持データ単位の内容と到着データ単
位の内容とで、アクセス要求元の指定に基づきその一部
あるいは全部を比較し、不一致であった場合にメモリア
クセス要求元に通知する。

【００２６】

【実施例】図１（ａ）はメモリの概念図であり、アドレ
ス１、２、…にそれぞれｄ₀₀〜ｄ₀₃、ｄ₁₀〜ｄ₁₃、…が
格納される。このように、アドレス付けされたデータの
集合よりなるメモリ上の情報をメモリ情報と呼ぶことに
する。本発明では、このようなメモリ情報を、各アドレ
スに対応するデータをそれぞれ単位（データ単位）とし
て、所定の順序で、各ノード間で巡回させるか、あるい
は、記憶管理ノードから全ノードに転送させるかして、
各ノードで共用する。図１（ｂ）は、ネットワークを巡
回あるいは転送するデータ単位の転送形式の一例であ
り、使用するネットワークの伝送方式や通信プロトコル
等により、データ域のみ必須で、他域は省略することが
ある。以下、本発明によるネットワーク利用共有記憶方
法の各実施例を詳述する。

【００２７】実施例１これは、メモリ情報をデータ単位で、所定の順序でもっ
て各ノード間を巡回させるケースである。

【００２８】図２は、該実施例１に係る分散システムの
構成例を示したもので、ノード１１１、１１２、１１
３、１１４が、それぞれ、ネットワークアクセス制御部
２１１、２１２、２１３、２１４を介してネットワーク
Ｄ１に接続されている。ここで、ノード１１１に接続さ
れたネットワークアクセス制御部２１１は、通信手段３
１１、データ単位中継手段４１１、メモリアクセス制御
手段５１１を有する。ノード１１２、１１３、１１４に
接続されたネットワークアクセス制御部２１２、２１
３、２１４の構成も同様である。

【００２９】図３は、メモリ情報をデータ単位で各ノー
ド間で巡回させるケースにおいて、データ単位ＤＵ０、
ＤＵ１、ＤＵ２、ＤＵ３、ＤＵ４、…がネットワークＤ
１内の各ノード１１１、１１２、１１３、１１４を順に
転送される様子を示したものである。このケースでは、
ネットワーク及び各ノードのデータ単位中継手段と通信
手段により、メモリ情報を記憶する。なお、データ単位
ＤＵ０は、例えば図１におけるｄ₀₀〜ｄ₀₃に対応する。

【００３０】図４は、このメモリ情報をデータ単位で各
ノード間で巡回させるケースにおける、各ノードによる
共有記憶へのアクセス法を説明するための処理フロー図
である。以下では、図２におけるノード１１１に接続さ
れたネットワークアクセス制御部２１１を例に説明す
る。

【００３１】１．通信手段３１１はネットワークＤ１か
らデータ（データ単位）を受信し、データ単位中継手段
４１１及びメモリアクセス制御手段５１１に引渡す。デ
ータ単位中継手段４１１は、メモリアクセス制御手段５
１１から中継依頼があるまで、該データを保持する。２．メモリアクセス制御手段５１１は、引渡されたデー
タがメモリ情報かどうす判定し、メモリ情報でなけれ
ば、通常のデータ受信処理を行うところへそのデータを
引渡す。これは本発明とは直接関係ないので説明を省略
する。３．メモリ情報であれば、メモリアクセス制御手段５１
１は、まず、ノード１１１から読出し要求が発せられて
いるか調べる。発せられていなければ、ステップ６へ行
く。４．ノード１１１から読出し要求が発せられていれば、
メモリアクセス制御手段５１１は、そのメモリアドレス
と受信データのデータ単位内のメモリアドレスとを比較
する。一致しなければ、データ単位中継手段４１１に中
継を依頼し、ステップ９へ行く。５．アドレスが一致すれば、メモリアクセス制御手段５
１１は、受信したデータ単位のデータ域の内容をノード
１１１に転送する。その後、データ単位中継手段４１１
に中継を依頼し、ステップ９へ行く。６．メモリアクセス制御手段５１１は、ノード１１１か
ら書込み要求が発せられているか調べる。発せられてい
なければ、データ単位中継手段４１１に中継を依頼し、
ステップ９へ行く。７．ノード１１１から書込み要求が発せられていれば、
メモリアクセス制御手段５１１は、そのメモリアドレス
と受信データのデータ単位内のメモリアドレスとを比較
する。一致しなければ、データ単位中継手段４１１に中
継を依頼し、ステップ９へ行く。８．アドレスが一致すれば、メモリアクセス制御手段５
１１は、受信したデータ単位のデータ域の内容を、書込
み要求データで置き換え、データ単位中継手段４１１に
中継を依頼する。９．データ単位中継手段４１１は、保持しておいた受信
データ単位そのままあるいは書き換えられたデータ単位
を通信手段３１１に引き渡し、それのネットワークＤ１
への送出を依頼する。１０．通信手段３１１は、データ単位をネットワークＤ
１に送出する。

【００３２】実施例２これは、記憶管理ノードがメモリ情報を記憶し、該記憶
管理ノードからデータ単位に所定の順序で全ノード宛に
転送するケースである。

【００３３】図５は、該実施例２に係る分散システムの
構成例を示したもので、ノード１２１、１２２、１２
３、１２４が、それぞれ、ネットワークアクセス制御部
２２１、２２２、２２３、２２４を介してネットワーク
Ｄ２に接続されるとともに、記憶管理ノード６がネット
ワークＤ２に接続されている。ノード１２１に接続され
たネットワークアクセス制御部２２１は、通信手段３２
１、メモリアクセス制御手段５２１を有する。ノード１
２２、１２３、１２４に接続された各ネットワークアク
セス制御部２２２、２２３、２２４の構成も同様であ
る。

【００３４】図６は、メモリ情報をデータ単位に、記憶
管理ノードから全ノード宛に転送するケースにおいて、
データ単位ＤＵ０、ＤＵ１、…が記憶管理ノード６から
ネットワークＤ２内の各ノード１２１、１２２、１２
３、１２４宛に転送される様子を示したものである。

【００３５】図７は、このメモリ情報をデータ単位に記
憶管理ノードから全ノード宛に転送するケースにおけ
る、各ノードによる共有記憶へのアクセス法を説明する
ための処理フロー図である。以下では、図４におけるノ
ード１２１に接続されたネットワークアクセス制御部２
２１を例に説明する。

【００３６】１．通信手段３２１はネットワークＤ２か
らデータ（データ単位）を受信し、メモリアクセス制御
手段５２１に引渡す。２．メモリアクセス制御手段５２１は、引渡されたデー
タがメモリ情報か否かを判定し、メモリ情報でなけれ
ば、通常のデータ受信処理を行うところへそのデータを
引渡す。３．メモリ情報であれば、メモリアクセス制御手段５２
１は、まず、ノード１２１から読出し要求が発せられて
いるか調べる。発せられていなければ、受信データを廃
棄する。４．ノード１２１から読出し要求が発せられていれば、
メモリアクセス制御手段５２１は、そのメモリアドレス
と受信データのデータ単位内のメモリアドレスとを比較
する。一致しなければ、受信データを廃棄する。５．アドレスが一致すれば、メモリアクセス制御手段５
２１は、受信したデータ単位のデータ域の内容をノード
１２１に転送する。６．一方、メモリアクセス制御手段５２１は、ノード１
２１から書込み要求が発せらると、その書込みデータを
受取り、ステップ７へ行く。７．メモリアクセス制御手段５２１は、要求された書込
みデータを含むデータ単位を作成し、それを通信手段３
２１に引渡し、ネットワークＤ２への送出を依頼する。８．通信手段３２１は、データ単位をネットワークＤ２
に送出する。

【００３７】実施例３これは、メモリ情報をデータ単位に各ノードで巡回させ
る場合に、巡回ノード群に一時蓄積ノードを加えて、該
一時蓄積ノードで巡回中のデータ単位を一時的に保持し
た後に中継送出できるようにしたものである。

【００３８】図８は、該実施例３の構成例であり、通信
手段７１、データ単位中継手段７２及びデータ単位一時
蓄積手段７３を有する一時蓄積ノード７がネットワーク
Ｄ１に接続されていることを示している。各ノード１１
１、１１２、１１３、１１４の構成は図２と同じであ
る。

【００３９】図９は、図８における一時蓄積ノード７
が、受信したメモリ情報を一時蓄積した後中継送出する
動作を説明するための処理フロー図である。

【００４０】１．通信手段７１はネットワークＤ１から
データを受信し、データ単位中継手段７２及びデータ単
位一時蓄積手段７３に引渡す。２．データ単位一時蓄積手段７３は、引渡されたデータ
がメモリ情報かどうか判定し、メモリ情報でなければ、
直ちにデータ単位中継手段７２に中継を依頼し、ステッ
プ４へ行く。３．メモリ情報であれば、データ単位一時蓄積手段７３
は、一定時間そのデータ単位を蓄積した後、データ単位
中継手段７２に中継を依頼する。４．データ単位中継手段７２は、受信したデータそのま
まあるいは一時的に保持されたデータ単位を通信手段７
１に引渡し、それのネットワークＤ１への送出を依頼す
る。５．通信手段７１は、データをネットワークＤ１に送出
する。

【００４１】実施例４これは、メモリ情報をデータ単位に各ノードで巡回させ
る場合、ノード群に誤り訂正ノードを加えて、該誤り訂
正ノードで巡回中の各データ単位の伝送誤りを訂正して
中継送出できるようにしたものである。

【００４２】図１０は、該実施例４の構成例であり、通
信手段８１、データ単位中継手段８２、データ誤り訂正
手段８３を有する誤り訂正ノード８がネットワークＤ１
に接続されていることを示している。各ノード１１１、
１１２、１１３、１１４の構成は図２と同じである。

【００４３】図１１は、図１０における誤り訂正ノード
８の動作を説明するための処理フロー図である。

【００４４】１．通信手段８１はネットワークＤ１から
データを受信し、データ単位中継手段８２及びデータ誤
り訂正手段８３に引渡す。２．データ誤り訂正手段８３は、引渡されたデータがメ
モリ情報かどうか判定し、メモリ情報でなければ、直ち
にデータ単位中継手段８２に中継を依頼しステップ４へ
行く。３．メモリ情報であれば、データ誤り訂正手段８３は、
受信データ単位の誤り訂正を行った後、データ単位中継
手段８２に中継を依頼する。４．データ単位中継手段８２は、受信したデータそのま
まあるいは誤り訂正を行ったデータ単位を通信手段８１
に引渡し、それのネットワークＤ１への送出を依頼す
る。５．通信手段８１は、データをネットワークＤ１に送出
する。

【００４５】実施例５これは、メモリ情報をデータ単位に各ノード間で巡回さ
せた場合、あるいは、記憶管理ノードから全ノード宛に
転送する場合、ネットワーク内にバックアップノードを
加えてメモリ情報を保持しておき、障害によりデータ単
位の一部あるいは全部が失われた時に、それの復旧を可
能としたものである。

【００４６】図１２（ａ）は、図２の構成にバックアッ
プノードを付加した場合であり、通信手段９１１、デー
タ単位中継手段９２１、データ単位蓄積手段９３１、デ
ータ単位復旧手段９４１を有するバックアップノード９
１がネットワークＤ１に接続されていることを示してい
る。

【００４７】図１３（ａ）は、図１２（ａ）におけるバ
ックアップノード９１がメモリ情報を蓄積し、障害発生
時にその蓄積データを用いてメモリ情報を復旧する場合
の処理フロー図である。

【００４８】１．通信手段９１１はネットワークＤ１か
らデータを受信し、データ単位中継手段９２１及びデー
タ単位蓄積手段９３１に引渡す。２．データ単位蓄積手段９３１は、引渡されたデータが
メモリ情報かどうか判定し、メモリ情報でなければ、直
ちにデータ単位中継手段９２１に中継を依頼する。３．メモリ情報であれば、データ単位蓄積手段９３１
は、そのデータ単位の複製をそのアドレス対応に蓄積し
た後、データ単位中継手段９２１に中継を依頼する。４．データ単位中継手段９２１は、受信したデータを通
信手段９１１に引渡し、それのネットワークＤ１への送
出を依頼する。５．通信手段９１１は、データをネットワークＤ１に送
出する。６．一方、メモリ情報を破壊する障害が発生すると、デ
ータ単位復旧手段９４１が動作する。７．データ単位復旧手段９４１は、データ単位蓄積手段
９３１の保持するメモリ情報を用いて、破壊されたメモ
リ情報を復旧する。

【００４９】図１２（ｂ）は、図５の構成にバックアッ
プノードを付加した場合で、通信手段９１２、データ単
位蓄積手段９３２、データ単位復旧手段９４２を有する
バックアップノード９２がネットワークＤ２に接続され
ていることを示している。

【００５０】図１３（ｂ）は、図１２（ｂ）におけるバ
ックアップノード９２が、メモリ情報を蓄積し、障害発
生時にその蓄積データを用いてメモリ情報を復旧する場
合の処理フロー図である。

【００５１】１．通信手段９１２はネットワークＤ２か
らデータを受信し、データ単位蓄積手段９３２に引渡
す。２．データ単位蓄積手段９３２は、引渡されたデータが
メモリ情報かどうか判定し、メモリ情報でなければ、そ
れを廃棄する。３．メモリ情報であれば、データ単位蓄積手段９３２
は、そのデータ単位をそのアドレス対応に蓄積する。４．一方、メモリ情報を破壊する障害が発生すると、デ
ータ単位復旧手段９４２が動作する。５．データ単位復旧手段９４２は、データ単位蓄積手段
９３２の保持するメモリ情報を用いて、破壊されたメモ
リ情報を復旧する。

【００５２】実施例６これは、メモリ情報をデータ単位に各ノードを巡回させ
る場合に、巡回ノード群にトラヒック管理ノードを加え
て、ネットワークの負荷状態に応じて巡回中のデータ単
位の中継送出を変更可能としたものである。

【００５３】図１４は、図２の構成にトラヒック管理ノ
ードを付加した例であり、通信手段Ａ１、データ単位中
継手段Ａ２、トラヒック監視手段Ａ３、巡回データ単位
制御手段Ａ４、データ単位一時蓄積手段Ａ５を有するト
ラヒック管理ノードＡがネットワークＤ１に接続されて
いることを示している。

【００５４】図１５は、図１４におけるトラヒック管理
ノードＡが、ネットワークＤ１の負荷状態に応じ、デー
タ単位を一時的に保持した後中継送出する動作を説明す
るための処理フロー図である。

【００５５】１．通信手段Ａ１はネットワークＤ１から
データを受信し、データ単位中継手段Ａ２、トラヒック
監視手段Ａ３及び巡回データ単位制御手段Ａ４に引渡
す。２．トラヒック監視手段Ａ３は、引渡されたデータに基
づき、ネットワークＤ１の負荷状態を観察する。３．トラヒック監視手段Ａ３は、観察結果に基づき、ネ
ットワークＤ１の負荷状態を更新する。４．一方、巡回データ単位制御手段Ａ４は、引渡された
データがメモリ情報かどうか判定し、メモリ情報でなけ
れば、直ちにデータ単位中継手段Ａ２に中継を依頼し、
ステップ７へ行く。５．メモリ情報であれば、巡回データ単位制御手段Ａ４
は、トラヒック監視手段Ａ３より取得するネットワーク
Ｄ１の負荷状態が、高負荷状態か調べる。高負荷状態で
なければ、データ単位中継手段Ａ２にデータ単位の中継
を依頼する。６．高負荷状態であれば、巡回データ単位制御手段Ａ４
はデータ単位をデータ単位一時蓄積手段Ａ５に引渡し、
データ単位一時蓄積手段Ａ５は一定時間そのデータ単位
を蓄積した後、データ単位中継手段Ａ２に中継を依頼す
る。７．データ単位中継手段Ａ２は、受信したデータそのま
まあるいは一時的に保持されたデータ単位を通信手段Ａ
１に引渡し、それのネットワークＤ１への送出を依頼す
る。８．通信手段Ａ１は、データをネットワークＤ１に送出
する。

【００５６】実施例７これは、メモリ情報をデータ単位に各ノード間で巡回さ
せる場合、あるいは、記憶管理ノードから全ノード宛に
転送する場合、該メモリ情報の全データ単位に引き続い
て、その複製のデータ単位を同じ順序で巡回あるいは転
送するようにしたことである。

【００５７】図１６（ａ）は、データ単位ＤＵ０、ＤＵ
１、…、ＤＵｎに引き続いてその複製をも巡回させるこ
とを示し、同図（ｂ）は該記憶管理ノードから転送する
ことを示している。

【００５８】図１７は、データ単位の複製をも各ノード
で巡回させるケースにおける、各ノードによる共有記憶
へのアクセス法を説明するための処理フロー図である。
図１７において、ステップ８の部分を除けば図４と同じ
である。以下では、図２におけるノード１１１に接続さ
れたネットワークアクセス制御部２１１の動作につい
て、図４と異なる部分（ステップ８）について説明す
る。

【００５９】８−０；メモリアクセス制御手段５１１
は、受信データ単位のアクセス制御域の書込み済フラグ
の値を調べる。書込み済フラグの値がオフならば、ステ
ップ８−３へ行く。８−１；書込み済フラグの値がオンならば、メモリアク
セス制御手段５１１は、複製を含め同一アドレスの全デ
ータ単位への書込みを完了したことになり、当該書込み
要求を廃棄する。８−２；当該データ単位の書込み済フラグの値をオフと
し、データ単位中継手段４１１にデータ単位の中継を依
頼し、ステップ９へ行く。８−３；書込み済フラグの値がオフならば、メモリアク
セス制御手段５１１は、受信したデータ単位のデータ域
の内容を、書込みデータで置き換える。８−４；メモリアクセス制御手段５１１は、当該書込み
要求に関する最初の書込みであるか調べ、そうでなけれ
ば、データ単位中継手段４１１にデータ単位の中継を依
頼し、ステップ９へ行く。８−５；最初の書込みであれば、メモリアクセス制御手
段５１１は、当該データ単位の書込み済フラグをオンと
した後、データ単位中継手段４１１に中継を依頼し、ス
テップ９へ行く。

【００６０】なお、図５の構成で、記憶管理ノード６が
データ単位の複製を転送するケースにおいては、各ノー
ドのネットワークアクセス制御部の動作は図７の場合と
同様である。

【００６１】実施例８これは、図２や図５の構成において、各ノードに接続さ
れたネットワークアクセス制御部内にアクセス方式制御
手段を設けて、値を読出した後指定値を加算して書込む
こと（置換え加算）等の複合アクセスや、単一のメモリ
アドレスで複数のデータ単位を指定可能なグループアド
レス指定や、データ単位の内容の全部あるいは一部が一
致するデータ単位を指定する内容指定等の、所望のアク
セス方式に応じてデータの読出し及び書込みを行うよう
にしたことである。

【００６２】図１８（ａ）は、図２の場合について、ア
クセス方式制御手段Ｂ４１を有するネットワークアクセ
ス制御部２４１を介してノード１４１がネットワークＤ
１に接続されていることを示し、同図（ｂ）は、図５の
場合について、アクセス方式制御手段Ｂ４２を有するネ
ットワークアクセス制御部２４２を介してノード１４２
がネットワークＤ２に接続されていることを示してい
る。

【００６３】図１９（ａ）は、図１８（ａ）のネットワ
ークアクセス制御部２４１のように、各ノード間でメモ
リ情報を巡回させるケースについて、アクセス方式制御
手段を設けたネットワークアクセス制御部による共有記
憶へのアクセス法を示した処理フローの一部であり、図
４と異なる部分を中心に抽出したものである。また、図
１９（ｂ）は、図１８（ｂ）のネットワークアクセス制
御部２４２のように、記憶管理ノードから全ノード宛に
メモリ情報を転送するケースについて、アクセス方式制
御手段を設けたネットワークアクセス制御部による共有
記憶へのアクセス法を示した処理フローの一部であり、
同様に図７と異なる部分を中心に抽出したものである。
いずれの場合も、アクセス制御手段は、読出しの後に同
一データ単位に対し書込みを行ったり、指定アドレスの
代わりに指定アクセス方式（たとえば、内容一致等）に
よりアクセス対象のデータ単位を識別したりする。

【００６４】実施例９これは、図２や図５の構成において、ネットワークアク
セス制御部内に内容変化監視手段を設け、ノード内のメ
モリアクセス要求元から指定されたアドレスのデータ単
位の内容を一時的に保持すると共に、当該アドレスのデ
ータ単位の到着ごとに前記保持データ単位の内容と到着
データ単位の内容とで、アクセス要求元の指定に基づき
その一部あるいは全部を比較し、不一致であった場合に
メモリアクセス要求元に通知するようにしたことであ
る。

【００６５】図２０（ａ）は、図２の場合について、内
容変化監視手段Ｃ５１を有するネットワークアクセス制
御部２５１を介してノード１５１がネットワークＤ１に
接続されていることを示し、同図（ｂ）は、図５の場合
について、内容変化監視手段Ｃ５２を有するネットワー
クアクセス制御部２５２を介してノード１５２がネット
ワークＤ２に接続されていることを示している。

【００６６】図２１は、図２０（ａ）及び（ｂ）におけ
る内容変化監視手段Ｃ５１、Ｃ５２の動作を説明するた
めの処理フロー図である。。以下では図２０（ａ）にお
ける内容変化監視手段Ｃ５１の動作を説明する。なお、
図２０（ｂ）の内容変化監視手段Ｃ５２の動作も同じで
ある。

【００６７】１．内容変化監視手段Ｃ５１は、通信手段
３５１、データ単位中継手段４５１を介してネットワー
クＤ１からの受信データ（データ単位）を取得する。２．取得したデータがメモリ情報かどうか判定し、メモ
リ情報でなければそれを廃棄する。３．メモリ情報であれば、内容変化監視を指定されてい
るアドレスかどうか調べ、指定アドレスでなければ該デ
ータ単位を廃棄する。４．指定アドレスであれば、既にそのアドレスのデータ
を保持しているかどうか調べる。５．保持していなければ、そのデータを新規に保持す
る。６．既に保持していれば、当該保持データと受信データ
とが一致するか調べ、一致すれば何もしない。７．保持データと受信データとが一致しなければ、ノー
ド内の内容変化監視要求元に対し、その旨を通知する。

【００６８】以上、本発明の各実施例について説明した
が、メモリ情報のデータ単位の転送には、図２２に示す
ように、ネットワークの伝送方式や通信プルトコルに応
じ、特定のタイムスロット（１スロットあるいは複数ス
ロット）を割り当てる（同図（ａ）の例）、非同期転送
モード（ＡＴＭ）通信におけるセルを使用する（同図
（ｂ）の例）、ハイレベルデータリンク制御（ＨＤＬ
Ｃ）手順等におけるフレームを使用する（同図（ｃ）の
例）、等の方法が可能である。また、１スロットあるい
は１セルあるいは１フレームにより、複数のデータ単位
を転送することも可能である。

【００６９】

【発明の効果】請求項１および２の発明では、メモリ情
報をネットワーク内で周期的に転送し、各ノードがその
全データを周期的に参照可能としたため、各ノードにお
ける従来のメモリアクセス方法をほとんど変更すること
なく、ノード間の共有記憶が低コストで容易に実現可能
となる。また、ノード間共有資源に対する排他制御ある
いはアクセス競合制御を行う場合、ノード数が多い場合
にも、各ノードにおけるノード通信のための通信処理オ
ーバヘッドを低減するとともに、各ノードからの共有メ
モリへのアクセス時間を短縮することが可能となる。

【００７０】請求項３の発明では、データ単位を各ノー
ドで巡回させる場合に、巡回中のデータ単位を一時蓄積
ノードにおいて一時保持した後中継送出することによ
り、ネットワークの帯域等に応じて総メモリ情報量を任
意に調整することが可能となる。

【００７１】請求項４の発明では、データ単位を各ノー
ドで巡回させる場合に、巡回中の各データ単位の伝送誤
りを誤り訂正ノードにより訂正し中継するため、巡回中
のメモリ情報の信頼性が保証できる。

【００７２】請求項５の発明では、バックアップノード
で全アドレス対応のデータ単位の複製を保持しておくこ
とにより、ネットワークあるいは記憶管理ノードの障害
等によりデータ単位の一部あるいは全部が失なわれて
も、該保持されているデータ単位の複製を用いて復旧す
ることが可能になる。

【００７３】請求項６の発明では、トラヒック管理ノー
ドにおいて、巡回中のデータ単位の中継送出契機をネッ
トワークの負荷状態に応じて変更することが可能とな
る。

【００７４】請求項７の発明では、全データ単位あるい
は特定のデータ単位の複製を同じ順序で周期的に巡回あ
るいは記憶管理ノードから転送することにより、ノード
側のメモリアクセス要求の待ち時間の短縮が可能とな
る。

【００７５】請求項８の発明では、アクセス制御手段に
より、値を読出した後指定値を加算して書込むこと（置
換え加算）等の複合アクセスや、単一のメモリアドレス
での複数のデータ値を指定可能なグループアドレス指定
や、データ単位の内容の全部あるいは一部が一致するデ
ータ単位を指定する内容指定等、所望のアクセス方式に
応じ、データの読出し及び書込みを行うことが可能とな
る。

【００７６】請求項９の発明では、内容変化監視手段に
より、受信したデータ単位の内容を監視し、メモリアク
セス要求元から指定されたアドレスのデータ単位の内容
が変化していた場合、それをメモリアクセス要求元に通
知するため、メモリアクセス要求元では、当該データ単
位が他ノードで書替えられたような場合、それを迅速に
認知することが可能になる。

【図面の簡単な説明】

【図１】メモリの概念図及びメモリ情報の構成単位（デ
ータ単位）の形式例を示す図である。

【図２】本発明の一つの実施例に係る分散システムの構
成図である。

【図３】図２の構成において、メモリ情報がデータ単位
で各ノード間で巡回する様子を示す図である。

【図４】図２における各ノードのネットワークアクセス
制御部の処理フロー図である。

【図５】本発明の他の実施例に係る分散システムの構成
図である。

【図６】図５の構成において、メモリ情報がデータ単位
で記憶管理ノードから全ノード宛に転送される様子を示
す図である。

【図７】図５における各ノードのネットワークアクセス
制御部の処理フロー図である。

【図８】図２において一時蓄積ノードを設けた場合の構
成例を示す図である。

【図９】図８の一時蓄積ノードの処理フロー図である。

【図１０】図２において誤り訂正ノードを設けた場合の
構成例を示す図である。

【図１１】図１０の誤り訂正ノードの処理フロー図であ
る。

【図１２】図２及び図５においてそれぞれバックアップ
ノードを設けた場合の構成例を示す図である。

【図１３】図１２の各バックアップノードの処理フロー
図である。

【図１４】図２においてトラヒック管理ノードを設けた
場合の構成例を示す図である。

【図１５】図１４のトラヒック管理ノードの処理フロー
図である。

【図１６】データ単位の巡回あるいは転送に続けてその
複製を巡回あるいは転送する様子を示す図である。

【図１７】データ単位の複製を各ノード間で巡回させる
場合の各ノードのネットワークアクセス制御部での処理
フロー図である。

【図１８】図２および図５においてアクセス方式制御手
段を設けたネットワークアクセス制御部の構成例を示す
図である。

【図１９】アクセス方式制御手段を設けたネットワーク
アクセス制御部の処理フロー図である。

【図２０】図２および図５において内容変化監視手段を
設けたネットワークアクセス制御部の構成例を示す図で
ある。

【図２１】内容変化監視手段を設けたネットワークアク
セス制御部の処理フロー図である。

【図２２】メモリ情報の転送形式の一例を示す図であ
る。

【図２３】従来の分散共有メモリの一例を説明するため
の分散システムの構成図である。

【符号の説明】

１１１、１１２、１１３、１１４、１２１、１２２、１
２３、１２４ノード２１１、２１２、２１３、２１４、２２１、２２２、２
２３、２２４ネットワークアクセス制御部３１１、３１２、３１３、３１４、３２１、３２２、３
２３、３２４通信手段４１１、４１２、４１３、４１４データ単位中継手段５１１、５１２、５１３、５１４、５２１、５２２、５
２３、５２４メモリアクセス制御手段６記憶管理ノード７一時蓄積ノード８誤り訂正ノード９１、９２バックアップノードＡトラヒック管理ノードＡ４巡回データ単位制御手段Ｂ４１、Ｂ４２アクセス方式制御手段Ｃ５１、Ｃ５２内容変化監視手段Ｄ１、Ｄ２ネットワークＤＵ０、ＤＵ１、ＤＵ２、ＤＵ３、ＤＵｎデータ単位

Claims

【特許請求の範囲】

【請求項１】複数のノードがそれぞれネットワークに
接続され、各ノード間でネットワークを介して通信を行
う分散システムにおけるネットワーク利用共有記憶方法
であって、アドレス付けされたデータの集合よりなるメモリ情報
を、各アドレス対応のデータを単位（以下、データ単位
と称す）として、所定の順序で各ノード間を巡回せしめ
ると共に、各ノード側では、当該ノード内からのメモリアクセス要
求に基づき、前記ネットワークから受信するデータ単位
の中から前記要求のあったデータ単位を識別して、読出
し要求では該当データ単位をアクセス要求元へ転送し、
書込み要求では該当データ単位の内容を書替えて中継す
る、ことを特徴とする分散システムのネットワーク利用
共有記憶方法。
【請求項２】複数のノードがそれぞれネットワークに
接続され、各ノード間でネットワークを介して通信を行
う分散システムにおけるネットワーク利用共有記憶方法
であって、前記ネットワーク中に記憶管理ノードを設け、該記憶管
理ノードより前記ネットワークを介して全ノード宛に、
アドレス付けされたデータの集合よりなるメモリ情報
を、各アドレス対応のデータ単位（データ単位）として
所定の順序で転送せしめると共に、各ノード側では、当該ノード内からのメモリアクセス要
求に基づき、前記ネットワークから受信するデータ単位
の中から前記要求のあったデータ単位を識別して、読出
し要求では該当データ単位をアクセス要求元へ転送し、
書込み要求では該当データ単位の内容を書替えて前記記
憶管理ノードへ転送する、ことを特徴とする分散システ
ムのネットワーク利用共有記憶方法。
【請求項３】請求項１に記載の分散システムのネット
ワーク利用共有記憶方法において、ネットワーク中に一
時蓄積ノードを設け、各ノード間で巡回するデータ単位
を前記一時蓄積ノードにより一時的に保持した後に中継
送出することを特徴とする分散システムのネットワーク
利用共有記憶方法。
【請求項４】請求項１に記載の分散システムのネット
ワーク利用共有記憶方法において、ネットワーク中に誤
り訂正ノードを設け、各ノードを巡回するデータ単位の
伝送誤りを前記誤り訂正ノードにより訂正して中継送出
することを特徴とする分散システムのネットワーク利用
共有記憶方法。
【請求項５】請求項１もしくは２に記載の分散システ
ムのネットワーク利用共有記憶方法において、ネットワ
ーク中に、データ単位蓄積手段とデータ単位復旧手段と
を有するバックアップノードを設け、ネットワーク内を
転送される全アドレス対応のデータ単位の複製を前記デ
ータ単位蓄積手段により保持し、障害の発生により前記
データ単位の一部あるいは全部が失われた時に、前記保
持されているデータ単位の複製を用いて前記データ単位
復旧手段により該当データ単位を復旧することを特徴と
する、分散システムのネットワーク利用共有記憶方法。
【請求項６】請求項１に記載の分散システムのネット
ワーク利用共有記憶方法において、ネットワーク中に、データ単位蓄積手段、前記ネットワ
ークのトラヒック監視手段及び巡回データ単位制御手段
を有するトラヒック管理ノードを設けて、前記トラヒック管理ノードにおいて、前記トラヒック監
視手段により測定される前記ネットワークの負荷状態に
応じ、前記巡回データ単位制御手段により、必要に応じ
前記データ単位一時蓄積手段を用いて前記データ単位を
一時的に保持することにより、巡回中のデータ単位の中
継送出契機を変更することを特徴とする分散システムの
ネットワーク利用共有記憶方法。
【請求項７】請求項１もしくは２に記載の分散システ
ムのネットワーク利用共有記憶方法において、前記メモ
リ情報の全データ単位に引き続き、それら全データ単位
あるいは特定のデータ単位の複製を同じ順序で周期的に
巡回あるいは前記記憶管理ノードから転送することを特
徴とする分散システムのネットワーク利用共有記憶方
法。
【請求項８】請求項１もしくは２に記載の分散システ
ムのネットワーク利用共有記憶方法において、ノード側
にアクセス式制御手段を設け、複合アクセスやグループ
アドレス指定や内容指定等の、アクセス方式に応じてデ
ータ単位の読出し及び書込みを行うことを特徴とする分
散システムのネットワーク利用共有記憶方法。
【請求項９】請求項１もしくは２に記載の分散システ
ムのネットワーク利用共有記憶方法において、ノード側
に内容変化監視手段を設け、当該ノード内のメモリアク
セス要求元から指定されたアドレスのデータ単位の内容
を一時的に保持すると共に、当該アドレスのデータ単位
の到着ごとに前記保持してあるデータ単位の内容と到着
したデータ単位の内容とで、前記アクセス要求元の指定
に基づきその一部あるいは全部を比較し、不一致であっ
た場合に前記メモリアクセス要求元に通知することを特
徴とする分散システムのネットワーク利用共有記憶方
法。