JPH11134206A

JPH11134206A - 分散共有リソース管理方法ならびに並列処理環境提供システム、及び同方法がプログラムされ記録される記録媒体

Info

Publication number: JPH11134206A
Application number: JP9298064A
Authority: JP
Inventors: Hideaki Hirayama; 秀昭平山; Kuninori Tanaka; 邦典田中; Tetsuya Iinuma; 哲也飯沼; Toshio Shirokibara; 敏雄白木原
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1997-10-30
Filing date: 1997-10-30
Publication date: 1999-05-21

Abstract

(57)【要約】【課題】本発明は、従来は高価な分散共有メモリ型マ
ルチプロセッサ計算機やＭＰＰ計算機でしか実行できな
かった、大規模のＤＷ／ＤＭの処理を、Ｗｉｎｄｏｗｓ
パソコン等の安価な計算機を多数接続した分散システム
上で、容易にかつ高速に実行でき、かつ、分散共有リソ
ースの概念をミドルウェアレベルで実現することを主な
課題とする。【解決手段】本発明は、分散共有型のファィルマッ
プ、セマフォ、プロセス生成、終了の各機能を持つ分散
共有型のリソースを提供するシステムであって、他ノー
ド０（１，２，３）からのセマフォ獲得要求が規定数以
上蓄積されたら、ファイルマップ１７（１８，１９，２
０）上で行なわれたデータ更新を他ノードに反映させ、
データ更新の反映が終了したら保持し続けたセマフォを
解放する一貫性保持プロトコルを持つ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、分散システム上で
実行する、データウェアハウス／データマイニングの処
理に適用される、分散共有リソース管理方法ならびに並
列処理環境提供システム、及び同方法がプログラムされ
記録される記録媒体に関する。

【０００２】

【従来の技術】近年の情報処理システムにおいて、ＳＭ
Ｐ（Symmetric Multi-Processor ）、ＭＰＰ（Massiv
ely Parallel Processor ）は高性能化のための技術
として定着してきた。単一のプロセッサ用に開発された
プログラムを並列化するのは自然な拡張であり、また、
ＳＭＰ、ＭＰＰの普及に伴いプログラマがそれ用の並列
化作業に慣れ、それを受け入れやすい状況にある。

【０００３】ところで、ＳＭＰは、バスのデータ転送能
力のその拡張性に限界があり、一般的に数台から数十台
のプロセッサ数が限界と言われている。その一方で分散
メモリ型マルチプロセッサは、数百台を超すプロセッサ
の接続も可能である。しかし、分散メモリ型マルチプロ
セッサは、共有メモリを持たず、プログラマの視点から
すると、単一プロセッサあるいはＳＭＰとの間にギャッ
プがあり、プログラム開発が容易ではない。

【０００４】この単一プロセッサあるいはＳＭＰと、分
散メモリ型マルチプロセッサ間のギャップを埋めるもの
として、分散共有メモリ型マルチプロセッサがある。分
散共有メモリ型マルチプロセッサでは、プロセッサある
いはノード毎にメモリを持つが、アクセス時間の差はあ
るものの、自ノードのメモリのみならず、他ノードのメ
モリへのアクセスも可能にし、ＳＭＰの自然な拡張とし
てプロセッサの接続台数を大幅に増やしている。

【０００５】現在のビジネス分野で、最も高い性能を必
要とするアプリケーションとして、データウェアハウス
（ＤＷ）とデータマイニング（ＤＭ）がある。これらの
アプリケーションには、以下に列挙する（１）〜（４）
の特徴がある。

【０００６】（１）小規模から超大規模まで幅広い要求
がある。

【０００７】（２）多プロセスを必要とする高い並列性
を持つ。

【０００８】（３）６４ビットアドレス空間を期待する
大容量データを扱う。

【０００９】（４）データの参照は多いが、更新は少な
い特に大規模なＤＷ／ＤＭを処理する場合には、上述し
た高価な分散共有メモリ型ノルチプロセッサ計算機やＭ
ＰＰ計算機を利用していた。

【００１０】

【発明が解決しようとする課題】大規模なＤＷ／ＤＭを
処理する場合に利用される分散共有型マルチプロセッサ
計算機やＭＰＰ計算機は非常に高価であり、Ｗｉｎｄｏ
ｗｓ等のパソコンとの価格差は極めて大きい。即ち、大
規模なＤＷ／ＤＭを処理するためには、多大な費用がか
かるという問題があった。また、ＭＰＰ計算機は、共有
メモリを持たないため、ＤＷ／ＤＭのプログラム開発が
困難であるという問題があった。

【００１１】本発明は上記事情に鑑みてなされたもので
あり、分散共有型のファィルマップ、セマフォ、プロセ
ス生成／終了の各機能を持つ分散共有型のリソースを提
供するシステムを実現することにより、従来は高価な分
散共有メモリ型マルチプロセッサ計算機やＭＰＰ計算機
でしか実行できなかった、大規模のＤＷ／ＤＭの処理
を、Ｗｉｎｄｏｗｓパソコン等の安価な計算機を多数接
続した分散システム上で、容易にかつ高速に実行するこ
とが可能な、分散共有リソースの概念をミドルウェアレ
ベルで実現する、分散共有リソース管理方法ならびに並
列処理環境提供システム、及び同方法がプログラムされ
記録される記録媒体を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明の分散共有リソー
ス管理方法は、複数のノードから構成される分散システ
ムで、任意のノード上のプロセスが、任意ノード上のフ
ァイルを、自身のアドレス空間にマップしてプロセッサ
のロード／ストア命令によってアクセスし、任意のノー
ド上のプロセスによるリソースへのアクセスを排他制御
するとともに、任意ノード上のプロセスが、任意のノー
ド上に新たなプロセスを生成、もしくは任意ノード上で
実行中のプロセスを終了させることのできる分散共有型
のリソースを提供し、異なるノード上のプロセスが同一
のファイルを各々のプロセスのアドレス空間にマップし
て並列更新する場合に、プロセスが分散共有型のセマフ
ォを獲得し、セマフォを獲得できたら分散共有型のファ
イルマップ上のデータを更新し、ファイルマップのデー
タの更新が済んでも獲得していたセマフォを、そのノー
ドで保持し続け、他ノードからそのセマフォの獲得要求
を既定数以上受けたら、ファイルマップ上の更新データ
を他ノードに反映させ、更新データの反映が完了した
ら、保持し続けていたセマフォを解放することを特徴と
する。

【００１３】また、異なるノード上のプロセスが、同一
のファイルを各々のプロセスのアドレス空間にマップし
て、並列更新する場合に、ファイルマップ上の更新デー
タを他ノードに反映させて、そのノードで保持している
ノードセマフォのうち、そのノードセマフォに対応して
いるプロセスセマフォが獲得されていないものを全て解
放する処理の前に、事前に更新データを含むページのリ
ストを作成し、既定時間経過するまでの間、更に更新さ
れたページは前記リストから削除し、既定時間経過後に
前記リストに残ったページ上の更新データを、通常処理
と並行して他ノードに反映させておくことによりセマフ
ォ解放時に他ノードに反映する必要のある更新データを
減らしておき、その後、ノードセマフォを解放する前に
ファイルマップ上の残りの更新データを他ノードに反映
させて、そのノードで保持しているノードセマフォのう
ち、そのノードセマフォに対応しているプロセスセマフ
ォが獲得されていないものを全て解放することも特徴と
する。

【００１４】本発明の並列処理環境提供システムは、複
数のノードから構成される分散システムで、任意のノー
ド上のプロセスが、任意ノード上のファイルを、自身の
アドレス空間にマップしてプロセッサのロード／ストア
命令によってアクセスし、任意のノード上のプロセスに
よるリソースへのアクセスを排他制御するとともに、任
意ノード上のプロセスが、任意のノード上に新たなプロ
セスを生成、もしくは任意ノード上で実行中のプロセス
を終了させることのできる分散共有型のリソースを提供
し、異なるノード上のプロセスが、同一のファイルを各
々のプロセスのアドレス空間にマップして並列更新する
場合に、プロセスがリソースにアクセスするのを排他制
御するプロセスセマフォと、プロセスセマフォと１対１
に対応し、プロセスセマフォを保持しているノードを示
すノードセマフォを持つことを特徴とする。

【００１５】本発明の記録媒体は、コンピュータ読み取
り可能であって、その記録媒体は、複数のノードから構
成される分散システムで、任意のノード上のプロセス
が、任意ノード上のファイルを、自身のアドレス空間に
マップしてプロセッサのロード／ストア命令によってア
クセスし、任意のノード上のプロセスによるリソースへ
のアクセスを排他制御するとともに、任意ノード上のプ
ロセスが、任意のノード上に新たなプロセスを生成、も
しくは任意ノード上で実行中のプロセスを終了させるこ
とのできる分散共有型のリソースを提供し、プロセスが
各リソースに対しアクセスするのを排他制御するための
プロセスセマフォと、プロセスセマフォと１対１に対応
し、プロセスセマフォを保持しているノードを示すノー
ドセマフォを持ち、プロセスセマフォの獲得を要求する
ステップと、獲得要求されたプロセスセマフォに対応す
るノードセマフォがそのノード上に保持されているか否
か調べるステップと、保持されている場合、そのプロセ
スセマフォを獲得し、保持していない場合、他ノードに
対してノードセマフォの獲得を要求するステップと、そ
のノードセマフォの獲得を待ち、ノードセマフォが獲得
されたら、そのプロセスセマフォが他のプロセスに獲得
されているか否かを調べるステップと、そのプロセスセ
マフォが他のプロセスに獲得されていれば、それが解放
されるのを待ち、そのプロセスセマフォが他の他のプロ
セスから解放されたときにそのプロセスセマフォを獲得
するステップとがプログラムされ記録される。

【００１６】また、データＡを保護するプロセスセマフ
ォＡを獲得してデータＡを更新するステップと、プロセ
スセマフォＡを解放してデータＢを保護するプロセスセ
マフォＢを獲得してデータＢを更新し、プロセスセマフ
ォＢを解放するステップと、プロセスセマフォＡ，Ｂに
対応するノードセマフォＡ，Ｂを解放するために更新さ
れたデータＡ，Ｂを他ノードに反映させ、ノードセマフ
ォＡ，Ｂを解放するステップとがプログラムされ記録さ
れることも特徴とする。

【００１７】このことにより、従来は高価な分散共有メ
モリ型マルチプロセッサ計算機やＭＰＰ計算機でしか実
行できなかった、大規模のＤＷ／ＤＭの処理を、例え
ば、Ｗｉｎｄｏｗｓ等の安価な計算機を多数接続した分
散システム上で、容易にかつ高速に実行できるようにな
る。

【００１８】

【発明の実施の形態】図１は本発明の実施形態を示すブ
ロック図である。

【００１９】図において、０、１、２、３は計算機のノ
ードであり、各ノードにはディスク装置５、６、７、８
が接続され、各ディスク装置５，６，７，８の中には
９、１０、１１、１２で示す、それぞれファイルＦ０
（９）, Ｆ１（１０）, Ｆ２（１１）, Ｆ３（１２）が
存在する。また、ノード０、１、２、３内には、１３、
１４、１５、１６で示すプロセスのアドレス空間が存在
し、各アドレス空間には１７、１８、１９、２０で示す
ファイルマップが存在し、各々がファイルＦ０，Ｆ１，
Ｆ２，Ｆ３をマップしている。

【００２０】図１に示す分散共有型のファイルマップ１
７，１８，１９では、複数のノード０，１，２，３上の
プロセスが、複数のノード０，１，２，３のディスク装
置５，６，７，８上に存在するファイル９，１０，１
１，１２を、自分のアドレス空間内にマップし、プロセ
ッサのロード／ストア命令等でアクセスし、並列に更新
する。

【００２１】即ち、本発明で提供されるシステムは、分
散システムの異なるノード上のプロセスが、任意のノー
ドのディスク内に存在するファイルを、自身のアドレス
空間にマップして並列に更新する機能を提供するもので
ある。一見すれば、米国サンマイクロシステムズ社が提
供するＮＦＳ（ＮｅｔｗｏｒｋＦｉｌｅＳｙｓｔｅ
ｍ）が持つ機能を用いれば同じことが実現できるように
思えるが実際にはそうではない。ＮＦＳを用いた場合、
異なるノード上のプロセスが同一のファイルを各々のア
ドレス空間にマップして並列に更新した場合、データの
一貫性が保持されない。これに対し本発明のシステムで
はデータの一貫性を保持できるていう点でＮＦＳとは明
らかに異なる。以下、その特徴を詳述する。

【００２２】分散共有型のファイルマップ１７，１８，
１９，２０では、ファイルマップ１７，１８，１９，２
０上のデータを、複数のノード０，１，２，３上のプロ
セスが並列に更新するため、ファイルマップ１７，１
８，１９，２０上のデータの一貫性を保持するためのプ
ロトコルが必要となる。

【００２３】本発明の実施形態では、以下のプロトコル
に従うことにより、ファイルマップ１７，１８，１９，
２０上のデータを、複数のノード０，１，２，３上のプ
ロセスが並列に更新することを、可能にしている。

【００２４】（１）プロセスセマフォを獲得する、
（２）ファイルマップ上のデータを更新する、（３）プ
ロセスセマフォを解放する、本発明の実施形態では、プ
ロセスが各リソース（ファイルマップ上のデータ）に対
しアクセスするのを排他制御するためのセマフォを一対
のプロセスセマフォとノードセマフォによって実現す
る。プロセスセマフォは、プロセスがアクセスするリソ
ースを保証するためのセマフォで、ノードセマフォは、
それと対をなすプロセスセマフォを保持しているノード
を管理するためのセマフォである。

【００２５】図６は上述したプロセスセマフォとノード
セマフォの関係を示す図であり、リソースＡを保護する
ためのプロセスセマフォはＰＳ−Ａで、ＰＳ−Ａに対応
するノードセマフォはＮＳ−Ａである。同様に、リソー
スＢを保護するためのプロセスセマフォはＰＳ−Ｂで、
ＰＳ−Ｂに対応するノードセマフォはＮＳ−Ｂであり、
リソースＣを保護するためのプロセスセマフォはＰＳ−
Ｃで、ＰＳ−Ｃに対応するノードセマフォはＮＳ−Ｃで
ある。

【００２６】プロセスが、あるリソースにアクセスする
ためには、そのリソースを保護するプロセスセマフォの
獲得を要求する。プロセスがプロセスセマフォの獲得要
求を行った場合には、以下に列挙する手順に基づきプロ
セスセマフォの獲得が行われる。

【００２７】（１）そのプロセスセマフォに対応したノ
ードセマフォが、そのノードに保持されていて、かつ、
そのプロセスセマフォが他のプロセスに獲得されていな
ければ、そのプロセスはそのプロセスセマフォを獲得す
る。

【００２８】（２）そのプロセスセマフォに対応したノ
ードセマフォが、そのノードに保持されていなければ、
他ノードにそのノードセマフォの獲得要求を出し、その
ノードセマフォが獲得できたら、そのプロセスはそのプ
ロセスセマフォを獲得する。

【００２９】図２は上記（２）の場合の処理の様子をタ
イムテーブル上で示した図である。

【００３０】時刻ｔ１において、ノード０上のプロセス
０が、リソースＡにアクセスするために、リソースＡを
保護しているプロセスセマフォＰＳ−Ａの獲得を要求し
ている。この時、ノード０は、プロセスセマフォＰＳ−
Ａに対応するノードセマフォＮＳ−Ａを保持していない
ので、他ノードにノードセマフォＮＳ−Ａの獲得を要求
する。

【００３１】時刻ｔ２において、ノードセマフォＮＳ−
Ａが他ノードから獲得され、それによりプロセス０は、
プロセスセマフォＰＳ−Ａを獲得できるようになる。プ
ロセスセマフォＰＳ−Ａを獲得したことにより、プロセ
ス０はプロセスセマフォＰＳ−Ａにより保護されている
リソースＡにアクセスできるようになる。

【００３２】時刻ｔ３において、プロセス０はリソース
Ａのアクセスを終え、プロセスセマフォＰＳ−Ａを解放
するが、それに対応するノードセマフォＮＳ−Ａは、そ
のままノード０上で保持し続けられる。

【００３３】図３は上記（１）の場合の処理の様子をタ
イムテーブル上で示した図である。

【００３４】時刻ｔ１において、ノード０上のプロセス
０が、リソースＡにアクセスするために、リソースＡを
保護しているプロセスセマフォＰＳ−Ａの獲得を要求し
ている。この時ノード０は、プロセスセマフォＰＳ−Ａ
に対応するノードセマフォＮＳ−Ａを保持している。し
かもプロセスセマフォＰＳ−Ａは、他のプロセスによっ
て獲得されていない。従って、プロセス０は、すぐにプ
ロセスセマフォＰＳ−Ａを獲得する。

【００３５】時刻ｔ２において、プロセス０はリソース
Ａのアクセスを終え、プロセスセマフォＰＳ−Ａを解放
するが、それに対応するノードセマフォＮＳ−Ａは、ノ
ード０上で保持し続けられる。

【００３６】図４はプロセスセマフォを獲得する際の処
理の流れを示す図である。図中、４１はプロセスセマフ
ォの獲得を要求するステップである。ステップ４２では
獲得要求されたプロセスセマフォに対応するノードセマ
フォが、そのノード上に保持されているか否かを検査し
ている。ここで、もしそのノードセマフォが保持されて
いる場合には、ステップ４５でプロセスセマフォを即時
に獲得する。しかしそのノードセマフォが保持されてい
ない場合は、ステップ４３で他ノードにノードセマフォ
の獲得を要求し、ステップ４４でノードセマフォが獲得
されるのを待つ。

【００３７】ノードセマフォが獲得されたら、ステップ
４５で、そのプロセスセマフォが、他のプロセスに獲得
されているか否かを調べる。もし、そのプロセスセマフ
ォが、他のプロセスに獲得されているのであれば、それ
が解放されるのを待ち、そのプロセスセマフォが他のプ
ロセスに獲得されていなくなったら、ステッブ４６で、
そのプロセスセマフォを獲得する。

【００３８】分散共有型のファイルマップでは、プロセ
スのアドレス空間にファイルをマップする。この際、更
新データを含むページを監視するために、一旦全てのペ
ージを書き込み禁止状態でマップする。そして本来書き
込み可能なページに対して書き込みが行われた場合、そ
れに伴って発生するページフォールトの処理ルーチン
で、そのページが更新されたことを記録し、更新前の状
態でのページのコピーを保存し、そのページを書き込み
可能状態でマップし直す。

【００３９】更新データを他ノードに反映する場合に
は、更新が記録されたページのみ、保存しておいた更新
前の状態でのページのコピーと、現在の状態でのページ
を比較し、異なっている部分のみを、他ノードに反映さ
せ、再びそのページを書き込み禁止状態にする。更新デ
ータを他ノードに反映させ、ノードセマフォを解放する
ための条件は、本発明の実施形態に従えば以下の何れか
が成立した場合となっている。

【００４０】（１）他ノードからのノードセマフォ獲得
要求が既定数以上溜まった。

【００４１】（２）ノードセマフォ獲得要求を行ったプ
ロセスを待たせると、そのプロセス（ノードセマフォ獲
得要求を行ったプロセス）を実行しているノード上の実
行可能プロセスの数が、そのノードに存在するプロセッ
サの数より少なくなる。

【００４２】（３）他ノードからのノードセマフォ獲得
要求があってから、既定時間を経過した。

【００４３】（４）そのノード（ノードセマフォ獲得要
求を出されたノード）で、実行可能なプロセスが無くな
った。

【００４４】図７にノードセマフォを解放する際の手順
を示す。

【００４５】ＰＳ−Ａ，ＰＳ−Ｂは、データＡ，Ｂを保
護するためのプロセスセマフォである。ＮＳ−Ａ，ＮＳ
−Ｂは、プロセスセマフォＰＳ−Ａ，ＰＳ−Ｂに対応し
たノードセマフォである。

【００４６】図７ではデータＡ，Ｂを更新した後、それ
を保護するプロセスセマフォに対応するノードセマフォ
を解放するまでの手順を示している。ステップＳ７１で
は、プロセスセマフォＰＳ−Ａを獲得している。ステッ
プＳ７２では、データＡを更新している。ステップＳ７
３では、データＡの更新を終え、プロセスセマフォＰＳ
−Ａを解放しているが、ノードセマフォＮＳ−Ａは、そ
のノードで保持されたままになっている。ステップＳ７
４では、プロセスセマフォＰＳ−Ｂを獲得している。ス
テップＳ７５では、データＢを更新している。ステップ
Ｓ７６では、データＢの更新を終え、プロセスセマフォ
ＰＳ−Ｂを解放しているが、ノードセマフォＮＳ−Ｂ
は、そのノードで保持されたままになっている。

【００４７】ステップＳ７７では、プロセスセマフォＰ
Ｓ−Ａ，ＰＳ−Ｂに対応するノードセマフォＮＳ−Ａ，
ＮＳ−Ｂを解放するために、更新されたデータＡ，Ｂを
他ノードに反映させている。ステップＳ７８では、更新
データＡ，Ｂを他ノードに反映させたので、ノードセマ
フォＮＳ−Ａ，ＮＳ−Ｂを解放している。

【００４８】図５（ａ）は、更新データを他ノードに反
映させ、ノードセマフォを解放するまでの処理の様子を
タイムテーブル上に示す図である。時刻ｔ１までの間
に、ページＡ，Ｂ，Ｃ，Ｄが更新されている。時刻ｔ１
では更新ページＡ，Ｂ，Ｃ，Ｄの更新データを他ノード
に反映させ、それが完了した時刻ｔ２において、現在こ
のノードで保持されているノードセマフォのうち、その
ノードセマフォに対応したプロセスセマフォが、どのプ
ロセスからも獲得されていないものを全て解放する。

【００４９】しかし図５（ａ）に示す手順では問題があ
る。本発明の実施形態に従えば、更新データを他ノード
に反映させ、ノードセマフォを解放するタイミングをな
るべく遅らせ、分散共有型のファイルマップ上のデータ
の一貫性保持のオーバヘッドを低減させている。しかし
ながらタイミングを遅らせている分だけ、一旦その状況
になった場合には、速やかに更新データを他ノードに反
映させ、ノードセマフォを解放したい。ところが逆に、
タイミングを遅らせている分だけ、多くの更新データが
溜り、更新データの他ノードへの反映に時間がかかって
しまう。

【００５０】そこで本発明では図５（ｂ）に示す手順で
更新データを他ノードに反映させている。図５（ｂ）で
は、更新データを他ノードに反映させるタイミングは時
刻ｔ３である。しかしこの方法では、以前に更新された
後、更新されなくなったページの更新データを、ｔ３の
タイミング以前に通常処理と並行して、他ノードに反映
してしまうことにより、セマフォ解放時に、他ノードに
反映する必要のあるページを減らしている。図５（ｂ）
では、ページＡ，Ｂは時刻ｔ１には更新されたが、その
後更新されなくなったページである。時刻ｔ１において
それまでに更新されたページのリストを作成し、その後
時刻ｔ２までの間それらのページが更に更新されないか
どうかを、検査している。もし更に更新されたページが
あれば、それらを前記のリストから外す。時刻ｔ２に達
した時点で、前記のリストに残っているページＡ，Ｂ上
の更新データを、通常処理と並行して他ノードに反映さ
せる。これにより時刻ｔ３で更新データを他ノードに反
映させるページは、Ｃ，Ｄの２つだけになっているた
め、更新データの他ノードへの反映時間が短くなり、時
刻ｔ４において、短時間で現在このノードで保持されて
いるノードセマフォのうち、そのノードセマフォに対応
したプロセスセマフォが、どのプロセスからも獲得され
ていないものを全て解放することができる。

【００５１】尚、以上説明した本発明の実施形態は、単
一のプロセッサあるいはＳＭＰを各ノードとする分散シ
ステムにおいて実現されるものである。本発明は、この
ソフトウェアによって実現される分散共有リソースの概
念をミドルウェアレベルで実現するものであり、具体的
にこのソフトウェアは、フロッピーディスク、磁気ディ
スク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の記憶媒体に記録
され、提供される。

【００５２】

【発明の効果】以上説明のように本発明は、分散共有型
のファイルマップ、セマフォ、プロセスの生成／終了の
各機能を持つ分散共有型のリソースを提供するシステム
であって、異なるノード上のプロセスが同一のファイル
を各々のプロセスのアドレス空間にマップして並列更新
する場合に、プロセスが分散共有型のセマフォを獲得
し、セマフォを獲得できたら分散共有型のファイルマッ
プ上のデータを更新し、ファイルマップ上のデータの更
新が済んでも獲得していたセマフォを、そのノードで保
持し続け、他ノードからそのセマフォの獲得要求を既定
数以上受けたら、ファイルマップ上の更新データを他ノ
ードに反映させ、更新データの反映が完了したら、保持
し続けていたセマフォを解放する手順をミドルウェアレ
ベルで実現するものであり、このことにより、従来は高
価な分散共有メモリ型マルチプロセッサ計算機やＭＰＰ
計算機でしか実行できなかった、大規模のＤＷ／ＤＭの
処理を、例えば、Ｗｉｎｄｏｗｓ等の安価な計算機を多
数接続した分散システム上で、容易にかつ高速に実行で
きるようになる。

【図面の簡単な説明】

【図１】本発明の実施形態を示すブロック図、

【図２】本発明の実施形態の動作をタイムテーブル上に
示した図、

【図３】本発明の実施形態の動作をタイムテーブル上に
示した図、

【図４】本発明の実施形態の動作手順をフローチャート
で示した図、

【図５】本発明の実施形態の動作をタイムテーブル上に
示した図、

【図６】プロセスとセマフォの関係を示す図、

【図７】本発明の実施形態の動作手順をフローチャート
で示した図、

【符号の説明】

０（１，２，３）…ノード、４…ネットワーク、５
（６，７，８）…ディスク装置、９（１０，１１，１
２）…ファイル、１３（１４，１５，１６）…プロセス
ｎのアドレス空間、１７（１８，１９，２０）…ファイ
ルマップ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者白木原敏雄神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内

Claims

【特許請求の範囲】

【請求項１】複数のノードから構成される分散システ
ムで、任意ノード上のプロセスが任意ノード上のファイ
ルを自身のアドレス空間にマップしてプロセッサのロー
ド／ストア命令によってアクセスし、任意ノード上のプ
ロセス間でリソースへのアクセスを排他制御するととも
に、任意ノード上のプロセスが任意ノード上に新たなプ
ロセスを生成、もしくは任意ノード上で実行中のプロセ
スを終了させ、上記システム全体でプロセスがファイル
マップ、セマフォを共有することにより協調処理を行う
仮想的な並列処理環境を提供することを特徴とする分散
共有リソース管理方法。
【請求項２】複数のノードから構成される分散システ
ムで、任意のノード上のプロセスが、任意ノード上のフ
ァイルを、自身のアドレス空間にマップしてプロセッサ
のロード／ストア命令によってアクセスし、任意のノー
ド上のプロセスによるリソースへのアクセスを排他制御
するとともに、任意ノード上のプロセスが、任意のノー
ド上に新たなプロセスを生成、もしくは任意ノード上で
実行中のプロセスを終了させることのできる分散共有型
のリソースを提供するシステムであって、異なるノード
上のプロセスが同一のファイルを各々のプロセスのアド
レス空間にマップして同時更新する場合に、（１）プ
ロセスが分散共有型のセマフォを獲得し、（２）セマ
フォを獲得できたら分散共有型のファイルマップ上のデ
ータを更新し、（３）ファイルマップ上のデータの更
新が済んでも獲得していたセマフォを、そのノードで保
持し続け、（４）他ノードからのそのセマフォの獲得
要求を既定数以上受けたら、ファイルマップ上の更新デ
ータを他ノードに反映させ、（５）更新データの反映
が完了したら、保持し続けていたセマフォを解放するこ
とを特徴とする分散共有リソース管理方法。
【請求項３】ファイルマップにアクセスするプロセス
の数をノード毎にカウントし、異なるノード上のプロセ
スが、同一のファイルを各々のプロセスのアドレス空間
にマップして同時更新する場合に、（１）プロセスが
セマフォを獲得し、（２）セマフォを獲得できたら分
散共有型のファイルマップ上のデータを更新し、（３）
ファイルマップの更新が済んでも獲得していたセマフ
ォを、そのノードで保持し続け、（４）他ノードから
そのセマフォの獲得要求があった場合に、セマフォの獲
得を要求したプロセスを待たせてしまうと、セマフォの
獲得を要求したプロセスが実行中のノード上で実行可能
なプロセスの数が、そのノード上に存在するプロセッサ
の数より少なくなってしまう場合には、ファイルマップ
上の更新データを他ノードに反映させ、（５）更新デ
ータの反映が完了したら、保持し続けていたセマフォを
解放することを特徴とする分散共有リソース管理方法。
【請求項４】異なるノード上のプロセスが、同一のフ
ァイルを各々のプロセスのアドレス空間にマップして、
同時更新する場合に、（１）プロセスがセマフォを獲
得し、（２）セマフォを獲得できたら分散共有型のフ
ァイルマップ上のデータを更新し、（３）ファイルマ
ップ上のデータの更新が済んでも獲得していたセマフォ
を、そのノードで保持し続け、（４）他ノードからそ
のセマフォの獲得要求があってから、既定時間以上経過
した場合には、ファイルマップ上の更新データを他ノー
ドに反映させ、（５）更新データの反映が完了した
ら、保持し続けていたセマフォを解放することを特徴と
する分散共有リソース管理方法。
【請求項５】異なるノード上のプロセスが、同一のフ
ァイルを各々のプロセスのアドレス空間にマップして、
同時更新する場合に、（１）プロセスがセマフォを獲
得し、（２）セマフォを獲得できたら分散共有型のフ
ァイルマップ上のデータを更新し、（３）ファイルマ
ップ上のデータの更新が済んでも獲得していたセマフォ
を、そのノードで保持し続け、（４）他ノードからそ
のセマフォの獲得要求があっても、セマフォの獲得を要
求したプロセスを待たせておき、セマフォを保持してい
るノード上に実行可能なプロセスが無くなった場合に、
ファイルマップ上の更新データを他ノードに反映させ、
（５）更新データの反映が完了したら、保持し続けて
いたセマフォを解放することを特徴とする分散共有リソ
ース管理方法。
【請求項６】複数のノードから構成される分散システ
ムで、任意のノード上のプロセスが、任意ノード上のフ
ァイルを、自身のアドレス空間にマップしてプロセッサ
のロード／ストア命令によってアクセスし、任意のノー
ド上のプロセスによるリソースへのアクセスを排他制御
するとともに、任意ノード上のプロセスが、任意のノー
ド上に新たなプロセスを生成、もしくは任意ノード上で
実行中のプロセスを終了させることのできる分散共有型
のリソースを提供する並列処理環境システムであって、
異なるノード上のプロセスが、同一のファイルを各々の
プロセスのアドレス空間にマップして同時更新する場合
に、プロセスが共有リソースにアクセスするのを排他制
御するためのプロセスセマフォと、プロセスセマフォと
１対１に対応し、プロセスセマフォを保持しているノー
ドを示すノードセマフォを持つことを特徴とする分散共
有リソースを用いた並列処理環境提供システム。
【請求項７】プロセスが共有リソースをアクセスする
場合に、それを保護するためのセマフォを一組のプロセ
スセマフォとノードセマフォで構成し、プロセスがプロ
セスセマフォの獲得要求を行った場合に、そのプロセス
セマフォに対応するノードセマフォが、そのノードに保
持されていて、かつ、そのノード上で他にそのプロセス
セマフォを既に獲得しているプロセスがなければ、その
プロセスはそのプロセスセマフォを獲得して共有リソー
スへのアクセスを許可され、そのプロセスセマフォに対
応したノードセマフォが、そのノードに保持されていな
ければ、他ノードにそのノードセマフォの獲得要求を出
し、そのノードセマフォが獲得できたら、そのプロセス
はそのプロセスセマフォを獲得することを特徴とする請
求項６記載の分散共有リソースを用いた並列処理環境提
供システム。
【請求項８】プロセスがプロセスセマフォの解放を行
った場合に、プロセスセマフォはそのプロセスから解放
されるが、そのプロセスセマフォに対応したノードセマ
フォは、そのノード上で保持を継続することを特徴とす
る請求項６記載の分散共有リソースを用いた並列処理環
境提供システム。
【請求項９】複数のノードから構成される分散システ
ムで、任意のノード上のプロセスが、任意ノード上のフ
ァイルを、自身のアドレス空間にマップしてプロセッサ
のロード／ストア命令によってアクセスし、任意のノー
ド上のプロセスによるリソースへのアクセスを排他制御
するとともに、任意ノード上のプロセスが、任意のノー
ド上に新たなプロセスを生成、もしくは任意ノード上で
実行中のプロセスを終了させることのできる分散共有型
のリソースを提供するシステムであって、異なるノード上のプロセスが、同一のファイルを各々の
プロセスのアドレス空間にマップして、並列更新する場
合に、ファイルマップ上の更新データを他ノードに反映
させて、そのノードで保持しているノードセマフォのう
ち、そのノードセマフォに対応しているプロセスセマフ
ォがいかなるプロセスからも獲得されていないノードセ
マフォを全て解放する処理の前に、（１）事前に更新
データを含むページのリストを作成し、（２）既定時
間の間、それらのページが更新されたか否かを監視し、
更新されたページは前記リストから削除し、（３）既
定時間経過後に前記リストに残ったページ上の更新デー
タを、通常処理と並行して他ノードに反映させておくこ
とにより、他ノードに更新データを反映する必要のある
ページを減らしておき、（４）前記ノードセマフォを
解放する場合には、ファイルマップ上の残りの更新デー
タを他ノードに反映させて、そのノードで保持している
ノードセマフォのうち、そのノードセマフォに対応して
いるプロセスセマフォがいかなるプロセスからも獲得さ
れていないものを全て解放することにより、ノードセマ
フォの解放時間を短縮することを特徴とする分散共有リ
ソース管理方法。
【請求項１０】複数のノードから構成される分散シス
テムで、任意のノード上のプロセスが、任意ノード上の
ファイルを、自身のアドレス空間にマップしてプロセッ
サのロード／ストア命令によってアクセスし、任意のノ
ード上のプロセスによるリソースへのアクセスを排他制
御するとともに、任意ノード上のプロセスが、任意のノ
ード上に新たなプロセスを生成、もしくは任意ノード上
で実行中のプロセスを終了させることのできる分散共有
型のリソースを提供し、プロセスが各リソースに対しア
クセスするのを排他制御するためのプロセスセマフォ
と、プロセスセマフォと１対１に対応し、プロセスセマ
フォを保持しているノードを示すノードセマフォを持
ち、プロセスセマフォの獲得を要求するステップと、獲
得要求されたプロセスセマフォに対応するノードセマフ
ォがそのノード上に保持されているか否か調べるステッ
プと、保持されている場合には、そのプロセスセマフォ
を獲得し、保持していない場合には、他ノードに対して
ノードセマフォの獲得を要求するステップと、そのノー
ドセマフォの獲得を待ち、ノードセマフォが獲得された
ら、そのプロセスセマフォが他のプロセスに獲得されて
いるか否かを調べるステップと、そのプロセスセマフォ
が他のプロセスに獲得されていれば、それが解放される
のを待ち、そのプロセスセマフォが他のプロセスから解
放されたときにそのプロセスセマフォを獲得するステッ
プとがプログラムされ記録されるコンピュータ読み取り
可能な記録媒体。
【請求項１１】複数のノードから構成される分散シス
テムで、任意のノード上のプロセスが、任意ノード上の
ファイルを、自身のアドレス空間にマップしてプロセッ
サのロード／ストア命令によってアクセスし、任意のノ
ード上のプロセスによるリソースへのアクセスを排他制
御するとともに、任意ノード上のプロセスが、任意のノ
ード上に新たなプロセスを生成、もしくは任意ノード上
で実行中のプロセスを終了させることのできる分散共有
型のリソースを提供し、プロセスが各リソースに対しア
クセスするのを排他制御するプロセスセマフォと、プロ
セスセマフォと１対１に対応し、プロセスセマフォを保
持しているノードを示すノードセマフォを持ち、データ
Ａを保護するプロセスセマフォＡを獲得してデータＡを
更新するステップと、プロセスセマフォＡを解放してデ
ータＢを保護するプロセスセマフォＢを獲得してデータ
Ｂを更新し、プロセスセマフォＢを解放するステップ
と、プロセスセマフォＡ，Ｂに対応するノードセマフォ
Ａ，Ｂを解放するために更新されたデータＡ，Ｂを他ノ
ードに反映させ、ノードセマフォＡ，Ｂを解放するステ
ップとがプログラムされ記録されるコンピュータ読み取
り可能な記録媒体。