JP3476973B2 - 分散コンピューティングシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、コンピュータシス
テムに関し、特に、緩く接続された分散システムにおけ
る動作の同期に関する。

【０００２】

【従来の技術】元来、コンピュータシステムは、単一の
プロセッサと、ファイルを記憶するディスクドライブの
ような大容量記憶装置とから構成された。プロセッサの
ユーザはそれぞれプロセッサに接続された端末を有し、
そのプロセッサを使用してファイルにアクセスすること
ができた。このようなシステムでは、すべてのアクセス
はシステムの単一のプロセッサを通じてのものであり、
システムには与えられたファイルの単一のコピーのみが
存在した。プロセッサ、メモリ、および大容量記憶装置
（例えばディスクドライブ）の価格が低下するにつれ
て、このようなシングルプロセッサシステムは分散シス
テムによって置き換えられている。分散システムには、
ネットワークへと接続されたいくつものローカルなプロ
セッサおよび記憶装置がある。このような分散システム
の簡単な例としては、各ユーザがパーソナルコンピュー
タまたはワークステーションを有し、ワークステーショ
ンにファイルを提供するファイルサーバがあり、ワーク
ステーションがローカルエリアネットワークによって相
互におよびファイルサーバに接続されたものがある。も
ちろん、このような分散システムはそれ自体、より大き
な分散システムの要素となることもあり、その場合に
は、他のシングルプロセッサシステムおよび分散システ
ムが、ローカルエリアネットワークまたは電話システム
のような広域ネットワークによって接続される。

【０００３】このような分散システムの利点には、ロバ
ストネス（頑強さ）および速度が改善されることがあ
る。ロバストネスの改善は、システムを構成する要素の
数から生じる。例えば、１つのワークステーションが故
障しても、ネットワーク上の他のワークステーションが
役に立たなくなることはない。さらに、各ワークステー
ションは固有のファイルシステムを有し、そのため、シ
ステムにはファイルの複数のコピーが存在することがあ
る。ファイルの１つのコピーが使用不能になった場合、
他のワークステーションからコピーを使用可能である。
速度の改善は、ユーザがローカルな処理能力および他人
と共有していないローカルな記憶装置を有するというこ
とから生じる。

【０００４】ファイルのローカルなコピーは分散システ
ムのロバストネスおよび速度を改善するが、書き込み可
能なファイルのローカルなコピーは１つの主要な欠点を
有する。それらのコピーの相互の一貫性を保つことが困
難であるという欠点である。理想的には、分散システム
におけるファイル操作の意味規則（セマンティクス）
は、プロセスのグループがプロセッサを共有するような
システムにおけるものと同一であろう。例えば、ＵＮＩ
Ｘオペレーティングシステムでは（ＵＮＩＸはＸ／ＯＰ
ＥＮ財団の商標である）、プロセスがデータをファイル
に書き込むとき、他のプロセスは、最初のプロセスによ
る書き込みが完了するまで、そのファイルからデータを
読み出すことも、そのファイルにデータを書き込むこと
もできない。これは、読み出しプロセスがファイルをオ
ープンしたのが、書き込みプロセスがシステムコールを
実行する前か後かにかかわらず成り立つ。

【０００５】利用可能な分散システムはローカルコピー
の問題を「キャッシュ」によって処理している。サーバ
にファイルの単一の主コピー（マスタコピー）があり、
そのファイルを使用しているワークステーションはその
ファイルの一部または全部を含むキャッシュを有する。
キャッシュされたコピーにおける変化はマスタコピーに
は即時には反映されず、その逆もそうであるため、キャ
ッシュされたコピーは相互にあるいは主コピーと矛盾す
ることがある。その結果、あるワークステーションによ
るファイルの読み出しが他のワークステーションによる
書き込みの後にあっても、その読み出しは、キャッシュ
されたコピーを使用しているため、書き込みの結果を見
ないことがある。

【０００６】キャッシュを使用するシステムのファイル
操作の意味規則は一貫性の欠如を反映している。このよ
うなシステムの一例は、アール．サンドバーグ(R. Sand
berg)他、「Sun Network File Systemの設計と実装(Des
ign and Implementation ofthe Sun Network File Syst
em)」、Proceedings of Summer Usenix（１９８５年６
月）第１１９〜１３０ページ、に記載されたSun Networ
k File System（ＮＦＳ）である。ＮＦＳでは、与えら
れたファイルはファイルサーバに存在する。ワークステ
ーションはその与えられたファイルのコピーを含むキャ
ッシュを有することが可能である。キャッシュ内のコピ
ーは、そのコピーがキャッシュにロードされた後３秒間
はファイルサーバ内のコピーと同一であると仮定され
る。キャッシュされたディレクトリデータは、フェッチ
された後３０秒間は有効であると仮定される。

【０００７】もう１つの例は、エム．カザー(M. Kaza
r)、「アンドリューファイルシステムにおける同期とキ
ャッシュの問題(Synchronization and caching issues
in theandrew file system)」、Proceedings of Winter
Usenix（１９８８年）に記載されたアンドリューファ
イルシステムである。アンドリューファイルシステム
は、ファイルシステムコールが完了した後、そのファイ
ルシステムコールの結果は、２つの重要な例外を除い
て、ネットワークのどこでも即時に見えることを保証す
る。第１の例外は、書き込みシステムコールの場合、フ
ァイルに書き込まれた新しいデータは、そのファイルに
書き込みをしているプロセスがファイルを閉じるまで
は、主コピーには実際には書き込まれないことである。
第２の例外は、ファイルのキャッシュされたコピーは、
プロセスがそのファイルをオープンするときに主コピー
との一貫性が検査されるだけである。従って、２つのプ
ロセスがファイルを共有するとき、あるワークステーシ
ョンで実行中の第１のプロセスは、他のワークステーシ
ョンで実行中の第２のプロセスによって書き込まれたデ
ータを、第２のプロセスがそのファイルをクローズした
後に第１のプロセスがそれをオープンするまでは、見な
いことになる。

【０００８】

【発明が解決しようとする課題】ファイルの複数のコピ
ーを許容するがファイルシステムの意味規則はファイル
の単一のコピーのものであるような分散システムが必要
とされている。本発明の目的は、このような分散システ
ムを実現することである。

【０００９】

【課題を解決するための手段】本発明の分散システムで
は、いくつかのファイルが「複製ファイル」として指定
される。複製ファイルは、分散システム内に複数のコピ
ーが存在して、各コピーが他のコピーと完全に同等であ
るようなファイルである。ファイルが完全に同等である
とは、いずれのコピーへのアクセスも、そのファイルの
ただ１つのローカルコピーのみが存在しすべてのアクセ
スプロセスが同一のホスト上で実行される場合のアクセ
スと同一の結果となることである。こうして、本発明の
分散システムは、プロセスが同一のホストで実行される
ようなシステム上の単一のファイルへのアクセスのファ
イルシステム意味規則と、ファイルのローカルコピーと
の利点を合わせ持っている。

【００１０】本発明のもう１つの特徴は、複製ファイル
のコピーに対する書き込み操作を同期する技術にある。
分散システムホストの要素システムが、複製ファイルを
変更する操作を、複製ファイルのコピーに対して実行す
るときはいつでも、同一の操作を指定するメッセージ
が、その複製ファイルのコピーを有する他のすべての要
素システムに送られる。すべてのメッセージは同一のチ
ャネルを通じて移動するため、操作の順序はすべてのコ
ピーに対して同一である。書き込み操作は、基本書き込
み操作であることも可能であり、あるいは、複製ファイ
ルに含まれるデータに関する操作の指定であることも可
能である。

【００１１】もう１つの特徴は、複製ファイルに対する
順次読み出し操作が書き込み操作と同期していることで
あり、その結果、シングルプロセッサシステムにおける
通常のファイルに対して実行される読み出し操作と同一
の意味規則を有することになる。

【００１２】順次読み出し操作と書き込み操作の同期
は、各複製ファイルに対する読み出しトークンおよび書
き込みトークンと、分散システムの各要素内のトークン
サーバとを使用する分散同期システムによって実現され
る。複製ファイルに対して書き込み操作を実行するシス
テムの要素は書き込みトークンを有していなければなら
ず、順次読み出し操作を実行する要素は、読み出しトー
クンまたは書き込みトークンを有していなければならな
い。要素がトークンを取得するには、その要素のトーク
ンサーバが他の要素のトークンサーバにそのトークンを
要求する。トークンサーバは、未完了の書き込み操作を
指定するすべてのメッセージを他の要素から受信した後
にのみそのトークンを受信する。その結果、書き込み操
作はすべてのローカルコピーに対して同じ順序で実行さ
れ、順次読み出し操作はすべてのコピーに対して同じ結
果を有する。

【００１３】本発明の同期システムのもう１つの特徴
は、複製ファイルの各ローカルコピーに対する７個のロ
ックを使用して実装されることである。これらのロック
は、標準的なオペレーティングシステムの共有ロックお
よび排他ロックを使用して順に実装される。

【００１４】本発明のさらにもう１つの特徴は、複製フ
ァイルへのアクセスのトランザクション的同期をサポー
トするために使用することができることである。

【００１５】本発明の利点は、複製ファイルを保守する
ために必要な操作が、分散システムのユーザレベルで実
装可能であることにある。その結果、本発明は、特殊な
ハードウェアや特殊なオペレーティングシステムを必要
としない。好ましい実施の形態は、ユーザレベルのバッ
クアップファイルシステムの変更として実装される。

【００１６】

【発明の実施の形態】

［ライブラリを使用したインタフェースの変更：図２］
既に説明したように、コンピュータシステムは層化され
ている。各層は隣の上位層へのインタフェースを提供す
る。上位層は、下位層のインタフェースによって要求さ
れるように下位層が実行する操作を指定する。上位層が
下位層によって要求されるインタフェースに従っていな
い場合、上位層と下位層の間にアダプタ層を追加しなけ
ればならない。アダプタ層の目的は、上位層によって期
待されるインタフェースに従ってなされる操作指定を、
下位層のインタフェースによって要求される操作指定に
変換することである。この技術を使用して、例えば、Ｍ
ＳＤＯＳオペレーティングシステムを実行しているＰＣ
が、ユーザには、ＵＮＩＸオペレーティングシステムを
実行しているコンピュータであるかのように見えるよう
にすることが可能である。

【００１７】アダプタ層が多くのアプリケーションプロ
グラムによって要求されるとき、これはライブラリルー
チンのセットとして実装されることが多い。その名前か
らわかるように、ライブラリルーチンは、コンピュータ
システムのサブシステムのメーカが、そのコンピュータ
システムのユーザに対して、アプリケーションプログラ
ムとともに使用するように提供するルーチンのことであ
る。図２に、どのようにしてライブラリルーチンがアダ
プタ層をなすように使用されるかを示す。ユーザプログ
ラム２０１は、次の層（この場合には、システムルーチ
ンのセット）へのインタフェース２０６を有する。しか
し、ユーザプログラム２０１が使用されるコンピュータ
システムのシステムルーチンは、インタフェース２１３
を有する。インタフェース２０６とインタフェース２１
３の相違は、図２では、インタフェースを表す線の形の
相違によって表されている。アダプタ層はライブラリル
ーチン２０７からなり、ユーザプログラム２０１によっ
て要求される隣の上位層に対するインタフェース２０６
と、システムルーチン２０５によって要求される隣の下
位層に対するインタフェース２１３とを有する。インタ
フェースは実際にはファンクション（関数）呼出しから
なり、ライブラリルーチン２０７内のルーチンは、イン
タフェース２０６によって要求されるファンクション呼
出し２０３に応答して、インタフェース２１３によって
要求されるファンクション呼出しを生成し、ファンクシ
ョン呼出し２０３によって指定される操作を実行するこ
とによって動作する。システムルーチン２１５は、終了
すると、その実行の結果を矢印２１１で示されるように
ライブラリルーチン２０７に返し、続いてライブラリル
ーチン２１１はその結果を復帰２０５によって示される
ようにユーザプログラム２０１に返す。

【００１８】［動的リンクライブラリルーチンを使用し
たインタフェースの再定義］インタフェースを再定義す
るためのライブラリルーチンの有用性は、従来のシステ
ムでは、ユーザプログラム２０１に対する実行可能コー
ドが生成されるときにユーザプログラム２０１にリンク
されなければならないということによって制限されてい
た。この場合のリンクとは、ユーザプログラム２０１に
おけるライブラリルーチンの呼出しが、ライブラリルー
チン２０７のコピー内のライブラリルーチンの位置に関
係づけられるプロセスをいう。リンクは実行可能コード
が生成されるときに行われなければならなかったため、
実行可能コードのコピーしか有しないユーザは、あるラ
イブラリルーチン２０７の他のライブラリルーチン２０
７のセットと置換することは不可能であった。

【００１９】現在ではコンピュータシステムは発展して
きており、ライブラリルーチンはユーザプログラムに動
的にリンクすることが可能である。このようなコンピュ
ータシステムでは、リンクは、ユーザプログラムを実行
するプロセスが実行前にコンピュータシステムのメモリ
にロードされるときに行われる。動的リンクにより、ユ
ーザプログラムのオブジェクトコードを変更せずに、あ
るライブラリルーチンのセットを他のセットと置換する
ことが可能であり、それによって、ユーザプログラムが
動作するシステムの挙動を変えることが可能である。動
的リンクについての説明は、「共有ライブラリ(Shared
Libraries)」、Sun Microsystems, Inc.、米国カリフォ
ルニア州マウンテン・ビュー（１９８８年５月）、に記
載されている。

【００２０】図３に、どのようにして動的リンクを使用
してシステムの挙動を変えるかを示す。システム１（３
０１）において、ユーザプロセス３０６はアプリケーシ
ョンプログラム３０９を実行しており、これに、オペレ
ーティングシステムライブラリ１（３１５）が動的にバ
インドされている。オペレーティングシステムライブラ
リ１（３１５）は、コール３１１および復帰３１３によ
って示されるアプリケーションプログラム３０９へのイ
ンタフェースを提供し、カーネルサーバ３０５へのコー
ル３１７およびカーネルサーバ３０５からの復帰３１９
を使用してコール３１１によって指定される操作を実行
する。システム２では、ユーザプロセス３０６は同じア
プリケーションプログラム３０９を実行し同じカーネル
サーバ３０５を使用しているが、こちらでは、オペレー
ティングシステムライブラリ２（３２１）によってオペ
レーティングシステムライブラリ１（３１５）が置換さ
れている。オペレーティングシステムライブラリ２（３
２１）は、オペレーティングシステムライブラリ１（３
１５）が行うすべてのことを行う。すなわち、システム
３０１を、システム３０１のように挙動するが副次的効
果３２３も生成するシステム３０３へと変換するのに必
要なことは、オペレーティングシステムライブラリ２
（３２１）をオペレーティングシステムライブラリ１
（３１５）の代わりにユーザプログラム３０９に動的に
リンクすることだけである。

【００２１】［動的リンクライブラリを使用したユーザ
レベル名前空間の作成］さらに、図４に、どのようにし
て動的リンクオペレーティングシステムライブラリ４０
３を使用してユーザレベル名前空間４０５を作成し、ど
のようにしてユーザレベル名前空間４０５を使用して副
次的効果３２３を制御するかを示す。ファンクション、
ファイルおよびデバイスのようなコンピュータシステム
におけるエンティティはプログラムにおいて名前によっ
て呼ばれ、プログラムで使用される名前をその名前によ
って表されるエンティティに関係づけることはコンピュ
ータシステムの名前空間の機能である。従来のコンピュ
ータシステムでは、ユーザプログラムによって使用され
る名前空間はオペレーティングシステムによって作成さ
れ保守されている。システム４０１では、オペレーティ
ングシステムライブラリ４０３がユーザプロセス４０９
に対する１つ以上のユーザレベル名前空間４０５を作成
し保守する。ユーザレベル名前空間４０５がライブラリ
ルーチン４０３によって使用されることを可能にする１
つの方法は、カーネルサーバ３０５によってユーザプロ
グラム３０９に提供されるファイルシステムとは挙動、
構造、またはその両方において異なるユーザレベルの論
理ファイルシステムを作成することである。その後、こ
の論理ファイルシステムを使用して、副次的効果３２３
を制御する。例えば、システム４０１がバックアップフ
ァイルシステムである場合、副次的効果３２３は、バッ
クアップファイルシステムを生成するために要求される
ものであり、ユーザレベル名前空間４０５は、カーネル
サーバ３０５によって提供されるファイルシステムにお
けるどのファイルがバックアップファイルシステムにバ
ックアップされるべきかを指定することが可能である。
図４から明らかなように、ユーザレベル名前空間４０５
はユーザプロセス４０９の環境の一部である。

【００２２】［ユーザレベルバックアップファイルシス
テムの概観：図５〜図６］上記の動的リンクライブラリ
およびユーザレベル名前空間を使用して、アプリケーシ
ョンプログラムを実行しているアプリケーションプロセ
スによって変更されたファイルのうち選択したもののみ
を自動的にバックアップするユーザレベルバックアップ
ファイルシステムを形成することが可能である。図５
に、そのようなユーザレベルバックアップファイルシス
テム５０１を示す。システム５０１は、２つのコンピュ
ータシステムによって実装される。主システム５１１で
は、アプリケーションプロセス５０３が実行され、バッ
クアップシステム５１３では、アプリケーションプロセ
ス５０３によって変更されたファイルのバックアップコ
ピーが保守される。主システム５１１およびバックアッ
プシステム５１３は通信媒体によって接続され、これに
よって、主システム５１１で実行されているプロセスか
らのメッセージをバックアップシステム５１３で実行さ
れているプロセスへ送ることができる。

【００２３】主システム５１１上のシステム５０１の要
素は、アプリケーションプロセス５０３およびカーネル
サーバ３０５（ａ）である。カーネルサーバ３０５
（ａ）は主システム５１１にファイルシステムを提供す
る。図５において、ファイルシステムは主システム５１
１に対してローカルなディスク３０７（ａ）によって表
されているが、これは他のシステム上に位置するリモー
トファイルシステムでも全くかまわない。いずれの場合
にも、カーネルサーバ３０５（ａ）は、アプリケーショ
ンプロセス５０３からのコール３１７に応答して、提供
するファイルシステムに対するファイル操作を実行し、
結果３１９をプロセス５０３に返し、自分自身必要な操
作をディスク３０７（ａ）に対して実行する。アプリケ
ーションプロセス５０３は、動的リンク可能ライブラリ
を使用して、カーネルサーバ３０５（ａ）とともにファ
イル操作を実行する。主システム５１１では、このライ
ブラリは、ｌｉｂ．３ｄ（５０７）と呼ばれる新たなラ
イブラリによって置換されている。ライブラリ５０７
は、いくつかのファイルを変更するファイル操作を指定
するコール３１１に応答して、カーネルサーバ３０５へ
の適当なコール３１７を提供するだけでなく、バックア
ップメッセージ５１２をバックアップシステム５１３に
送る。変更の結果バックアップメッセージ５１２を送る
ことになるファイルはフロントエンド複製ツリー（ＦＲ
Ｔ）５０５で指定される。複製ツリー５０５は、矢印５
０６で示されるように、ｌｉｂ．３ｄ（５０７）内のル
ーチンによって保守され使用される。このようにして、
複製ツリー５０５は、変更の結果システム５１３上のバ
ックアップファイルを変更することになるファイルから
なるユーザレベル論理ファイルシステムを定義する。

【００２４】バックアップシステム５１３上のシステム
５０１の要素は、バックエンドサーバ５１５、ユーザレ
ベルプロセス、ならびにカーネルサーバ３０５（ｂ）お
よびディスク３０７（ｂ）であり、バックアップシステ
ム５１３のための標準的なファイルシステムサーバおよ
びディスクドライブである。カーネルサーバ３０５
（ｂ）はバックエンドサーバ５１５にファイルシステム
を提供する。図５では、ファイルシステムのためのデー
タはローカルディスク３０７（ｂ）上に記憶されてい
る。しかし、これはリモートシステムに記憶することも
可能である。バックエンドサーバ５１５は、カーネルサ
ーバ３０５（ｂ）へのコール３１７によってファイル操
作を実行し、そのコールの結果をサーバ３０５（ｂ）か
ら受け取る。バックエンドサーバ５１５はバックエンド
マップ５１７を保守する。バックエンドマップ５１７
は、フロントエンド複製ツリー５０５によって指定され
るファイルを、バックアップとして使用されるバックア
ップシステム５１３のファイルシステム内のファイル上
にマップする。カーネルサーバ３０５（ａ）によって生
成されるファイルシステムとカーネルサーバ３０５
（ｂ）によって生成されるファイルシステムが同一の名
前空間を有するような実施の形態では、バックエンドマ
ップ５１７は不要となる。

【００２５】どのようにしてシステム５０１が動作する
かは図６から明らかとなる。図６には、ファイルを変更
するライブラリ５０７内のルーチン６０１の形式の一般
的概略が示されている。ルーチン名６０３およびこのル
ーチンがとる引数６０５は、ライブラリ５０７によって
置換されたライブラリ内のファイル操作を実行するため
に使用される関数の名前および引数と同一である。その
結果、アプリケーションプログラム５０９におけるこの
ルーチンの呼出しはルーチン６０１を呼び出す。必要な
準備を実行した後、ルーチン６０１はカーネルサーバ３
０５（ａ）に、ルーチン６０１によって置換されたルー
チンと同じファイル操作を実行させる。この操作が成功
した場合、ルーチン６１３は、変更されたファイルの名
前とともに関数６１３を呼び出し、変更されたファイル
がバックアップされるべきであるということをフロント
エンド複製ツリー５０５が示しているかどうかを判定す
る。フロントエンド複製ツリーがそのように示している
場合、関数６１５は引数６１７によりメッセージ５１２
をバックアップシステム５１３へ送る。メッセージ５１
２は、バックアップシステム５１３が、サーバ３０５
（ａ）によって提供されるファイルシステム上でちょう
ど実行されたのと全く同じ操作をバックアップファイル
システムに対して実行するよう要求する。このメッセー
ジを送った後、ルーチン６０１は復帰する。これは、フ
ァイルがフロントエンド複製ツリー５０５内になかった
場合、または、関数６０７によって指定される操作が成
功しなかった場合も同様である。図６で６１１とラベル
されているコードのセクションは、副次的効果（この場
合はメッセージ５１２）を指定する。ここで注意すべき
ルーチン６０１の特徴は、メッセージ５１２がバックア
ップシステム５１３に送られるのはファイル操作が主シ
ステム５１１で成功した場合のみであるということであ
る。これは、不成功の操作はバックアップする必要がな
いためである。

【００２６】システム５０１には一般的に２つのクラス
のファイル操作がある。フロントエンド複製ツリー５０
５およびバックエンドマップ５１７によって実装された
ユーザレベル名前空間４０５を変更するものとそうでな
いものである。第２のクラスの操作の一例は、フロント
エンド複製ツリー５０５に指定されたファイルへの書き
込みである。ｌｉｂ．３ｄ（５０７）内の書き込みファ
ンクションは、ｌｉｂ．３ｄによって置換されたライブ
ラリ内の書き込みファンクションと同じインタフェース
を有する。好ましい実施の形態では、これは、引数とし
て、ファイルを指定するためにカーネルサーバ３０５
（ａ）によって使用される整数のファイルディスクリプ
タと、書き込むデータを含むバッファへのポインタと、
書き込むデータのサイズを示す整数とをとる。ｌｉｂ．
３ｄ内の書き込みファンクションは、カーネルサーバ３
０５（ａ）が、ファイルディスクリプタによって指定さ
れるファイルに対してシステム書き込みファンクション
を実行することを要求し、その操作が成功した場合、こ
のファンクションは、そのファイルディスクリプタによ
って指定されるファイルがフロントエンド複製ツリー５
０５内に存在するかどうかを検査する。存在する場合、
ファンクションはバックアップシステム５１３内のバッ
クエンドサーバ５１５へ書き込みメッセージ５１２を送
り復帰する。このメッセージは、カーネルサーバ３０５
（ａ）によってちょうど書き込まれたファイルを指定
し、カーネルサーバ３０５（ａ）によって提供されるフ
ァイルシステム内のシステム書き込み操作によってちょ
うど実行された書き込み操作を全く同様にバックアップ
ファイルシステムにおいて実行するのに必要な情報を含
む。バックエンドサーバ５１５は、このメッセージを受
け取ると、バックエンドマップ５１７を使用して、カー
ネルサーバ３０５（ｂ）がバックアップファイルに対し
て使用するファイルディスクリプタを判定してから、カ
ーネルサーバ３０５（ｂ）によって提供されるシステム
書き込みファンクションを使用して、このメッセージに
よって提供されるデータおよび位置の情報を用いてバッ
クアップファイルに対して書き込み操作を実行する。

【００２７】ユーザレベル名前空間４０５を変更する操
作の簡単な場合はファイル削除である。ｌｉｂ．３ｄに
よって提供される削除ファンクションは、まずカーネル
サーバ３０５（ａ）にファイルを削除するよう要求す
る。この削除が終了すると、削除ファンクションは、削
除されたファイルに関する情報をフロントエンド複製ツ
リー５０５から削除することが必要かどうかを検査す
る。それが必要な場合、ファンクションはその情報を削
除する。次に、ファンクションは、削除に必要なメッセ
ージをバックエンドサーバ５１５へ送り復帰する。バッ
クエンドサーバ５１５は、このメッセージを受け取る
と、バックエンドマップ５１７内でそのファイルを見つ
け、カーネルサーバ３０５（ｂ）にそのファイルを削除
するよう要求するとともに、この削除によって要求され
る操作をバックエンドマップ５１７に対して実行する。

【００２８】より複雑な例は名前変更である。カーネル
サーバ３０５（ａ）によって提供されるファイルシステ
ム内のファイルの名前変更がユーザレベル名前空間４０
５において引き起こす結果には３つの可能性がある。

【００２９】１．そのファイルの古い名前がユーザレベ
ル名前空間４０５の一部であり、新しい名前もまたユー
ザレベル名前空間４０５の一部である場合、そのファイ
ルはユーザレベル名前空間４０５内にとどまる。 ２．そのファイルの古い名前はユーザレベル名前空間４
０５の一部でないが、新しい名前はユーザレベル名前空
間４０５の一部である場合、そのファイルはユーザレベ
ル名前空間４０５に追加される。 ３．そのファイルの古い名前はユーザレベル名前空間４
０５の一部であるが、新しい名前はユーザレベル名前空
間４０５の一部でない場合、そのファイルはユーザレベ
ル名前空間４０５から削除される。

【００３０】第１の場合、ｌｉｂ．３ｄの名前変更ファ
ンクションは、カーネルサーバ３０５（ａ）に、そのフ
ァイルシステムにおける名前変更を行うよう要求する。
次に、このファンクションは、名前変更されたファイル
がユーザレベル名前空間４０５内にあるかどうかを検査
し、ユーザレベル名前空間４０５内にある場合、名前変
更ファンクションは、その変更を反映するようにフロン
トエンド複製ツリー５０５を変更し、バックエンドサー
バ５１５における名前変更を要求するメッセージをバッ
クエンドサーバ５１５へ送り、復帰する。このメッセー
ジはもちろん、旧パス名および新パス名を含む。バック
エンドサーバ５１５は、このメッセージを受信すると、
カーネルサーバ３０５（ｂ）に名前変更を要求する。

【００３１】第２の場合、名前変更ファンクションは、
サーバ３０５（ａ）に名前変更を要求し、前のように、
名前変更されたファイルがユーザレベル名前空間４０５
内にあるかどうかを検査するが、今度は、ファンクショ
ンは、名前変更されたファイルをフロントエンド複製ツ
リー５０５から削除し、メッセージをバックエンドサー
バ５１５へ送り、復帰する。バックエンドサーバ５１５
へのメッセージは、そのファイルに対する削除メッセー
ジである。このメッセージに応答して、バックエンドサ
ーバ５１５はカーネルサーバ３０５（ｂ）にバックアッ
プファイルを削除させる。

【００３２】第３の場合も、前のように、名前変更ファ
ンクションは名前変更を要求するが、今度は、２つのメ
ッセージを送らなければならない。第１のメッセージ
は、ユーザレベル名前空間４０５へ移動されたファイル
の名前を有するファイルをバックアップシステム５１３
内に作成することを要求する。バックエンドサーバ５１
５はこのメッセージに応答してカーネルサーバ３０５
（ｂ）がそのファイルを作成することを要求し、バック
エンドマップ５１７内にそのファイルのエントリを作成
する。その後、名前変更ファンクションはユーザレベル
名前空間４０５に移動されたファイルの現在の内容とと
もに書き込みメッセージを送る。バックエンドサーバ５
１５はこの書き込みメッセージに応答して、カーネルサ
ーバ３０５（ｂ）によって、バックアップシステム５１
３内のバックアップファイルにその内容を書き込む。

【００３３】以上のことからわかるように、主システム
５１１内のカーネルサーバ３０５（ａ）によって実行さ
れる単一の操作は、バックエンドサーバ５０５がカーネ
ルサーバ３０５（ｂ）に一連の操作を実行させることを
要求する。さらに理解されるように、ｌｉｂ．３ｄ（５
０７）内のファンクションによって実行される操作の最
後には、バックエンドマップ５１７およびフロントエン
ド複製ツリー５０５は常に同じ状態になる。

【００３４】［好ましい実施の形態の実装：図７〜図１
１］図７に、ユーザレベルバックアップファイルシステ
ムの好ましい実施の形態７０１の詳細ブロック図を示
す。この好ましい実施の形態は、一方のプロセッサがＵ
ＮＩＸオペレーティングシステムのSunOS４．１バージ
ョンを実行しており他方のプロセッサがＵＮＩＸオペレ
ーティングシステムのＭＩＰＳ４．５バージョンを実行
しているシステムにおいて実装された。システム７０１
には要素の２つのグループがある。一方のグループの要
素はバックアップファイル操作を実行し、他方のグルー
プの要素はシステム７０１をフォールトトレラントにす
る。以下の説明では、まず、バックアップファイル操作
を実行する要素について説明し、その後で、フォールト
トレランスを提供する要素について説明する。

【００３５】主システム５１１から始めると、アプリケ
ーションプロセス５０３は、アプリケーションプログラ
ム５０９、動的リンク可能ライブラリｌｉｂ．３ｄ（５
０７）、およびフロントエンド複製ツリー５０５を有す
る。ライブラリ５０７のファンクションはファイル操作
の副次的効果としてバックアップファイル操作を実行す
る。システム５０１において、ファイル操作は、カーネ
ルサーバ３０５（ａ）によって実行される。ライブラリ
５０７内のファンクションによって生成されるメッセー
ジは、パイプ７１０によってバックアップシステム５１
３へ運ばれる。パイプ７１０は、パイププロセス７１１
によってアプリケーションプロセス５０３に提供され、
パイププロセス７１１自体、パイプ７０９によってアプ
リケーションプロセス５０３と通信する。以下でさらに
詳細に説明するように、パイププロセス７１１は、バッ
クアップシステム５１３上にバックアップを作成するす
べてのアプリケーションプロセス５０３によって使用さ
れる単一のパイプ７１０を提供する。

【００３６】次に、好ましい実施の形態におけるバック
アップシステム５１３において、バックエンドサーバ５
１５は２つのプロセス、すなわち、バックエンドログプ
ロセス（ＢＬＰ）７１６およびシステムコールエンジン
（ＳＹＳＣＡＬＬ ＥＮＧ）７１５に分かれる。いずれ
もカーネルサーバ３０５（ｂ）を使用してファイル操作
を実行する。バックアップファイルに加えて、カーネル
サーバ３０５（ｂ）によって保守されるファイルシステ
ムはログファイル７０３（ｂ）を含む

【００３７】動作は以下の通りである。アプリケーショ
ンプロセス５０３は、初期化されると、パイプ７１０を
指定するファイル識別子をパイププロセス７１１から取
得する。アプリケーションプログラム５０９の実行の結
果、ファイル操作が実行されると、ｌｉｂ．３ｄ（５０
７）内のその操作に対するファンクションは、カーネル
サーバ３０５（ａ）によって提供されるファイルシステ
ムに対して、カーネルサーバ３０５（ａ）にそのファン
クションを実行させ、さらに、パイプ７１０を通じてメ
ッセージをバックアップシステム５１３に送る。このメ
ッセージは、バックアップシステム５１３に到着する
と、バックアップログプロセス７１６によって受け取ら
れる。バックアップログプロセス７１６は、カーネルサ
ーバ３０５（ｂ）によって提供されるファイルシステム
内のログファイル７０３（ｂ）内にそのメッセージをロ
グする。ログファイル７０３（ｂ）がメッセージを有す
るときにはいつでも、そのメッセージは、到着順に、シ
ステムコールエンジンプロセス７１５によって読み出さ
れる。好ましい実施の形態では、バックエンドマップ５
１７はシステムコールエンジンプロセス７１５に属す
る。システムコールエンジンプロセス７１５は、メッセ
ージを読み出すと、カーネルサーバ３０５（ｂ）に、そ
のメッセージによって要求されるファイル操作を実行さ
せ、システムコールエンジンプロセス７１５自信は、そ
のメッセージによって要求されるようにバックエンドマ
ップ５１７を保守する。

【００３８】［システム７０１のフォールトトレラント
動作］システムのフォールトトレラント動作には、故障
が検出され、検出された故障に応じてシステムが動作を
継続することができるようになっていることが要求され
る。好ましい実施の形態では、故障の検出およびその故
障への応答は、ＷａｔｃｈＤという、分散システムをフ
ォールトトレラントにするためのユーザレベルのシステ
ムによって扱われる。ＷａｔｃｈＤについての詳細は、
ワイ．フアン(Y. Huang)、シー．キンタラ(C. Kintal
a)、「ソフトウェア実装フォールトトレラント：技術と
経験(Software Implemented Fault Tolerance: Technol
ogies andExperiences)」、第２３回フォールトトレラ
ントコンピューティングに関する国際会議(23rd Intern
ational Conference on Fault Tolerant Computing)、
フランス国ツールーズ、１９９３年６月２２〜２４日、
に記載され、また、米国特許出願第０７／９５４，５４
９号（発明者：ワイ．フアン(Y. Huang)、出願日：１９
９２年９月３０日）の主題ともなっている。本発明の説
明のためには、ＷａｔｃｈＤシステムが、ｌｉｂｆｔと
いうライブラリと、分散システムの各ノード上の１つの
モニタプロセスとを含むことを理解していればよい。ｌ
ｉｂｆｔは、ＷａｔｃｈＤにプロセスを登録する操作、
自動バックアップ用にメモリの領域を指定する操作、お
よび、そのメモリ領域に対してチェックポイント操作を
実行する操作などを実行するルーチンを含む。モニタプ
ロセスは、ＷａｔｃｈＤに登録されたユーザプロセスを
モニタするとともに、相互をモニタする。モニタは、登
録されているプロセスが故障したと判定すると、そのプ
ロセスを再起動する。プロセスは、ｌｉｂｆｔファンク
ションによって再起動されたときに何が起きたかを判定
することが可能である。分散システムの１つのノード上
のユーザプロセスをモニタする間、モニタは、重要デー
タ（これもまたｌｉｂｆｔファンクションを使用して定
義される）のコピーを分散システムの他のノードへ移動
することが可能である。そのモニタのノードが故障する
と、他のノード上のモニタがその故障を検出し、重要デ
ータの現在のコピーを使用して当該他のノード上でユー
ザプロセスを再起動する。故障したノードが復旧する
と、そのノードのモニタは、他のノードからの重要情報
を使用してユーザプロセスを再起動し、ユーザプロセス
が再起動されたことを示すメッセージを送る。他のノー
ドのモニタは、そのメッセージを受け取ると、当該他の
ノードで実行されているユーザプロセスを終了する。一
般に、ＷａｔｃｈＤモニタはリング構成で配置され、各
モニタはリングにおける隣のモニタをモニタする。リン
グ内のノードの数およびユーザプロセスの重要データの
コピーを受け取るモニタの数は、ＷａｔｃｈＤに登録さ
れたユーザプロセスを再起動することができなくなる前
に分散システムのいくつのノードが故障しなければなら
ないかを決定する。

【００３９】好ましい実施の形態では、主システム５１
１およびバックアップシステム５１３はそれぞれＷａｔ
ｃｈＤモニタを有する。これらのモニタとシステム７０
１の要素の間の関係は、破線矢印７２１で示されてい
る。主システム５１１のモニタはモニタ７１７である。
破線矢印７２１で示されるように、モニタ７１７は、パ
イププロセス７１１、フロントエンドログプロセス７０
５、およびシステム５１３内のモニタ７１９を監視す
る。モニタ７１９は、モニタ７１７、システムコールエ
ンジンプロセス７１５、およびバックエンドログプロセ
ス７１６を監視する。

【００４０】図７に示されるように、システム７０１
は、フロントエンドログプロセス７０５、パイププロセ
ス７１１、システムコールエンジン７１５、バックエン
ドログプロセス７１６における故障、およびシステム５
１３の故障を処理することができる。この設計は、フォ
ールトトレランスを与えるシステム７０１の２つの部分
を有し、２つの主要な目的を有する。

【００４１】・パフォーマンスに関して、回復のオーバ
ヘッドが少ないことを保証する。 ・故障および回復がアプリケーションに透過的であり、
実行中のアプリケーションが停止しないことを保証す
る。

【００４２】回復手続きは、ＷａｔｃｈＤがシステムに
おける最も信頼性のある要素であるという仮定に基づ
く。その理由は、ＷａｔｃｈＤは非常に単純なタスクを
実行し、故障後に自己回復が可能であるためである。

【００４３】以下では、バックアップシステム５１３の
故障からの回復について詳細に説明し、他のプロセスの
故障からの回復についても概観する。バックアップシス
テム５１３の故障から始めると、このような場合、シス
テム７０１は以下のように動作する。モニタ７１７は、
システム５１３の故障を検出すると、パイププロセス７
１１に通知する。パイププロセス７１１はフロントエン
ドログプロセス７０５を作成し、パイプ７１０のファイ
ルディスクリプタをフロントエンドログプロセス７０５
へのパイプ７０７のファイルディスクリプタで置換す
る。アプリケーションプロセス５０３によって使用され
るメッセージファンクションは、パイプ７１０の故障を
検出すると、パイププロセス７１１にパイプの新しいフ
ァイルディスクリプタを要求する。パイププロセス７１
１は、フロントエンドログプロセス７０５に接続された
パイプ７０７のファイルディスクリプタをそのメッセー
ジファンクションに与え、メッセージファンクションに
よって送られたメッセージは、バックエンドログプロセ
ス７１６ではなくフロントエンドログプロセス７０５へ
行く。フロントエンドログプロセス７０５は、そのメッ
セージを受け取ると、そのメッセージを主システム５１
１内のログファイル７０３（ａ）に入れる。

【００４４】好ましい実施の形態では、メッセージファ
ンクションはパイプ７１０の故障を以下のように検出す
る。プロセス５０３はＴＣＰ／ＩＰプロトコルを使用し
てパイプ７１０を通じてメッセージを送る。このプロト
コルでは、前のメッセージが受け取られた場合に限り次
のメッセージを送ることができる。従って、ライブラリ
ルーチン５０７内のファンクションによって使用される
メッセージファンクションは、２つのメッセージ、すな
わち、実際のメッセージおよびダミーのメッセージを送
ることによってパイプ７１０を通じてメッセージを送
る。メッセージファンクションがダミーメッセージを送
ることができる場合、実際のメッセージは到着したこと
になる。システム５１３が故障すると、パイプ７１０を
通じて送られたメッセージは到着せず、ダミーメッセー
ジを送ることはできない。

【００４５】バックアップファイルシステム５１３が回
復すると、モニタ７１９は、システムコールエンジン７
１５およびバックエンドログプロセス７１６を再起動
し、モニタ７１７に通知する。モニタ７１７はパイププ
ロセス７１１に通知し、パイププロセス７１１は、パイ
プ７１０のファイルディスクリプタを取得してフロント
エンドログプロセス７０５を終了させる。バックエンド
ログプロセス７１６は、システム５１３において再起動
されると、カーネルサーバ３０５（ａ）からログファイ
ル７０３（ａ）のコピーを取得し、それをログファイル
７０３（ｂ）に付加する。続いて、システムコールエン
ジン７１５は、ログファイル７０３（ｂ）内のメッセー
ジの実行を再開する。

【００４６】ｌｉｂ．３ｄによって使用されるメッセー
ジファンクションは、パイプ７０７のファイルディスク
リプタを取得したのと同じようにパイプ７１０のファイ
ルディスクリプタを取得する。次にメッセージファンク
ションは、パイプ７０７のファイルディスクリプタを使
用してメッセージを送ることを試み、この試みが失敗す
ると、メッセージファンクションは再びパイププロセス
７１１にパイプファイルディスクリプタを要求する。メ
ッセージファンクションはパイプ７１０のファイルディ
スクリプタを受け取り、再びバックエンドに接続され
る。

【００４７】残りの故障シナリオは以下のように扱われ
る。

【００４８】・パイププロセス７１１が故障した場合。 モニタ７１７が、故障を検出し、サーバを再起動する。
新たに再起動されたプロセスは、ＷａｔｃｈＤによって
保存されたプロセス状態からパイプ７１０への接続を取
得する。他のプロセスはこの故障および回復について全
く知らない。

【００４９】・システムコールエンジン７１５が故障し
た場合。 モニタ７１９が、故障を検出し、システムコールエンジ
ン７１５を再起動する。ｌｉｂｆｔによって提供される
チェックポイントおよび回復のファンクションによっ
て、新たに再起動されたシステムコールエンジン７１５
は、外部ファイルから、前にチェックポイントしたステ
ータスに回復することができる。他のプロセスはこの故
障および回復について全く知らない。

【００５０】・バックエンドログプロセス７１６が故障
した場合。 モニタ７１９が、故障を検出し、バックエンドログプロ
セス７１６を再起動する。今度も、プロセス７１６は、
チェックポイントファイルからステータスを復元する。
さらに、モニタ７１９は、モニタ７１７に、バックエン
ドログプロセス７１６が再起動されたことを通知し、続
いてモニタ７１７は、パイププロセス７１１に通知す
る。次に、プロセス７１１は、パイプ７１０を、新しい
バックエンドログプロセス７１６に接続する。各アプリ
ケーションの次の書き込みは失敗し、ｌｉｂ．３ｄはパ
イププロセス７１１から新たな接続を取得する。

【００５１】・フロントエンドログプロセス７０５が故
障した場合。 フロントエンドログプロセス７０５は、システム５１３
の故障の期間中にのみ存在する。モニタ７１７は、フロ
ントエンドログプロセス７０５の故障を検出すると、パ
イププロセス７１１に通知する。続いて、パイププロセ
ス７１１は、フロントエンドログプロセス７０５を再起
動し、それにパイプ７０８を再接続する。アプリケーシ
ョンプログラム５０９の次の書き込みは失敗し、ｌｉ
ｂ．３ｄ内のメッセージ送信ファンクションは、パイプ
プロセス７１１から新たなパイプ７０８のファイルディ
スクリプタを取得する。

【００５２】［ユーザレベル名前空間４０５の実装：図
８〜図１１］ユーザレベル名前空間４０５は、カーネル
サーバ３０５（ａ）によってアプリケーションプロセス
５０３に提供されるファイルシステムからのファイルの
任意のセットを指定するために使用することができる。
図８に、カーネルサーバ３０５（ａ）によって提供され
るファイルシステムの名前空間８０１と、ユーザレベル
バックアップファイルシステム７０１内のユーザレベル
名前空間４０５の間の関係を示す。

【００５３】名前空間８０１において、ファイル名はツ
リー（木）に配置される。図８のツリーの葉をなすファ
イル（Ｂ，Ｄ，Ｅ，Ｇ，Ｉ，Ｍ，Ｎ）はデータまたはプ
ログラムを含む。残りのファイルは他のファイルのリス
トである。このようなファイルはディレクトリと呼ばれ
る。名前空間８０１内の任意のファイルは、カーネルサ
ーバ３０５（ａ）に対して、パス名によって指定するこ
とが可能である。パス名は、ルート「／」で始まり、ル
ートからそのパス名によって指定されているファイルの
名前までのすべてのファイルの名前を含む。従って、フ
ァイルＤのパス名は／Ａ／Ｃ／Ｄであり、ファイルＬの
パス名は／Ｊ／Ｋ／Ｌである。

【００５４】ユーザレベルバックアップファイルシステ
ム７０１は、バックアップすべきファイルを、そのファ
イルを含む名前空間８０１のサブツリーを指定すること
によって指定する。次に、サブツリー内のファイルを変
更するようなファイルに対する操作が、バックアップシ
ステム５１３内のバックアップファイルに対して実行さ
れる。図８では、３つのサブツリー、８０３（ａ）、８
０３（ｂ）、および８０３（ｃ）がバックアップすべき
ものとして選択されている。その結果、名前空間８０１
内のデータファイルＤ、Ｅ、Ｇ、Ｉ、Ｍ、またはＮへの
変更の結果として、そのデータファイルに対するバック
アップファイルへの変更が行われ、ディレクトリＣ、
Ｆ、Ｈ、およびＬへの変更も同様にそれらのバックアッ
プファイルへの変更を引き起こす。サブツリー内のすべ
てのファイルがバックアップされるため、バックアップ
すべきファイルは、ユーザレベル名前空間４０５ではそ
のサブツリーのルートであるディレクトリのパス名によ
って指定することが可能である。こうして、サブツリー
８０３（ａ）はユーザレベル名前空間４０５ではパス名
／Ａ／Ｃ（８０５（ａ））によって指定される。

【００５５】もちろん、ユーザレベル名前空間４０５
は、カーネルサーバ３０５（ｂ）によってシステムコー
ルエンジン７１５に提供されるファイルシステムにもマ
ップされなければならない。これはバックエンドマップ
５１７によって行われる。図９に示したように、バック
エンドマップ５１７は、ユーザレベル名前空間４０５に
おける各オープンファイルに対するエントリ９０１を含
む。このエントリは２つの部分を有する。ユーザレベル
名前空間情報９０３は、ユーザレベル名前空間４０５に
おけるファイルを指定し、バックアップシステム情報９
０５は、カーネルサーバ３０５（ｂ）によって提供され
るファイルシステムにおいて、ユーザレベル名前空間情
報によって指定されたファイルに対応するファイルを指
定する。

【００５６】バックエンドマップ５１７により、カーネ
ルサーバ３０５（ｂ）がバックエンドログプロセス７１
６およびシステムコールエンジン７１５に提供するファ
イルシステムの名前空間９０７のサブツリーに、名前空
間８０１のサブツリーをマップすることが可能となる。
このマッピングは、名前空間８０１のサブツリーのルー
トのパス名を、名前空間９０７の対応するサブツリーの
ルートのパス名にマップすることによって行われる。ル
ートのパス名は、サブツリー内ではファイルのパス名の
プレフィクスと呼ばれる。こうして、サブツリー８０３
（ａ）におけるパス名はプレフィクス／Ａ／Ｃを有し、
サブツリー８０３（ａ）内のファイルＥのパス名はＥと
なる。名前空間９０７では、名前空間８０１のプレフィ
クス／Ａ／Ｃを名前空間９０７のプレフィクス／Ｚにマ
ップすることによって、サブツリー９０９はサブツリー
８０３（ａ）に対応するようになる。マッピングをした
後は、名前空間８０１においてパス名／Ａ／Ｃ／Ｅによ
って指定されるファイルの変更の結果、名前空間９０７
においてパス名／Ｚ／Ｅによって指定されるファイルの
変更が行われることになる。

【００５７】［フロントエンド複製ツリー５０５の詳
細：図１０］好ましい実施の形態では、ユーザレベル名
前空間４０５はフロントエンド複製ツリー５０５として
実装される。図１０に、フロントエンド複製ツリー５０
５の詳細を示す。フロントエンド複製ツリー５０５の２
つの主要な要素は、ＲＴＲＥＥ１０１５およびファイル
ディスクリプタ（ＦＤ）キャッシュ１０２７である。Ｒ
ＴＲＥＥ１０１５は、バックアップすべきファイルから
なるサブツリー８０３のルートのパス名の連結リストで
ある。ファイルディスクリプタキャッシュ１０２７は、
ファイルディスクリプタをデバイスおよびｉノード識別
子に関係づける配列である。この実装の形式は、ＵＮＩ
Ｘオペレーティングシステムによって提供されるファイ
ルシステムがファイルを３通りの方法で、すなわち、パ
ス名によって、整数のファイルディスクリプタによっ
て、および、ファイルが存在するデバイスの識別子とＵ
ＮＩＸファイルシステムテーブル内のそのファイルに対
するエントリ（ｉノード）とによって、指定することの
結果である。ファイルのファイルディスクリプタは、そ
のファイルをオープンしたプロセスに対してのみ、か
つ、そのプロセスがそのファイルをオープンしている間
にのみ有効である。ＵＮＩＸファイルシステムテーブル
では、パス名とデバイスおよびｉノードとの間、ならび
に、デバイスおよびｉノードと現在のファイルディスク
リプタとの間の変換は可能であるが、パス名と現在のフ
ァイルディスクリプタとの間の直接の変換はできない。

【００５８】さらに詳細に説明すると、ＭＡＸＴＲＹ１
００３およびＩＮＩＴ１００５は、フロントエンド複製
ツリー５０５を初期化する際に使用される。ＭＡＸＴＲ
Ｙ１００３は、初期化ファンクションが、バックアップ
システム５１３へのパイプ７１０の設定を試みてあきら
めるまでの回数を示す。ＩＮＩＴ１００５は、パイプが
設定されたかどうかを示す。ＲＰＬＯＰ配列１００９
は、複製ツリー５０５に対して実行可能な操作の名前１
０１１の配列である。

【００５９】ＲＴＲＥＥ ＰＴＲ１０１３は、ＲＴＲＥ
Ｅリスト１０１５の第１要素へのポインタである。ＲＴ
ＲＥＥリスト１０１５は、複製ツリー８０３ごとに１要
素１０１７を含む連結リストである。各要素１０１７
は、複製ツリー８０３のルートのパス名１０２１、パス
名１０２１の長さ１０１９、およびこの連結リストにお
ける次の要素へのポインタ１０２３を含む。接続サーバ
１０２５は、バックアップシステム５１３へのパイプ７
１０の、名前空間８０１におけるパス名である。

【００６０】ＦＤキャッシュ１０２７は、ファイルディ
スクリプタキャッシュエントリ１０２９の配列である。
この配列には、アプリケーションプロセス５０３に利用
可能なファイルディスクリプタと同じ数だけ、エントリ
１０２９がある。ＦＤキャッシュ１０２７内の与えられ
たファイルディスクリプタに対するエントリのインデッ
クスはそのファイルディスクリプタである。エントリ１
０２９は、そのエントリが現在有効であるかどうかを示
し、かつ、そのファイルがオープンであった間に子プロ
セスを作成したかどうかをも示すステータスフラグを含
む。また、エントリ１０２９は、主システム５１１にお
いてそのファイルが存在するデバイスの識別子１１０１
と、主システム５１１におけるそのファイルのｉノード
の識別子１１０３とを含む。ＲＴＲＥＥ１０１５内のエ
ントリによって指定されるサブツリー８０３には、現在
オープンのファイルごとに有効なエントリ１０２９が存
在する。

【００６１】［バックエンドマップ５１７の詳細］バッ
クエンドマップ５１７は２つの部分、すなわち、パス名
マップ１１１３およびオープン複製ファイルリスト１１
１７を有する。パス名マップ１１１３は単に、主システ
ム５１１の名前空間８０１内のパス名を、バックアップ
システム５１３の名前空間９０７内のパス名にマップす
る。マップ内の各エントリ１１１５は、フロントエンド
パス名１１１８とバックエンドパス名１１１９の間の関
係を確立する。パス名マップ１１１３には、フロントエ
ンド名前空間９０７内のサブツリー８０３のルートを、
名前空間９０７内のサブツリーのルートにマップするエ
ントリが含まれる。バックエンドパス名１１１９はバッ
クエンドシステム情報９０５の一部である。好ましい実
施の形態では、これらのマッピングは、システム設定フ
ァイルで指定される。

【００６２】オープン複製ファイルリスト１１１７は、
アプリケーションプロセス５０３が複製ツリー８０３に
おいて現在オープンしている各ファイルに対するエント
リ１１２０を含む。エントリ１１２０内のユーザレベル
名前空間情報９０３は、フロントエンドファイル識別子
（ＦＦＩＤ）１１０５およびフロントエンドパス名（Ｆ
Ｐ）１１０６を含む。フロントエンドファイル識別子１
１０５は、主システム５１１内のファイルに対するデバ
イス識別子およびｉノード識別子からなる。フロントエ
ンドパス名１１０６は、フロントエンドプレフィクス
（ＦＰＲ）１１０７およびサブツリーパス名１１０８に
分けられる。フロントエンドプレフィクス（ＦＰＲ）１
１０７は、フロントエンド名前空間８０１における当該
ファイルのサブツリーに対するプレフィクスである。サ
ブツリーパス名１１０８は、サブツリーにおけるファイ
ルのパス名である。エントリ１１２０内のバックアップ
システム情報９０５は、バックエンドファイルディスク
リプタ１１１１からなる。バックエンドファイルディス
クリプタ１１１１は、カーネルサーバ３０５（ｂ）によ
って提供されるファイルシステムにおける当該ファイル
のファイルディスクリプタである。好ましい実施の形態
では、バックエンドマップ５１７は、フロントエンドフ
ァイル識別子１１０５およびフロントエンドパス名１１
０６のいずれによってもアクセス可能なハッシュテーブ
ルとして実装される。

【００６３】［データ構造体５０５および５１７に関す
る操作］以下では、どのようにしてデータ構造体５０５
および５１７を作成するか、および、これらのデータ構
造体がさまざまなファイル操作によってどのように影響
を受けるかを説明する。好ましい実施の形態では、アプ
リケーションプロセス５０３は、Ｋｏｒｎシェルを使用
するＵＮＩＸオペレーティングシステム上で時刻され
る。Ｋｏｒｎシェルによれば、プロセスは、当該プロセ
スがＫｏｒｎシェルを呼び出すときにはいつも実行され
るファイルを指定するＥＮＶ変数を設定することが可能
である。アプリケーションプロセス５０３においてＥＮ
Ｖ変数によって指定されるファイルは、アプリケーショ
ンプロセス５０３が、フロントエンド複製テーブル５０
５を構成し初期化するのに必要な情報を含む。いったん
作成されると、テーブル５０５は、アプリケーションプ
ロセス５０３のアドレス空間の一部となり、ＵＮＩＸオ
ペレーティングシステムのｆｏｒｋシステムコールで作
成されそれによって親の環境を継承する、アプリケーシ
ョン５０３の任意の子プロセスに利用可能となる。他
方、ｅｘｅｃシステムコールは、子プロセスに新しい環
境を与える。ｅｘｅｃシステムコールで作成されるアプ
リケーションプロセス５０３の子プロセスにフロントエ
ンド複製ツリー５０５が利用できるようにするため、ｌ
ｉｂ．３ｄは、フロントエンド複製ツリー５０５を新し
いプロセスのＥＮＶ変数にコピーするｅｘｅｃファンク
ションを有する。これにより、その新しいプロセスは、
親のアドレス空間を継承していなくても、フロントエン
ド複製ツリー５０５を利用することができる。他の実施
の形態では、ｅｘｅｃによって作成される子プロセスに
フロントエンド複製ツリー５０５を渡すために、名前付
きパイプまたは外部ファイルを使用することも可能であ
る。

【００６４】ファイル操作の説明に進むと、第１のファ
イル操作はｍｏｕｎｔ（マウント）操作である。ＵＮＩ
Ｘオペレーティングシステムでは、ｍｏｕｎｔはファイ
ルシステムからの名前のツリーを、オペレーティングシ
ステムの名前空間に追加する。好ましい実施の形態で
は、ｌｉｂ．３ｄで実装されるｍｏｕｎｔのバージョン
は、フロントエンド名前空間８０１のサブツリーが複製
ツリー８０５としてユーザレベル名前空間４０５に追加
されるモードを有する。ｍｏｕｎｔがこのモードで使用
されるとき、パス名引数は、ユーザレベル名前空間４０
５に追加されるサブツリー８０３のルートのパス名であ
る。ファンクションは、そのパス名に対する複製ツリー
エントリ１０１７を作成し、そのエントリを複製ツリー
１０１５に追加することによって、サブツリー８０３を
ユーザレベル名前空間４０５に追加する。また、指定さ
れたパス名を有する複製ツリーエントリ１０１７を複製
ツリー１０１５から削除するｕｍｏｕｎｔ（マウント解
除）操作もある。

【００６５】アプリケーションプロセス５０３が複製ツ
リー８０５内のファイルに対してオープン操作を実行す
ると、ｌｉｂ．３ｄ内のオープンファンクションは、新
たにオープンされるファイルに対するファイルディスク
リプタキャッシュエントリ１０２９を作成し、オープン
メッセージをバックエンドログプロセス７１６へ送る。
このオープンメッセージは、オープンしたファイルの主
システム５１１におけるパス名、デバイス識別子、およ
びｉノード識別子を含む。このメッセージがシステムコ
ールエンジン７１５によって実行されると、その結果、
バックエンドマップ５１７内にエントリ９０１が作成さ
れる。パス名マップ１１１３を使用して、主システム５
１１内のオープンされているファイルに対応するバック
エンドシステム５１３内のファイルが発見され、対応す
るファイルに対するファイルディスクリプタがバックエ
ンドファイルディスクリプタ１１１１に入れられる。

【００６６】ファイルがオープンされると、主システム
５１１におけるファイル操作は、そのファイルを識別す
るファイルディスクリプタを使用する。バックアップシ
ステム５１３内のバックアップファイルに対する対応す
る操作に対するメッセージは、デバイス識別子およびｉ
ノード識別子を使用してファイルを識別する。このよう
なメッセージを実行するためには、システムコールエン
ジン７１５は、メッセージで指定されるデバイスおよび
ｉノードに対するオープン複製ファイルリスト１１１７
内のエントリ１１１９にアクセスするだけでよい。この
エントリは、バックアップシステム５１３における操作
を実行するのに必要なファイルディスクリプタ１１１１
を含む。

【００６７】アプリケーションプロセス５０３が複製ツ
リー５０５内のファイルをクローズすると、ｌｉｂ．３
ｄのクローズファンクションは、ステータスフィールド
１０３３から、子プロセスがそのファイルを使用してい
るかどうかを判断する。どの子プロセスも使用していな
い場合、クローズファンクションは、複製ツリー５０５
内のそのファイルに対するファイルディスクリプタキャ
ッシュエントリ１０２９を無効にし、デバイス識別子お
よびｉノード識別子を含むクローズメッセージをバック
アップシステム５１３へ送る。システムコールエンジン
７１５は、このメッセージを実行するとき、デバイス識
別子およびｉノード識別子を使用してこのファイルに対
するエントリ１１１９を見つける。続いて、このファイ
ルを識別するためにバックエンドファイルディスクリプ
タ１１１１を使用して、バックアップシステム５１３内
のファイルをクローズし、最後に、オープン複製ファイ
ルリスト１１１７からエントリ１１１９を削除する。

【００６８】［ユーザレベルバックアップファイルシス
テムを使用した複製ファイルの実装：図１３］バックア
ップファイルシステム５０１は、アプリケーションプロ
セス５０３のフロントエンド複製ツリー５０５において
指定される、主システム５１１からの各ファイルの現在
のコピーが、バックアップシステム５１３上に存在する
ことが保証されるという点で有効である。しかし、主シ
ステム５１１からのファイルのコピーを変更するバック
アップシステム５１３における操作の結果は、主システ
ム５１１内のファイルには反映されない。実際に、この
ことは、主システム５１１しか、バックアップシステム
５１３上にバックアップされているファイルを変更する
ことができないことを意味する。

【００６９】ファイルが複製ファイルである場合に必要
とされるように、主システム５１１およびバックアップ
システム５１３がいずれもファイルのコピーを変更する
ことができるためには、各システムは、互いのシステム
上でなされる変更をバックアップしなければならない。
すなわち、２つのシステムは、複製ファイルのコピーに
対する操作に関してピアでなければならない。図５に関
していえば、２つのシステム５１１および５１３はそれ
ぞれ、他方のシステムへのバックアップメッセージのた
めのチャネル５１２と、バックエンドサーバ５１５とを
有していなければならない。さらに、ファイルを変更し
たいシステム上のプロセスは、ｌｉｂ．３ｄ（５０７）
と、ファイルが複製ファイルとしてリストされたフロン
トエンド複製ツリー５０５を有していなければならな
い。さらに、複製ファイルのコピーの変更が両方のシス
テムにおいて同じ順序で起こること、および、複製ファ
イルのローカルコピーに対する読み出し操作が、複製フ
ァイルのリモートコピーでなされた書き込みを考慮に入
れて提供されることを確実にするため、同期システムが
要求される。

【００７０】図１３に、２つのピアホスト１３０２
（Ａ）および１３０２（Ｂ）ならびに複製ファイル１３
２５を有する分散システム１３０１の概観を示す。各ホ
ストはカーネルサーバ３０５（図示せず）および大容量
記憶装置を有する。大容量記憶装置は、ここでは、ホス
ト１３０２（Ａ）に対してはディスク３０７（ａ）であ
り、ホスト１３０２（Ｂ）に対してはディスク３０７
（ｂ）である。各ディスクは複製ファイル１３２５の同
一のコピーを有する。ホスト１３０２（Ａ）上のコピー
はコピー１３２５（Ａ）であり、ホスト１３０２（Ｂ）
上のコピーはコピー１３２５（Ｂ）である。さらに、各
ホスト１３０２は、バックエンドサーバ５１５を有し、
他方のホスト１３０２からバックアップメッセージを受
け取ることができる。ホスト１３０２（Ａ）における３
つのプロセス１３０９（Ａ，１..３）はｌｉｂ．３ｄコ
ード５０７を含み、ファイル１３２５を複製ファイルと
して指定するフロントエンド複製ツリー５０５を有す
る。ホスト１３０２（Ｂ）上の１つのプロセス１３０９
（Ｂ，１）はコード５０６およびそのようなフロントエ
ンド複製ツリーを有する。各ホスト１３０２は互いにバ
ックアップとして機能するため、プロセス１３０９
（Ａ，１..３）が書き込み操作（すなわち、ホスト１３
０２（Ａ）上の複製ファイル１３２５のコピー１３２５
（Ａ）を変更する操作）を実行するごとに、その書き込
み操作の結果、バックアップメッセージ５１２（Ａ）が
生じ、ホスト１３０２（Ｂ）上のバックエンドサーバ５
１５（Ｂ）はこれに応答して、複製ファイルのコピー１
３２５（Ｂ）に対して同じ書き込み操作を実行する。プ
ロセス１３０９（Ｂ，１）がコピー１３２５（Ｂ）に対
して書き込み操作を実行すると、この書き込み操作の結
果バックアップメッセージ５１２（Ｂ）が生じ、バック
エンドサーバ５１５（Ａ）はこれに応答して、コピー１
３２５（Ａ）に対して同じ書き込み操作を実行する。バ
ックアップメッセージ５１２は、送信された順にメッセ
ージが到着することを保証するチャネルを通じて送ら
れ、その結果、コピー１３２５（Ａ）および１３２５
（Ｂ）に対する書き込み操作は同じ順序で行われる。こ
のようなチャネルを実装する１つの方法は、ＴＣＰ／Ｉ
Ｐを通じてバックアップメッセージ５１２を送ることで
ある。

【００７１】もちろん、バックエンドサーバ５１３は、
プロセス１３０９が複製ファイル１３２５（Ａ）に対し
て書き込み操作を実行するのと同時に複製ファイル１３
２５（Ｂ）に対して書き込み操作を実行するわけではな
い。その結果、ファイル１３２５（Ｂ）に対する読み出
し操作は、ファイル１３２５（Ａ）に対する同時の読み
出し操作と異なる結果となる可能性がある。ある場合に
は、これは異ならないが、他の場合には異なることがあ
る。その結果、システム１３０１には、複製ファイル１
３２５に対する２種類の読み出し操作が可能である。第
１の読み出し操作は「アトミック読み出し」操作であ
る。アトミック読み出し操作は、複製ファイル１３２５
のコピーに一貫性がある必要がないときに使用される。
この操作は単に、複製ファイル１３２５のローカルコピ
ーに対する現在の書き込み操作が終了するまで待機して
からそのローカルコピーを読み出す。第２の読み出し操
作は「順次読み出し」操作である。この操作は、複製フ
ァイル１３２５のコピーに一貫性がなければならない場
合に使用され、従って、読み出されている複製ファイル
のコピーは、その複製ファイルの他のすべてのコピーと
一貫性があるように、複製ファイルに対する書き込み操
作と同期している。

【００７２】書き込み操作と順次読み出し操作の同期
は、複製ファイル１３２５に対する２つのトークン、す
なわち、書き込みトークン１３２７および読み出しトー
クン１３２８によって実現される。書き込みトークン１
３２７を有するホスト１３０２は、複製ファイルのロー
カルコピーに対する読み出し操作または書き込み操作を
実行することが可能である。読み出しトークン１３２８
を有するホスト１３０２は、ローカルコピーに対する読
み出し操作を実行することは可能であるが、書き込み操
作を実行することはできない。いずれのトークンも有し
ないホスト１３０２は、アトミック読み出し操作のみ実
行可能である。ホスト１３０２は、必要なトークンを有
しない場合、他のホスト１３０２にそのトークンを要求
する。他のいずれかのホスト１３０２で書き込み操作が
未完了である場合、最後の書き込みバックアップメッセ
ージ５１２を送った後に、バックアップメッセージ５１
２のために使用したチャネルにトークンを送る。このよ
うにトークンを送ることによって、ホスト１３０２は、
複製ファイル１３２５のすべてのローカルコピーにおい
て書き込み操作が同じ順序で起こること、および、複製
ファイル１３２５の同一のローカルコピーに対して順次
読み出しが実行されることを保証する。

【００７３】与えられた瞬間にはただ１つのホスト１３
０２のみが書き込みトークン１３２７を有し、その瞬間
には、他のすべてのホスト１３０２はトークンを有しな
い。いずれのホストも書き込みトークン１３２７を有し
ない場合、すべてのホストは読み出しトークン１３２８
を有する。読み出しトークンおよび書き込みトークンの
いずれも有しないホスト１３０２はいずれかを要求する
ことが可能である。書き込みトークンを有するホスト
は、読み出しトークンまたは書き込みトークンのいずれ
かを与えることが可能である。読み出しトークンを有す
るホストは書き込みトークンを要求または授与すること
が可能である。

【００７４】システム１３０１が３つ以上のホスト１３
０２を有するとき、書き込み操作は、書き込みトークン
１３２７を有しないすべてのホスト１３０２へ同報され
る。トークンの要求およびトークンの授与もまたすべて
のホスト１３０２に同報される。同報は、要求および授
与の信頼性のある同報順序を提供する信頼性のある同報
パッケージを使用して行われる。このようなパッケージ
の一例は、コーネル大学によって提供されているＩＳＩ
Ｓである。ＩＳＩＳは、「故障がある場合の信頼性のあ
る通信(Reliable Communication in the Presence of F
ailures)」、ACM Transactions on Computer Systems,
5, 1、１９８７年２月、第４７〜７６ページ、に記載さ
れている。読み出しトークン１３２８の場合、読み出し
トークンを授与することができる唯一のホスト１３０２
は、書き込みトークンを有するホストである。その結
果、読み出しトークンを授与するメッセージが複数存在
することはない。書き込みトークン１３２７の場合、書
き込みトークン１３２７を有する単一のホスト１３０２
が存在するか、または、すべてのホストが読み出しトー
クン１３２８を有する。前者の場合、書き込みトークン
１３２７を授与するメッセージはただ１つ存在する。後
者の場合、要求中のホスト１３０２は、書き込みトーク
ン１３２７を実際に有する前に、読み出しトークン１３
２８を有するすべてのホスト１３０２から授与メッセー
ジを受け取らなければならない。

【００７５】プロセス１３０９が自己のホスト１３０２
上の複製ファイル１３２５のコピーに書き込みをするた
めには、２つの条件が満たされなければならない。 ・このプロセスが実行されているホスト１３０２は、複
製ファイルに対する書き込みトークン１３２７を有して
いなければならない。 ・ホスト１３０２内の複製ファイル１３２５のコピーに
対する他のホスト１３０２からの未完了の書き込み操作
があってはならない。

【００７６】ホスト１３０２は、書き込みトークン１３
２７を有しない場合、他のホストに書き込みトークン１
３２７を要求しなければならない。他のホスト１３０２
はバックアップメッセージ５１２において書き込みトー
クン１３２７を送り、それによって、第２の条件が満た
されること、すなわち、受信側ホスト１３０２は最後の
バックアップメッセージ５１２で指定される変更が完了
するまで複製ファイル１３２５のコピーを変更しないこ
とを保証する。

【００７７】好ましい実施の形態では、書き込みトーク
ン１３２７を使用した同期は、各ホスト１３０２上のト
ークンサーバ１３１１と、トークンファイル１３０７
と、バックアップメッセージ５１２を受信した順序で送
出するチャネルとによって実現される。トークンファイ
ル１３０７は、ホスト１３０２上にコピーを有する各複
製ファイル１３２５に対する領域を有する。標準的なオ
ペレーティングシステムのロッキングサブシステムで
は、ファイルの領域をロックすることが可能である。２
種類のロックがある。排他ロックでは、ただ１つのプロ
セスのみがそのファイルにアクセスすることが可能であ
る。共有ロックでは、任意数のプロセスがアクセスする
ことができる。一般に、プロセスは、領域に書き込むた
めにはその領域に排他ロックを有し、領域から読み出す
ためには共有ロックを有していなければならない。好ま
しい実施の形態では、トークンファイル１３０７におけ
る複製ファイル１３２５の領域に対するオペレーティン
グシステムロックを使用して、その複製ファイル１３２
５に対する書き込み操作と順次読み出し操作を同期させ
るために使用されるトークンを実現する。

【００７８】例えば、好ましい実施の形態では、書き込
みトークンは、複製ファイル１３２５の領域に対するオ
ペレーティングシステムロックから形成される書き込み
トークンロックとして実現される。トークンサーバ１３
１１は、書き込みトークンを有することを示すメッセー
ジを受け取ると、書き込みトークンロックを獲得する。
トークンサーバ１３１１が書き込みトークンロックを有
する限り、ホスト１３０２上で実行中のプロセス１３０
９は、複製ファイルのローカルコピーに対するアトミッ
ク読み出し操作、順次読み出し操作、または書き込み操
作のロックを獲得することができる。これらのロックも
また、トークンファイル１３０７におけるオペレーティ
ングシステムロックを使用して実現される。

【００７９】他のホスト１３０２が書き込みトークンを
要求すると、トークンサーバ１３１１は書き込みトーク
ンロックを解放し、トークンなしロック（他のロックと
同様に実現される）を獲得する。トークンサーバ１３１
１がトークンなしロックを有する限り、ホストシステム
１３０２において複製ファイル１３２５に書き込むこと
が可能な唯一のプロセスはバックエンドサーバ５１５で
ある。もちろん、バックエンドサーバ５１５は、現在書
き込みトークン１３２７を有するホスト１３０２からの
バックアップメッセージ５１２に応答する。

【００８０】システム１３０１の動作は以下の通りであ
る。ユーザレベルバックアップファイルシステム５０１
の説明で既に述べたように、ｌｉｂ．３ｄ（５０７）
は、複製ファイルに対する操作を実行するアプリケーシ
ョンプロセス５０９のコードに静的にまたは動的にバイ
ンドされる。その後、ファイルがフロントエンド複製ツ
リー５０５において複製ファイルとして指定される。シ
ステム１３０１で使用されるｌｉｂ．３ｄ（５０７）の
バージョンは、標準的なＩ／Ｏライブラリ書き込みルー
チンを、図１２に示す書き込み操作で置き換える。第３
行のget_write_token()関数１２０１は、関連するホス
トのトークンサーバ１３１１に書き込みトークン１３２
７を要求する。そのホストのトークンサーバ１３１１が
書き込みトークン１３２７を有する場合、この関数は直
ちに復帰する。トークンサーバ１３１１は、書き込みト
ークン１３２７を有していない場合、他のホストに要求
し、書き込みトークンが到着すると復帰する。トークン
サーバ１３１１が書き込みトークン１３２７を有する
と、プロセス１３０９は第４行で書き込みシステムコー
ルsyscall(SYS_write, fildes, buf, nbyte)を実行す
る。その後、システム５０１の説明で述べたように、関
数は、フロントエンド複製ツリー５０５から、ファイル
が複製されているかどうかを判断する。複製されている
場合、書き込みメッセージ５１２が他のホスト１３０２
に送られ、書き込みトークンは解放される（１２０
３）。書き込みトークン１３２７は、同じようにして、
複製ファイル１３２５を変更するいずれのホスト１３０
２上の書き込み操作に対しても、獲得されなければなら
ない。その結果、すべての変更は複製ファイル１３２５
のすべてのコピーに対して行われ、すべての変更は同じ
順序で行われる。

【００８１】［同期の詳細な実装：図１４］好ましい実
施の形態では、与えられたホスト１３０２上の複製ファ
イル１３２５のコピーに属するロックファイル１３０７
の領域は、書き込み操作に関連する２つのロックを有す
る。第１のロックは、書き込みトークン１３２７がホス
ト１３０２上にあるかどうかを示し、第２のロックは、
複製ファイル１３２５のコピーが、当該ホスト１３０２
上のプロセス１３０９による書き込みに利用可能である
かどうかを示す。図１４に、好ましい実施の形態におい
てこれら２つのロックをどのようにして使用するかを示
す。図の擬似コード１４０１は今度もｌｉｂ．３ｄ（５
０７）の書き込み操作に対するものである。ロックを含
む領域は変数TOKEN_REGION（１４０３）によって表さ
れ、これは２つのフィールドを有する。ロックのSTATE
は、書き込みトークン１３２７がホスト１３０２上にあ
るかどうかを示し、ロックのTOKENは、プロセス１３０
９が書き込みを実行することができるかどうかを示す。
STATEによって表されるロックは、トークン１３２７が
他のホスト１３０２上にあるとき、ローカルトークンサ
ーバ１３１１によって排他ロックされたまま保持され
る。

【００８２】擬似コード１４０１によって記述される動
作は以下の通りである。第３行に示されるように、ロッ
ク１４０３を含むトークンファイル１３０７の領域が関
数fd2tokenによって検索される。この関数は、複製ファ
イル１３２５のローカルコピーのファイルディスクリプ
タをとり、領域１４０３を返す。次のステップで、複製
ファイル１３２５に対する書き込みトークン１３２７が
ローカルホスト１３０２内にあるかどうかを判定する。
これは、第４行で、領域１４０３のSTATEフィールドの
非ブロッキング共有ロックを要求することによって行わ
れる。このロックが取得可能である場合、書き込みトー
クン１３２７はローカルホスト１３０２上にある。この
ロックが取得可能でない場合、擬似コード１４０１は、
トークンサーバ１３１１が他のホスト１３０２上の対応
するトークンサーバにトークン１３２７を要求するメッ
セージを送り、そのトークンを提供するメッセージが返
るのを待機するようにする関数（図示せず）を呼び出
す。第４行では、書き込みトークン１３２７がローカル
ホスト１３０２上にあるかどうかを複数のプロセス１３
０９が判定できるように、共有ロックの取得を試みる。

【００８３】書き込みトークン１３２７がローカルに利
用可能となると、次のステップへ進む。第６行に示され
るように、領域１４０３のSTATEフィールドに対しても
う１つのロック要求がなされる。今度はこれはブロッキ
ングであり、コード１４０１を実行しているプロセス１
３０９は、STATEに対する共有ロックを取得することが
できるまで（すなわち、書き込みトークン１３２７がロ
ーカルに利用可能になるまで）待機し（第６行）、その
後、TOKENに対する排他ロックを獲得するまでブロック
する。プロセス１３０９が排他ロックを受け取ると、実
際に書き込みシステムコールがなされ、メッセージ５１
２が、複製ファイル１３２５のローカルコピーへの書き
込みの内容とともに、他方のホスト１３０２へ送られ
る。これが行われると、領域１４０３はロック解除さ
れ、書き込み操作が終了する。

【００８４】もちろん、ローカルホスト１３０２上で複
製ファイル１３２５に対する書き込みを試みている他の
いずれのプロセス１３０９も、STATEに対する共有ロッ
クを有し、TOKENに対する排他ロックを待機しているプ
ロセスの待ち行列に入ることができる。書き込みを完了
したプロセス１３０９がTOKEN_REGIONをロック解除する
と、待ち行列における次のこのようなプロセスがTOKEN
に対する排他ロックを取得し書き込み操作を実行するこ
とができる。さらに、ローカルトークンサーバ１３１１
が、他のトークンサーバ１３１１から複製ファイル１３
２５に対する書き込みトークン１３２７を要求するメッ
セージ５１２を受け取ると、ローカルトークンサーバ１
３１１はSTATEに対する排他ロックを要求する。ローカ
ルトークンサーバ１３１１は、STATEに対する共有ロッ
クを有するすべてのプロセス１３０９が書き込み操作を
完了した後にのみ、その排他ロックを受け取る。ローカ
ルトークンサーバは、STATEに対する排他ロックを受け
取ると、書き込み操作によって生成されたメッセージが
他のホスト１３０２に送られたのと同じチャネルによっ
て、そのことを知らせるメッセージを他のホスト１３０
２へ送る。チャネルに入れられたメッセージは、送られ
た順序で到着し、その結果、他のホスト１３０２上のト
ークンサーバ１３１１は、当該他のホスト１３０２上の
バックエンドサーバ５１５が、トークン１３２５を有し
ていたホスト１３０２からのすべての書き込みメッセー
ジ５１２を処理した後にのみ、STATEに対する排他ロッ
クを解放する。

【００８５】他のホスト１３０２上で実行される順次読
み出し操作と書き込み操作の同期は、書き込みトークン
１３２７に関して説明したのとほぼ同様に、読み出しト
ークン１３２８によって達成される。順次読み出しを実
行するプロセス１３０９は、読み出しトークン１３２８
または書き込みトークン１３２７がホスト１３０２上に
あるかどうかを示すトークンファイル１３０７の一部に
対する共有ロックを取得することをまず試みる、ｌｉ
ｂ．３ｄ（５０７）内のコードを実行する。この試みが
失敗した場合、プロセス１３０９は、トークンサーバ１
３１１が読み出しトークン１３２８を他のホスト１３０
２から取得することを要求する。トークンは、書き込み
トークン１３２７について説明したのと同様にして取得
される。次に、プロセス１３０９は、そのトークンを表
す領域に対する排他ロックを取得することを試み、読み
出しトークン１３２８がホスト１３０２に到着するまで
ブロッキングする。トークンが到着すると、プロセス１
３０９は、複製ファイル１３２５のローカルコピーに対
する共有ロックを要求する。プロセス１３０９は、その
ローカルコピーが他のプロセス１３０９によって実行さ
れているローカル書き込み操作に対する排他ロックでな
く、かつ、バックアップメッセージ５１２に応答してバ
ックアップサーバ５１５によって実行されているリモー
ト書き込み操作に対する排他ロックでもない場合にの
み、その共有ロックを受け取ることができる。

【００８６】既に示したように、書き込みトークン１３
２７を有するトークンサーバ１３１１は読み出しトーク
ン１３２８を授与することができる。書き込みトークン
１３２７を有するトークンサーバ１３１１が要求を受け
取った場合、複製ファイルに対する書き込み操作が終了
するのを待ち、複製ファイルのローカルコピーに対する
ロックを排他ロックから共有ロックに変更し、書き込み
バックアップメッセージ５１２のために使用しているチ
ャネルによって読み出しトークンを送る。このことすべ
てにより、読み出しトークン１３２８は、最後の書き込
みバックアップメッセージ５１２の後に、要求側ホスト
１３０２に到着する。

【００８７】［複製ファイルに対する状態マシン：図１
５］ホスト１３０２内のアプリケーションプロセス１３
０９、トークンサーバ１３１１、およびバックエンドサ
ーバ５１５の協力ならびにホスト１３０２間でのトーク
ンサーバ１３１１の協力は、プロセス１３０９、トーク
ンサーバ１３１１、およびバックエンドサーバ５１５を
状態マシンとして考察することによってより良く理解さ
れる。与えられた複製ファイル１３２５に関して、これ
らの各マシンの状態は、そのファイルに対する書き込み
トークン１３２７および読み出しトークン１３２８に依
存し、トークンがホスト１３０２間を移動するにつれて
変化する。

【００８８】アプリケーションプロセス１３０９は、複
製ファイル１３２５に関して４つの状態を有する。

【００８９】１．操作なし状態。この状態では、アプリ
ケーションプロセス１３０９は、複製ファイル１３２５
のローカルコピーに対するいかなる種類のロックも有し
ておらず、従って、ローカルコピーに対する読み出し操
作も書き込み操作を実行することができない。

【００９０】２．アトミック読み出し状態。この状態で
は、プロセス１３０９はローカルコピーに対する共有ロ
ックのみを有し、従って、アトミック読み出し操作のみ
を実行することができる。

【００９１】３．順次読み出し状態。この状態では、複
製ファイル１３２５に対する読み出しトークン１３２８
または書き込みトークン１３２７がホスト１３０２にあ
り、プロセス１３０９はローカルコピーに対する共有ロ
ックを有し、従って、アトミック読み出しのみならず順
次読み出し操作を実行することができる。

【００９２】４．書き込み状態。この状態では、複製フ
ァイル１３２５に対する書き込みトークン１３２７がホ
スト１３０２にあり、プロセス１３０９はローカルコピ
ーに対する排他ロックを有し、従って、順次読み出しお
よびアトミック読み出し操作のみならず書き込み操作を
実行することができる。書き込み操作は、複製ファイル
１３２５の他のコピーでバックアップされる。

【００９３】状態の説明から明らかなように、ある状態
から他の状態への遷移には、トークンおよびロックの獲
得および喪失が伴う。例えば、操作なし状態から順次読
み出し状態への遷移は、ホスト１３０２における読み出
しトークン１３２８の獲得およびプロセス１３０９によ
る共有ロックの獲得を要求する。

【００９４】バックエンドサーバ５１５を実現するプロ
セスの状態は、アプリケーションプロセス１３０９の状
態１および４と密接に関係している。

【００９５】１．操作なし状態。この状態では、バック
エンドサーバ５１５は、複製ファイル１３２５のローカ
ルコピーに対するいかなる種類のロックも有しておら
ず、従って、ローカルコピーに対する読み出し操作も書
き込み操作を実行することができない。

【００９６】２．書き込み状態。この状態では、バック
エンドサーバ５１５は、複製ファイル１３２５のローカ
ルコピーに対する排他ロックを有し、従って、ローカル
コピーに書き込みをすることができる。

【００９７】以上のことからわかるように、状態変化
は、ホスト１３０２間のトークンの移動によって引き起
こされる。

【００９８】最も複雑な場合は、トークンサーバ１３１
１（Ａ）および（Ｂ）を実現するプロセスの場合であ
る。トークンサーバ１３１１は、ホスト１３０２（Ａ）
と（Ｂ）の間でトークンを渡すために相互に協力しなけ
ればならない。図１５は、２つのトークンサーバ１３１
１に対する状態図である。図１５において、各状態は番
号１５０１、１５０２、...、１５０６を有する。状態
遷移は矢印で示される。矢印の参照番号の最後の２桁
は、その矢印で示される遷移がなされる始状態および終
状態を示す。従って、矢印１５３１は、状態１５０３か
ら状態１５０１への遷移を示す。各状態遷移は、トーク
ンサーバ１３１１で受け取られるメッセージの結果であ
り、これにより、メッセージが他のトークンサーバ１３
１１に送られることもある。

【００９９】図１５において、与えられた遷移に対して
受け取られるメッセージは、その遷移の矢印のそばに斜
体字で示され、送られるメッセージはブロック体で示さ
れる。例えば、矢印１５３１で示される遷移は、他のト
ークンサーバ１３１１からのTSgetRtokenTS（斜体）メ
ッセージの結果である。また、この遷移は、他のトーク
ンサーバへのTSgrantRtokenRP_TS（ブロック体）メッセ
ージを生成する。メッセージの名前は、メッセージの始
点、宛先、内容、およびそのメッセージがとる経路を示
す。例えば、TSgrantRtokenRP_TS（ブロック体）は、バ
ックアップメッセージ５１２のために使用されるチャネ
ルを通じて送られなければならない（RP_）、一方のト
ークンサーバ（第１のTS）から他方のトークンサーバ
（第２のTS）への読み出しトークン授与（grantRtoke
n）メッセージである。同様に、TSgetRtokenTS（斜体）
は、一方のトークンサーバから他方のトークンサーバへ
の読み出しトークン要求メッセージであるが、このメッ
セージは、バックアップメッセージ用のチャネルを通じ
て送られる必要はない。

【０１００】図１５の概観からはじめると、まず、３つ
の主要な状態がある。

【０１０１】・書き込みトークン状態１５０３。この状
態では、ローカルホスト１３０２は書き込みトークン１
３２７を有し、プロセス１３０９は複製ファイル１３２
５のローカルコピーに対するすべての読み出し操作およ
び書き込み操作を実行することが可能であり、トークン
サーバ１３１１は読み出しトークンおよび書き込みトー
クンの両方を授与することが可能である。

【０１０２】・読み出しトークン状態１５０１。この状
態では、ローカルホスト１３０２は読み出しトークンの
みを有し、プロセス１３０９は複製ファイル１３２５の
ローカルコピーに対するすべての読み出し操作を実行す
ることができるがローカルコピーへの書き込みはでき
ず、トークンサーバ１３１１は書き込みトークン１３２
７の要求または授与をすることができる。

【０１０３】・トークンなし状態１５０５。この状態で
は、ローカルホスト１３０２はトークンを有さず、プロ
セス１３０９は複製ファイル１３２５のローカルコピー
に対するアトミック読み出し操作のみを実行することが
可能であり、バックエンドサーバ５１５のみが複製ファ
イル１３２５のローカルコピーに書き込むことが可能で
あり、トークンサーバ１３１１は、読み出しトークンま
たは書き込みトークンの要求のみをすることが可能であ
る。

【０１０４】図１５における始状態は読み出しトークン
状態１５０１である。アプリケーションプロセス１３０
９が読み出しトークン状態１５０１の間に書き込み操作
を試みると、状態遷移１５１２が起こる。トークンサー
バ１３１１はプロセス１３０９からAPgetWtokenTS（斜
体）要求を受け取り、この要求に応答して、他のホスト
１３０２のトークンサーバ１３１１へTSgetWtokenTS
（ブロック体）メッセージを送る。ここで、ローカルト
ークンサーバ１３１１は、読み出しトークン・書き込み
トークン待機（RwaitW）状態１５０２において、他のト
ークンサーバから書き込みトークンを授与するTSgrantW
tokenTS（斜体）メッセージを受け取るまで待機する。
状態の名前が示しているように、ローカルホストは、書
き込みトークンを待っている間、読み出しトークンを保
持する。TSgrantWtokenTS（斜体）メッセージを受け取
ると、遷移１５２３が起こり、トークンサーバ１３１１
は書き込みトークン状態１５０３に入り、ローカルホス
ト１３０２に書き込みトークン１３２７が来る。ここ
で、書き込みトークンに対する要求を生じた書き込み操
作が実行され、その結果、複製ファイル１３２５のロー
カルコピーに書き込みが行われ、他のホスト１３０２へ
書き込みバックアップメッセージ５１２が送られる。

【０１０５】もちろん、いずれのトークンサーバ１３１
１も書き込みトークン１３２７を有さず、それぞれが他
方から書き込みトークン１３２７を要求する可能性もあ
る。その場合、状態１５０２においてタイブレークアル
ゴリズム（状態遷移１５２２によって表されている）が
実行され、いずれのホスト１３０２が書き込みトークン
１３２７を受け取るかが決定される。このアルゴリズム
は、一方のホストが一次ホストとして指定され、他方の
ホストが二次ホストとして指定されることを要求する。
一次ホストは、他方のホスト１３０２からの要求に応答
して、その要求を無視して状態１５０３を続行する。二
次ホストはトークンなし・書き込みトークン待機（Nwai
tW）状態１５０４への遷移１５２４を行う。

【０１０６】トークンサーバ１３１１は、状態１５０３
にあるとき、書き込みトークン１３２７を有し、要求中
のトークンサーバ１３１１へ書き込みトークン１３２７
または読み出しトークン１３２８のいずれかを提供する
ことができる。読み出しトークン１３２８に対する要求
に応答して、矢印１５３１で示される遷移が起こる。TS
getRtokenTS（斜体）メッセージに応答して、トークン
サーバ１３１１は書き込みトークン１３２７を放棄し、
要求中のトークンサーバ１３１１へTSgrantRtokenRP_TS
（ブロック体）メッセージを送るが、読み出しトークン
１３２８は保持する。その結果、いずれのトークンサー
バ１３１１も読み出しトークンを有し、状態１５０１に
あることになる。

【０１０７】要求が、書き込みトークン１３２７に対す
るものであるとき、矢印１５３５で示される遷移が起こ
る。TSgetWtokenTS（斜体）要求に応答して、トークン
サーバ１３１１は自己のトークンを放棄し、メッセージ
５１２のために使用されるチャネルを通じてTSgrantWto
kenRP_TS（ブロック体）メッセージをバックエンドサー
バへ送り、トークンサーバ１３１１は状態１５０５に入
る。状態１５０５は、状態１５０１から遷移１５１５に
よって到達することもある。この遷移は、状態１５０１
にあるトークンサーバ１３１１がTSgetWtokenTS（斜
体）メッセージを受け取り、それに応答して今遷移１５
３５について説明したように動作するときに起こる。た
だし、トークンサーバ１３１１のホストは書き込みをし
ているのではないので、メッセージ５１２のチャネルを
通じてバックエンドサーバへメッセージを送る必要はな
い。

【０１０８】ローカルホスト１３０２上のアプリケーシ
ョンプロセス１３０９が複製ファイル１３２５のローカ
ルコピーに対する読み出し操作または書き込み操作を実
行しようと試みるまで、トークンサーバ１３１１は状態
１５０５にとどまる。読み出し操作の場合、この試みの
結果、遷移１５５６が起こり、プロセス１３０９からの
APgetRtokenTS（斜体）メッセージがトークンサーバ１
３１１によって受け取られ、トークンサーバ１３１１は
これに応答して他方のトークンサーバ１３１１へTSgetR
tokenTS（ブロック体）メッセージを送る。次に、トー
クンサーバ１３１１は、トークンなし・読み出しトーク
ン待機（NwaitR）状態１５０６に入り、読み出しトーク
ン１３２８を待機する。待機中、書き込みトークン１３
２７に対するローカル要求は待ち行列に入れる。このト
ークンを授与するTSgrantRtokenRP_TS（斜体）メッセー
ジがメッセージ５１２のチャネルを通じて到着すると、
結果として、読み出しトークン状態１５０１への遷移１
５６１が起こる。

【０１０９】アプリケーションプロセス１３０９が複製
ファイルに対する書き込み操作を試みた場合、結果とし
て遷移１５５４が起こる。この遷移において、トークン
サーバ１３１１はAPgetWtokenTS（斜体）メッセージに
応答して、TSgetWtokenTS（ブロック体）メッセージを
他方のトークンサーバ１３１１へ送り、その結果、状態
１５０４に入る。次に、トークンサーバは、状態１５０
４において、他方のトークンサーバ１３１１からのTSgr
antWtokenRP_TS（斜体）メッセージを待機する。このメ
ッセージが送られるチャネルは、バックエンドサーバ５
１５へのメッセージ５１２のためのものである。TSgran
tWtokenRP_TS（斜体）メッセージが到着すると、状態１
５０３への遷移１５４３が起こる。

【０１１０】［同期の実装：図１、図１６、図１７］好
ましい実施の形態では、同期は、複製ファイル１３２５
の各ローカルコピーに対する７個のロックのセットによ
って実装される。図１６に、ロックの種類、ロックを有
しなければならないシステム１３０１の要素、および、
ロックの意味のリストである。ロック１６０１、１６０
３、および１６０５は、それぞれ、プロセス１３０９が
複製ファイル１３２５のローカルコピーに対してアトミ
ック読み出し操作、順次読み出し操作、および書き込み
操作を実行するために有しなければならないロックであ
る。ロック１６０７は、ローカルバックエンドサーバ５
１５が複製ファイル１３２５のローカルコピーに書き込
みをするために有しなければならないロックである。ロ
ック１６０９、１６１１、および１６１３は、現在ロー
カルホスト１３０２にある複製ファイル１３２５に対す
るトークンによって要求されるように、ローカルトーク
ンサーバ１３１１によって要求される。例えば、ローカ
ルホスト１３０２が書き込みトークンを有し、その書き
込みトークンに対する要求を受け取った場合、ローカル
トークンサーバ１３１１は、書き込みトークンロック１
６０９を解放し、トークンなしロック１６１３を獲得す
る。

【０１１１】図１７に、ロックの意味規則を示す。図１
６の各ロックに対する行および列がある。行と列の交点
にｘがある場合、相異なる要求者がその行のロックとそ
の列のロックとを同時に保有することはできない。例え
ば、トークンサーバ１３１１がトークンなしロック１６
１３を保有している場合、ローカルホスト１３０２にト
ークンがないという状況に対して要求されるとおり、プ
ロセス１３０９は、順次読み出しロック１６０３または
ローカル書き込みロック１６０５を有することはない。

【０１１２】好ましい実施の形態では、図１６のロック
は、ＵＮＩＸオペレーティングシステムのSunOSオペレ
ーティングシステムまたはSystem V Release 4のような
オペレーティングシステムによって提供される共有ロッ
クおよび排他ロックにより実装される（SunOSはSun Mic
rosystems, Inc.の商標である）。オペレーティングシ
ステムによって提供されるロックにより、プロセスは、
ファイルのバイトに対する共有ロックまたは排他ロック
を取得することができる。さらに、このバイトは、他の
ファイルに対するロックを表すために使用することも可
能である。こうして、好ましい実施の形態では、図１６
のロックは、トークンファイル１３２７において、トー
クンファイル１３２７内のバイト列を各複製ファイル１
３２５に割り当て、複製ファイルのバイト列内のバイト
を使用して複製ファイルのロックを表現することによっ
て実装される。複製ファイル１３２５に対するバイト列
はスロットと呼ばれる。好ましい実施の形態では、各ス
ロットは３バイトを有する。図１６の各ロックはスロッ
トのバイトに対するロックの組合せによって表現され
る。

【０１１３】図１に、好ましい実施の形態において使用
される組合せを示す。第１列は、システム１３０１内の
複製ファイル１３２５のローカルコピーに対して使用さ
れるロックのリストである。第２列は、どの種類のオペ
レーティングシステムロックが使用されるかを示す。Ｒ
は共有ロック、Ｗは排他ロック、およびＮＬはロックな
しを示す。残りの列は、スロットのバイトを示す。バイ
トごとの列内のダッシュは、第２列で指定されるＯＳロ
ックがそのバイトに対して獲得されていることを示す。
こうして、プロセス１３０９は複製ファイル１３２５の
ローカルコピーに対するアトミック読み出しロック１６
０１を獲得しているとき、オペレーティングシステムは
複製ファイル１３２５に対するスロットのバイト０に共
有ロックを有する。同様に、プロセス１３０９がローカ
ルコピーに対する書き込みロック１６０５を獲得してい
るとき、オペレーティングシステムはスロットのバイト
１および２に共有ロックを有し、バイト０に排他ロック
を有する。

【０１１４】ＯＳロックのこのマッピングは、システム
１３０１のロックに対する図１７の衝突テーブルを実現
する。衝突しているシステム１３０１のロックは、衝突
しているＯＳロックおよび重複したオフセットにマップ
され、一方、衝突していないシステム１３０１のロック
は、衝突していないＯＳロックまたは重複しないオフセ
ットにマップされる。好ましい実施の形態では、このマ
ッピングはＳＬＥＶＥと呼ばれる同期ツールによって自
動的に生成される。（エイ．スカーラ(A. Skarra)、
「ＳＬＥＶＥ：イベント同期のための意味規則ロック(S
LEVE: Semantic Locking for EVEnt synchronizatio
n)」、Proceedings of Ninth International Conferenc
e on Data Engineering（１９９３年）参照。）

【０１１５】［複製ファイルに対する高水準操作の実
行］複製ファイルの各ローカルコピーが同様のすべての
他のコピーと等価であるということの重要な結果とし
て、上記の書き込み操作と全く同様にして高水準の操作
を扱うことができる。書き込み操作では、書き込みトー
クン１３２７を有するホスト１３０２が複製ファイル１
３２５のローカルコピーに対する書き込みを実行し、そ
の後、その書き込みおよび書き込まれるデータを指定す
るメッセージを他のホスト１３０２へ送り、そこで、バ
ックエンドサーバ５１５が、メッセージに指定された書
き込み操作を、当該他のホスト１３０２内の複製ファイ
ル１３２５のローカルコピーに対して実行する。全く同
じことを高水準操作、例えば、２つの複製ファイルに関
するソート（整列）・マージ（併合）を行う場合にも行
うことができる。複製ファイルはすべてのホスト１３０
２において等価であるため、書き込みトークン１３２７
を有するホスト１３０２は以下のように進むことが可能
である。ソート・マージを行いその操作に伴うすべての
書き込みに対する書き込みバックアップメッセージ５１
２を送る代わりに、ホスト１３０２は、ローカルコピー
に対してソート・マージを実行してから、そのソート・
マージ操作を指定するメッセージ５１２を他のホスト１
３０２へ送ることが可能である。複製ファイル１３２５
は他のすべてのホスト１３０２上で等価であるため、こ
の指定されたソート・マージ操作の結果はすべてのホス
ト１３０２上で同一となる。このアプローチの利点は、
ソート・マージ操作の指定を送ることは、書き込みトー
クンを有するホスト１３０２上のソート・マージの結果
生じるすべての書き込み操作を他のホスト１３０２へ送
るよりもずっと少ない時間およびネットワーク資源しか
必要としないことである。

【０１１６】さらに詳細に説明すると、高水準操作は以
下のような状況で使用することができる。各ホスト１３
０２が２つの複製ファイル、すなわち、ソートされたマ
スタリストファイルおよび更新ファイルを有する。マス
タリストファイルへの更新は更新ファイルに対して行わ
れ、ソート・マージ操作が更新ファイルおよびマスタリ
ストファイルに対して周期的に実行されて新たなマスタ
リストファイルが生成される。その後更新ファイルは削
除され、再作成されて、このサイクルが再開される。更
新ファイルに対する更新は、上記のような書き込み操作
を使用して行われる。従って、ソート・マージ操作の時
刻が来ると、すべてのホスト１３０２は同一の更新ファ
イルおよびマスタリストファイルを有する。書き込みト
ークンを有するホスト１３０２はそれ自身ソート・マー
ジ操作を実行してから、書き込みバックアップメッセー
ジ５１２を送る場合と全く同様にしてソート・マージ操
作の指定を有するメッセージ５１２を他の各ホスト１３
０２へ送る。この指定は、ソート・マージ操作のコード
であることも可能であるが、この操作は反復して実行さ
れるため、この指定は一般には、ソート・マージが更新
ファイルおよびマスタリストファイルに対して実行され
ることを指定するコマンドラインである。次に、ソート
・マージが他の各ホスト１３０２に対して実行される。
同様に進行して、書き込みトークンを有するホスト１３
０２は更新ファイルを削除し再作成して、同じ操作を指
定するメッセージを他のホスト１３０２へ送る。もちろ
ん、操作の指定は任意のレベルのものが可能である。例
えば、上記の例では、更新ファイルのソート・マージな
らびに削除および再作成をすべてシェルスクリプトにお
いて指定することが可能であり、操作指定は、そのシェ
ルスクリプトとするか、または、他のすべてのホスト１
３０２がそのシェルスクリプトのコピーを有する場合に
は、そのシェルスクリプトを呼び出すために使用するコ
マンドラインとすることも可能である。

【０１１７】［複製ファイルへのアクセスのトランザク
ション的同期］説明したように、複製ファイルシステム
は、ファイルへの単一のアクセスに対する複製ファイル
間の一貫性を保証する。また、複製ファイルシステム
は、ファイルへのトランザクション的アクセスに対する
一貫性を保証するためにも使用することができる。トラ
ンザクションとは、単一アクセスのシーケンスからなる
単一の論理アクションである。トランザクションの例は
以下の通りである。ファイルｆ内の各レコードｒは、プ
ログラムＰがｒを読み出した回数を記憶する属性readnu
mを含むと仮定する。Ｐは以下の擬似コードにおいてrea
dnumをインクリメントする。ただし、関数のパラメータ
リストは省略してある。

【０１１８】for every r in f read(f); increment_readnum(); write(f);

【０１１９】Ｐのいくつかのインスタンスが並行して実
行されるときには、アクセスレベルの同期だけではｆの
レコードにおける一貫性を保証するのに十分ではない。
あるＰがｒを読み出した直後は、Ｐがreadnumをインク
リメントしｒをｆに書き込むまでは、他のプログラムは
ｒの読み出しまたは書き込みを行うべきではない。読み
出し−インクリメント−書き込みのシーケンスは、アト
ミック単位として同期すべきｒに対する単一の論理アク
ション（すなわち、トランザクション）である。

【０１２０】別個のトランザクション機構がない場合、
プログラマは、オペレーティングシステムのロックプリ
ミティブを用いてこのようなシーケンスに対するトラン
ザクション同期の孤立性を実装することができる。プロ
グラマは単にシーケンスをexclusive_lock(f)...unlock
(f)のようなプリミティブでくくるだけである。一般の
場合、計算は複数のファイルに関係し、プログラムは、
孤立性を保証するときに複数のロックを要求しなければ
ならない。例えば、計算が２つのファイルｆ１およびｆ
２の内容に依存し、一方、その結果は他のファイルｆ３
に記憶される。 read(f1); read(f2); computation(); write(f3); そして、プログラムは以下のようにこのシーケンスをロ
ック要求で囲む。 share_lock(f1); share_lock(f2); exclusive_lock(f
3) ... unlock(f3); unlock(f2); unlock(f1); しかし、プロセスが一時に複数のロックを要求すると、
デッドロックが起こる可能性がある。同期プロトコル
を、トランザクション機構によって与えるか、または、
オペレーティングシステムロックを使用するアプリケー
ションによって定義するかによって、デッドロックを防
止するかまたは検出して解決するかしなければならな
い。

【０１２１】既存のオペレーティングシステムはローカ
ルエリアネットワーク内の（リモート）ファイルをロッ
クするプリミティブをサポートしている。しかし、分散
環境では、高い通信コストのためにロックは効果であ
り、特にデッドロック検出は大域的アルゴリズムを必要
とするため、より困難である。現在利用可能なオペレー
ティングシステムのロックプリミティブは、分散環境に
おけるトランザクション的同期を十分にサポートしてい
ない。

【０１２２】ここで説明した複製ファイルシステムは、
ローカルエリアネットワークまたは広域ネットワークに
わたる複製ファイルにアクセスするプログラムシーケン
スのデッドロックのないトランザクション的同期をサポ
ートするTXというサービスを提供する。複製ファイルシ
ステムは、並列プロセスを同期させるために必要なメッ
セージの数を最小にするプロトコルを実現する。

【０１２３】好ましい実施の形態では、複製ファイルシ
ステムは、管理する各ファイルｆごとに現シーケンス番
号（curSeqN_f）を生成する。複製ファイルシステムは、
プロセスが複製ツリー５０５にｆを作成するとき（また
はこの複製ツリー５０５にｆを移動するとき）にcurSeq
N_fを０に初期化し、プロセスがwrite()操作でｆを変更
するときcurSeqN_fをインクリメントする。プロセスＰ
は、ｆに対する読み出しトークンまたは書き込みトーク
ンを獲得することの一部としてcurSeqN_fを受け取る。こ
の値は大域的（グローバル）である。すなわち、curSeq
N_fは、ｆへの変更に係るプロセスがＰに対してローカル
であるかリモートであるかにかかわらず、そのすべての
変更を反映する。

【０１２４】TXを使用するために、プロセスＰはフラグ
O_TXで複製ファイルｆをオープンする。Ｐが最初にｆの
読み出しまたは書き込みをするとき、TXはcurSeqN_fを局
所変数locSeqN_fに保存する。Ｐが次にｆの読み出しまた
は書き込みをするとき、TXはlocSeqN_fをcurSeqN_fと比較
する。これらが等しくない場合、その間に他のプロセス
がｆを変更したことになり、TXはエラーを返す。そうで
ない場合、TXはオペレーティングシステムのreadまたは
writeファンクションを呼び出し、その結果を返す。

【０１２５】複製ファイルシステムは、デッドロックを
避けるために、複製するファイル全体の順序を定義す
る。TXファンクションが複数のトークンを要求すると
き、事前に定義された順序に従ってその要求を行う。

【０１２６】［インタフェース］TXの制御構造は、ＵＮ
ＩＸインタフェースopen/close/read/writeの名前およ
び返値を保ったまま再定義し拡張する関数インタフェー
ス内にカプセル化される。TXは、errnoに対する新たな
値としてETXを定義する。これは、トランザクション的
同期によるエラーを意味する。また、TXは２つの新たな
関数readtx()およびwritetx()を定義する。これらは、
ファイルの集合にアクセスし、型fd_set*（システムコ
ールselectの場合と同様）およびtx_t*のパラメータを
有する。ただし、struct txt {char *buf; int nbyt
e;}である。プログラムは、読み出しまたは書き込みを
するファイルに対してfd_setにセットされたビットによ
り関数を呼び出し、ETXエラー復帰の場合、関数は、fd_
setにおいて、curSeqNが変化しているファイル以外のす
べてのビットをクリアする。インタフェースおよび擬似
コードは以下の通りである。

【０１２７】・open(char *path; int flags; mode_t m
ode) flagsがO_TXを含む場合、局所変数locSeqN_pathを０に初
期化し、O_TXをflagsから削除する。システムコールope
nを呼び出し、その結果を返す。

【０１２８】・read(int fd; char *buf; int nbyte) fdでオープンしたファイルｆに対する読み出しトークン
を取得する。fdに対してO_TXがセットされていない場
合、システムコールreadを呼び出し、読み出しトークン
を解放し、復帰する。それ以外の場合、locSeqN_f＝０で
あれば、curSeqN_fをlocSeqN_fに代入する。locSeqN_f≠cu
rSeqN_fの場合、errno = ETXとセットし、そうでない場
合、システムコールreadを呼び出す。読み出しトークン
を解放し復帰する。

【０１２９】・write(int fd; char *buf; int nbyte) fdでオープンしたファイルｆに対する書き込みトークン
を取得する。fdに対してO_TXがセットされていない場
合、ｆのローカルコピーに対するシステムコールwrite
を呼び出し、それが成功した場合、その更新をリモート
コピーへ送り、書き込みトークンを解放し、復帰する。
それ以外の場合、locSeqN_f＝０であれば、curSeqN_fをlo
cSeqN_fに代入する。locSeqN_f≠curSeqN_fの場合、errno
= ETXとセットし、そうでない場合、上記のようにｆの
コピーを更新し、O_TXの場合、locSeqN_f（およびcurSeq
N_f）をインクリメントする。書き込みトークンを解放し
復帰する。

【０１３０】・readtx(fd_set *readfds; struct tx_t
*txp) セットされた各ビットreadfds[fd]に対して、複製ファ
イルシステムによって定義される順序で、fdでオープン
されたファイルｆに対する読み出しトークンを取得し、
fdに対してO_TXがセットされている場合、次のことを実
行する。locSeqN_f＝０の場合、ｆを_nullとマークし、
それ以外の場合、locSeqN_f≠curSeqN_fであれば、ｆを変
更ありとマークする。いずれかのｆが変更ありの場合、
errno =ETXとセットし、*readfdsにおいて、変更された
ファイルに対するビット以外のすべてのビットをクリア
する。いずれのｆにも変更がない場合、各ファイルｆに
対して、システムコールreadを呼び出し、ｆが_nullで
ある場合にはcurSeqN_fをlocSeqN_fに代入する。すべての
トークンを解放し復帰する。この関数は、いずれかのフ
ァイルが変更ありの場合にはいずれのファイルも読み出
さず、それ以外の場合にはすべてのファイルを読み出
す。

【０１３１】・writetx(fd_set *depends_on, *writefd
s; struct tx_t *txp) セットされた各ビットdepends_on[fd]またはwritefds[f
d]に対して、それぞれ、複製ファイルシステムによって
定義される順序で、fdでオープンされたファイルｆに対
する読み出しトークンまたは書き込みトークンを取得
し、fdに対してO_TXがセットされている場合、次のこと
を実行する。locSeqNf≠０かつ≠locSeqN_f≠curSeqN_fで
ある場合、ｆを変更ありとマークする。いずれかのｆが
変更ありの場合、errno = ETXとセットし、*depends_on
または*writefdsにおいて、変更されたファイルに対す
るビット以外のすべてのビットをクリアする。いずれの
ｆにも変更がない場合、*writefds内の各fdに対してシ
ステムコールwriteを呼び出す。これが成功した場合、
ｆのリモートコピーへその更新を送り、O_TXがセットさ
れている場合、locSeqN_fをcurSeqN_f＋１とセットする
（そしてcurSeqN_fをインクリメントする）。すべてのト
ークンを解放し復帰する。この関数は、いずれかのファ
イルが変更ありの場合には書き込みを実行せず、それ以
外の場合にはすべての書き込みを実行する。

【０１３２】・resettx(fd_set *fds) セットされた各ビットfds[fd]に対して、fdでオープン
されているファイルｆに対するlocSeqN_fを０に再初期化
する。

【０１３３】［使用法］TXはアプリケーションが定義す
る再試行プロトコルをサポートする。例示のために、新
しい各レコードとの新しいトランザクションを開始する
アクセスについての上記の例を想起すると、TXを使用す
る擬似コードは、ファイルｆ内の各レコードｒに対して
以下のようになる。 if(fd = open(f, O_RDWR O_TX)) < 0 exit; FD_ZERO(&fdset); FD_SET(fd, &fdset); for every r in f resettx(&fdset); for (try = TRY_NUM; try > 0; try--) { if read(fd, buf, nbyte) < 0 exit; increment_readnum(); if write(fd, buf, nbyte) >= 0 break; if errno != ETX exit; /* そうでなければリセットし再試行する。*/ /* いずれか他のプロセスがread()以降にｆを変更した。*/ resettx(&fdset); }

【０１３４】プログラムは、新たな読み出し−インクリ
メント−書き込みのシーケンスを開始するごとにresett
x()でlocSeqN_fを再初期化する。これは、このシーケン
スが、ｆの（前の）状態に依存しない単一の論理アクシ
ョンから構成されるためである。

【０１３５】これに対して、ファイルｆ１、ｆ２および
ｆ３に関する第２の例に対してTXを使用する擬似コード
は、readtx()またはwritetx()の失敗後に再試行すると
きにのみ、locSeqN_f1もしくはlocSeqN_f2またはその両方
をリセットする。

【０１３６】 /* O_TXフラグとともに、fd1〜fd3でｆ１〜ｆ３をオープンする。*/ /* バッファでtx_t配列を初期化する。*/ FD_ZERO(&readset); FD_ZERO(&writeset); for (try = TRY_NUM; try > 0; try--) { FD_SET(fd1, &readset); FD_SET(fd2, &readset); if readtx(&readset, txp) < 0 { if errno != ETX exit; resettx(&readset); continue; } Computation(); FD_SET(fd3, &writeset); if writetx(&readset, &writeset, txp) >= 0 break; if errno != ETX exit; /* そうでなければリセットし再試行する。*/ /* いずれか他のプロセスがread()以降にｆ１またはｆ２を変更した。*/ resettx(&fdset); }

【０１３７】プログラムが後でファイルに対してresett
x()を呼び出さずにｆ１、ｆ２またはｆ３にアクセスす
る場合、他のプロセスがこの間にそのファイルを変更し
ていれば、アクセスは失敗する。

【０１３８】［応用］TXは、データベースシステムで使
用される楽観的な、タイムスタンプに基づくアルゴリズ
ムに類似した一種のトランザクション的同期をサポート
する。楽観的方式では、トランザクションはデータを読
み出してタイムスタンプを記録し、計算を行い、データ
ベース更新のリストを作成する。コミット点において、
トランザクションは、その更新をタイムスタンプととも
にデータベースシステムへ送る。更新とタイムスタンプ
の組合せがトランザクション同期の孤立性を満足する場
合、データベースはそのトランザクションをコミットす
る。そうでない場合、トランザクションは中断する（そ
して再始動される）。

【０１３９】これに対して、悲観的な、ロックに基づく
方式では、トランザクションＴは各読み出しまたは書き
込みの前に、オブジェクトに対する許可（すなわち、ロ
ック）を取得する。ロックは、他のトランザクションに
よるそのオブジェクトにおける変更を排除する。そのロ
ック要求が他のトランザクションのロックと衝突した場
合、Ｔはそれ以上の計算を行わず、単に、他のトランザ
クションがそのロックを解放するまで待機する。悲観的
アプローチは、中断および再始動によって作業が失われ
ることが少ないため、トランザクションがデータベース
オブジェクトに対して集中的な長期間の計算を実行する
ようなアプリケーションに対しては良好である。

【０１４０】楽観的方式は、オペレーティングシステム
の領域では重要な効果を有する。オペレーティングシス
テムは通常いくつかのアプリケーションに同時にサービ
スするため、オペレーティングシステムによって制御さ
れる資源への公平なアクセスを各アプリケーションに提
供することに注意しなければならない。楽観的方式はロ
ックを待たないため、アプリケーションが資源へのアク
セスを拒否される可能性は小さい。

【０１４１】［結論］以上では、どのようにして、ユー
ザレベルのバックアップファイルシステムを改良して、
複製ファイルを有する分散システムを生成するかについ
て説明した。複製ファイルのローカルコピーに対して実
行される順次読み出し操作および書き込み操作は、ただ
１つのコピーが存在するファイルに対する読み出し操作
および書き込み操作と同じ意味規則を有する。この意味
規則は、分散システムの要素上のトークンサーバによっ
て管理される読み出しトークンおよび書き込みトークン
を使用する分散同期システムによって実現される。好ま
しい実施の形態では、分散同期システムは、複製ファイ
ルの各ローカルコピーに対する７個のロックによって実
現される。さらにこれらのロックは、３バイトのベクト
ルに対する標準的なオペレーティングシステムロックを
使用して実装される。

【０１４２】上記で説明したのは、発明者が現在知って
いるユーザレベルの複製ファイルシステムを有する分散
システムを実現する最適な形態であるが、多くの変形例
が可能である。特に、本発明の原理は、上記のユーザレ
ベルバックアップファイルシステムとは関係のないシス
テムでも使用可能である。例えば、ここで開示した同期
技術は、複製ファイルを指定すること、または、ファイ
ルバックアップ操作を実行することのために使用される
技術とはほとんど独立であり、実際、複製ファイルに対
する操作を同期させること以外の目的で使用することも
可能である。さらに、同期は、好ましい実施の形態で使
用したロックプロトコル以外の方法でも実現可能であ
る。

【０１４３】

【発明の効果】以上述べたごとく、本発明によれば、複
製ファイルを保守するために必要な操作が、分散システ
ムのユーザレベルで実装可能となる。その結果、本発明
は、特殊なハードウェアや特殊なオペレーティングシス
テムを必要としない。好ましい実施の形態は、ユーザレ
ベルのバックアップファイルシステムの変更として実装
される。

【図面の簡単な説明】

【図１】好ましい実施の形態における同期を実現するた
めに使用されるロックの実装の図である。

【図２】ライブラリがユーザプログラムに対するインタ
フェースを再定義する方法の概観を示す図である。

【図３】動的リンクライブラリがオペレーティングシス
テムインタフェースを再定義するために使用可能である
ことを示す図である。

【図４】動的リンクライブラリがユーザレベル名前空間
を提供するために使用可能であることを示す図である。

【図５】動的リンクライブラリを使用したユーザレベル
バックアップファイルシステムの概略図である。

【図６】動的リンクライブラリ内のルーチンの概略図で
ある。

【図７】ユーザレベルバックアップファイルシステムの
好ましい実施の形態の概略図である。

【図８】カーネルサーバ３０５（ａ）によって提供され
る名前空間とユーザレベル名前空間の間の関係を示す図
である。

【図９】ユーザレベル名前空間とカーネルサーバ３０５
（ｂ）によって提供される名前空間の間の関係を示す図
である。

【図１０】フロントエンド複製ツリー５０５の詳細図で
ある。

【図１１】バックエンドマップ５１７の詳細図である。

【図１２】複製ファイルに対する同期システムの一部の
擬似コードを示す図である。

【図１３】同期システムのトークン機構のブロック図で
ある。

【図１４】好ましい実施の形態におけるｗｒｉｔｅシス
テムコールを置換するコールの擬似コードを示す図であ
る。

【図１５】２要素システムを有する分散システムにおい
て複製ファイルに対する操作の同期を示す状態図であ
る。

【図１６】好ましい環境で使用されるロックのテーブル
の図である。

【図１７】図１６のロックの意味規則のテーブルの図で
ある。

【符号の説明】

２０１ ユーザプログラム ２０３ ファンクション呼出し ２０５ 復帰 ２０６ インタフェース ２０７ ライブラリルーチン ２０９ ファンクション呼出し ２１１ 復帰 ２１３ インタフェース ２１５ システムルーチン ３０１ システム１ ３０５ カーネルサーバ ３０６ ユーザプロセス ３０７ ディスク ３０９ アプリケーションプログラム（ユーザプログラ
ム） ３１１ コール ３１３ 復帰 ３１５ オペレーティングシステムライブラリ１ ３１７ コール ３１９ 復帰 ３２１ オペレーティングシステムライブラリ２ ３２３ 副次的効果 ４０１ システム ４０３ オペレーティングシステムライブラリ ４０５ ユーザレベル名前空間 ４０９ ユーザプロセス ５０１ ユーザレベルバックアップファイルシステム ５０３ アプリケーションプロセス ５０５ フロントエンド複製ツリー（ＦＲＴ） ５０７ ｌｉｂ．３ｄライブラリ ５０９ アプリケーションプログラム ５１１ 主システム ５１２ バックアップメッセージ ５１３ バックアップシステム ５１５ バックエンドサーバ ５１７ バックエンドマップ ６０１ ルーチン ６０３ ルーチン名 ６０５ 引数 ７０１ ユーザレベルバックアップファイルシステム ７０３ ログファイル ７０９ パイプ ７１０ パイプ ７１１ パイププロセス ７１５ システムコールエンジン（ＳＹＳＣＡＬＬ Ｅ
ＮＧ） ７１６ バックエンドログプロセス（ＢＬＰ） ７１７ モニタ ７１９ モニタ ８０１ 名前空間 ８０３ サブツリー ９０１ エントリ ９０３ ユーザレベル名前空間情報 ９０５ バックアップシステム情報 １００３ ＭＡＸＴＲＹ １００５ ＩＮＩＴ １００９ ＲＰＬＯＰ配列 １０１３ ＲＴＲＥＥ ＰＴＲ １０１５ ＲＴＲＥＥ １０２５ 接続サーバ １０２７ ファイルディスクリプタキャッシュ １１０５ フロントエンドファイル識別子（ＦＦＩＤ） １１０６ フロントエンドパス名（ＦＰ） １１０７ フロントエンドプレフィクス（ＦＰＲ） １１０８ サブツリーパス名 １１１１ バックエンドファイルディスクリプタ １１１３ パス名マップ １１１７ オープン複製ファイルリスト １１１８ フロントエンドパス名 １１１９ バックエンドパス名 １３０１ 分散システム １３０２ ピアホスト １３０７ トークンファイル １３０９ プロセス １３１１ トークンサーバ １３２５ 複製ファイル １３２７ 書き込みトークン １３２８ 読み出しトークン

フロントページの続き (72)発明者 アンドレア エイチ．スカーラ アメリカ合衆国，07928 ニュージャー ジー，チャタム，オーチャード ロード 26 (56)参考文献 特開 平２−309445（ＪＰ，Ａ) 前川守他編，分散オペレーティングシ ステム ＵＮＩＸの次にくるもの，日 本，共立出版株式会社，1991年12月25 日，ｐ．159−163 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 12/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 分散データ処理システムの第１要素上で
   実行されるプロセスが複製ファイルに対して実行するフ
   ァイル変更操作を同期させる方法において、 前記複製ファイルは１個のコピーを前記第１要素の大容
   量ドライブに有し、他のコピーを前記分散データ処理シ
   ステムの他の要素の大容量ドライブに有し、前記複製フ
   ァイルはそれぞれ同一であり、 （Ａ） 前記ファイル変更操作を実行するために要求さ
   れる書き込みトークンが前記第１要素内にあるかどうか
   を判断するステップと、 （Ｂ） 前記書き込みトークンが前記第１要素内にある
   場合、前記書き込みトークンが利用可能になるまで待機
   して利用可能になると前記ファイル変更操作を実行し、
   前記書き込みトークンが前記第１要素内にない場合、前
   記第１要素内のトークンサーバが前記分散データ処理シ
   ステム内の前記他の要素に前記書き込みトークンを要求
   するステップと、 （Ｃ） 前記書き込みトークンが前記他の要素から到着
   したとき、前記書き込みトークンが利用可能になると前
   記ファイル変更操作を実行するファイル変更操作実行ス
   テップと、 （Ｄ） 前記ファイル変更操作の通知メッセージを前記
   他の要素に、前記通知メッセージを受信した順に伝達す
   るチャネルによって送信するステップと、 （Ｅ） 前記トークンサーバにおいて、前記通知メッセ
   ージの送信時に用いられたのと同じチャネルを使用し
   て、前記ファイル変更操作の完了後に、前記他の要素へ
   の前記書き込みトークンに対する要求に応答するステッ
   プと、 からなることを特徴とする、分散データ処理システムの
   第１要素上で実行されるプロセスが複製ファイルに対し
   て実行するファイル変更操作を同期させる方法。
2. 【請求項２】 前記ファイル変更操作実行ステップ
   （Ｃ）が、 （Ｃ１） 前記ファイル変更操作によって要求される前
   記複製ファイルの前記１個のコピーに対するロックを取
   得するまでファイル変更操作の実行を停止し、その後前
   記ファイル変更操作を実行するステップと、 （Ｃ２） 前記ファイル変更操作を実行した後に、前記
   １個のコピーに対する前記ロックを解放するステップと
   を有することを特徴とする請求項１記載の方法。
3. 【請求項３】 （Ｆ） 前記他の要素が前記書き込みト
   ークンを取得し、対応する前記複製ファイルの前記他の
   コピーに対するファイル変更操作を実行するまで待機
   し、その後前記複製ファイルの前記他のコピーの順次読
   み出し操作を実行するステップをさらに含むことを特徴
   とする請求項１記載の方法。