JPH0785227B2 - 並列計算システムにおける冗長パリティ保護方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、システムを通してフ
ァイルが分散されている並列計算システムに関するもの
であり、より詳細にいえば、ファイル構成に組み込まれ
た冗長性のパリティによって、分散されているファイル
のパリティ保護がなされるようにした並列計算システム
に関するものである。

【０００２】

【従来の技術】現在においては、多くの独立型のコンピ
ュータ／ディスク・システムが大規模データ処理システ
ムによって用いられているが、これらのものの全ては問
題の個別の部分について並列に動作するものである。独
立型のコンピュータ／ディスクは多重処理システムのノ
ードと呼ばれている。このようなシステムにおいては、
データ・ファイルがシステムを通して分散されて、ノー
ドにおける作業負荷のバランスをとり、また、１個また
は複数個のノードの不具合によるデータの重大なロスに
対する保護をすることができる。

【０００３】１個または複数個のノードに失敗があった
ときにデータの再構成を可能にするために、多様な技術
が提案されてきている。例えば、米国特許第４，７２
２，０８５号においては、比較的多くの独立動作型のデ
ィスク・サブシステムが、エラー回路および組成回路を
含む読み取り／書き込みインタフェースに結合されてい
る。システムに読み取られる各データ・ワードは、その
ビットがディスク・ファイルを通して展開され、各ワー
ドの１ビットだけがある特定の物理的なディスク・ファ
イルに書き込まれるようにされている。これで確実にさ
れることは、エラー回路におけるパリティ修正によって
自動的に修正されるために、単一のビット・エラーが失
敗の原因にはならないということである。また、米国特
許第４，８１７，０３５号においても、同様なビット・
オリエンテッド式の、複数個のディスク・ユニットを通
しての分散記憶について説明されている。

【０００４】米国特許第４，７６１，７８５号において
は、不具合があったときのデータの復元を可能にするた
めに、分散記憶の他の変形についての説明がされてい
る。この米国特許第４，７６１，７８５号のシステムに
よれば、複数個のディスク・ドライブを通してデータ・
ブロックを展開させて、パリティ・チェック・ブロック
を導出するために、一連のブロックの排他的ＯＲをとる
ようにしたコンセプトが採用されている。各ディスク・
ドライブには同数のブロックの物理的なアドレス領域が
含まれている。同じユニットのアドレス・レンジを有す
るディスクの物理的なアドレス領域は”ストライプ”と
して参照される。各ストライプは、ｎ−１個のディスク
・ドライブを通して書き込まれたｎ−１個のデータ・ブ
ロックと他のディスク・ドライブ上の１個のパリティ・
ブロックとを有しており、また、このパリティ・ブロッ
クにはｎ−１ブロックのストライプに対するパリティが
含まれている。ブロックのストライプは複数個のディス
ク・ドライブを通して書き込まれることから、いずれの
１個のディスク・ドライブの失敗であっても、失われた
データ・ブロックを導出するために、パリティ・ブロッ
クを採用して、それと全ての残りのブロックとの排他的
ＯＲをとることによって調整することができる。

【０００５】米国特許第４，７６１，７８５号において
説明されたシステムは、単一のディスクの失敗からデー
タ・ブロックを有効に保護するものではあるが、それに
は欠陥が露呈されている。その第１は、極めて重要なこ
とであるが、その構成が個別のディスク・ドライブにお
ける物理的なブロック位置に依存していることである。
これを換言すれば、ｎ−１のブロックに対するパリティ
が、ディスク上での各ブロックの物理的な位置に基づい
て導出されることになる。このために、ディスク・ドラ
イブ内でのなんらかのデータ・ブロックの動きが考えら
れるときには、ブロックに動きがある度にパリティの再
書き込みがなされねばならない。更に、ある１個の完全
なファイルがディスク・ドライブから除去されるときに
は、米国特許第４，７６１，７８５号によって構成され
たパリティは、ディスク構成内にファイル・ブロックが
配置された位置に依存して関連があったり、または、関
連がなかったりする。（パリティは物理的なディスクの
アドレスだけに適用可能であって、ファイル・ブロック
自体には適用可能ではなく、このために、ファイル・ブ
ロックがストライプと排他的な符合性がないときには、
該当のファイルが削除された後であっても、パリティ構
成は維持されねばならない。）最後に、米国特許第４，
７６１，７８５号で説明されているようなパリティ構成
を採用することにより、ディスク・ドライブ表面上でデ
ータ・ブロックが配置されるべき位置という見地から、
システム・プログラマに対して相当な制約を課すること
が必要とされる。

【０００６】

【発明が解決しようとする課題】従って、この発明の目
的は、物理的なディスク構成に対するよりはファイル構
成に対して組み込まれるような、ファイルをベースとす
る、パリティ保護構成の、並列計算システムを提供する
ことにある。

【０００７】この発明の別の目的は、ファイル・パリテ
ィの保護を維持しながら、ディスク・ファイルのアレイ
の任意の位置にデータ・ブロック配置することができる
ような、ブロック・パリティの保護方法を提供すること
にある。

【０００８】この発明の更に別の目的は、発生されたパ
リティ・ブロックがデータ・ファイルとともに動くこと
が可能にされるとともに、ディスクからファイルを除去
するときにはデータ・ファイルにだけ関連があるよう
な、ファイル・ベース式のデータの分散された計算のた
めの、冗長性のあるパリティ保護システムを提供するこ
とにある。

【０００９】

【課題を解決するための手段】マルチ・ノードの並列デ
ータ処理ネットワークであり、各ノードにはデータ記憶
が備えられているものにおいて、分散されたデータ・フ
ァイルのパリティ保護をするための方法が説明されてい
る。各データ・ファイルは一連の固定サイズのファイル
・データ・ブロックとして編成されており、各ファイル
・データ・ブロックは、１個のブロック識別子と複数個
のデータ・ビット位置とからなるものである。この方法
に含まれているステップは： ａ． Ｎ−１個のノードを介して少なくともＮ−１個の
ファイル・データ・ブロックを分散するステップであっ
て、前記Ｎ−１個のファイル・データ・ブロックの各々
は利用可能な物理的な場所におけるデータ記憶内に記憶
され、当該物理的な場所はファイル・データ・ブロック
のために保留される前記データ記憶の領域内の任意の領
域から選択されることが可能であり、各々の前記データ
記憶が保持する関連のディレクトリ内は各ファイル・デ
ータ・ブロックが配置される場所を指示するようにされ
ているステップ； ｂ． 前記Ｎ−１個のファイル・データ・ブロックの各
々において対応するビット位置でデータ・ビットの排他
的ＯＲをとるステップ；および ｃ． ノードＮのデータ記憶におけるパリティ・ファイ
ル・データ・ブロックの対応するビット位置にステップ
（ｂ）の結果を記憶するステップ；が含まれている。

【００１０】

【実施例】図１を参照すると、並列計算システムのブロ
ック図が示されており、また、これには高速通信ライン
によって相互接続された多くのノード”１０”が含まれ
ている。各ノード１０はプロセッサおよびメモリ（例え
ば、ディスク・メモリ）を含んでいる。各ノードは独立
して動作するものであり、また、通信ネットワークを介
して他のノードとの相互作用をするものである。図１に
示されているトポロジは、受け入れ可能なネットワーク
の一つの形式を表すものであり、また、ノードを表す各
ボックス１０および通信リンクを表す各ライン１２とと
もに３次元のトーラスのそれである。並列計算システム
の第１の”プレーン”１３が示されていて、下方のプレ
ーン１４および１５の上を覆うようにされている。各ノ
ードは２個の付加的なリンク（図示されない）を備えて
おり、その一方は２次元トーラス上部における対向のノ
ードに向けられ、他の一方は２次元トーラス下部におけ
る対向のノードに向けられている。

【００１１】図２に示されているように、各ノードに含
まれているマイクロ・プロセッサ１６は、バス構成１８
を介してノードの他の要素と相互に接続されている。バ
ッファ・メモリ２０、デバイス・アダプタ２２、およ
び、ＩＯアダプタおよびリンク・ルータ２４もバス１８
に接続されている。ディスク・ファイル２６はデバイス
・アダプタ２２に接続されており、これによって制御さ
れて、ノードに対するメイン・メモリの役をするように
されている。

【００１２】図１および図２で示されている並列計算シ
ステムによって採用されているソフトウエアはファイル
・ベースで組成されている。そして、各ファイルは所定
の長さの１個または複数個のデータ・ブロックを有して
いる。例えば、例示的なブロック・サイズには１０２４
バイトを含ませることができる。各ブロックに含まれて
いる１個のブロック識別子は、該当のブロックを独特の
ものとして識別するものである。

【００１３】ユーザの視点からすれば、ある１個のファ
イルは、任意のノードからの単一の、一様な、等価の実
在物のようにみえる。１個のファイルに単一のファイル
・ブロックまたは多くのファイル・ブロックを含ませる
ことができるときでも、このことは当てはまるものであ
る。各ファイルは、システム・ワイドの特有なポインタ
を通してアクセスされる。当該ポインタの使用を通し
て、ファイルに対応する更に別のポインタを、プロセス
において１個のディレクトリを介して探索することがで
きる。このポインタでアクセスされるテーブル・エント
リは、ファイルの記述をし、また、該当のファイルのデ
ータおよびパリティ・ブロックについて、ディスク上の
物理的な場所を指示するものである。ここで理解される
べきことは、ファイル・データ・ブロックの長さはファ
イル・クリエータによって任意の値に決定されるもので
あって、システムの構成に依存するものではないという
ことである。

【００１４】図１に示されたシステムにおいて、ある１
個のファイル内のレコードの第１のブロックは該当のフ
ァイルを”占有する”ノード内に配置され、次のファイ
ル・データ・ブロックは次のノード内に配置され、以下
同様である。ある予め特定されたスパンの最後のノード
に到達するまで、連続したブロックが連続して付番され
たノード上に配置される。占有しているノードは、該当
のファイルに対するレコード０が書き込まれているノー
ドとして規定される。”スパン”として指示されること
は、ファイルがその上で展開されることになるノードの
個数である。パリティ・ブロックは、ファイル・データ
・ブロックとともに挿入される。ここで強調されるべき
ことは、パリティ・ブロックおよびその発生に含まれる
ファイル・パラメータが、いずれの特定のファイル・デ
ータ・ブロックまたはパリティ・ブロック記憶される位
置によっては限定されないということである。

【００１５】複数個のノードを介してファイル・データ
・ブロックを分散するための理論的解釈としては、ある
１個のノードに失敗があったときのデータの復元を確実
にすることである。全てのファイル・データ・ブロック
が単一のノード内に順次に記憶されているとすれば、該
当のノードにおける失敗の結果として、ファイル全体を
失うことになる。順次に付番されたノードのグループを
介してファイル・データ・ブロックを分散させることに
より、そして、これに次いで、冗長性のパリティ・ブロ
ックの付加によるファイル・データ・ブロックのスパン
のパリティ保護をすることにより、このようなノードの
いずれのものの不具合でも克服することができる。この
ことは、不具合の結果として失われた１個または複数個
のファイル・データ・ブロックを再発生させるために、
１個または複数個のパリティ・ブロックを用いることで
達成される。

【００１６】図３には、分散されたファイル・データ・
ブロックの構成が例示されている。ここで、ノード０は
ファイル・データ・ブロックＢ0−Ｂ3n-1を含むファイ
ルの占有ブロックである。ここで注意されることは、フ
ァイル・データ・ブロックが各ノード内で互いに物理的
に隣接して配置されているものとして示されているけれ
ども、このファイル・データ・ブロックの配置は、各フ
ァイル・データ・ブロックが位置する特定のディスク・
ドライブにおける利用可能な記憶領域によって厳密に定
められるということである。

【００１７】図２に戻ってこれを参照すると、ディスク
・ドライブ２６が有する１個または複数個のトラック
は、ある特定のトラックおよびある特定のファイル・デ
ータ・ブロックが位置するトラック内の物理的な位置を
指示するディレクトリに対して指定されている。ノード
が動作しているときには、ディレクトリが読み出され
て、マイクロ・プロセッサ１６のメモリの動作部分に配
置され、要求のあるデータに対する迅速なアクセスの達
成が可能にされる。ディスク２６とその関連のデバイス
・アダプタ２２により、トラック内の”次に利用可能
な”空き状態の物理的な記憶スペースに従って、ファイ
ル・データ・ブロックの配置がなされる。このようにす
ることで、ディスク・メモリ２６内のいずれのファイル
・データ・ブロックの上でも、所定の位置的な制約はな
くなる。従って、その位置がディスク・ドライブのディ
レクトリに記されている限りは、ファイル・データ・ブ
ロックのために保留されているディスク・メモリ２６の
いずれの位置でも、ファイル・データ・ブロックを配置
することができる。

【００１８】先行の技術においては、米国特許第４，７
６１，７８５号に表されているように、連続的なファイ
ル・データ・ブロックは連続的なノード上の対応するデ
ィスク・ドライブの物理的な記憶位置に配置される。ま
た、対応する物理的なディスク・ドライブの記憶領域上
で実行された排他的ＯＲから導出されたパリティ・デー
タ・ブロックも、対応する物理的なディスク・ドライブ
の記憶位置に記憶される。従って、この米国特許第４，
７６１，７８５号におけるパリティ保護のスキームは、
ファイル・データ・ブロックそれ自体よりも、ディスク
・ドライブに隣接する物理的なブロックの記憶位置に基
づいている。上述されたように、これは多くの問題を生
じるものであり、特に、システムを通してデータ・ファ
イルを動かすようになったときに、多くの問題を生じる
ものである。

【００１９】一連のファイル・データ・ブロックからパ
リティ・ブロックを発生させるための方法に含まれてい
ることは、パリティ・データ・ブロック内で対応するパ
リティ・ビット位置を導出するために、あるスパンの各
ファイル・データ・ブロックにおける対応のビット位置
について排他的ＯＲをとることである。このために、各
ファイル・データ・ブロックにおける対応のビット位置
の各々に対して、パリティ・データ・ブロックにおける
対応のビット位置があるが、このことは、対応するファ
イル・データ・ブロックにおけるビット位置のビット値
についての排他的ＯＲの機能を果たすことである。分散
型のファイル・システムにおけるいずれか１個のファイ
ル・データ・ブロックまたはパリティ・データ・ブロッ
クのロスは、残りのファイル・データ・ブロックおよび
／またはパリティ・データ・ブロックの排他的ＯＲをと
ることで再構成できることが知られている。

【００２０】図４には分散されたファイル構成が例示さ
れているが、ここではパリティ・ブロックがファイル・
データ・ブロックとともに分散されている。ここで示さ
れているように、データの分散は８個のノード（即ち、
ノードＮ０−Ｎ７）を通して生じている。ファイル・デ
ータ・ブロックＢ0はノードＮ０に、ファイル・データ
・ブロックＢ1はノードＮ１に、Ｂ2はＮ２に、そしてＢ
3はＮ３に割り当てられている。ブロックＢ0ないしＢ3
に対するパリティ・ブロック（即ち、Ｐ0-3）はノード
Ｎ４内に配置されている。この配置に対する制約は、ブ
ロックＢ0，Ｂ1，Ｂ2，Ｂ3およびＰ0-3の各々が異なる
ノードに記憶されねばならないことだけである。そうで
ないとき、単一のノード上に２個またはそれより多くの
ブロックの重複があるようなときには、該当のノードの
ロスの結果として復元不能の状況になり得る。

【００２１】次に続く一連のパリティで保護されるブロ
ックは、ブロックＢ4から始まってＢ7で終了する。ここ
で、パリティ・ブロックＰ4-7はノードＮ１上に存在し
ている。次に続く一連のファイル・データ・ブロック
は、ノードＮ２で始まりノードＮ６を通して連続する。
これ以降も同様である。

【００２２】この構成で可能になることはパリティ・ブ
ロックがノードを通して分散されることであり、いずれ
の単一のノードでもパリティ・ブロックによるオーバロ
ードの防止がなされる。ここで注意されるべきことは、
ファイル・データ・ブロックの一つにおいてデータの修
正がなされる度に、対応のパリティ・ブロックに対する
更新が生じなければならないということである。このた
めに、全てのパリティ・ブロックが単一のまたは幾つか
のノード内に配置されているときには、それらのノード
は著しいオーバワークをして、システムの実効的な速度
が低下することになる。

【００２３】ここで図５に移行すると、更に別のデータ
の配置が示されている。ここで、ファイル・データ・ブ
ロックは一連のノードを通して順次に配列されており、
パリティ・ブロックは分散されていない。この例におい
て、パリティ・ブロックはディスク・ドライブ内の特別
に保留されたパリティ領域に分離されている。例えば、
ファイル・データ・ブロックＢ0−Ｂ3に対するパリティ
・ブロックＰ0-3はノードＮ３上に存在している。ファ
イル・データ・ブロックＢ4−Ｂ7に対するパリティ・ブ
ロックＰ4-7はノードＮ７上に（その保留されたパリテ
ィ領域内に）存在している。このデータ構成により、順
次に付番されたファイル・データ・ブロックが順次に付
番されたノードを通して配列されることが可能にされ、
また、付加的なノードが付加されたときには、そのデー
タ構成を容易に拡張することが可能にされる。ファイル
・データ・ブロックの構成を変化させるときに、パリテ
ィ・ブロックが配置される位置にわたって関連をもたせ
る必要性が回避される。

【００２４】図６においては、図５におけるデータの構
成についての、より詳細なレイアウトが示されている。
ただし、この場合には、ブロックのスパンは８ブロック
であり、８番目のブロックがパリティ・ブロックにされ
ている。ここで注意されることは、パリティ・ブロック
Ｐ0−Ｐ7がノードＮ０−Ｎ７を通して割り当てられてい
ることである。各ブロック指示の前方にあるサブスクリ
プト（即ち、7Ｂ0）が意味することは、ブロックＢ0に
対するパリティがノードＮ７におけるパリティ・ブロッ
クＰ7にあるということである。図７で指示されている
ブール式により、パリティＰ0−Ｐ7の発生が可能にされ
る。図７から認められることは、パリティＰ0はブロッ
クＢ49−Ｂ55の排他的ＯＲをとることから発生され、Ｐ
1はＢ42−Ｂ48からであり、以下も同様である。

【００２５】ここで再び強調されるべきことは、上述さ
れたデータの構成はファイル・オリエンテッド式のもの
であって、ファイル・データ・ブロックが記憶されるデ
ィスク・ドライブ上の特定の物理的な位置に依存するも
のではないということである。このために、ある特定の
ファイルがアクセスされ、動かされるときには、関連の
１個または複数個のパリティ・ブロックをともなうよう
にされて、システムが動作する間はパリティを連続して
維持するようにされる。

【００２６】パリティの保護がなされているファイルに
データが書き込まれるときには、各パリティ・ブロック
の更新がなされる。ある１個のファイル・データ・ブロ
ックが更新されるときには、新規のデータがバッファ内
に配置される。ノードでは旧データをディスク・ドライ
ブから付加的に読み出して、（バッファ内に現に存在し
ないときには）これを別のバッファに配置する。これに
次いで、新規のパリティ”デルタ”が、新規データと旧
データとのモデュロ−２の和（排他的ＯＲ）として演算
される。この新規のパリティであるデルタは、該当のデ
ータに対するパリティ・ビットを保持するノードに対し
て伝送される。このパリティ・ノードにおいては、パリ
ティであるデルタの受け入れに応じて、デルタとデータ
に対するパリティの排他的ＯＲをとり、旧および新パリ
ティ値の双方を一時的なファイルに記憶し、そして、始
めのノードに対してそのパリティの更新を認める。これ
により、実際には、データを失うことなくシステムがリ
セットされて、更新の機能を再実行することが可能にさ
れる。

【００２７】ノードに失敗があったとき、データの復元
をするために、幾つかのノードが用いられる。即ち、失
敗があったノードに割り当てられたデータのパリティを
含んでいるノードとしてのパリティ・ノード、該当のパ
リティに寄与するデータを有している全ての他のノー
ド、および、失敗があったノードの置換のために特別に
保留されている”スペア”ノードとして指定された新規
のノードが用いられる。データ・ブロックの再構成をす
るために、パリティ・ノードにより、パリティ演算に寄
与する同じパリティ・グループ内の全ての他のノードか
ら、対応するデータ・ブロックが収集される。これに次
いで、失敗があったノード上にあったものを置換するた
めの新規なファイル・データ・ブロックを生成させるた
めに、対応するファイル・データ・ブロックの各々にお
ける、各対応のビット位置についての排他的ＯＲをとる
ことが続行される。全体的なデータ・ブロックがパリテ
ィ・ノードで一旦復元されると、当該データ・ブロック
がスペア・ノードに読み取られる。この手順は、ノード
における失敗の結果として失われた各ファイル・データ
・ブロックに対して続行される。

【００２８】パリティ・データ・ブロックのノードに失
敗があったときには、新規の（先にはスペアの）ノード
が再構成ノードとして選択されることを除いて、正確に
同じ態様をもって再構成がなされる。

【発明の効果】本発明によれば、並列計算システムにお
いて、ファイルをベースにしたパリティ保護が可能とな
る。

【図面の簡単な説明】

【図１】マルチ・ノード式の並列演算システムの通信相
互接続のネットワークを示すブロック図である。

【図２】図１におけるノードの構成を例示するブロック
図である。

【図３】ファイル・データ・ブロックの分散の一つのモ
ードを指示する複数個のノードの図である。

【図４】図３のそれと同様な、８ノード・システムにお
ける５ブロックのパリティ構成を示す図である。

【図５】８ノード構成における５ブロックのパリティ構
成を示す図である。

【図６】８ノード構成における５ブロックのパリティ構
成を示す図である。

【図７】図６の配置に対するパリティを発生するために
採用された一連の等式の例示図である。

【符号の説明】

１０ ノード １２ ライン １３ 第１プレーン １４ 下方プレーン １５ 下方プレーン

───────────────────────────────────────────────────── フロントページの続き (72)発明者 リチャード・シー・モステラー アメリカ合衆国カリフォルニア州シエラ・ マドリ、 リマ・ストリート 420番地 (56)参考文献 特開 昭62−293355（ＪＰ，Ａ)

Claims (8)

【特許請求の範囲】
1. 【請求項１】少なくともｎ個のノードを有しており、各
   ノードはデータ記憶手段を有し、各データ・ファイルは
   一連のファイル・データ・ブロックとして編成され、各
   データ・ブロックは１個のブロック識別子と複数個のデ
   ータ・ビット位置とからなる、マルチ・ノード型のコン
   ピュータ・ネットワークにおいて分散されているデータ
   ・ファイルのパリティを保護するための方法であって： （ａ） Ｎ−１個のノードを通じて少なくともＮ−１個
   のファイル・データ・ブロックを分散するステップであ
   って、前記Ｎ−１個のファイル・データ・ブロックの各
   々はデータ記憶手段内の物理的な場所に記憶され、前記
   物理的な場所は前記データ記憶手段のファイル・データ
   ・ブロックのために割り当てられた領域内の任意の利用
   可能な物理的場所から選択され、各々の前記データ記憶
   手段は各ファイル・データ・ブロックがどこに配置され
   ているかを示すディレクトリを保持するステップ； （ｂ） 前記Ｎ−１個のファイル・データ・ブロックの
   各々において対応するデータ・ビット位置でデータ・ビ
   ットの排他的ＯＲをとるステップ；および （ｃ） ノードＮのデータ記憶手段におけるパリティ・
   データ・ブロックの対応するビット位置にステップ
   （ｂ）の結果を記憶するステップ； を含んでなる前記の方法。
2. 【請求項２】Ｎ−１個のファイル・データ・ブロックの
   後続するグループのために、前記マルチ・ノード型のコ
   ンピュータ・ネットワークの他のＮ−１個のノードのセ
   ットを通じてステップ（ａ）−（ｃ）が繰り返される、
   請求項１に記載の方法。
3. 【請求項３】ある１個の所与のファイル内の前記ファイ
   ル・データ・ブロックの各々は等しい数のデータ・ビッ
   ト位置を有している、請求項２に記載の方法。
4. 【請求項４】前記ノードは順次的なものであり、ステッ
   プ（ａ）には更に： ａ１． それぞれのデータ記憶手段における順次的なノ
   ードを介して、分散されたファイル・データ・ブロック
   およびパリティ・データ・ブロックを直列的に記憶する
   ステップ；が含まれている、請求項３に記載の方法。
5. 【請求項５】前記ノードは順次的なものであり、ステッ
   プ（ａ）には更に： ａ１． それぞれのデータ記憶手段における順次的なノ
   ードを介して、ファイル・データ・ブロックを直列的に
   記憶するステップ；および ａ２． 前記ファイル・データ・ブロックから分離され
   たパリティ・データ・ブロックを前記データ記憶手段内
   の領域に記憶するステップ； が含まれている、請求項３に記載の方法。
6. 【請求項６】前記Ｎ個のノードの中の１個の失敗に応答
   して、前記失敗したノードにおけるデータ記憶手段に記
   憶されている全てのファイル・データ・ブロックが： ｄ． 前記Ｎ個のノードの中の失敗がなかったもののデ
   ータ記憶手段における対応のビット位置から、データ・
   ビットとパリティ・ビットとの排他的ＯＲをとるステッ
   プ；および ｅ． 前記Ｎ個のノードの中の失敗がなかったものから
   分離した動作ノードにおいて、ステップ（ｄ）の結果を
   記憶するステップ； によって再構成される、請求項１に記載の方法。
7. 【請求項７】マルチ・ノード型の並列演算システムを介
   して、分散されているファイル・システムのパリティを
   保護するための方法であって： ａ． Ｎ−１個の分離したノードを介して順次的な一連
   のＮ−１個のファイル・データ・ブロックを指定し、記
   憶するステップであって、前記ファイル・データ・ブロ
   ックは前記ノードに対して所定の物理的な記憶関係を有
   してはいない前記のステップ； ｂ． ある１個のパリティ・データ・ブロックを導出す
   るために、前記一連のファイル・データ・ブロックの対
   応するビット位置における値の排他的ＯＲをとるステッ
   プ；および ｃ． Ｎ番目のノードにおける前記パリティ・データ・
   ブロックを記憶するステップであって、前記Ｎ番目のノ
   ードは前記Ｎ−１個のノードのいずれとも等しくない前
   記のステップ； を含んでなる前記の方法。
8. 【請求項８】前記Ｎ個のノードの中の１個の失敗に応答
   して、ある１個の失敗したノードに記憶されているある
   １個のファイル・データ・ブロックが： ｄ． 前記Ｎ個のノードの中の失敗がなかったものにお
   ける対応のビット位置から、データ・ビットとパリティ
   ・ビットとの排他的ＯＲをとるステップ；および ｅ． 前記Ｎ個のノードの中の失敗がなかったものから
   分離した動作ノードにおいて、ステップ（ｄ）の結果を
   記憶するステップ； によって再構成される、請求項７に記載の方法。