JPH05324579A - 分散ファイルシステム及び記憶装置 - Google Patents

Abstract

(57)【要約】 【目的】 地震，火災等の災害に対しても、データ損失
が生じないようにする。 【構成】 データディスクドライブＤ０〜Ｄ３は、それ
らを個々に持つコンピュータ１−１〜１−４が夫々ネッ
トワークに接続されることにより、相互に接続されてい
る。データディスクドライブＤ０〜Ｄ３のデータをｍｏ
ｄｕｌｏ２で加算して得られたパリティ情報を格納する
パリティディスクドライブＰ０も、コンピュータ１−５
でネットワークに接続されている。データディスクドラ
イブＤ０〜Ｄ３のいずれか１つのデータも、パリティ情
報Ｐ０と他のデータディスクドライブのデータとから、
得られる。ネットワークを用いたことにより、データデ
ィスクドライブＤ０〜Ｄ３とパリティディスクドライブ
Ｐ０とは、同じ災害を受けない程度に互いに充分離れた
場所に配置される。データディスクドライブＤ０〜Ｄ３
の１つが故障しても、そのデータ回復が可能である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３つ以上のファイル装
置が存在し、これらにデータを分散してファイルする分
散ファイルシステム及びファイル装置としての記憶装置
に関する。

【０００２】

【従来の技術】複数台のディスク装置（ディスクドライ
ブともいう）がアレイ上に配列され、１つのコンピュー
タによってこれらを一括管理できるようにしたディスク
アレイ装置の一例が、例えば特開平１ー２５０１２８号
公報に開示されている。かかるディスクアレイ装置で
は、 （１）複数台のディスク装置が同時に重複して動作する
ことによる高速化 （２）これらディスク装置の内のいくつかを冗長ディス
ク装置や予備ディスク装置としたことによる高信頼化 を可能とする特徴を有している。即ち、上記（１）の特
徴は、ディスクアレイ装置では、これら複数台のディス
クドライブが１つのディスクアレイコントローラによっ
て統括制御され、上位のホストコンピュータに対しては
従来の１台のディスクドライブであるかのように見せか
けるようにして達成され、また、上記（２）の特徴によ
り、ディスクアレイ装置を構成する任意の１台のディス
クドライブに故障が発生し、そこでのデータの読み取り
不能になっても、冗長ディスクドライブのデータを用い
て回復することができる。

【０００３】以下、この点について、図４、図５を用い
て説明する。但し、図４において、１はホストコンピュ
ータ、１ａはディスクＩ／Ｆ（インターフェース）、２
はディスクアレイコントローラ、２ａはホストＩ／Ｆ、
２ｂ１，２ｂ２，……，２ｃ，２ｄはドライブＩ／Ｆ、
Ｄはデータディスクドライブ、Ｐはパリティディスクド
ライブ、Ｓはスペアディスクドライブである。

【０００４】図４において、データディスクドライブ
Ｄ、パリティディスクドライブＰ及びスペアディスクド
ライブＳがアレイ状に配列されており、これらをディス
クアレイコントローラ２が統括制御している。このデイ
スクアレイコントローラ２はホストコンピュータ１にＳ
ＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ
Ｉｎｔｅｒｆａｃｅ）等のホストＩ／Ｆ２ａ，ディスク
Ｉ／Ｆ１ａを介して接続されている。また、データデイ
スクドライブＤはＧ個ずつディスクアレイコントローラ
２とＳＣＳＩ等のディスク用もしくはコンピュータ周辺
機器用Ｉ／Ｆ２ｂ１，２ｂ２，……で接続され、Ｇ個の
パリティディスクドライブＰも、同様に、ドライブＩ／
Ｆ２ｃで、スペアディスクドライブＳもドライブＩ／Ｆ
２ｄで夫々ディスクアレイコントローラ２に接続されて
いる。そして、このデイスクアレイコントローラ２の作
用により、ホストコンピュータ１からは１台のディスク
ドライブが接続されているように見える。

【０００５】ホストコンピュータ１がリード／ライトす
るデータは、データディスクドライブＤに格納されてい
る。パリティディスクドライブＰには、データディスク
ドライブＤのデータから算出して得られたパリティ情報
が格納されている。スペアディスクドライブＳは、デー
タディスクドライブＤやパリティディスクドライブＰに
障害が発生した場合、そのディスクドライブと論理的に
置き換えるためにスタンバイしているディスクドライブ
である。

【０００６】図５は、図４においてデータディスクドラ
イブＤが４×Ｇ個のアレイ状の配列として、水平方向の
配列の４個のデータディスクドライブＤ０〜Ｄ３とこれ
らに対応したパリティディスクドライブＰ０のデータ配
置方法を示したものであって、この例では、水平方向１
列のデータディスクドライブでのデータのパリティ情報
を１台のパリティディスクドライブに集中させるＲＡＩ
Ｄ４と呼ばれるディスクアレイの構成としている。以下
では、説明を判り易くするために、ＲＡＩＤ４としてい
るが、パリティを分散させるＲＡＩＤ５の構成でも同様
である。

【０００７】図５において、各データディスクドライブ
Ｄ０、Ｄ１、Ｄ２、Ｄ３では、各データがストライプと
呼ばれる単位ａｉ（但し、ｉ＝０，１，２，……）で書
き込まれており、データディスクドライブＤ０ではスト
ライプａ０，ａ４，ａ８，ａ１２，……が、データディ
スクドライブＤ１ではストライプａ１，ａ５，ａ９，ａ
１３，……が、データディスクドライブＤ２ではストラ
イプａ２，ａ６，ａ１０，ａ１４，……が、データディ
スクドライブＤ３ではストライプａ３，ａ７，ａ１１，
ａ１５，……が夫々設定されている。これらストライプ
は、ここでは、３２セクタ（１セクタ＝５１２バイト）
で構成され、従って、１６ｋバイトのデータからなって
いる。パリティディスクドライブＰ０では、各データデ
イスクドライブＤ０〜Ｄ３の同順位のストライプのデー
タ毎にパリティ情報を格納する。例えば、パリティ情報
ｐ０はストライプａ０，ａ１，ａ２，ａ３のデータから
生成されたものであり、かかるストライプとこれらから
生成されたパリティ情報のグループをパリティグループ
という。

【０００８】このように、各データディスクドライブＤ
０〜Ｄ３にデータが書き込まれるが、ホストコンピュー
タ１からみた論理的なデータの繋がりはストライプａ
０，ａ１，ａ２，ａ３，ａ４，ａ５，……の順である。
このように複数のディスクドライブにまたがるデータの
分散をデータのストライピングといい、これをディスク
アレイコントローラ２が管理している。

【０００９】パリティディスクドライブＰ０の最初のス
トライプｐ０はデータディスクドライブＤ０，Ｄ１，Ｄ
２，Ｄ３のストライプａ０，ａ１，ａ２，ａ３のデータ
から算出されるパリティ情報であり、ストライプａ０，
ａ１，ａ２，ａ３が夫々１６ｋバイト（＝１６３８４ビ
ット）をもつベクトルとすると、次の（数１）で表わさ
れる。

【００１０】

【数１】

【００１１】このようなパリティ情報をもつことによ
り、ストライプａ０，ａ１，ａ２，ａ３とパリティ情報
ｐ０のうち任意の１ストライプが失われても、これを残
りのストライプから回復することができる。例えば、ス
トライプａ１を読み出せなくなったとすると、ディスク
には、夫々のセクタのデータにＥＣＣ（誤り訂正符号）
が付加されており、データの読出しの際にこれを用いて
データのチェックが行なわれるから、ストライプａ１が
読出し不良であることを検出することができる。そし
て、このことが検出されると、このストライプａ１を含
むパリティグループの残りのストライプａ０，ａ２，ａ
３とパリティ情報ｐ０を読出して、このパリティ情報ｐ
０を生成したときと同様にして、これらをｍｏｄｕｌｏ
２で加算することにより、ストライプａ１を算出するこ
とができる。このようにして、データディスクドライブ
Ｄ０，Ｄ１，Ｄ２，Ｄ３のうち任意の１台が故障して
も、そのデータを回復することができる。

【００１２】次に、データを書き換えるときの操作につ
いて説明する。データを書き換えるときには、上記の
（数１）を満たすようにパリティ情報も書き換えなけれ
ばならない。このためには、パリティグループの書換え
を行なわないデータを読み出し、これと書き換える新デ
ータとを（数１）によるｍｏｄｕｌｏ２の加算を行なえ
ばよい。しかし、この方法では、例えば図５でデータデ
ィスクドライブＤ１でのデータ書換えを行なう場合、１
ストライプのデータを書き換えるために３台のディスク
ドライブＤ０，Ｄ２，Ｄ３，Ｐ０の読出しと２台のディ
スクドライブＤ１，Ｐ０への書込みを行わなければなら
ないし、また、この処理のために、パリティグループを
構成する全てのディスクドライブＤ０，Ｄ１，Ｄ２，Ｄ
３，Ｐ０を占有することになる。

【００１３】この書換え処理を簡単化し、次に説明する
ように、２台のディスクのみの占有ですむ方法もある。

【００１４】いま、データ書換えを行なうストライプを
ａ０とし、これに既に書き込まれている旧データをａ１
old 、これと書き換える新データをａ１new とし、旧デ
ータａ１old のときの旧パリティ情報をｐ０old とする
と、上記（数１）より、旧パリティ情報ｐ０old は次の
（数２）で表わされる。

【００１５】

【数２】

【００１６】これを変形すると、次の（数３）となる。

【００１７】

【数３】

【００１８】一方、新データａ０new に対する新パリテ
ィ情報ｐ０new は、上記のことから、（数１）によって
次の（数４）から求められる。

【００１９】

【数４】

【００２０】そこで、この（数４）の右辺に（数３）を
代入すると、次の（数５）が得られる。

【００２１】

【数５】

【００２２】この（数５）から、データを更新するスト
ライプａ０の新データａ０new ，旧データａ１old と対
応するパリティストライプｐ０の旧パリティ情報ｐ０ol
d だけからストライプｐ０の新パリティ情報ｐ０new が
得られることになり、２台のディスクドライブＤ０，Ｐ
０の読出し、書込みだけで済むことになることがわか
る。

【００２３】以上が、冗長度をもつディスクアレイＲＡ
ＩＤ（Ｒｅｄｕｎｄａｎｔ Ａｒｒａｙｓ ｏｆ ｉｎ
ｅｘｐｅｎｓｉｖｅ Ｄｉｓｋｓ）の特徴であるリード
モディファイライトと呼ばれるデータ書換え処理であ
る。

【００２４】かかるディスクアレイ装置では、冗長度１
とした場合（即ち、パリティグループ中にパリティディ
スクドライブが１台の場合）、データ損失までの平均時
間、即ち、平均稼動時間（ＭＴＤＬ）が次の（数６）で
表わされるとしている。

【００２５】

【数６】

【００２６】但し、ＭＴＢＦ：ディスクアレイ装置にお
けるディスクドライブ単体の平均故障時間 ＭＴＴＲ：ディスクドライブの平均修理時間 Ｎ：パリティグループ数 Ｇ：パリティグループ中のデータディスクドライブ数 これに対し、冗長ディスク装置を用いない場合（冗長度
＝０）の平均稼動時間ＭＴＤＬ０は次の（数７）で表わ
される。

【００２７】

【数７】

【００２８】ここで、上記（数６），（数７）における
平均故障時間ＭＴＢＦは、一般に、１０⁴〜１０⁵時間で
あり、また、平均修理時間ＭＴＴＲは１０⁰〜１０¹時間
のオーダーであるから、冗長ディスク装置を用いたこと
による平均稼動時間ＭＴＤＬ１の改善効果は１０³程度
あり、非常に有効であるということができる。また、ス
ペアディスクドライブＳを用いることにより、上記（数
６）における平均修理時間ＭＴＴＲを小さくし、この結
果、平均稼動時間ＭＴＤＬ１を増大させる効果がある。

【００２９】

【発明が解決しようとする課題】ところで、上記従来技
術では、上記（数６），（数７）の平均稼動時間ＭＴＤ
Ｌ１の計算は、ディスクアレイ装置を構成する各ディス
クドライブの故障発生が互いに独立な事象であるという
仮定に基づくものであり、これらに独立性がなくて従属
事象となる場合には、上記（数６）の関係式が成り立た
なくなる。ディスクアレイ装置を構成するディスクドラ
イブの故障が従属事象になる場合というのは、例えば地
震や火災などによってディスクアレイ装置全体に障害が
発生した場合、故障したディスクドライブの修理中のミ
スによって他のディスクドライブが故障するという２次
障害を引き起こす場合、同時期に製造された同機種のデ
ィスクドライブが、設計不良や製品寿命により、一定の
稼働時間後に故障する確率が急激に高くなる場合などが
考えられる。

【００３０】冗長ディスク装置を備えた上記従来のディ
スクアレイ装置で救済することができる障害は、冗長
度、即ち、パリティグループ内のパリティディスク数と
同数のディスクの同時障害までであり、上に挙げたよう
な種類の障害の場合には、これ以上となって、救済でき
ないデータ（データの損失）につながるという問題があ
る。

【００３１】本発明の目的は、かかる問題を解消し、従
属的障害発生の確率を小さくすることにより、データの
損失を回避できるようにした分散ファイルシステムを提
供することにある。

【００３２】本発明の他の目的は、上記分散ファイルシ
ステムのファイル装置として用いてに好適な記憶装置を
提供することにある。

【００３３】

【課題を解決するための手段】上記目的を達成するため
に、本発明による分散ファイルシステムは、ファイル装
置をもつコンピュータもしくはファイル装置コントロー
ラがネットワーク上に３つ以上存在し、該ファイル装置
の内の１台を、これ以外の該ファイル装置に格納されて
いるデータから算出される冗長データを格納してする冗
長データ格納装置とする。

【００３４】また、本発明による記憶装置は、ブロック
単位に読出し、書込みを行い、論理的もしくは物理的ア
ドレスによってアクセスするコンピュータシステムの記
憶装置であって、該書込みを、該書込みを行なう前に存
在しているデータに対して反転すべきビットを、もしく
は該書込みを行なう前に存在しているデータとの差分情
報を指示することにより、行なう構成とする。

【００３５】

【作用】ディスクの同時障害に対してデータ損失の確率
を小さくするには、冗長度を上げていく方法も考えられ
るが、地震や火災などに対しては効果が小さい。本発明
による分散ファイルシステムは、故障発生の従属性を小
さくしていく方法をとるものであり、故障発生の従属性
が小さければ、平均稼動時間ＭＴＤＬは上記（数６）で
表わされる値に近づき、データ損失確率は小さくなる。

【００３６】さて、地震や火災などの場合に故障発生の
従属性を小さくする方法とは、ディスクアレイ装置を構
成するディスク装置間の距離を地震、火災などの平均的
な災害範囲に対して大きくしてやればよい。１つの地
震、火災などの災害範囲を越えた地域同志での同時災害
発生確率は極めて小さいと考えられる。

【００３７】ところで、アレイ状に配置された複数台の
ディスクドライブを１台のコントローラが統括制御し、
ディスクドライブとコントローラのインタフェースにＳ
ＣＳＩを使用している上記特開平１ー２５０１２８号公
報に開示されているような従来のディスクアレイ装置に
おいては、ＳＣＳＩでは、ケーブル長を一般に多く用い
られている不平衡型の場合で６ｍ、平衡型でも２５ｍと
規定されているので、地震、火災などの平均的な災害範
囲を越えて各ディスクドライブを配置することはできな
い。また、従来のディスクドライブのインタフェースで
は、ＳＣＳＩ以外のものでも到底平均的な災害範囲を越
えることはできない。

【００３８】そこで、本発明による分散ファイルシステ
ムでは、ネットワークを介してディスクドライブ同志を
接続することとしている。この際、ディスクドライブは
ネットワークインタフェースを持たないので、コンピュ
ータあるいはディスクコントローラ装置を介してネット
ワークに接続する。ネットワークは、現在地球規模の大
きさのものも実用化されている。

【００３９】ディスクドライブ間の距離が広がることに
より、当然、修理は各サイト独自に行わなければならな
い。このことは、修理に起因する同時障害（２次障害）
の発生確率を小さくする。また、各サイトの独自性が高
まるため、使用するディスクドライブとして各サイト毎
に異なったものを使用しても困難は少ない。これによ
り、同時間稼働した同一機種による同時障害発生が起こ
ることも抑止することができる。

【００４０】ネットワークを使用することによるデメリ
ットとしては、コンピュータがネットワーク上の他のデ
ィスク装置に読出し、書込みなどの命令を実行する場合
の平均応答時間が、ディスクドライブ用インタフェース
でローカルなディスク装置にアクセスした場合の平均応
答時間に比べて、はるかに大きいということが挙げられ
る。これは、ディスクにデータ書込みを行なう場合非常
に問題となる。なぜならば、冗長ディスク装置を用いた
ディスクアレイ装置では、冗長データの更新のために、
先に説明したように、まず、書き込むべきブロックに既
に存在している旧データを読み出し、次に、これを書き
込むべき新データと比較し、その比較結果と対応する冗
長データのブロックのデータとをさらに比較して冗長デ
ータブロックへの書込みパターンが求められるようにす
る、上記のリードモディファイライトが行なわれる。新
データを書き込むべきブロックと対応する冗長データの
ブロックとは互いに異なるディスクドライブ上にあるた
め、ネットワーク経由のアクセスが少なくとも２回（即
ち、冗長データの読出しと書込み）必要となり、性能劣
化を招くことになる。

【００４１】このため、本発明による記憶装置では、こ
の性能劣化を押えるために、冗長データの読出しをなく
し、冗長データの更新のためには、変更するビットの指
示もしくは新データと旧データとの差分を指示すること
によって行なうこととしている。

【００４２】さて、本発明では、パリティグループを構
成するディスクを物理的に離れた場所におき、地震や火
災等の災害、修理の際の２次障害によるデータ損失がお
こる確立を小さくする。つまり、上記の例におけるデー
タディスクＤ０、パリティディスクＰ０はお互いに離れ
た場所にありネットワークで接続されている（図１参
照）。このため、Ｄ０とＰ０の旧データを一ヶ所に持っ
てきてＰ０の新データの計算をしてＰ０に転送し書き込
むという方法よりも、以下に説明する方法によればネッ
トワーク上の転送回数を１回減らすことができる。

【００４３】先の（数５）を変形すると、次の（数８）
が得られる。

【００４４】

【数８】

【００４５】この（数８）では、その右辺にデータディ
スクドライブＤ０のデータのみが、その左辺にはパリテ
ィディスクドライブＰ０のデータのみが存在する。この
ことは、データディスクドライブＤ０から（数８）の右
辺に相当するデータをパリティディスクドライブＰ０に
送ることにより、１回のネットワーク上でのデータ転送
のみでパリティディスクドライブＰ０ではデータを更新
できるということを意味している。

【００４６】勿論、この場合、パリティディスクドライ
ブＰ０もしくはその上位コンピュータは、転送されてき
たデータに更に旧パリティ情報ｐ０old をｍｏｄｕｌｏ
２で加算し、新パリティ情報ｐ０new を計算しなければ
ならない。しかし、この程度の計算の処理時間は、一般
に、ネットワーク上でのデータ転送にかかる時間に比べ
て小さく、問題とはならない。このための管理は、他の
ディスクドライブを考慮せずに制御できるため、大きな
メリットがある。但し、パリティディスクドライブで
は、旧パリティ情報を読み出し、これとデータディスク
ドライブからの上記データとから新パリティ情報を計算
してから書き込むという処理が行なわれることになり、
これは単なるディスクドライブ上への書込みとは異なる
から、この処理のための専用のコマンドをサポートする
ことが必要となる。勿論、ここでは、ＲＡＩＤ４として
いるが、ＲＡＩＤ５としてもよい。

【００４７】この実施例でも、図４，図５で説明した従
来のディスクアレイ装置と同様に、ディスクドライブＤ
０，Ｄ１，Ｄ２，Ｄ３，Ｐ０のうちの任意の１台が故障
しても、そこでのデータを回復することができる。ま
た、各デイスクドライブはネットワークで接続している
ため、これらを互いに充分離れた場所に設置することが
できる。例えば火災を考慮した場合、各デイスクドライ
ブ間の距離を平均的災害範囲（例えば、同一建物，敷地
内）より大きくすることにより、火災によって発生する
ディスクドライブの障害を個々の事象として互いに独立
なものと考えることができる。従って、この場合の平均
稼動時間ＭＴＤＬ（データ損失に至る平均稼働時間）と
しては、先の（数１）を採用することができることにな
る。

【００４８】従来のディスクアレイ装置のようにディス
クドライブ同志が近い距離に設置されている場合には、
火災などに起因する障害に対して（数１）を適用でき
ず、火災に遭遇する平均稼働時間とその他の通常の障害
に起因して（数１）により計算される平均稼動時間ＭＴ
ＤＬとのうちの小さい方を正しい平均稼動時間ＭＴＤＬ
として採用しなければならない。コンピュータを利用し
たオンライントランザクションシステムの普及と社会的
影響度を考えると、火災，地震などによるデータ損失，
システムサービスの停止は許容し難たい例も多数存在す
ると考えられる。

【００４９】

【実施例】以下、本発明の実施例を図面を用いて以下説
明する。図１は本発明による分散ファイルシステムの一
実施例を示す構成図である。

【００５０】同図において、データデイスクドライブＤ
０，Ｄ１，Ｄ２，Ｄ３は夫々コンピュータ１−１，１−
２，１−３，１−４により、また、パリティディスクド
ライブＰ０はコンピュータ１−５により、ネットワーク
に接続されており、これにより、相互に接続されてい
る。ここで、図４，図５で説明したように、データディ
スクドライブＤ０，Ｄ１，Ｄ２，Ｄ３は通常のデータを
格納しており、パリティディスクドライブＰ０はデータ
ディスクドライブＤ０，Ｄ１，Ｄ２，Ｄ３のデータから
計算されるパリティ情報を格納している。これらでのデ
ータの配置は、先に図５で説明した通りである。

【００５１】そこで、この実施例でも、図４，図５で説
明した従来のディスクアレイ装置と同様、ディスクドラ
イブＤ０，Ｄ１，Ｄ２，Ｄ３，Ｐ０のうちの任意の１台
が故障しても、そこでのデータを回復することができ
る。また、各デイスクドライブは、ネットワークに接続
しているため、互いに充分離れた場所に設置することが
できる。例えば火災を考慮した場合、各デイスクドライ
ブ間の距離を平均的災害範囲（例えば、同一建物，敷地
内）より大きくすることにより、火災によって発生する
ディスクドライブの障害を個々の事象として互いに独立
なものと考えることができる。従って、この場合の平均
稼動時間ＭＴＤＬ（データ損失に至る平均稼働時間）と
しては、先の（数６）を採用することができることにな
る。

【００５２】従来のディスクアレイ装置のようにディス
クドライブ同志が近い距離に設置されている場合、火災
などに起因する障害に対して（数６）を適用できず、火
災に遭遇する平均稼働時間とその他の通常の障害に起因
して（数６）により計算される平均稼動時間ＭＴＤＬと
のうちの小さい方を正しい平均稼動時間ＭＴＤＬとして
採用しなければならない。コンピュータを利用したオン
ライントランザクションシステムの普及と社会的影響度
を考えると、火災，地震などによるデータ損失，システ
ムサービスの停止は許容し難たい例も多数存在すると考
えられる。

【００５３】さて、この実施例では、パリティグループ
を構成するディスクドライブを物理的に充分離れた場所
に設置し、地震や火災等の災害、修理の際の２次障害に
よるデータ損失が起きる確率を小さくしている。そし
て、これらディスクドライブを充分離れた場所に設置し
ても、以下に示す方法により、これらディスクドライブ
に新データや新パリティ情報を書き込む場合のネットワ
ーク上でのデータ転送回数を、旧データや旧パリティ情
報を１ヶ所に集めて新パリティ情報を生成し、これと新
データとを夫々のディスクドライブに書き込む方法より
も、減らすことができるようにしている。

【００５４】即ち、先の（数５）を変形すると、次の
（数８）が得られる。

【００５５】

【数８】

【００５６】この（数８）では、その右辺にデータディ
スクドライブＤ０のデータのみが、その左辺にはパリテ
ィディスクドライブＰ０のデータのみが存在する。この
ことは、データディスクドライブＤ０から（数８）の右
辺に相当するデータをパリティディスクドライブＰ０に
送ることにより、１回のネットワーク上でのデータ転送
のみでパリティディスクドライブＰ０ではデータを更新
できるということを意味している。

【００５７】勿論、この場合、パリティディスクドライ
ブＰ０もしくはその上位コンピュータは、転送されてき
たデータに更に旧パリティ情報ｐ０old をｍｏｄｕｌｏ
２で加算し、新パリティ情報ｐ０new を計算しなければ
ならない。しかし、この程度の計算の処理時間は、一般
に、ネットワーク上でのデータ転送にかかる時間に比べ
て小さく、問題とはならない。このための管理は、他の
ディスクドライブを考慮せずに制御できるため、大きな
メリットがある。但し、パリティディスクドライブで
は、旧パリティ情報を読み出し、これとデータディスク
ドライブからの上記データとから新パリティ情報を計算
してから書き込むという処理が行なわれることになり、
これは単なるディスクドライブ上への書込みとは異なる
から、この処理のための専用のコマンドをサポートする
ことが必要となる。なお、以上はＲＡＩＤ４の場合であ
るが、ＲＡＩＤ５であっても同様である。

【００５８】以下，図１の動作をリード，ライト，ディ
スク障害発生時のデータ回復，ディスク障害発生時のサ
ービスの継続方法にわけて説明する。 （１）データ読出し ディスクドライブに障害が発生していない通常時のデー
タ読出し動作は、従来のデイスクアレイ装置の分散ファ
イルシステムと同様である。コンピュータは、これらに
ディスクＩ／Ｆを介して接続されているディスクドライ
ブ（これを、ネットワーク上の他のコンピュータに接続
されているディスクドライブと区別するために、ローカ
ルディスクドライブということにする）からデータを読
み出すときには、従来のローカルディスクドライブへの
読出しアクセスと同様、必要なセクタの読出しを行なう
だけでよい。ローカルディスクドライブがインタフェー
スとしてＳＣＳＩを使用している場合には、コンピュー
タは、リードコマンド，もしくはリード・エクスタンド
コマンドを発行し、ローカルディスクドライブから送ら
れてくるデータをメモりに転送する。ネットワーク上の
他のディスクドライブ、例えばコンピュータ１ー１がデ
ィスクドライブＤ２のデータを読み出す場合でも、従来
のネットワーク経由のディスクアクセスと変わるところ
がない。また、必要ならば、パリティディスクドライブ
Ｐ０のパリティ情報の読出しも、上記と同様の動作で行
なうことができる。

【００５９】（２）データ書込み この実施例でのデータ配置は図５と同様であるので、こ
の図５を用いて書込み動作を説明する。データ書込みに
は、各ディスクドライブでのデータが全て初期値０であ
って、かかる状態でデータを書き込む場合と、既にデー
タが書き込まれているデータディスクドライブに新デー
タを書き込む場合とがあり、特に後者をデータ書換えと
いう。いずれの場合も、上記（数６）の関係式が満たさ
なければならず、従って、前者の場合、パリティディス
クドライブＰ０のパリティ情報は全て初期値０である。

【００６０】そこで、いま、データディスクドライブＤ
０のストライプａ０にデータを書き込むものとすると、
このデータディスクドライブＤ０が直接接続しているコ
ンピュータ１ー１（図１）は、データ書込み前に、スト
ライプａ０の旧データａ０old とパリティディスクドラ
イブＰ０のストライプｐ０の旧パリティ情報ｐ０oldを
読み出し、上記（数５）に従って、ストライプａ０に書
き込むべき新データａ０new と旧データａ０old ，旧パ
リティ情報ｐ０old をｍｏｄｕｌｏ２で加算して新パリ
ティ情報ｐ０new を得る。ｍｏｄｕｌｏ２での加算演算
は、ＣＰＵで行なってもよいし、ハードウェアで実行し
てもよく、ハードウェアでは、排他的論理和をとること
によってｍｏｄｕｌｏ２の加法を計算できる。

【００６１】コンピュータ１ー１は、ストライプａ０に
新データａ０old を書き込み、これとともに、コンピュ
ータ１ー５に、得られた新パリティ情報ｐ０new をパリ
ティディスクドライブＰ０のストライプｐ０に書き込ま
せるコマンドと新パリティ情報ｐ０new とを、ネットワ
ークを介して送る。かかるコマンドにより、コンピュー
タ１ー５は、ディスクインタフェースを介し、パリティ
ディスクドライブＰ０のストライプｐ０にこの新パリテ
ィ情報ｐ０new を書き込む処理を行なう。

【００６２】新パリティ情報ｐ０new の算出はコンピュ
ータ１ー５上で行なってもよい。これは上記（数８）に
基づくものであり、コンピュータ１ー１は旧データａ０
oldと新データａ０old とストライプａ０のアドレスを
ネットワークを介してコンピュータ１ー５に送る。コン
ピュータ１ー５はパリティディスクドライブＰ０のスト
ライプａ０に対応するアドレスのストライプｐ０をアク
セスして旧パリティ情報ｐ０old を読み出し、これとコ
ンピュータ１ー１から送られてきた旧データａ０old と
新データａ０new とを上記（数８）に従ってｍｏｄｕｌ
ｏ２で加算し、新パリティ情報ｐ０new を算出してスト
ライプｐ０に書き込む。かかる新パリティ情報ｐ０new
の（数８）の演算の一部または全部をパリティディスク
ドライブでＰ０で行なうようにしてもよい。

【００６３】また、コンピュータ１ー１からコンピュー
タ１ー５に、旧データａ０old と新データａ０old とス
トライプａ０のアドレスを送る代りに、旧データａ０ol
d と新データａ０newとをｍｏｄｕｌｏ２で加算した値
とストライプａ０のアドレスを送るようにしてもよい。
ｍｏｄｕｌｏ２の加法では結合則が成り立つから、コン
ピュータ１ー５でこの加算値にさらに旧パリティ情報ｐ
０old をｍｏｄｕｌｏ２で加算することにより、新パリ
ティ情報ｐ０new が得られる。この場合でも、新パリテ
ィ情報ｐ０new の上記（数８）の演算の一部または全部
をパリティディスクドライブＰ０で行なってもよい。こ
の場合、パリティディスクドライブＰ０がこの処理のた
めのコマンド（ここでは、リードモディファイライトコ
マンドと呼ぶことにする）をサポートすると、都合がよ
い。パリティディスクドライブＰ０でのこのリードモデ
ィファイライトコマンドに対する処理は、このコマンド
で指示されるアドレスの旧パリティ情報ｐ０を読み出
し、次に、このコマンドに付随して送られてくる上記加
算データとｍｏｄｕｌｏ２の演算を行なって新パリティ
情報ｐ０new を求め、これを前記アドレスに書き込むも
のである。冗長データとしてパリティ情報以外のものを
使うときには、ｍｏｄｕｌｏ２の演算の代りに、この冗
長データを計算するための演算を行なう。

【００６４】（３）ディスクドライブに障害が発生した
ときのデータ回復 いま、データディスクドライブＤ０が故障して、かつこ
のデータディスクドライブＤ０のストライプａ０のデー
タが必要になったものとする。上記（数１）により、ス
トライプａ０はストライプａ１，ａ２，ａ３，ｐ０を用
いて次の（数９）のように表わされる。

【００６５】

【数９】

【００６６】つまり、コンピュータ１ー１は、ストライ
プａ０のデータを回復するために、同じパリティグルー
プのストライプａ１，ａ２，ａ３のデータとストライプ
ｐ０のパリティ情報とをネットワークを介してコンピュ
ータ１ー２〜１ー５から読み出し、これらをｍｏｄｕｌ
ｏ２で加算することによってストライプａ０のデータが
得られる。

【００６７】このようにして、同じパリティグループ中
の任意の１ストライプまでの障害は回復することがで
き、図５のようにパリティグループが配置されていれ
ば、任意の１台のディスクドライブに障害が発生して
も、そこでのデータが損失することがない。

【００６８】図５に示す例は冗長度１の構成であり、こ
の場合には、任意の１台までの耐故障性が得られるが、
冗長度２の場合には、任意の２台までの耐故障性が得ら
れることになる。ディスクドライブに障害が発生してい
るということ、もしくは或るストライプのデータが読出
し不良であるということは、ディスクドライブのチェッ
ク機構もしくは誤り訂正符号によって判明するから、一
般に、冗長度Ｎのときには、任意のＮ台までの耐故障性
を得ることができる。

【００６９】冗長度１でディスクドライブに障害が発生
した場合、この障害が除かれないうちに他のディスクド
ライブに障害が発生すると、データ損失が起きる。そこ
で、障害を起こしたディスクドライブを速やかに置き換
え、新たに障害が起きる前に上述の方法で全てのデータ
を回復することが望ましい。この回復処理にかかる時間
が上記（数６）における平均修理時間ＭＴＴＲであり、
平均稼動時間ＭＴＤＬにー１次の影響をもつことがわか
る。回復処理を速めるためには、ネットワーク上に予備
のコンピュータとディスクドライブを設け、障害発生時
にこの予備のディスクドライブ上にデータを回復し、回
復終了後障害が発生したコンピュータとディスクドライ
ブを論理的に置き換えるようにすればよい。

【００７０】勿論、平均稼動時間ＭＴＤＬが使用用途に
対して充分であるならば、ディスクドライブに障害が発
生した時に障害ディスクドライブを置き換え、新しいデ
ィスクドライブ上にデータを回復するようにしてもよ
い。

【００７１】（４）ディスクドライブに障害が発生した
時のサービスの継続 従来では、一般に、ディスクドライブに障害が発生した
場合、その回復作業時では、少なくとも障害が発生した
ディスクドライブ上のデータについてはサービスを停止
していた。これに対して、この実施例では、以下に説明
するように、障害が発生したディスクドライブ上のデー
タについても、データ書込み，読出しのサービスを継続
することができるようにする。

【００７２】障害が発生したディスクドライブのデータ
の回復は、上記のように、同じパリティグループ中の残
りのストライプのデータをｍｏｄｕｌｏ２で加算するこ
とによって可能である。かかる回復処理は、障害が発生
したディスクドライブに直接接続されているコンピュー
タが、障害が発生したこのディスクドライブへのデータ
読出し要求を他のコンピュータや端末からもしくはこの
コンピュータ上のプログラムやＯＳ等から受け取った時
点で起動し、該コンピュータによる制御で進められる。
従って、障害が発生しているディスクドライブのデータ
の読出しは、これ以外のデータディスクドライブからの
データの読出しとパリティディスクドライブからのパリ
ティ情報の読出しとによって可能となる。

【００７３】また、いま、データディスクドライブＤ０
が故障し、かつこのデータディスクドライブＤ０のスト
ライプａ０への書込みが必要になったものとすると、図
５において、故障しているストライプａ０には、実際に
は、データの書込みができない。そこで、まず、書き込
むべき新データに対するパリティ情報の更新が行なわれ
る。この新パリティ情報ｐ０new は、上記（数１）によ
り、次の（数１０）によって得られる。

【００７４】

【数１０】

【００７５】このようにパリティ情報を更新しておくこ
とにより、いつでもデータディスクドライブＤ０のスト
ライプａ０のデータを上記（数９）から得ることができ
る。

【００７６】上記の読出し処理の場合と同様、この書込
み処理は、障害が発生したディスクドライブに直接接続
されているコンピュータが、障害が発生したこのディス
クドライブへの書込み要求を他のコンピュータや端末か
らもしくはこのコンピュータ上のプログラムやＯＳ等か
ら受け取った時点で起動し、このコンピュータによる制
御で進められる。

【００７７】以上の処理を行なうことにより、データデ
ィスクドライブに障害が発生しても、このデータディス
クドライブでのデータのサービスを停止する必要はな
い。また、前述のように、２重障害によるデータ損失の
可能性が有るので、サービスを継続しながらもこのデー
タディスクドライブのデータ回復処理を行なうことが望
ましい。

【００７８】図２は図１に示した実施例のより具体的な
一例を示すブロック図である。この具体例は、広域ネッ
トワークＷＡＮと組み合わせた冗長度をもつ分散ファイ
ルシステムであって、コンピュータ１とデータディスク
ドライブＤとの組合せやコンピュータ１とパリティディ
スクドライブＰとの組合せで構成されるファイルサーバ
が複数台（３台以上）夫々個々に広域ネットワークＷＡ
Ｎで接続されている。夫々のファイルサーバには、ロー
カルエリアネットワークＬＡＮにより、端末やコンピュ
ータ等のクライアントが接続されている。ローカルエリ
アネットワークＬＡＮと広域ネットワークＷＡＮとはル
ータを介して接続されている。換言すれば、３以上のロ
ーカルエリアネットワークＬＡＮが高域ネットワークＷ
ＡＮにルータを介して接続され、夫々のローカルエリア
ネットワークＬＡＮ毎に、１台のファイルサーバと複数
のクライアントとが接続されている。

【００７９】ネットワークのルーティングや、必要なら
ばプロトコル変換はルータが行なうため、ローカルエリ
アネットワークＬＡＮに接続されているコンピュータや
端末からトランスペアレントに、広域ネットワークＷＡ
Ｎを介して他のＬＡＮのコンピュータや端末へアクセス
を行なうことができる。ルータをファイルサーバもしく
は他のコンピュータが取り込んだ構成としてもよい。

【００８０】通常時、各クライアントは、ファイルサー
バに対し、データ読出し，書込み等の要求を行なうサー
ビスを受ける。要求を受け取ったコンピュータ１は、デ
ータの読出しならば、従来のファイルサーバと同様、デ
ィスクドライブの対応するアドレスのデータを読み出
し、クライアントへそのデータを転送して処理を終了す
る。データの書込み要求の場合には、図１及び図５で説
明したように、パリティディスクドライブ中の対応する
ストライプを、広域ネットワークＷＡＮを介して更新処
理する。障害が発生したときのデータの回復やサービス
の継続処理も図１及び図５で説明した処理と同様であ
る。

【００８１】この具体例の利点は、パリティ情報の更
新、障害回復、障害時のサービスの継続等の処理がファ
イルサーバで行なわれ、クライアントからはトランスペ
アレントである点、広域ネットワークＷＡＮで接続して
いるため、ローカルエリアネットワークＬＡＮ同志、従
って、ファイルサーバ同志を充分離れた場所に設置する
ことができ、火災や地震等の災害時でも多重障害となら
ない点、一般に、修理がサイト単位で行なわれるため、
修理に伴なう多重障害の発生確立が減少する点、ネット
ワークとコンピュータを介してのみパリティグループを
構成するディスクドライブ同志が結ばれていないため、
夫々のディスクドライブとして異なった機種を用い易
く、製造不良などに伴なう同時多重障害発生の確率が低
減する点などが挙げられる。

【００８２】図３は図１に示した実施例のより具体的な
他の例を示すブロック図である。この具体例は、スター
型接続のネットワークを用いた冗長度をもった分散ファ
イルシステムであって、図２に示した具体例と異なり、
各ファイルサーバは夫々スター型接続のネットワークに
よって接続される。スター型接続の中心にはネットワー
ク制御（ルーティング）を行なうコンピュータがあり、
ディスクドライブを有している。好適な例としては、こ
のネットワーク制御用のコンピュータが有するディスク
ドライブにパリティ情報を格納する。

【００８３】パリティ情報の更新、障害回復、障害時の
サービスの継続等の処理は図１及び図５で説明した方法
と同様であるが、これら処理を各ファイルサーバで行な
ってもよいし、ネットワーク制御を行なうコンピュータ
が行なってもよい。前者の場合、各ファイルサーバから
のパリティ更新のためのネットワークアクセスが物理的
に別のケーブルに分散されるため、パリティディスクド
ライブへのアクセス集中による性能低下を防ぐことがで
きる。後者の場合には、前記の利点に加え、各ファイル
サーバはパリティ情報の更新、障害回復、障害時のサー
ビスの継続等の処理を意識しなくてもよいという利点が
ある。

【００８４】

【発明の効果】以上説明したように、本発明によれば、
地震や火災などの災害によるシステム全体に障害の回
避，修理ミスによる２次障害の発生防止，同時期に製造
された同機種のディスクドライブの設計不良による一定
の稼働時間後の同時故障の確率の低減など、ディスクア
レイを構成するディスクドライブの故障が従属事象にな
るのを防止し、データ損失の発生を抑圧することができ
る分散ファイルシステムを提供することができる。。

【００８５】また、本発明によれば、かかる分散ファイ
ルシステムに好適なディスク装置を提供することができ
る。

【図面の簡単な説明】

【図１】本発明による分散ファイルシステムの一実施例
を示す構成図である。

【図２】図１に示した実施例のより具体的な一例の構成
を示す図である。

【図３】図１に示した実施例のより具体的な一例の構成
を示す図である。

【図４】従来のディスクアレイ装置の一例を示す構成図
である。

【図５】ディスクアレイ装置でのデータ配置を示す図で
ある。

【符号の説明】

１−１〜１−５ コンピュータ Ｄ０〜Ｄ３ データディスクドライブ Ｐ０ パリティディスクドライブ ａ０，ａ１，ａ２，…… データのストライプ ｐ０，ｐ１，ｐ２，…… パリティ情報のストライプ

フロントページの続き (72)発明者 本田 聖志 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 松並 直人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 磯野 聡一 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内

Claims (13)

【特許請求の範囲】
1. 【請求項１】 ファイル装置をもつコンピュータもしく
   はファイル装置コントローラがネットワーク上に３つ以
   上存在し、 該ファイル装置の内の１台を、これ以外の該ファイル装
   置に格納されているデータから算出された冗長データを
   格納する冗長データ格納装置とすることを特徴とする分
   散ファイルシステム。
2. 【請求項２】 請求項１において、 前記各ファイル装置は、それらが直接接続されている前
   記コンピュータもしくは前記ファイル装置コントローラ
   によって制御され、 前記データを格納する前記ファイル装置が直接接続され
   ている前記コンピュータもしくは前記ファイル装置コン
   トローラは、前記データを格納する前記ファイル装置へ
   の前記データ書込み指示とともに、前記冗長データ格納
   装置への前記冗長データの書込みをも指示することを特
   徴とする分散ファイルシステム。
3. 【請求項３】 請求項１において、 前記各ファイル装置は、それが直接接続されている前記
   コンピュータもしくは前記ファイル装置コントローラに
   よって制御され、 かつ、前記データを前記ファイル装置に書き込む際の前
   記冗長データ格納装置への前記冗長データの格納指示や
   全体の統括制御は、前記ネットワーク上に存在する前記
   ファイル装置の数より少ない前記コンピュータもしくは
   前記ファイル装置コントローラが行なうことを特徴とす
   る分散ファイルシステム。
4. 【請求項４】 請求項３において、 前記ネットワークは、全体の統括制御を行なう前記コン
   ピュータもしくは前記ファイル装置コントローラを中心
   にしたスター型接続のネットワークであることを特徴と
   する分散ファイルシステム。
5. 【請求項５】 請求項１において、 前記ネットワークは、無線式ネットワークであることを
   特徴とする分散ファイルシステム。
6. 【請求項６】 ファイル装置をもつコンピュータもしく
   はファイル装置コントローラがネットワーク上に３つ以
   上存在して、Ｎ個（但し、Ｎは３以上の整数）のファイ
   ル装置を備え、その内の１以上を冗長データを格納する
   冗長データ格納装置とし、 ｉ番目（但し、ｉ＝１、２、……、Ｎ）の該ファイル装
   置にデータを格納する際、該データと該冗長データ格納
   装置におけるｉ番目の該ファイル装置上の該データの格
   納位置に論理的に対応する格納位置にあるデータとから
   一義的に得られる冗長なデータを、該冗長データ格納装
   置に格納することを特徴とする分散ファイルシステム。
7. 【請求項７】 請求項６において、 前記ファイル装置は、それらが直接接続されている前記
   コンピュータもしくは前記ファイル装置コントローラに
   よって制御され、 前記データを格納する前記ｉ番目のファイル装置が直接
   接続されている前記コンピュータもしくは前記ファイル
   装置コントローラは、前記ｉ番目のファイル装置への前
   記データ書込み指示とともに、前記冗長データ格納装置
   への前記冗長データの書込みをも指示することを特徴と
   する分散ファイルシステム。
8. 【請求項８】 請求項６において、 前記各ファイル装置は、それが直接接続されている前記
   コンピュータもしくは前記ファイル装置コントローラに
   よって制御され、 かつ、前記データを前記ｉ番目のファイル装置に書き込
   む際の前記冗長データの前記冗長データ格納装置への格
   納指示や全体の統括制御は、前記ネットワーク上に存在
   する前記ファイル装置の数より少ない前記コンピュータ
   もしくは前記ファイル装置コントローラが行なうことを
   特徴とする分散ファイルシステム。
9. 【請求項９】 請求項８において、 前記ネットワークは、全体の統括制御を行なう前記コン
   ピュータもしくは前記ファイル装置コントローラを中心
   にしたスター型接続のネットワークであることを特徴と
   する分散ファイルシステム。
10. 【請求項１０】 請求項６において、 前記ネットワークは、無線式ネットワークであることを
    特徴とする分散ファイルシステム。
11. 【請求項１１】 ブロック単位に読出し、書込みを行
    い、論理的もしくは物理的アドレスによってアクセスす
    るコンピュータシステムの記憶装置であって、 該書込みを、該書込みを行なう前に存在しているデータ
    に対して反転すべきビットを、もしくは該書込みを行な
    う前に存在しているデータとの差分情報を夫々指示する
    ことにより、行なうことができるように構成したことを
    特徴とする記憶装置。
12. 【請求項１２】 請求項１２に記載の記憶装置を前記フ
    ァイル装置として用いることを特徴とする請求項１に記
    載の分散ファイルシステム。
13. 【請求項１３】 請求項１２に記載の記憶装置を前記フ
    ァイル装置として用いることを特徴とする請求項６に記
    載の分散ファイルシステム。