JPH09171479A - データ格納システム - Google Patents

Abstract

(57)【要約】 【課題】ディスク装置の読み書きを制御するディスク制
御装置に障害が生じとき、これに代わって読み書きを行
う他のディスク制御装置の負担の増加を軽減することの
できるデータ格納システムを提供する。 【解決手段】第１単位サーバ３１の通常用記憶装置１７
に格納されているデータと同一のデータを、他の単位サ
ーバ２２、２５、２８の障害用記憶装置２３、２６、２
９に分散して格納する。同様した各単位サーバの通常用
記憶装置に格納されているデータの複製を他の単位サー
バの障害用記憶装置に分散して作成する。１つの単位サ
ーバの通常用記憶装置またはディスク制御装置１２〜１
５に障害が起きたときは、他の複数の単位サーバの障害
用記憶装置に分散されたデータを読み出す。障害の起き
た記憶装置のデータは他の複数のサーバに分散されてい
るので、他の単位サーバのディスク制御装置の負担が大
幅に増加しない。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディスク装置など
の記憶装置を用いて各種データを格納するデータ格納シ
ステムに係わり、特に１つの記憶装置に記憶されている
データの複製を他の記憶装置に記憶することによりシス
テムの障害に備えるデータ格納システムに関する。

【０００２】

【従来の技術】ディスク装置などの記憶装置にデータを
格納するシステムでは、記憶装置に障害が発生したとき
でも格納されているデータが失われないようにデータを
冗長構成にして記憶することが行われる。従来、ディス
ク装置の障害対策として、データを冗長構成にして複数
のディスク装置に格納するものには、ＲＡＩＤ（Redund
and Array of Inexpensive Disks) と呼ばれるものがあ
る。ＲＡＩＤはレベル１からレベル５までが一般的に知
られている。

【０００３】レベル１は、通常運用されるディスク装置
に格納する内容と同一の内容を障害用のディスク装置に
格納するものであり、ミラー方式と呼ばれている。ミラ
ー方式のデータ格納システムでは、通常運用するための
通常用ディスク装置と、障害対策用のミラーディスク装
置を備えている。ホストコンピュータからデータを書き
込むときは、通常用ディスク装置と同一のデータをミラ
ーディスク装置にも格納するようになっている。通常用
ディスク装置に障害が生じたときは、ミラーディスク装
置から読み出すことにより、データが読み出せなくなる
という事態を回避している。

【０００４】レベル２〜レベル５では、パリティ情報を
生成し、１つのディスク装置に障害が生じたとき他のデ
ィスク装置とパリティ情報を用いて障害の生じたディス
ク装置に格納されている内容を復元するものである。

【０００５】特開平−３１８６４０号公報には、パリテ
ィ情報を用いたＲＡＩＤ方式によって障害の生じたディ
スク装置の記憶内容を復元するデータ格納システムが開
示されている。パリティ情報を用いる場合、通常は、た
とえば４台のディスク装置のうちの３台のディスク装置
にデータを格納し、残りのディスク装置に他の３台のデ
ィスク装置に格納したデータに対応するパリティ情報を
格納する。このようにデータとそのパリティ情報を格納
しているディスク装置をＥＣＣグループと呼ぶことにす
る。データを格納している３台のうちの１台が故障した
ときは、残り２台の正常なディスク装置のデータとパリ
ティ情報とを基にして障害の生じたディスク装置のデー
タが復元される。

【０００６】ディスク装置の台数が８台の場合には、こ
れを４台ずつのＥＣＣグループに分けると、障害の生じ
たディスク装置のデータを復元するための負荷がそのＥ
ＣＣグループ内に集中し、効率良く復元作業を行うこと
ができない。そこで特開平─３１８６４０号に開示され
ている先行技術では、各ディスク装置の記憶領域を複数
のブロックに分割し、ブロックごとに互いに異なる４台
のディスク装置によってＥＣＣグループを形成するよう
にしている。これにより１台分のディスク装置のデータ
を復元する際の負荷を残りの７台のディスク装置に分散
することができる。

【０００７】パリティ情報を用いたデータ格納システム
では、ディスク装置の記憶内容を更新するごとにパリテ
ィ情報を計算して求めなければならず、高速な書き込み
処理を行うことが難しい。またディスク装置に障害が生
じたとき、そのデータの復元作業を行う必要があり、デ
ータが読み出されるまでの時間が長くかかり、高速な読
み出しに対応できない場合がある。これに対してミラー
方式では、冗長度が大きいので障害対策用に用意すべき
ディスク装置の容量が大きくなるが、高速なアクセスが
可能になるという利点がある。

【０００８】図８は、従来から使用されているミラー方
式を用いたデータ格納システムの構成の概要を表わした
ものである。通常時に運用されるディスク装置３０１と
障害対策用のディスク装置３０２はバス３０３を通じて
ディスク制御装置３０４にそれぞれ接続されている。デ
ィスク制御装置３０４は、バスを通じて各ディスク装置
とデータを入出力するための図示しないインターフェイ
ス回路と、データの読み書きを制御するためのこれまた
図示しないＣＰＵ（中央処理装置）を備えている。ディ
スク制御装置３０４から通常用ディスク装置３０１へ書
き込み命令が出されると、書き込まれるデータは、通常
用ディスク装置３０１に格納されると同時に障害用ディ
スク装置３０２にも書き込まれる。

【０００９】このように同一のデータを２つのディスク
装置に書き込むことにより、通常用ディスク装置３０１
の内容と障害用ディスク装置３０２の記憶内容は同一に
なる。通常用ディスク装置３０１と同一内容のデータを
障害用ディクスク装置３０２が保持していることから、
ディスク装置３０２はミラーディスクと呼ばれている。
通常用ディスク装置３０１に障害が生じると、ディスク
制御装置３０４は障害用ディスク装置３０２からデータ
を読み出すことで障害に対応するようになっている。

【００１０】図８に示したデータ格納システムは、ディ
スク装置で生じる障害を対象としたものであるが、障害
がディスク装置へのデータの読み書きを制御するディス
ク制御装置に発生することにより、通常用および障害用
の双方のディスク装置の内容が読み出せなくなる場合も
ある。

【００１１】図９は、ディスク制御装置の障害に対応す
ることのできるデータ格納システムの構成の概要を表わ
したものである。このシステムでは、第１の通常用ディ
スク装置３１１および第１の障害用ディスク装置３１２
はバス３１３によって第１のディスク制御装置３１４と
接続されている。また、ディスク装置３１１、３１２は
バス３１５を通じて第２のディスク制御装置３１６にも
接続されている。同様に、第２の通常用ディスク装置３
２１および第２の障害用ディスク装置３２２はバス３２
３によって第２のディスク制御装置３１６に接続される
とともに、バス３２４により第１のディスク制御装置３
１４にも接続されている。また、第１および第２のディ
スク制御装置３１４、３１６はネットワーク３２５を介
して互いに接続されている。さらにネットワーク３２５
には、データの読み出し要求や書き込み要求を行うホス
トコンピュータ３２６が接続されている。ディスク制御
装置はサーバとして、またホストコンピュータはクライ
アントとして機能する。

【００１２】第１のディスク制御装置３１４によってデ
ータを第１の通常用ディスク装置３１１に書き込む際、
同じ内容のデータが第１のディスク制御装置３１４によ
り第１の障害用ディスク装置３１２にも書き込まれる。
同様に第２のディスク制御装置３１６によってデータを
第２の通常用ディスク装置３２１に書き込む際、同じ内
容のデータが第２のディスク制御装置３１６により第２
の障害用ディスク装置３２３にも書き込まれる。このよ
うにして、第１の通常用ディスク装置３１１と第１の障
害用ディスク装置３１２は互いに同じ内容を保持する。
また第２の通常用ディスク装置３２１と第２の障害用デ
ィスク装置３２２も互いに同じ内容を保持するようにな
っている。

【００１３】今、ネットワーク３２５に接続されている
統括管理用のホストコンピュータ３２６から第１の通常
用ディスク装置３１１に格納されているデータの読み出
し要求があったものとする。システムが正常なときは第
１の通常用ディスク装置３１１の内容はバス３１３を通
じて第１のディスク制御装置３１４によって読み出さ
れ、ネットワーク３２５を通じてホストコンピュータ３
２６に転送される。第１の通常用ディスク装置３１１に
障害が発生しているときは、第１のディスク制御装置３
１４は第１の通常用ディスク装置３１１と同一の内容を
格納している第１の障害用ディスク装置３１２から読み
出し要求のあったデータをバス３１３を通じて読み出
す。そしてこれをネットワーク３２５を介してホストコ
ンピュータ３２６に転送する。

【００１４】一方、第１のディスク制御装置３１４に障
害が起きた場合は、第１の通常用ディスク装置３１１の
内容はバス３１５を通じて第２のディスク制御装置３１
６から読み出され、ネットワーク３２５を介してホスト
コンピュータ３２６に転送される。このようにしてディ
スク制御装置に障害が発生した場合でも、格納されてい
るデータを読み出すことができる。このシステムと同様
にディスク装置の障害とディスク制御装置の障害の双方
に対応することができ、かつバスの構成をより簡易にし
たデータ格納システムもある。

【００１５】図１０は、ディスク装置の障害およびディ
スク制御装置の障害の双方に対応することのできるバス
構成の簡易なデータ格納システムの概要を表わしたもの
である。第１のディスク制御装置３３１には、第１の通
常用ディスク装置３３２と第１の障害用ディスク装置３
３３がバス３３４を通じて接続されている。また、第２
のディスク制御装置３４１には、第２の通常用ディスク
装置３４２と第２の障害用ディスク装置３４３がバス３
４４を通じて接続されている。第１のディスク制御装置
３３１と第２のディスク制御装置３４１は互いにネット
ワーク３５１を通じて接続されている。さらにネットワ
ーク３５１には、データの読み出しおよび書き込み要求
を行うホストコンピュータ３５２が接続されている。

【００１６】このシステムでは、第１のディスク制御装
置３３１に接続されている第１の通常用ディスク装置３
３２に対応するミラーディスク装置は、第２のディスク
制御装置３４１のバス３４４に接続されている第２の障
害用ディスク装置３４３を用いる。また第２のディスク
制御装置３４１に接続されている第２の通常用ディスク
装置３４２に対応するミラーディスク装置は、第１のデ
ィスク制御装置３３１に接続されている第１の障害用デ
ィスク装置３３３を用いる。

【００１７】第１の通常用ディスク装置３３２に書き込
むデータと同一のデータは、ネットワーク３５１および
第２のディスク制御装置３４１を通じて第２の障害用デ
ィスク装置３４３にも書き込まれる。また、第２の通常
用ディスク装置３４２に書き込むデータと同一のデータ
は、第１のディスク制御装置３３１を通じて第１の障害
用ディスク装置３３３にも書き込まれる。第１のディス
ク制御装置３３１に障害が発生したときは、第１の通常
用ディスク３３２の内容は第２の障害用ディスク装置３
４３にも格納されているので、第２のディスク制御装置
３４１を通じて第２の障害用ディスク装置から読み出す
ようになっている。

【００１８】

【発明が解決しようとする課題】このように１つのディ
スク制御装置に接続されている通常運用されるディスク
装置の内容を他の１つのディスク制御装置に接続されて
いる障害用のディスク装置に複製しておけば、ディスク
装置とディスク制御装置のいずれに障害が発生してもデ
ータの読み出しを行うことができる。しかしながら、デ
ィスク制御装置に障害が発生した場合は、障害の起きた
ディスク制御装置に接続されているディスク装置に対応
するミラーディスク装置を有する他のディスク制御装置
の負荷が倍になってしまうという問題がある。図１０の
例では、第１のディスク制御装置に障害が生じると、第
１の通常用ディスク装置の内容はこれと同一内容を保持
している第２の障害用ディスク装置から第２のディスク
制御装置を通じて読み出すことになる。第２のディスク
制御装置は第２の通常用ディスク装置の内容を読み出す
役割も負っているため、これら２台分の読み出しを行な
わなければならずその負荷が倍になる。その結果、デー
タの読み出し処理に時間がかかるという問題がある。

【００１９】そこで本発明の目的は、ディスク装置の読
み書きを制御するディスク制御装置に障害が生じとき、
これに代わって読み書きを行う他のディスク制御装置の
負担の増加を軽減することのできるデータ格納システム
を提供することにある。

【００２０】

【課題を解決するための手段】請求項１記載の発明で
は、データを蓄積するための第１および第２のデータ記
憶手段と、これらデータ記憶手段に入出力すべきデータ
を所定のネットワークとの間で送受信する通信手段と、
この通信手段によりネットワークを通じて第１のデータ
記憶手段に記憶すべきデータを受信したときこれを第１
のデータ記憶手段に書き込む第１の書き込み手段と、こ
の第１の書き込み手段によって第１のデータ記憶手段に
データが書き込まれたときこれと同一のデータをネット
ワークを通じて予め定められた複数の転送先に分散して
送出する分散送出手段と、ネットワークを通じて他の装
置の分散送出手段から送出されたデータを受信したとき
これを第２のデータ記憶手段に書き込む第２の書き込み
手段とをそれぞれ有する複数の単位サーバと、これら単
位サーバの障害の有無を検出する障害検出手段と、この
障害検出手段によって障害の有ることが検出された単位
サーバの有する第１のデータ記憶手段に記憶されている
データを読み出すときこれと同一のデータをその第２の
データ記憶手段に格納している単位サーバから対応する
データを読み出す障害用読出手段とをデータ格納システ
ムに具備させている。

【００２１】すなわち請求項１記載の発明では、通常の
運用で用いられる第１のデータ記憶装置に記憶された内
容を他の複数の単位サーバの第２のデータ記憶装置に分
散して記憶している。そして、障害の有る単位サーバの
第１のデータ記憶手段に格納されているデータを読み出
すとき、これと同一のデータをその第２のデータ記憶手
段に格納している単位サーバから、必要なデータを読み
出している。第１のデータ記憶手段の記憶内容が他の複
数の単位サーバの第２のデータ記憶手段に分散して格納
されているので、１つの単位サーバに障害が起きたとき
でも、他の単位サーバの負担が大幅に増大することがな
い。

【００２２】請求項２記載の発明では、第１のデータ記
憶手段にはファイルを単位としてデータが書き込まれ、
分散送出手段は、第１のデータ記憶手段に書き込まれた
ファイルを単位として予め定められた複数の転送先に第
１のデータ記憶手段の記憶内容を分散させている。

【００２３】すなわち請求項２記載の発明では、第１の
データ記憶手段の記憶内容をファイル単位に他の複数の
単位サーバに分散している。

【００２４】請求項３記載の発明では、第１のデータ記
憶手段の記憶領域は複数のブロックに分割されており、
分散送出手段はこのブロックを単位として予め定められ
た複数の転送先に第１のデータ記憶手段の記憶内容を分
散させている。

【００２５】すなわち請求項３記載の発明では、第１の
データ記憶手段の記憶領域を複数のブロックに分割し、
このブロックを単位の第１のデータ記憶手段の記憶内容
を複数の単位サーバに分散して格納している。

【００２６】請求項４記載の発明では、複数の単位サー
バは、それぞれ複数の単位サーバから構成された２以上
のグループに分割されており、予め定められた複数の転
送先は各グループ内における他の単位サーバに設定され
ている。

【００２７】すなわち請求項４記載の発明では、各単位
サーバの有する第１のデータ記憶手段に記憶されたもの
と同一のデータは、その単位サーバの属するグループ内
における他の複数の単位サーバの第２のデータ記憶手段
に分散されて格納される。これにより、各グループ内で
１つの単位サーバの障害をリカバすることができるの
で、データ格納システム全体として２以上の単位サーバ
の障害に対応することができる。

【００２８】請求項５記載の発明では、複数の単位サー
バは、それぞれ複数の単位サーバから構成された２以上
のグループに分割されており、予め定められた複数の転
送先はそれぞれ他のグループの単位サーバに設定されて
いる。

【００２９】すなわち請求項５記載の発明では、各単位
サーバの有する第１のデータ記憶手段に記憶されたもの
と同一のデータは、その単位サーバの属する以外のグル
ープの単位サーバの第２のデータ記憶手段に格納され
る。

【００３０】

【発明の実施の形態】

【００３１】

【実施例】図１は、本発明の一実施例におけるデータ格
納システムの構成の概要を表わしたものである。このシ
ステムでは、ネットワーク１１を通じて第１〜第４のデ
ィスク制御装置１２〜１５が接続されている。第１のデ
ィスク制御装置１２にはバス１６を通じて通常の運用に
用いられるディスク装置としての第１の通常用記憶装置
１７と、障害対策用に設けられたディスク装置としての
第１の障害用記憶装置１８が接続されている。同様に第
２のディスク制御装置１３には、バス２１を通じて第２
の通常用記憶装置２２と第２の障害用記憶装置２３が接
続されている。また第３のディスク制御装置１４にはバ
ス２４を通じて第３の通常用記憶装置２５および第３の
障害用記憶装置２６が、第４のディスク制御装置１５に
はバス２７を通じて第４の通常用記憶装置２８および第
４の障害用記憶装置２９がそれぞれ接続されている。

【００３２】ディスク装置への読み書きを制御するディ
スク制御装置とこれにバスを介して接続されている通常
用記憶装置および障害用記憶装置をまとめて単位サーバ
と呼ぶ。また、複数の単位サーバがネットワークに接続
されたものをクラスタと呼ぶ。ここでは、第１〜第４の
単位サーバ３１〜３４によってクラスタが構成されてい
る。図１に示したシステムでは通常用記憶装置および障
害用記憶装置としてハードディスク装置を用いている。
このほか、フロッピーディスク装置、シリコンディスク
装置などを用いることができる。また書き込み動作が必
要なければ、ＣＤ−ＲＯＭを用いることも可能である。

【００３３】各ディスク制御装置に接続されているバス
は、ＳＣＳＩ（Small Computer System Interface)バス
を用いている。これ以外にも、ファイバーチャネル等の
シリアルバスあるいはＡＴＭ(Asynchronous Transfer M
ode)等のネットワークを用いることも可能である。クラ
スタを構成する単位サーバの数は３つ以上であれば良い
が、本実施例では、４台の単位サーバがネットワークに
接続されたクラスタを示してある。

【００３４】第１の通常用記憶装置１７の記憶内容と同
一内容のデータは、これの属する第１の単位サーバ３１
以外の第２〜第４の単位サーバ３２〜３４に属する障害
用記憶装置２３、２６、２９に分散して格納されるよう
になっている。第２の通常用記憶装置２２の記憶内容の
コピーは、第２の単位サーバ３２以外の単位サーバ３
１、３３、３４の障害用記憶装置１８、２６、２９に分
散して格納される。同様に第３の通常用記憶装置２５の
記憶内容のコピーは、第１、第２および第４の障害用記
憶装置１８、２３、２９に、また第４の通常用記憶装置
２８の記憶内容のコピーは、第１〜第３の障害用記憶装
置１８、２３、２６にそれぞれ分散して格納される。こ
のように、各通常用記憶装置の内容は、その通常用記憶
装置の属する単位サーバ以外の単位サーバに属する障害
用記憶装置に分散して格納される。

【００３５】図２は、単位サーバの有するディスク制御
装置の構成の概要を表わしたものである。ディスク制御
装置４１は、読み書きの制御の中枢的機能を果たすＣＰ
Ｕ（中央処理装置）４２を備えている。ＣＰＵ４２には
バス４３を介して各種回路装置が接続されている。この
うちＲＯＭ（リード・オンリ・メモリ）４４は各種プロ
グラムや固定的データの格納された読み出し専用メモリ
である。ＲＡＭ（ランダム・アクセス・メモリ）４５
は、プログラムを実行する上で一時的に必要となる各種
データを記憶するためのメモリである。ネットワーク制
御装置４６は、ネットワークとの間で各種のデータやコ
マンドの入出力を行うための回路装置である。ＳＣＳＩ
コントローラ４７は、通常用記憶装置４８および障害用
記憶装置４９との間でデータの転送を行うための制御回
路である。ＳＣＳＩコントローラ４７から出力されてい
るＳＣＳＩバス上に通常用記憶装置４８および障害用記
憶装置４９は接続されている。

【００３６】図３は、図１に示したデータ格納システム
の各記憶装置の記憶内容の一例を模式的に表わしたもの
である。図１と同一部分には同一の符号を付してありそ
れらの説明を適宜省略する。ここでは、通常用記憶装置
に格納されるデータのコピーは、他の３つの単位サーバ
の障害用記憶装置に分散して格納されるので、各通常用
記憶装置の記憶領域をコピーを格納する障害用記憶装置
の数に対応して３つに分割している。すなわち、単位サ
ーバの数（ディスク制御装置の数）より１つ少ない個数
の分割記憶領域に分割してある。そして分割されたそれ
ぞれに分割領域にその識別名称を割り当てている。

【００３７】第１の通常用記憶装置１７の第１の分割領
域５１には“Ｄ１−１”と、第２の分割領域５２には
“Ｄ１−１”と、また第３の分割領域５３には“Ｄ１−
３”の識別名称を付与している。また、第２の通常用記
憶装置２２の第１〜第３の分割領域５４〜５６には“Ｄ
２−１”、“Ｄ２−２”“Ｄ２−３”の識別名称を与え
ている。第３の通常用記憶装置２５の第１〜第３の分割
領域５７〜５９には“Ｄ３−１”、“Ｄ３−２”“Ｄ３
−３”を、第４の通常用記憶装置２８の第１〜第３の分
割領域６１〜６３には“Ｄ３−１”、“Ｄ３−２”“Ｄ
３−３”をそれぞれ識別名称として割り当てている。同
様に第１〜第４の障害用記憶装置１８、２３、２６、２
９の記憶領域もそれぞれ３つに分割されている。

【００３８】第１の通常用記憶装置１７にデータを書き
込む場合、書き込み先の分割領域が“Ｄ１−１”（５
１）ならば、第１の通常用記憶装置１７の領域“Ｄ１−
１”に書き込むと同時に、ネットワーク１１を通して同
一のデータが第２のディスク制御装置１３にも渡され
る。第２のディスク制御装置１３は、受け取ったデータ
を第２の障害用記憶装置２３の第１の分割領域６７に書
き込む。同様にして、第１の通常用記憶装置１７の分割
領域“Ｄ１−２”（５２）に書き込むデータは、第３の
ディスク制御装置１４に転送され、第３の障害用記憶装
置２６の第１の分割領域７１に書き込まれる。第１の通
常用記憶装置１７の分割領域“Ｄ１−３”（５３）に書
き込むときは、同一のデータが第４の障害用記憶装置２
９の第１の分割領域７４にも転送されて書き込まれる。

【００３９】このようにして、第１の通常用記憶装置１
７に格納されるデータは、第１の通常通常用記憶装置１
７に書き込まれると同時に第２〜第４の障害用記憶装置
２３、２６、２９に分散して格納される。図３では、各
記憶装置の記憶領域をＳＣＳＩで用いられる論理ブロッ
クを単位に分割した場合を示してある。通常用記憶装置
および障害用記憶装置の記憶容量はそれぞれ同一であ
り、各記憶装置の記憶領域はそれぞれ“Ｎ”個の論理ブ
ロックに分割されている。

【００４０】このとき、Ｎ≧３ｎ−１となる最大のｎを
選び、各論理ブロックに“０”〜“３ｎ−１”の番号を
割り付けてある。そして、各記憶装置の論理ブロックの
番号が“０”〜“ｎ−１”の範囲を第１の分割領域に、
論理ブロックの番号が“ｎ”〜“２ｎ−１”の範囲を第
２の分割領域にそれぞれ対応させている。さらに論理ブ
ロックの番号が“２ｎ”〜“３ｎ−１”の範囲を第３の
分割領域に対応させている。

【００４１】第１の通常用記憶装置１７の第１の分割領
域（５１）“Ｄ１−１”に格納されるものと同一のデー
タは第２の障害用記憶装置２３の第１の分割領域６７に
格納される。したがって、第１の通常用記憶装置１７の
“０”〜“ｎ−１”の論理ブロックに格納されるデータ
は、第２の障害用記憶装置２３の“０”〜“ｎ−１”の
論理ブロックにその複製が作成される。同様にして第１
の通常用記憶装置１７の第２の分割領域５２としての
“ｎ”〜“２ｎ−１”の論理ブロックに格納されるデー
タは、第３の障害用記憶装置２６の“０”〜“ｎ−１”
の論理ブロックにその複製が作成されている。このよう
に論理ブロック番号によってコピー先の障害用記憶装置
およびその記憶領域を対応付けることができる。このよ
うな対応関係は、各単位サーバのディスク制御装置の有
するＲＯＭあるいはＲＡＭに登録される。

【００４２】図３のようにデータの格納されているデー
タ格納システムにおいて、通常用記憶装置もしくはディ
スク制御装置に障害が生じた場合の動作を説明する。

【００４３】図３に示したシステムでは、各通常用記憶
装置のそれぞれの分割領域とそのコピー先となる障害用
記憶装置およびその障害用記憶装置内における格納領域
との対応関係が、他の単位サーバのディスク制御装置に
予め通知されている。たとえば、第１の通常用記憶装置
１７の第１の分割領域５１、すなわち“０”〜“ｎ−
１”の論理ブロックのコピー先が第２の障害用記憶装置
２３の第１の分割領域６７（“０”〜“ｎ−１”の論理
ブロック）であることが他の単位サーバのディスク制御
装置に通知されている。データの要求元となるホストコ
ンピュータ７７はネットワーク１１につながれている。

【００４４】ホストコンピュータ７７には、ディスク制
御装置１２に障害が起きた場合はその代替としてディス
ク制御装置１３と通信すること、またディスク制御装置
１３に障害が起きたときは代替としてディスク制御装置
１４と通信することが予め設定されている。さらに、デ
ィスク制御装置１４に障害が起きたときは代替としてデ
ィスク制御装置１５と、ディスク制御装置１５に障害が
発生したときはその代替としてディスク制御装置１２と
それぞれ通信することが予め設定されている。

【００４５】各単位サーバのディスク制御装置は、他の
単位サーバから送られてくる情報を基にして、自身のバ
スに接続されている障害用記憶装置の各記憶領域に格納
されるデータのコピー元の通常用記憶装置を自身の有す
るＲＡＭに記憶するようになっている。また、データの
読出要求の送出元となるホストコンピュータ７７は、各
単位サーバのディスク制御装置に障害が生じているか否
かを示した情報をホストコンピュータ７７の有するＲＡ
Ｍに記憶する。また障害が起きたときにその代替となる
ディスク制御装置を内部のメモリに記憶するようになっ
ている。

【００４６】今、第１のディスク制御装置１２に障害が
起きたものとする。データの要求元となるホストコンピ
ュータ７７は第１のディスク制御装置１２の障害発生を
検出した以後は、第１の通常用記憶装置１７のデータを
読み出す場合は、読出要求を第１のディスク制御装置１
２の代替として設定されている第２のディスク制御装置
１３へ送る。読み出すべき領域は第１の通常用記憶装置
１７における論理ブロックの番号で表わされている。

【００４７】第２のディスク制御装置１３では、ホスト
コンピュータ７７から送られてきた読出要求から論理ブ
ロック番号を計算する。計算された論理ブロック番号が
“０”〜“ｎ−１”の範囲内であれば第２のディスク制
御装置１３のバスに接続されている第２の障害用記憶装
置２３に読み出すべきデータのコピーが格納されている
と判別する。そこで、第２のディスク制御装置１３は自
身のバス２１に接続されている第２の障害用記憶装置２
３から対応するデータを読み出し、ホストコンピュータ
７７にネットワーク１１を通じて送信する。

【００４８】一方、読み出しの要求された論理ブロック
の番号が“ｎ”〜“２ｎ−１”の範囲であれば第２のデ
ィスク制御装置１３は第３のディスク制御装置１４にネ
ットワーク１１を通じて読出要求を転送する。第３のデ
ィスク制御装置１４は、受信した読出要求を基にして自
身のバス２４に接続されている第３の障害用記憶装置２
６から該当するデータを読み出しホストコンピュータ７
７にネットワーク１１を介して送信する。同様に論理ブ
ロック番号が“２ｎ”〜“３ｎ−１”の範囲であれば、
第２のディスク制御装置１３は第４のディスク制御装置
１５に読出要求を転送する。これにより読出要求の転送
された第４のディスク制御装置１５によって第４の障害
用記憶装置２９から該当するデータが読み出されホスト
コンピュータ７７に送られる。

【００４９】通常用記憶装置に障害が発生したことの検
出は次のようにして行われる。第１〜第４のディスク制
御装置１２〜１５は自身のバスに接続されている通常用
記憶装置に対してデータの読出要求を出す。そして読出
要求の送出先の通常用記憶装置から一定時間内に応答の
到来しないタイムアウトエラーが生じたり、応答が無い
ときはその通常用記憶装置に障害が発生したものと判別
する。

【００５０】単位サーバのディスク制御装置に障害が発
生したことは次のようにして検出している。クラスタを
構成してる単位サーバのディスク制御装置は、次の単位
サーバのディスク制御装置に対して一定時間毎に自己が
正常に動作していることを表わした動作確認メッセージ
を送る。１つ手前のディスク制御装置から一定時間以上
に渡って動作確認メッセージが届かないときは、２つ手
前のディスク制御装置へ正常動作を確認するための問い
合わせを行う。２つ手前のディスク制御装置から問い合
わせに対する応答が無いときはさらにその１つ手前のデ
ィスク制御装置に動作確認の問い合わせを行う。このよ
うに応答が得られるまで、次々と遡って正常動作を確認
するための問い合わせを行う。そして問い合わせを始め
たディスク制御装置から応答の帰ってきたディスク制御
装置までの間のディスク制御装置に障害が生じたものと
判別する。

【００５１】障害用記憶装置へのデータの分散の仕方
は、データを格納した通常用記憶装置の属している単位
サーバ以外の単位サーバに属している障害用記憶装置に
格納すれば良く、格納される順序やその領域については
図３に示した例に限定されるものではない。

【００５２】その一例として通常用記憶装置の記憶領域
を物理的に分割し、それぞれの領域を他の単位サーバに
属する障害用記憶装置に振り分けて割り当てることがで
きる。また、通常用記憶装置に書き込むファイルを単位
にして、障害用記憶装置を割り当てても良い。

【００５３】論理ブロック番号を用いてい障害用記憶装
置を割り当てる場合、先に説明したように論理ブロック
を所定数連続するように割り当てるほか、隣り合う論理
ブロックを互いに異なる障害用記憶装置に割り当てるこ
ともできる。すなわち、ＳＣＳＩで用いる論理ブロック
を単位に障害用記憶装置を割り振る場合に、通常用記憶
装置にデータを書き込んだ論理ブロックの番号を、分散
する障害用記憶装置の数で割った余りの値を基準に割り
振る。

【００５４】たとえば、１つの通常用記憶装置の記憶内
容を３つの障害用記憶装置に分散して格納する場合、論
理ブロックの番号を“３”で割った余りを基準に格納す
べき障害用記憶装置を割り振る。この場合、余りは
“０”〜“２”の３つの値をとるので、これらの値にそ
れぞれ障害用記憶装置を予め割り当てることにより、デ
ータをコピー先に論理ブロック単位で分散して格納する
ことができる。

【００５５】また、単位サーバに接続されている通常用
記憶装置が複数台ある場合、それぞれの通常用記憶装置
をこれまで説明した記憶装置の分割領域として扱うこと
も可能である。たとえば、第１〜第４の単位サーバによ
ってクラスタが構成されており、それぞれの単位サーバ
に第１〜第３の通常用記憶装置が接続されているものと
する。このとき第１の単位サーバの第１の通常用記憶装
置の内容を第２の単位サーバの障害用記憶装置にコピー
する。また、第１の単位サーバの第２の通常用記憶装置
の内容を第３の単位サーバの障害用記憶装置にコピー
し、第１の単位サーバの第３の通常用記憶装置の内容を
第４の単位サーバの障害用記憶装置にコピーする。

【００５６】第１の変形例

【００５７】これまで説明した実施例では、各単位サー
バの通常用記憶装置の記憶内容を他の全ての単位サーバ
の障害用記憶装置に分散して格納しているが、第１の変
形例では、一部の単位サーバに分散して格納するように
なっている。

【００５８】図４は、本発明の第１の変形例におけるデ
ータ格納システムの構成の概要を表わしたものである。
このシステムでは、第１〜第６のディスク制御装置８１
〜８６がネットワーク８７に接続されている。それぞれ
のディスク制御装置８１〜８６には、バス９１〜９６を
介して通常用記憶装置１０１〜１０６と障害用記憶装置
１１１〜１１６が接続されている。第１の変形例におけ
るデータ格納システムでは、これらを第１の部分クラス
タ１２１と、第２の部分クラスタ１２２に分割してい
る。それぞれの部分クラスタにおいて実施例と同様にデ
ータが分散して格納される。すなわち、第１の部分クラ
スタ１２１では、第１のディスク制御装置８１に接続さ
れている通常用記憶装置１０１の内容のコピーは、同一
の部分クラスタ１２１に属する第２および第３のディス
ク制御装置８２、８３に接続されている障害用記憶装置
１１２、１１３に分散されて記憶される。

【００５９】これにより、実施例ではクラスタ全体で１
つの単位サーバの障害しか許されないのに対し、第１の
変形例では各部分クラスタ内で１つまでの単位サーバの
障害に対応することが可能となる。もちろん、部分クラ
スタの数は２つに限らず、これ以上の数であっても同様
の効果が得られる。

【００６０】第２の変形例

【００６１】図５は、第２の変形例におけるデータ格納
システムの構成の概要を表わしたものである。図４と同
一の部分には同一の符号を付してありそれらの説明を適
宜省略する。第２の変形例も第１の変形例と同様に第１
および第２の部分クラスタ１２１、１２２にクラスタが
分割されている。第１の変形例では、各部分クラスタ内
の通常用記憶装置の記憶内容のコピーは同じ部分クラス
タ内の障害用記憶装置に分散されて格納されている。こ
れに対して第２の変形例では、各部分クラスタに属する
通常用記憶装置の記憶内容のコピーは、他の部分クラス
タに属する障害用記憶装置に作成されるようになってい
る。

【００６２】第１の部分クラスタ１２１に属する第１〜
第３の通常用記憶装置１０１〜１０３で構成される第１
の通常用記憶装置クラスタ１３１の記憶内容は、第２の
部分クラスタ１２２に属する第４〜第６の障害用記憶装
置１１４〜１１６で構成される第２の障害用記憶装置ク
ラスタ１３２にコピーされる。同様に第２の各部分クラ
スタ１２２に属する第４〜第６の通常用記憶装置１０４
〜１０６で構成される第２の通常用記憶装置クラスタ１
３３の記憶内容は、第１の部分クラスタ１２１に属する
第１〜第３の障害用記憶装置１１１〜１１３で構成され
る第１の障害用記憶装置クラスタ１３４にコピーされ
る。

【００６３】このように１つの部分クラスタに属する通
常用記憶装置の記憶内容を他の１つの部分クラスタに属
する障害用記憶装置に分散して格納することにより、複
数の部分クラスタから構成されるクラスタ内で複数の単
位サーバの故障に対応することが可能となる。図５に示
したように部分クラスタの数が３つ以下の場合は、複数
のクラスタで同時に障害が起きると回復できないが、部
分クラスタの数が４つ以上の場合には、複数の単位サー
バの障害に対応することができる。

【００６４】図６は、４つの部分クタスタから構成され
るデータ格納システムの概要を表わしたものである。こ
のシステムでは、第１〜第１２のディスク制御装置１４
１〜１５３がネットワーク１５４に接続されている。そ
れぞれのディスク制御装置１４１〜１５３には、バス１
６１〜１７３を介して通常用記憶装置１８１〜１９３と
障害用記憶装置２０１〜２１３が接続されている。ネッ
トワーク１５４を介して構成されるクラスタは、第１〜
第４の部分クラスタ２２１〜２２５に分割されている。

【００６５】ここでは、第１の部分クラスタ２２１に属
する通常用記憶装置１８１〜１８３で構成された第１の
通常用記憶装置クラスタ２３１の記憶内容は第２の部分
クタスタ２２２に属する障害用記憶装置２０４〜２０６
で構成された第２の障害用記憶装置クラスタ２３２に分
散されてい格納される。また、第２の部分クラスタ２２
２に属する通常用記憶装置１８４〜１８６で構成された
第２の通常用記憶装置クラスタ２３３の記憶内容は第３
の部分クタスタ２２３に属する障害用記憶装置２０７〜
２０９で構成された第３の障害用記憶装置クラスタ２３
４に分散されてい格納される。

【００６６】同様に第３の部分クラスタ２２３に属する
第３の通常用記憶装置クラスタ２３５の記憶内容は、第
４の部分クラスタ２２４に属する第４の障害用記憶装置
クラスタ２３６に分散されて格納される。また、第４の
部分クラスタ２２４に属する第４の通常用記憶装置クラ
スタ２３７の記憶内容は、第１の部分クラスタ２２１に
属する第１の障害用記憶装置クラスタ２３８に分散され
て格納される。このように各部分クラスタの通常用記憶
装置クラスタの記憶内容のコピー先を次の部分クラスタ
の障害用記憶装置クラスタにすることで、制限はあるも
のの複数の部分クラスタにおいて障害が起きる場合に対
応できる。すなわち、隣り合わない部分クラスタで同時
に障害が起きても対応可能となる。

【００６７】たとえば、第１の部分クラスタ２２１と第
３の部分クラスタ２２３で同時に障害が起きた場合に対
応可能になる。この場合には、第１の部分クラスタ２２
１の内容を第２の部分クラスタ２２２の障害用記憶装置
クラスタ２３２から読み出し、第３の部分クラスタ２２
３の内容を第４の部分クラスタ２２４の障害用記憶装置
クラスタ２３６から読み出すことができる。同様に第２
の部分クラスタ２２２と第４の部分クラスタ２２４で同
時に障害が起きた場合には、第１および第３の部分クラ
スタ２２１、２２３の障害用記憶装置クラスタ２３８、
２３４を用いて障害を回復することができる。

【００６８】第３の変形例

【００６９】図７は、第３の変形例におけるデータ格納
システムの構成の概要を表わしたものである。第３の変
形例では、部分クラスタのようなグループ分けを行わ
ず、各単位サーバの通常用記憶装置の内容を他の任意数
の単位サーバの障害用記憶装置に分散してコピーするよ
うになっている。このシステムでは、第１〜第９のディ
スク制御装置２４１〜２４９がネットワーク２５１に接
続されている。それぞれのディスク制御装置２４１〜２
４９には、バス２６１〜２６９を介して通常用記憶装置
２７１〜２７９と障害用記憶装置２８１〜２８９が接続
されている。

【００７０】各単位サーバの通常用記憶装置の記憶内容
のコピーを格納する障害用記憶装置は、各単位サーバの
通常用記憶装置毎に設定される。例えば、通常用記憶装
置２７１に格納されているデータのコピー先として、障
害用記憶装置２８２〜２８４を割り当てている。各通常
用記憶装置毎にばらばらに設定すると管理が複雑になる
ため、ここでは、通常用記憶装置の属する単位サーバの
次の単位サーバから連続する３台の障害用記憶装置をコ
ピー先としている。もちろんコピー先は連続する必要は
無く、ばらばらであっても構わない。

【００７１】以上説明した実施例および第１〜第３の変
形例では、通常用記憶装置と障害用記憶装置は物理的に
別々の装置を用いたが、同一の記憶装置内を通常用記憶
装置としての記憶領域と障害用記憶装置用の記憶領域に
分割して用いることもできる。また、ディスク制御装置
は、ワークステーションやホストコンピュータを用いる
こともできる。

【００７２】

【発明の効果】このように請求項１記載の発明によれ
ば、各単位サーバの第１のデータ記憶手段の記憶内容の
複製が他の複数の単位サーバの第２のデータ記憶手段に
分散して作成されるので、１つの単位サーバに障害が起
きたときでも、他の単位サーバの負担が大幅に増大する
ことがない。また単位サーバの有する第１のデータ記憶
手段に障害が生じた場合に限らず、第１の書き込み手段
などの単位サーバの他の回路部分に障害が生じたときで
も、障害の生じた単位サーバの第１のデータ記憶手段に
記憶されているものと同一のデータを他の単位サーバか
ら読み出すことができる。

【００７３】また請求項２記載の発明によれば、ファイ
ル単位に他の複数の単位サーバに分散しているので、デ
ータの分散や、分散されたデータの読み出しを容易に管
理することができる。

【００７４】さらに請求項３記載の発明によれば、第１
のデータ記憶装置の記憶領域を複数に分割したブロック
ごとに同一のデータの転送先が割り振られているので、
データの分散や、分散されたデータの読み出しを容易に
管理することができる。

【００７５】また請求項４記載の発明によれば、各単位
サーバの有する第１のデータ記憶手段に記憶されたもの
と同一のデータは、その単位サーバの属するグループ内
における他の複数の単位サーバの第２のデータ記憶手段
に分散された格納される。これにより、各グループ内で
１つの単位サーバの障害をリカバすることができ、デー
タ格納システム全体として２以上の単位サーバの障害に
対応することができる。

【００７６】さらに請求項５記載の発明によれば、各単
位サーバの有する第１のデータ記憶手段に記憶されたも
のと同一のデータは、その単位サーバの属する以外のグ
ループの単位サーバの第２のデータ記憶手段に格納され
る。たとえば、４以上のグループに分ければ、２以上の
グループの単位サーバの障害に対応することができる。

【図面の簡単な説明】

【図１】本発明の一実施例におけるデータ格納システム
の構成の概要を表わしたシステム構成図である。

【図２】図１に示したディスク制御装置の回路構成の概
要を表わしたブロック図である。

【図３】図１に示したデータ格納システムの各記憶装置
の記憶内容の一例を模式的に表わした説明図である。

【図４】本発明の第１の変形例におけるデータ格納シス
テムの構成の概要を表わしたシステム構成図である。

【図５】本発明の第２の変形例におけるデータ格納シス
テムの構成の概要を表わしたシステム構成図である。

【図６】４つの部分クタスタから構成されるデータ格納
システムの概要を表わしたシステム構成図である。

【図７】本発明の第３の変形例におけるデータ格納シス
テムの構成の概要を表わしたシステム構成図である。

【図８】従来から使用されているミラー方式を用いたデ
ータ格納システムの構成の概要を表わしたシステム構成
図である。

【図９】従来から使用されているディスク制御装置の障
害に対応することのできるデータ格納システムの構成の
概要を表わしたシステム構成図である。

【図１０】従来から使用されているディスク装置の障害
およびディスク制御装置の障害の双方に対応することの
できるバス構成の簡易なデータ格納システムの概要を表
わしたシステム構成図である。

【符号の説明】

１１、８７、１５４、２５１ ネットワーク １２〜１５、４１、８１〜８６、１４１〜１５３、２４
１〜２４９ ディスク制御装置 １６、２１、２４、２７、９１〜９６、２６１〜２６９
バス １７、２２、２５、２８、４８、１０１〜１０６、１８
１〜１９３、２７１〜２７９ 通常用記憶装置 １８、２３、２６、２９、４９、１１１〜１１６、２０
１〜２１３、２８１〜２８９ 障害用記憶装置 ３１〜３４ 単位サーバ ４２ ＣＰＵ ４３ ＣＰＵバス ４４ ＲＯＭ ４５ ＲＡＭ ４６ ネットワーク制御装置 ４７ ＳＣＳＩコントローラ ５１〜５９、６１〜６９、７１〜７６ 分割領域 ７７ ホストコンピュータ １２１、１２２、２２１〜２２４ 部分クラスタ １３１、１３３、２３１、２３３、２３５、２３７ 通
常用記憶装置クラスタ １３２、１３４、２３２、２３４、２３６、２３８ 障
害用記憶装置クラスタ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 データを蓄積するための第１および第２
   のデータ記憶手段と、これらデータ記憶手段に入出力す
   べきデータを所定のネットワークとの間で送受信する通
   信手段と、この通信手段により前記ネットワークを通じ
   て前記第１のデータ記憶手段に記憶すべきデータを受信
   したときこれを第１のデータ記憶手段に書き込む第１の
   書き込み手段と、この第１の書き込み手段によって前記
   第１のデータ記憶手段にデータが書き込まれたときこれ
   と同一のデータを前記ネットワークを通じて予め定めら
   れた複数の転送先に分散して送出する分散送出手段と、
   前記ネットワークを通じて他の装置の前記分散送出手段
   から送出されたデータを受信したときこれを第２のデー
   タ記憶手段に書き込む第２の書き込み手段とをそれぞれ
   有する複数の単位サーバと、 これら単位サーバの障害の有無を検出する障害検出手段
   と、 この障害検出手段によって障害の有ることが検出された
   単位サーバの有する前記第１のデータ記憶手段に記憶さ
   れているデータを読み出すときこれと同一のデータをそ
   の第２のデータ記憶手段に格納している単位サーバから
   対応するデータを読み出す障害用読出手段とを具備する
   ことを特徴とするデータ格納システム。
2. 【請求項２】 前記第１のデータ記憶手段にはファイル
   を単位としてデータが書き込まれ、前記分散送出手段
   は、第１のデータ記憶手段に書き込まれたファイルを単
   位として前記予め定められた複数の転送先に第１のデー
   タ記憶手段の記憶内容を分散させることを特徴とする請
   求項１記載のデータ格納システム。
3. 【請求項３】 前記第１のデータ記憶手段の記憶領域は
   複数のブロックに分割されており、前記分散送出手段は
   このブロックを単位として前記予め定められた複数の転
   送先に第１のデータ記憶手段の記憶内容を分散させるこ
   とを特徴とする請求項１記載のデータ格納システム。
4. 【請求項４】 前記複数の単位サーバは、それぞれ複数
   の単位サーバから構成された２以上のグループに分割さ
   れており、前記予め定められた複数の転送先は各グルー
   プ内における他の単位サーバであることを特徴とする請
   求項１記載のデータ格納システム。
5. 【請求項５】 前記複数の単位サーバは、それぞれ複数
   の単位サーバから構成された２以上のグループに分割さ
   れており、前記予め定められた複数の転送先はそれぞれ
   他のグループの単位サーバであることを特徴とする請求
   項１記載のデータ格納システム。