JPH10240452A - Distributed data storage system and recovery system - Google Patents
Distributed data storage system and recovery systemInfo
- Publication number
- JPH10240452A JPH10240452A JP9062092A JP6209297A JPH10240452A JP H10240452 A JPH10240452 A JP H10240452A JP 9062092 A JP9062092 A JP 9062092A JP 6209297 A JP6209297 A JP 6209297A JP H10240452 A JPH10240452 A JP H10240452A
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- unit
- data storage
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Techniques For Improving Reliability Of Storages (AREA)
Abstract
Description
【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION
【０００１】[0001]
【発明の属する技術分野】本発明は、１つのファイルの
データを分割し、複数の記憶装置に分散して格納する分
散データ格納システムおよびその復旧方式に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a distributed data storage system for dividing data of one file and distributing and storing the data in a plurality of storage devices, and a recovery method therefor.
【０００２】[0002]
【従来の技術】従来より大容量化、高スループット化を
目的として、１つのファイルのデータを分割して、複数
の記憶装置にストライピング格納するデータ格納方式が
用いられている。このデータ格納方式では、格納された
データを読み出す際、複数の記憶装置に対して並列的に
アクセスすることができるため、高速なアクセスが可能
となる。2. Description of the Related Art Conventionally, a data storage method of dividing data of one file and striping and storing the divided data in a plurality of storage devices has been used for the purpose of increasing the capacity and increasing the throughput. In this data storage method, when reading stored data, a plurality of storage devices can be accessed in parallel, so that high-speed access is possible.
【０００３】しかし、このような従来のデータ格納方式
では、１つの記憶装置に障害が発生すると、障害が発生
した記憶装置にまたがって格納されているデータすべて
にその影響が波及し、正常なアクセスができなくなるた
め、信頼性、耐障害性の点で重大な問題となる。However, in such a conventional data storage method, when a failure occurs in one storage device, the effect spreads to all data stored over the failed storage device, and normal access is not performed. This is a serious problem in terms of reliability and fault tolerance.
【０００４】そこで、この問題に対する対策の１つとし
て、ある記憶装置に障害が発生しても、他の記憶装置か
ら読み出せるように、複製したデータを別の記憶装置に
保存する方式が知られている。例えば、文献（Ｇregory
Ｒ．“Ｄisk Ａrrays Ｈigh-Ｐerformance, Ｈigh
-Ｒeliability Ｓtorage Ｓubsystems”（ディスクア
レイズ ハイパフォーマンス、ハイリライアビリティ、
ストレッジ・サブシステム）, ＩＥＥＥ Ｃomputer,
Ｍarch, 1994）では、ＲＡＩＤ（ＲedundantＡrrays
of Ｉnexpensive Ｄisks）方式を各ＬＥＶＥＬ（レ
ベル）毎に詳細に分類している。ＲＡＩＤ−０は、複数
の記憶装置にデータを分割してストライピング格納する
方式、ＲＡＩＤ−１は、１つの記憶装置のデータの全く
同一の複製を作る方式である。また、これらを複合し、
ストライピングした各記憶装置の複製を用意しておく方
式として、ＲＡＩＤ−０＋１方式がある。[0004] As a countermeasure against this problem, there is known a method of storing copied data in another storage device so that even if a failure occurs in one storage device, the data can be read from another storage device. ing. For example, in the literature (Gregory
R. “Disk Arrays High-Performance, High
-Reliability Storage Subsystems ”(Disk Arrays High Performance, High Reliability,
Storage Subsystem), IEEE Computer,
March, 1994), RAID (Redundant Arrays
of Inexpensive Disks) are classified in detail for each LEVEL (level). RAID-0 is a method in which data is divided and stored in a plurality of storage devices by striping, and RAID-1 is a method in which data of one storage device is duplicated exactly. In addition, combining these,
As a method of preparing a copy of each striped storage device, there is a RAID-0 + 1 method.
【０００５】図１８は、ＲＡＩＤ−０＋１方式のデータ
格納システムの構成をブロック図にて示したものであ
る。図１８を参照して、このシステムでは、４個の記憶
装置１０１−１〜１０１−４と、複製されたデータを格
納する４個の記憶装置１０２−１〜１０２−４と、デー
タ管理手段１０３と、を備えて構成されている。FIG. 18 is a block diagram showing the configuration of a RAID-0 + 1 data storage system. Referring to FIG. 18, in this system, four storage devices 101-1 to 101-4, four storage devices 102-1 to 102-4 for storing duplicated data, and data management means 103 And is provided.
【０００６】図１９に、それぞれの記憶装置に対するデ
ータの格納例を模式的に示す。データ管理手段１０３
は、１つのファイルのデータをブロック毎に分割し、最
初のブロックを記憶装置１０１−１、次のブロックを１
０１−２と、順番に、記憶装置１０１−１〜１０１−４
にストライピング格納して行き、図１９に示すように、
５番目のブロックは再び記憶装置１０１−１に格納す
る。また、このデータの複製についても同様にして、記
憶装置１０２−１〜１０１−４にストライピング格納す
る。FIG. 19 schematically shows an example of data storage in each storage device. Data management means 103
Divides the data of one file into blocks, divides the first block into a storage device 101-1 and the next block into one.
01-2 and, in order, the storage devices 101-1 to 101-4.
, And then, as shown in FIG.
The fifth block is stored again in the storage device 101-1. Similarly, this data copy is striped and stored in the storage devices 102-1 to 101-4.
【０００７】このデータ格納システムにおいて、格納し
たデータの通常時の読み出しは、データ管理手段１０３
を通して、記憶装置１０１−１〜１０１−４から格納さ
れたデータを読み出すことになる。In this data storage system, stored data is normally read out by the data management means 103.
, The stored data is read from the storage devices 101-1 to 101-4.
【０００８】ここで、もし、いずれかの記憶装置に障害
が発生した場合には、複製データを格納した記憶装置に
切り替えてデータを読み出すことになる。例えば、記憶
装置１０１−１に障害が発生して、記憶装置１０１−１
〜１０１−４から正常なデータが読み出せなくなった場
合、データ管理手段１０３は、データの読み出し元を記
憶装置１０２−１〜１０２−４に切り替えて、データの
読み出しを継続する。また、障害発生後の復旧処理で
は、多重化されたデータの整合性を保つために、データ
の失なわれた記憶装置１０１−１に対して記憶装置１０
２−１からデータを複製して元の状態に復旧する。[0008] Here, if a failure occurs in any of the storage devices, the data is read out by switching to the storage device storing the duplicated data. For example, a failure occurs in the storage device 101-1 and the storage device 101-1
When normal data cannot be read from the data storage devices 101 to 101-4, the data management unit 103 switches the data read source to the storage devices 102-1 to 102-4 and continues reading data. In the recovery process after the occurrence of the failure, the storage device 101-1 in which the data has been lost is stored in the storage device 101-1 in order to maintain the consistency of the multiplexed data.
The data is copied from 2-1 and restored to the original state.
【０００９】[0009]
【発明が解決しようとする課題】上記した従来のデータ
格納方式は、同一のデータを複数の記憶装置に冗長格納
することにより信頼性を高めており、また、障害時のパ
フォーマンス低下も抑えているが、それでも、複数の記
憶装置の障害や、記憶装置以外の障害については対応で
きない、という問題点を有している。In the above-mentioned conventional data storage system, the same data is redundantly stored in a plurality of storage devices to improve reliability, and also suppress a decrease in performance in the event of a failure. However, there is still a problem that failures of a plurality of storage devices and failures other than the storage devices cannot be dealt with.
【００１０】例えば、図１８を参照して、同時に、記憶
装置１０１−１、複製データ格納用記憶装置１０２−１
に障害が発生した場合や、記憶装置１０１−１〜１０１
−４、および複製データ格納用記憶装置１０２−１〜１
０２−４を管理しているデータ管理手段１０３に障害が
発生した場合、その後の正常なアクセスは不可能とな
る。For example, referring to FIG. 18, at the same time, a storage device 101-1 and a storage device 102-1 for storing duplicate data are simultaneously stored.
Of the storage devices 101-1 to 101
-4, and storage device 102-1 to 1 for storing duplicate data
If a failure occurs in the data management unit 103 that manages the data 02-4, normal access becomes impossible thereafter.
【００１１】また、いずれかの記憶装置に障害が発生し
た後の復旧処理として、障害が発生した記憶装置を修理
あるいは交換することになるが、障害の発生により、格
納されていたデータが失われたり、復旧処理の間に、当
該記憶装置に格納されているデータの複製を持つ記憶装
置で更新が行なわれていると、データの整合性が保たれ
なくなる。In addition, as a recovery process after a failure occurs in any of the storage devices, the failed storage device is repaired or replaced. However, the stored data is lost due to the failure. If data is updated in a storage device having a copy of the data stored in the storage device during the recovery process, data consistency cannot be maintained.
【００１２】このために、障害の発生した記憶装置に対
して、その複製を持つ正常な記憶装置から障害によって
失われたデータを復旧する手段が必要となる。For this reason, it is necessary to provide a means for restoring data lost due to a failure from a normal storage device having a copy of the failed storage device.
【００１３】また、復旧処理の間にも、正常な記憶装置
に対しては、通常運用のアクセスが継続して行なわれて
いる。このため、この復旧処理中の状態下では、復旧処
理のための読み出し処理と、通常運用のアクセス処理
と、が同時に競合することになる。In addition, during the recovery process, normal operation access to the normal storage device is continuously performed. For this reason, in the state where the recovery process is being performed, the read process for the recovery process and the access process for the normal operation conflict at the same time.
【００１４】ところが、各記憶装置にアクセス可能な帯
域には上限があり、この帯域の範囲内でしかアクセスす
ることができない。すなわち、通常運用のアクセスを優
先させれば、復旧処理の読み出しが妨げられ、復旧処理
の読み出しを優先されれば、通常運用のアクセスが妨げ
られることになる。However, there is an upper limit to the band that can be accessed for each storage device, and access is possible only within this band. That is, if priority is given to the normal operation access, the reading of the recovery processing is hindered. If priority is given to the recovery processing reading, the normal operation access is hindered.
【００１５】そして、この復旧処理のためのデータ読み
出しは、迅速かつなるべく短時間に行なわねばならな
い。すなわち、障害が発生してから元の状態に復旧する
までには、多重化された片側のデータ格納部のみで運用
されており、さらに、このデータ格納部にも続けて障害
が発生するような事態になることは回避しなければなら
ない。The data reading for this recovery process must be performed quickly and as quickly as possible. That is, from the occurrence of a failure to the restoration of the original state, only the multiplexed data storage unit is operated on one side, and further, the failure may occur in this data storage unit. You have to avoid things from happening.
【００１６】しかし、復旧処理のための読み出しを優先
させ、障害の発生した記憶装置の複製を持つ正常な記憶
装置の負荷が増大すると、通常運用のアクセス性能は大
幅に低下する。その理由は次の通りである。However, if the priority is given to reading for recovery processing and the load on a normal storage device having a copy of the failed storage device is increased, the access performance in normal operation is greatly reduced. The reason is as follows.
【００１７】すなわち、ファイルのデータが分割され複
数の記憶装置に分散して格納されているために、各デー
タを１つのファイルとして読み出すためには、各記憶装
置に対して並列的に読み出しが行なわれる。ところが、
ある記憶装置に対する負荷が増大したアンバランスな状
況では、該負荷が増大した記憶装置からの読み出し応答
が遅延するために、各記憶装置のデータが一度に揃わな
いと、１つのファイルとして扱うことができず、その結
果、ファイル全体の読み出しに対する応答が遅れること
になる。That is, since the data of a file is divided and stored in a plurality of storage devices in a distributed manner, in order to read each data as one file, reading is performed in parallel for each storage device. It is. However,
In an unbalanced situation where the load on a certain storage device is increased, a response to reading from the storage device with the increased load is delayed. As a result, the response to reading the entire file is delayed.
【００１８】したがって、本発明は上記問題点に鑑みて
なされたものであって、その第１の目的は、１つのファ
イルのデータを複数の記憶装置に分散して格納する分散
データ格納システムにおいて、各記憶装置や、各記憶装
置に分散格納されたデータをアクセスする手段に障害が
発生した場合でも、正常な運用を継続可能とするデータ
格納システムを提供することにある。Therefore, the present invention has been made in view of the above problems, and a first object of the present invention is to provide a distributed data storage system for distributing and storing data of one file in a plurality of storage devices. It is an object of the present invention to provide a data storage system that can continue normal operation even when a failure occurs in each storage device and a unit for accessing data distributedly stored in each storage device.
【００１９】また、本発明の第２の目的は、障害の発生
した記憶装置に格納されていたデータを元の状態に復旧
するための手段を有するデータ格納システムを提供する
ことにある。A second object of the present invention is to provide a data storage system having means for restoring data stored in a failed storage device to an original state.
【００２０】また、本発明の第３の目的は、障害の発生
した記憶装置に格納されていたデータを元の状態に復旧
する際に、各記憶装置の帯域を均等に有効活用し、通常
運用のアクセス性能の劣化を最小限に抑えるとともに、
復旧処理時間を短縮する、データ格納システムの復旧処
理方式を提供することにある。A third object of the present invention is to restore the data stored in a failed storage device to its original state by uniformly and effectively utilizing the bandwidth of each storage device and performing normal operation. While minimizing the degradation of access performance of
An object of the present invention is to provide a data storage system recovery processing method that shortens the recovery processing time.
【００２１】[0021]
【課題を解決するための手段】前記目的を達成するた
め、本願第１発明は、１つのファイルのデータを分割
し、複数の記憶装置に分散して格納するデータ格納シス
テムにおいて、分散されたデータを格納する複数の記憶
装置と、分割されたデータを複数の記憶装置に格納する
データ書込手段と、分割されたデータを複数の記憶装置
から１つのファイルとして、読み出すデータ読出手段
と、を有する複数の多重化されたデータ格納部と、各デ
ータ格納部に発生した障害を監視する障害監視手段と、
複数のデータ格納部に同一のデータを格納するデータ複
製手段と、複数のデータ格納部から格納されたデータを
読み出すデータ読出切替手段と、を備えたことを特徴と
する。According to a first aspect of the present invention, there is provided a data storage system for dividing data of one file and storing the data in a plurality of storage devices in a distributed manner. A plurality of storage devices for storing data, data writing means for storing the divided data in the plurality of storage devices, and data reading means for reading the divided data from the plurality of storage devices as one file. A plurality of multiplexed data storage units, a failure monitoring means for monitoring a failure occurring in each data storage unit,
It is characterized by comprising data duplicating means for storing the same data in a plurality of data storage units, and data reading switching means for reading data stored from the plurality of data storage units.
【００２２】本願第２発明は、多重化されたデータ格納
部から構成される分散データ格納システムにおいて、デ
ータ格納部に障害が発生して格納されていたデータが失
われた際、運用を継続している他のデータ格納部から障
害の発生したデータ格納部へデータを転送することによ
りシステムを復旧するデータ復旧手段を有することを特
徴とする。According to a second aspect of the present invention, in a distributed data storage system including a multiplexed data storage unit, when a failure occurs in the data storage unit and stored data is lost, the operation is continued. Data recovery means for recovering the system by transferring data from the other data storage unit to the failed data storage unit.
【００２３】本願第３発明は、多重化されたデータ格納
部から構成される分散データ格納システムにおいて、デ
ータ格納部毎に異なる格納順序を生成する格納順序生成
手段と、データ格納部内の複数の記憶装置から複製され
たデータを並列的に読み出す並列データ復旧手段と、を
有することを特徴とする。According to a third aspect of the present invention, in a distributed data storage system comprising multiplexed data storage units, storage order generation means for generating a different storage order for each data storage unit, and a plurality of storages in the data storage unit. Parallel data recovery means for reading in parallel data copied from the device.
【００２４】[0024]
【発明の実施の形態】本発明の実施の形態について以下
に説明する。本発明は、その好ましい実施の形態におい
て、分割されたデータを格納する複数の記憶装置（図１
の１−１〜１−４、２−１〜２−４）と、分割されたデ
ータを複数の記憶装置に格納するデータ書込手段（図１
の３、４）と、分割されたデータを複数の記憶装置から
１つのファイルとして読み出すデータ読出手段（図１の
５、６）と、を有する、多重化された複数のデータ格納
部（図１の１、２）を備え、各データ格納部に発生した
障害を監視する障害監視手段（図の７）と、複数のデー
タ格納部に対して同一のデータを供給するデータ複製手
段（図１の８）と、複数のデータ格納部から、同時に又
は選択的に格納されたデータを読み出すデータ読出切替
手段（図１の９）と、を備えている。Embodiments of the present invention will be described below. The present invention, in a preferred embodiment thereof, comprises a plurality of storage devices (FIG. 1) for storing divided data.
1-1 to 1-4, 2-1 to 2-4) and data writing means (FIG. 1) for storing the divided data in a plurality of storage devices.
3 and 4) and data reading means (5 and 6 in FIG. 1) for reading the divided data as one file from a plurality of storage devices, and a plurality of multiplexed data storage units (FIG. 1). (1), (2), a failure monitoring means (7 in FIG. 1) for monitoring a failure occurring in each data storage unit, and a data duplication means (7 in FIG. 1) for supplying the same data to a plurality of data storage units. 8), and data read-out switching means (9 in FIG. 1) for reading data stored simultaneously or selectively from a plurality of data storage units.
【００２５】本発明は、その好ましい実施の形態によれ
ば、１つのファイルのデータを分割し、複数の記憶装置
に分散して格納するデータ格納システムにおいて、デー
タ複製手段（図１の８）により、各データ格納部（図１
の１、２）へ同一のデータを格納し、データ読出切替手
段（図１の９）により、いずれのデータ格納部からも、
同一のデータを読み出すことを可能にしている。また、
いずれかのデータ格納部に障害が発生して運用不能とな
っても、障害検出手段（図１の７）が障害が発生したこ
とをデータ複製手段およびデータ読出切替手段に通知
し、障害が発生したデータ格納部を切り離すことによ
り、システムの運用を停止させることなく、正常な運用
を継続可能としている。According to a preferred embodiment of the present invention, in a data storage system in which data of one file is divided and stored in a plurality of storage devices in a distributed manner, a data duplication means (8 in FIG. 1) , Each data storage unit (FIG. 1
The same data is stored in (1) and (2), and the data read-out switching means (9 in FIG. 1) reads out the data
It is possible to read the same data. Also,
Even if a failure occurs in one of the data storage units and the operation becomes impossible, the failure detection means (7 in FIG. 1) notifies the data duplication means and the data read switching means that the failure has occurred, and the failure occurs. The normal operation can be continued without stopping the operation of the system by separating the data storage unit.
【００２６】また本発明は、その好ましい別の実施の形
態において、１つのファイルのデータを分割し複数の記
憶装置に分散して格納するデータ格納システムにおい
て、データ復旧手段（図２の１０）を備えたことによ
り、データ格納部に障害が発生した際、システムの運用
を停止させることなく、正常な運用を継続しながら、元
の状態まで復旧可能となる。According to another preferred embodiment of the present invention, in a data storage system for dividing data of one file and distributing and storing the data in a plurality of storage devices, a data recovery means (10 in FIG. 2) is provided. With the provision, when a failure occurs in the data storage unit, it is possible to restore the original state while continuing normal operation without stopping the operation of the system.
【００２７】さらに本発明は、その好ましい別の実施の
形態において、１つのファイルのデータを分割し複数の
記憶装置に分散して格納するデータ格納システムにおい
て、データ格納順序生成手段（図３の１１）を備えたこ
とにより、複数のデータ格納部に同一のファイルを格納
する際、それぞれのデータ格納部に属する複数の記憶装
置に対して全く同一の格納順序で分割された同一のファ
イルのデータを格納するのではなく、様々な順序で格納
することが可能となる。Further, according to another preferred embodiment of the present invention, in a data storage system for dividing data of one file and storing the divided data in a plurality of storage devices, a data storage order generating means (11 in FIG. 3) ), When storing the same file in a plurality of data storage units, data of the same file divided in exactly the same storage order is stored in a plurality of storage devices belonging to each data storage unit. Instead of storing, it is possible to store them in various orders.
【００２８】このため、同一のファイルをそれぞれのデ
ータ格納部に格納する際、データ格納順序生成手段によ
って、一方のデータ格納部の１つの記憶装置に格納され
るデータが、そのファイルの複製を格納するデータ格納
部では複数の記憶装置に分散されて格納されるような格
納順序になるように、データを分散格納する。Therefore, when the same file is stored in each data storage unit, the data stored in one storage device of one data storage unit stores a copy of the file by the data storage order generation means. In the data storage unit, the data is distributed and stored in such a storage order that the data is distributed and stored in a plurality of storage devices.
【００２９】その後、障害発生した際の復旧処理におい
て、１つの記憶装置に格納されるデータの複製を持つ正
常なデータ格納部から読み出す際、並列データ復旧手段
（図３の１２）は、各記憶装置から並列的に復旧するた
めのデータを読み出すことが可能となる。Thereafter, in a recovery process when a failure occurs, when reading from a normal data storage unit having a copy of data stored in one storage device, the parallel data recovery means (12 in FIG. 3) It becomes possible to read data for parallel recovery from the device.
【００３０】このため、本発明の実施の形態において
は、１つの記憶装置に集中することが無く、負荷は分散
されることになるので、復旧元のデータ格納部における
各記憶装置の帯域を均等に活用し、通常運用のアクセス
性能劣化を最小限に抑え、かつ復旧処理時間を短縮する
ことが可能となる。Therefore, according to the embodiment of the present invention, the load is not concentrated on one storage device and the load is distributed, so that the bandwidth of each storage device in the data storage unit of the recovery source is equalized. It is possible to minimize the degradation of access performance in normal operation and shorten the recovery processing time.
【００３１】[0031]
【実施例】上記した本発明の実施の形態について更に詳
細に説明すべく、本発明の実施例について図面を参照し
て以下に説明する。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of the present invention;
【００３２】[0032]
【実施例１】図１は、本発明の第１の実施例の構成をブ
ロック図にて示したものである。図１を参照して、本実
施例は、１つのファイルのデータを格納するデータ格納
部１と、同一の複製されたファイルのデータを格納する
データ格納部２と、を含む、多重化されたデータ格納部
により構成された分散データ格納システムとして構成さ
れている。本実施例においては、データ複製手段８、障
害監視手段７、及び読出切替手段９を更に備えている。Embodiment 1 FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention. Referring to FIG. 1, the present embodiment is a multiplexed system including a data storage unit 1 for storing data of one file and a data storage unit 2 for storing data of the same duplicated file. It is configured as a distributed data storage system including a data storage unit. In the present embodiment, a data copying unit 8, a failure monitoring unit 7, and a read-out switching unit 9 are further provided.
【００３３】データ格納部１は、複数の記憶装置１−１
〜１−４、データ書込手段３、及びデータ読出手段５を
備えて構成される。またデータ格納部２は、複数の記憶
装置２−１〜２−４、データ書込手段４、及びデータ読
出手段６を備えて構成される。The data storage unit 1 includes a plurality of storage devices 1-1.
1-4, a data writing means 3, and a data reading means 5. The data storage unit 2 includes a plurality of storage devices 2-1 to 2-4, a data writing unit 4, and a data reading unit 6.
【００３４】データ書込手段３および４は、データ複製
手段８から送られるファイルのデータを複数のデータに
分割し、複数の記憶装置１−１〜１−４および２−１〜
２−４へデータを書き込む。The data writing means 3 and 4 divide the data of the file sent from the data copying means 8 into a plurality of data, and store the plurality of storage devices 1-1 to 1-4 and 2-1 to
Write data to 2-4.
【００３５】データ読出手段５および６は、複数の記憶
装置１−１〜１−４および２−１〜２−４に分割されて
格納されているデータを各記憶装置から読み出して１つ
のファイルとして扱う手段であり、読み出したデータ
を、読出切替手段９へ転送する。The data reading means 5 and 6 read the data divided and stored in the plurality of storage devices 1-1 to 1-4 and 2-1 to 2-4 from each storage device to form one file. The read data is transferred to the read switching unit 9.
【００３６】障害監視手段７は、各データ格納部１、２
の状態を監視し、各データ格納部１、２を構成する各記
憶装置１−１〜１−４、２−１〜２−４、データ書込手
段３、４あるいはデータ読出手段５、６に障害が発生
し、正常な動作が不可能になったことを検出すると、デ
ータ複製手段８および読出切替手段９に障害が発生した
ことを通知する。The fault monitoring means 7 includes the data storage units 1 and 2
Of each of the data storage units 1-1, 1-4, 2-1 to 2-4, the data writing units 3, 4, or the data reading units 5, 6, respectively. When it is detected that a failure has occurred and normal operation is no longer possible, the data duplication means 8 and the read switching means 9 are notified of the failure.
【００３７】データ複製手段８は、このデータ格納シス
テムに格納するファイルのデータを複製し、データ格納
部１および２のデータ書込手段３および４に対して、格
納するデータをそれぞれ送信する。The data duplication means 8 duplicates the data of the file stored in the data storage system and transmits the data to be stored to the data writing means 3 and 4 of the data storage units 1 and 2, respectively.
【００３８】読出切替手段９は、データ格納部１および
２に格納されている同一のファイルのデータをそれぞれ
選択的にあるいは同時に読み出す。The read switching means 9 selectively or simultaneously reads the data of the same file stored in the data storage units 1 and 2, respectively.
【００３９】まず、本実施例における、各データ格納部
１、２におけるデータ管理方式について説明する。デー
タ格納部１におけるデータの管理方式について説明す
る。First, a data management method in each of the data storage units 1 and 2 in this embodiment will be described. A data management method in the data storage unit 1 will be described.
【００４０】図４は、データ格納部１において各記憶装
置１−１〜１−４にファイルのデータを分散して格納し
た状態を模式的に示す図である。１つのファイルのデー
タを分割したデータは、まず記憶装置１−１内に格納さ
れ、次に記憶装置１−２と順次格納していき記憶装置１
−４まで格納されると、次の分割されたデータは、巡回
的に、記憶装置１−１へと格納される。FIG. 4 is a diagram schematically showing a state in which file data is stored in a distributed manner in each of the storage devices 1-1 to 1-4 in the data storage unit 1. Data obtained by dividing the data of one file is first stored in the storage device 1-1, and then sequentially stored in the storage device 1-2.
When the data is stored up to -4, the next divided data is cyclically stored in the storage device 1-1.
【００４１】また、データ書込手段３およびデータ読出
手段５は、図６にその内容の一例を示すような分割デー
タ管理テーブル２０をそれぞれのファイル毎に各記憶装
置単位で管理しており、分割されたデータが格納された
各記憶装置およびその格納位置を識別可能である。この
分割データ管理テーブル２０は、データ書込手段３がデ
ータを書き込む際に更新し、データ読出手段５がデータ
を読み出す際に参照される。図６を参照して、分割デー
タ管理テーブル２０は、一つのファイルに対して分割さ
れた各データの各記憶装置での格納位置（アドレス）を
記憶保持しており、例えばファイル１の最初のデータは
ディスク１のアドレスＡ11、次のデータはディスク２の
アドレスＡ21、３番目のデータはディスク３のアドレス
Ａ31、４番目のデータはディスク３のアドレスＡ41とい
う情報が格納管理される。The data writing means 3 and the data reading means 5 manage a divided data management table 20 whose contents are shown in FIG. 6 for each file for each storage device. It is possible to identify each storage device storing the stored data and its storage position. The divided data management table 20 is updated when the data writing unit 3 writes data, and is referred to when the data reading unit 5 reads data. With reference to FIG. 6, the divided data management table 20 stores and holds the storage position (address) of each divided data for one file in each storage device. Is stored and managed as address A11 of the disk 1, the next data is the address A21 of the disk 2, the third data is the address A31 of the disk 3, and the fourth data is the address A41 of the disk 3.
【００４２】図１１は、本実施例におけるデータ複製手
段８の動作を説明するためのフローチャートである。図
１及び図１１を参照して、本実施例のデータ格納システ
ムに、実際に、ファイルを書き込む際の、データ複製手
段８の動作について以下に説明する。FIG. 11 is a flow chart for explaining the operation of the data copying means 8 in this embodiment. With reference to FIGS. 1 and 11, the operation of the data duplication unit 8 when actually writing a file to the data storage system of the present embodiment will be described below.
【００４３】外部から、ファイルのデータを書き込む場
合には、データ複製手段８に対して書き込み要求が発行
される。書き込み要求を受けたデータ複製手段は、ま
ず、各データ格納部１、２において障害が発生していな
いことを確認する（ステップ３０）。When writing file data from outside, a write request is issued to the data copying means 8. The data copying unit that has received the write request first confirms that no failure has occurred in each of the data storage units 1 and 2 (step 30).
【００４４】いずれのデータ格納部にも障害が発生して
いなければ、そのファイルのデータを複製する（ステッ
プ３１）。If no failure has occurred in any of the data storage units, the data of the file is copied (step 31).
【００４５】その後、各データ格納部１、２のデータ書
込手段３、４に対して、複製したデータの書き込み要求
を発行し、データの書き込みを行なう（ステップ３
２）。Thereafter, a write request for the duplicated data is issued to the data writing means 3 and 4 of each of the data storage sections 1 and 2 to write the data (step 3).
2).
【００４６】一方、ステップ３０において、いずれかの
データ格納部に障害が発生していた場合には、データの
複製を行なわずに、正常なデータ格納部のデータ書込手
段のみに対して、書き込み要求を発行する（ステップ３
３）。On the other hand, if a failure has occurred in any of the data storage units in step 30, the data is not copied, and only the data writing means of the normal data storage unit is written. Issue the request (Step 3
3).
【００４７】上記のようにして、データ複製手段８は、
本実施例のデータ格納システムに対してファイルのデー
タを書き込む際に動作する。As described above, the data duplication means 8
It operates when writing file data to the data storage system of this embodiment.
【００４８】図１４は、本実施例におけるデータ書込手
段の動作を説明するためのフローチャートである。図１
及び図１４を参照して、各データ格納部１、２に対し
て、実際にデータを書き込む際のデータ書込手段３およ
び４の動作について以下に説明する。FIG. 14 is a flowchart for explaining the operation of the data writing means in this embodiment. FIG.
The operation of the data writing means 3 and 4 when actually writing data to the data storage units 1 and 2 will be described below with reference to FIG.
【００４９】データ書き込み要求を受けたデータ書込手
段３、４は、まず、データを書き込む開始オフセット、
データ格納順序、データ格納周期を基に、書き込むべき
記憶装置を特定し、データを分割する（ステップ５
０）。Upon receiving the data write request, the data write means 3 and 4 first start the data write start offset,
A storage device to be written is specified based on the data storage order and the data storage period, and the data is divided (step 5
0).
【００５０】各分割したデータに対して、各記憶装置上
の実際に格納する格納位置を特定し、分割データ管理テ
ーブル２０に格納位置を登録する（ステップ５１）。For each of the divided data, the storage location where the data is actually stored on each storage device is specified, and the storage location is registered in the divided data management table 20 (step 51).
【００５１】そして、分割したデータを各記憶装置上の
定めた格納位置に並列的に書き込む（ステップ５２）。
すべての分割されたデータを書き終えるまで、ステップ
５２の並列書き込み処理は繰り返される（ステップ５３
のＮｏ分岐）、すべての分割されたデータを書き終えた
場合には（ステップ５３のＹｅｓ分岐）、書き込みが完
了することになる（ステップ５４）。上記のようにし
て、各データ格納部１および２内のデータ書込手段３お
よび４は、分割したファイルのデータを書き込む際に動
作する。Then, the divided data is written in parallel to the determined storage location on each storage device (step 52).
The parallel writing process of step 52 is repeated until all the divided data have been written (step 53).
(No branch), when all the divided data have been written (Yes branch in step 53), the writing is completed (step 54). As described above, the data writing units 3 and 4 in each of the data storage units 1 and 2 operate when writing the data of the divided files.
【００５２】図１２及び図１３は、本実施例における読
出切替手段９の動作を説明するためのフローチャートで
ある。なお、図１２及び図１３は図面作成の都合で分図
されたものである。図１及び図１４を参照して、本実施
形態のデータ格納システムに対して、実際に格納された
ファイルのデータを読み出す際の読出切替手段９の動作
について以下に説明する。FIGS. 12 and 13 are flow charts for explaining the operation of the read-out switching means 9 in this embodiment. Note that FIGS. 12 and 13 are separated for convenience of drawing. With reference to FIG. 1 and FIG. 14, the operation of the read switching means 9 when reading data of a file actually stored in the data storage system of the present embodiment will be described below.
【００５３】本実施例のデータ格納システムからファイ
ルのデータを読み出す場合には、読出切替手段９に対し
て読み出し要求が発行される。読み出し要求を受けた読
出切替手段９は、まず、各データ格納部１、２において
障害が発生していないことを確認する（ステップ４
０）。When reading file data from the data storage system of this embodiment, a read request is issued to the read switching means 9. Upon receiving the read request, the read switching unit 9 first confirms that no failure has occurred in each of the data storage units 1 and 2 (step 4).
0).
【００５４】いずれのデータ格納部にも障害が発生して
いなければ、読み出すファイルを格納している各データ
格納部１および２内のデータ読出手段５および６へ、読
み出し要求を発行し、データを読み出す（ステップ４
１）。If no failure has occurred in any of the data storage units, a read request is issued to the data reading means 5 and 6 in each of the data storage units 1 and 2 storing the file to be read, and the data is read. Read (Step 4
1).
【００５５】ここで、データ読み出し要求元へ、実際に
読み出したデータを返却するタイミングを確認する（ス
テップ４３）。Here, the timing of returning the actually read data to the data read request source is confirmed (step 43).
【００５６】返却するタイミングは、高速応答性を重視
するために、いずれかのデータ格納部１あるいは２から
先に読み出せた方のデータを要求元へ返却する（ステッ
プ４４）、あるいは信頼性を重視するために、両者のデ
ータに相違が無いことを確認してから読み出したデータ
を要求元へ返却する方法がある（ステップ４５）。The return timing is to return the data that has been read out earlier from one of the data storage units 1 or 2 to the request source in order to emphasize high-speed response (step 44), or to improve the reliability. For emphasis, there is a method of confirming that there is no difference between the two data and returning the read data to the request source (step 45).
【００５７】一方、ステップ４０において、いずれかの
データ格納部に障害が発生していた場合には、正常なデ
ータ格納部のデータ読出手段のみに読み出し要求を発行
する（ステップ４２）。On the other hand, if a failure has occurred in any of the data storage units in step 40, a read request is issued only to the data reading means of the normal data storage unit (step 42).
【００５８】正常なデータ格納部から読み出したデータ
を要求元へ返却する（ステップ４６）。上記ようにし
て、読出切替手段９は、本実施例のデータ格納システム
に対してファイルのデータを読み出す際に動作する。The data read from the normal data storage unit is returned to the request source (step 46). As described above, the read switching unit 9 operates when reading data of a file from the data storage system of the present embodiment.
【００５９】図１５は、本実施例におけるデータ格納部
のデータ読出手段の動作を説明するためのフローチャー
トである。図１及び図１５を参照して、本実施例におい
て、各データ格納部１および２に対して、実際にデータ
を読み出す際のデータ読出手段５および６の動作につい
て説明する。FIG. 15 is a flow chart for explaining the operation of the data reading means of the data storage section in this embodiment. With reference to FIGS. 1 and 15, the operation of the data reading units 5 and 6 when actually reading data from the data storage units 1 and 2 in this embodiment will be described.
【００６０】データ読み出し要求を受けたデータ読み出
し手段５および６は、まず、読み出し開始オフセット、
データ格納順序、データ格納周期、分割データ管理テー
ブルから、該当するデータが格納されている記憶装置と
読み出し位置を特定する（ステップ６０）。Upon receiving the data read request, the data read means 5 and 6 first read the read start offset,
From the data storage order, the data storage cycle, and the divided data management table, the storage device storing the corresponding data and the read position are specified (step 60).
【００６１】各記憶装置に格納されている分割されたフ
ァイルのデータを各記憶装置から並列に読み出す（ステ
ップ６１）。The data of the divided file stored in each storage device is read out in parallel from each storage device (step 61).
【００６２】全ての要求されたデータを読み出すまで、
ステップ６１の動作を継続する（ステップ６２）。Until all requested data has been read,
The operation of step 61 is continued (step 62).
【００６３】読み出した分割されたファイルのデータを
１つのファイルのデータとして、要求元へ返却する（ス
テップ６３）。The read data of the divided file is returned to the request source as data of one file (step 63).
【００６４】上記のようにして、各データ格納部１およ
び２内のデータ読出手段５および６は、分割されたファ
イルのデータを読み出す際に動作する。As described above, the data reading means 5 and 6 in each of the data storage units 1 and 2 operate when reading the data of the divided file.
【００６５】次に、本実施例のデータ格納システムに障
害が発生した場合の動作について説明する。以下では、
データ格納部１の記憶装置１−１に障害が発生した場合
を想定する。この状況下では、データ格納部１におい
て、記憶装置１−１を跨いで分散格納されたデータは、
１つのファイルのデータとして読み出す際、部分的に欠
け落ちた不完全なデータしか得られなくなる。また、記
憶装置１−１に対して新たにデータを書き込むことがで
きなくなるため、もはや、データ格納部１では運用が不
可能である。そこで、データ格納部１の各構成要素のい
ずれかに障害が発生した場合には、即座にシステムから
切り離し、データ格納部２のみで運用を継続する。Next, the operation when a failure occurs in the data storage system of this embodiment will be described. Below,
It is assumed that a failure has occurred in the storage device 1-1 of the data storage unit 1. In this situation, in the data storage unit 1, the data distributed and stored across the storage device 1-1 is:
When reading as data of one file, only incomplete data that is partially missing is obtained. Further, since new data cannot be written to the storage device 1-1, the data storage unit 1 can no longer operate. Therefore, when a failure occurs in any of the components of the data storage unit 1, the system is immediately disconnected from the system, and the operation is continued only by the data storage unit 2.
【００６６】まず、障害監視手段７が、データ格納部１
の記憶装置１−１に障害が発生したことを検出すると、
障害監視手段７は、データ複製手段８および読出切替手
段９に対して、データ格納部１の記憶装置１−１に障害
が発生したことを通知する。First, the failure monitoring means 7 operates in the data storage 1
When it is detected that a failure has occurred in the storage device 1-1,
The failure monitoring unit 7 notifies the data duplication unit 8 and the read-out switching unit 9 that a failure has occurred in the storage device 1-1 of the data storage unit 1.
【００６７】障害発生の通知を受けたデータ複製手段８
は、データ格納システムにファイルのデータを格納する
際に、データ格納部１に対してデータの転送は行なわ
ず、データ格納部２のデータ書込手段４に対してのみ格
納するデータを転送する。Data copying means 8 which has been notified of the occurrence of a failure
Does not transfer data to the data storage unit 1 when storing file data in the data storage system, but transfers data to be stored only to the data writing unit 4 of the data storage unit 2.
【００６８】同様にして、読出切替手段９では、データ
格納部１から格納されたデータの読み出しは行なわず、
データ格納部２のデータ読出手段６からのみデータを読
み出し、運用をそのまま継続する。Similarly, the read switching means 9 does not read the data stored from the data storage unit 1,
The data is read only from the data reading means 6 of the data storage unit 2, and the operation is continued as it is.
【００６９】以上のように、複数の記憶装置にファイル
のデータを分割して格納する本実施例のデータ格納シス
テムにおいては、データ格納部を多重化させ、それぞれ
のデータ格納部に、同一のファイルのデータを格納し、
データ複製手段、読出切替手段、障害監視手段を備えて
構成したことにより、いずれかのデータ格納部内に障害
が発生しても、システムを停止させることなく、通常の
運用を継続することができる。As described above, in the data storage system of this embodiment in which file data is divided and stored in a plurality of storage devices, the data storage units are multiplexed, and the same file is stored in each data storage unit. Store the data of
With the configuration including the data duplication unit, the read switching unit, and the failure monitoring unit, even if a failure occurs in any of the data storage units, normal operation can be continued without stopping the system.
【００７０】[0070]
【実施例２】次に本発明の第２の実施例について説明す
る。図２は、本発明の第２の実施例の構成をブロック図
にて示したものである。図２を参照して、本実施例は、
前記第１の実施例と同様に、１つのファイルのデータを
格納するデータ格納部１および同一の複製されたファイ
ルのデータを格納するデータ格納部２からなる多重化さ
れたデータ格納部により構成される分散データ格納シス
テムである。データ格納部１は、複数の記憶装置１−１
〜１−４、データ書込手段３、及びデータ読出手段５か
ら構成され、データ格納部２は、複数の記憶装置２−１
〜２−４、データ書込手段４、及びデータ読出手段６か
ら構成され、障害監視手段７、データ複製手段８、読出
切替手段９を含む。Embodiment 2 Next, a second embodiment of the present invention will be described. FIG. 2 is a block diagram showing the configuration of the second embodiment of the present invention. With reference to FIG.
As in the first embodiment, the multiplexed data storage unit includes a data storage unit 1 for storing data of one file and a data storage unit 2 for storing data of the same duplicated file. Distributed data storage system. The data storage unit 1 includes a plurality of storage devices 1-1.
1-4, a data writing unit 3, and a data reading unit 5, and the data storage unit 2 includes a plurality of storage devices 2-1.
2-4, a data writing unit 4, and a data reading unit 6, and includes a failure monitoring unit 7, a data duplication unit 8, and a reading switching unit 9.
【００７１】さらに本実施例は、データ復旧手段１０を
備えて構成されており、データ復旧手段１０は、障害の
発生したデータ格納部内の記憶装置で失われたデータを
その複製を持つ通常の運用を継続しているデータ格納部
から読み出し、障害の発生したデータ格納部内の記憶装
置へ書き戻す処理を行なう。Further, the present embodiment is provided with a data recovery means 10, and the data recovery means 10 converts the data lost in the storage device in the failed data storage unit into a normal operation having a copy thereof. Is read from the data storage unit in which the error has occurred, and written back to the storage device in the failed data storage unit.
【００７２】以下では、データ格納部１における各記憶
装置１−１〜１−４に格納されているデータの複製が、
データ格納部２における各記憶装置２−１〜２−４にそ
れぞれ格納されている状況において、データ格納部１に
おける記憶装置１−１に障害が発生した場合の、本実施
例におけるデータ復旧処理の動作について説明する。In the following, the duplication of the data stored in each of the storage devices 1-1 to 1-4 in the data storage unit 1 will be described.
In a situation where a failure occurs in the storage device 1-1 in the data storage unit 1 in a situation where the data is stored in each of the storage devices 2-1 to 2-4 in the data storage unit 2, the data recovery process in the present embodiment is performed. The operation will be described.
【００７３】まず、データ格納部１の記憶装置１−１に
障害が発生したことを障害監視手段７が検出すると、障
害監視手段７は、データ複製手段８、読出切替手段９お
よびデータ復旧手段１０に対して、データ格納部１の記
憶装置１−１に障害が発生したことを通知する。First, when the failure monitoring means 7 detects that a failure has occurred in the storage device 1-1 of the data storage unit 1, the failure monitoring means 7 transmits the data to the data duplication means 8, the read-out switching means 9 and the data recovery means 10. To the storage device 1-1 of the data storage unit 1 that a failure has occurred.
【００７４】障害発生の通知を受けたデータ複製手段８
は、データ格納システムにファイルのデータを格納する
際、障害の発生したデータ格納部１に対しては、データ
の転送を行なわず、データ格納部２のデータ書き込み手
段４に対してのみデータを転送することで、運用を継続
する。同様に、読出切替手段９は、障害の発生したデー
タ格納部１からはデータの読み出しを行なわず、データ
格納部２のデータ読出手段６からのみデータを読み出す
ことで、運用を継続する。Data copying means 8 receiving notification of occurrence of a failure
When storing data of a file in the data storage system, the data is not transferred to the failed data storage unit 1, but is transferred only to the data writing unit 4 of the data storage unit 2. To continue operation. Similarly, the read switching unit 9 does not read data from the failed data storage unit 1 but reads data only from the data reading unit 6 of the data storage unit 2 to continue operation.
【００７５】しかし、その後、システムが回復し、正常
な運用の準備が整ったデータ格納部１では、障害によっ
て失われたデータを修復する必要がある。However, after that, in the data storage unit 1 in which the system has been recovered and is ready for normal operation, it is necessary to repair the data lost due to the failure.
【００７６】図１６は、本実施例におけるデータ復旧手
段１０の動作を説明するためのフローチャートである。
図２及び図１６を参照して、本実施例のデータ格納シス
テムにおいて、実際にデータを復旧する際のデータ復旧
手段１０の動作について説明する。FIG. 16 is a flowchart for explaining the operation of the data recovery means 10 in this embodiment.
With reference to FIGS. 2 and 16, the operation of the data recovery unit 10 when actually recovering data in the data storage system of the present embodiment will be described.
【００７７】データ復旧手段１０は、データの復旧開始
の要求を受けると、障害によって失われたデータの複製
を持つデータ格納部２の記憶装置２−１から格納されて
いるデータをデータ格納部２のデータ読出手段６を通し
て、データ読み出しを開始する（ステップ７０）。When receiving a request to start data recovery, the data recovery means 10 stores the data stored in the storage device 2-1 of the data storage unit 2 having a copy of the data lost due to the failure. Data reading is started through the data reading means 6 (step 70).
【００７８】データ格納部２のデータ読出手段６から読
み出したデータをデータ格納部１のデータ書込手段３を
経由し、復旧する記憶装置１−１へデータを書き込む
（ステップ７１）。以上の処理は、記憶装置２−１内の
すべてのデータが読み出されて、記憶装置１−１へ書き
込まれるまで継続する（ステップ７２）。The data read from the data reading means 6 of the data storage unit 2 is written to the storage device 1-1 to be restored via the data writing means 3 of the data storage unit 1 (step 71). The above processing is continued until all data in the storage device 2-1 is read and written to the storage device 1-1 (step 72).
【００７９】上記のようにして、本実施例のデータ格納
システムは、データ復旧手段１０を備えたことにより、
システムを停止させることなく通常の運用を継続しなが
ら、元の状態まで復旧することができる。As described above, the data storage system of the present embodiment has the data recovery
It is possible to recover to the original state while continuing normal operation without stopping the system.
【００８０】[0080]
【実施例３】次に本発明の第３の実施例について説明す
る。図３は、本発明の第２の実施例の構成をブロック図
にて示したものである。図３を参照して、本実施例は、
前記第１および第２の実施例と同様に、１つのファイル
のデータを格納するデータ格納部１および同一の複製さ
れたファイルのデータを格納するデータ格納部２からな
る多重化されたデータ格納部により構成される分散デー
タ格納システムである。データ格納部１は、複数の記憶
装置１−１〜１−４、データ書込手段３、及びデータ読
出手段５から構成され、データ格納部２は、複数の記憶
装置２−１〜２−４、データ書込手段４、及びデータ読
出手段６から構成されている。本実施例は、障害監視手
段７、データ複製手段８、読出切替手段９および並列デ
ータ復旧手段１２を含み、さらに、データ格納順序生成
手段１１を備えて構成されている。Embodiment 3 Next, a third embodiment of the present invention will be described. FIG. 3 is a block diagram showing the configuration of the second embodiment of the present invention. With reference to FIG.
As in the first and second embodiments, a multiplexed data storage unit including a data storage unit 1 for storing data of one file and a data storage unit 2 for storing data of the same duplicated file. Is a distributed data storage system composed of The data storage unit 1 includes a plurality of storage devices 1-1 to 1-4, a data writing unit 3, and a data reading unit 5. The data storage unit 2 includes a plurality of storage devices 2-1 to 2-4. , Data writing means 4 and data reading means 6. This embodiment includes a failure monitoring unit 7, a data duplication unit 8, a read-out switching unit 9, and a parallel data recovery unit 12, and further includes a data storage order generation unit 11.
【００８１】データ格納順序生成手段１１は、それぞれ
のデータ格納部１、２において、ファイルのデータを分
割し、各記憶装置に分散格納する際の格納順序を決定す
る手段であり、各データ格納毎に異なる格納順序を生成
することが可能である。The data storage order generation means 11 divides the file data in each of the data storage units 1 and 2 and determines the storage order when the data is distributed and stored in each storage device. It is possible to generate a different storage order for.
【００８２】各データ格納部１、２に対し、ファイルの
データを分割して格納する際、あるいは分割されたデー
タを１つのファイルとして読み出す際は、データ格納順
序生成手段１１によって生成された格納順序に従って行
なわれる。When the file data is divided and stored in each of the data storage units 1 and 2 or when the divided data is read out as one file, the storage order generated by the data storage order generation unit 11 is used. It is performed according to.
【００８３】また、データ格納順序生成手段１１は、図
７に内容の一例を示すような格納順序テーブル２１を管
理する。格納順序テーブル２１では、各データ格納部
１、２毎に格納格納順序列および格納周期を管理してい
る。このうち、格納順序列は、各データ格納部１、２の
内部において、各記憶装置を一意に識別する記憶装置Ｉ
Ｄの列であり、例えば、データ格納部１では、記憶装置
１−１が「１」、記憶装置１−２が「２」と割り当てら
れ、データ格納部２では、記憶装置２−１が「１」、記
憶装置２−２が「２」と割り当てられる。The data storage order generation means 11 manages a storage order table 21 whose contents are shown in FIG. The storage order table 21 manages a storage order sequence and a storage cycle for each of the data storage units 1 and 2. Among these, the storage sequence is a storage device I that uniquely identifies each storage device inside each of the data storage units 1 and 2.
For example, in the data storage unit 1, the storage device 1-1 is assigned “1” and the storage device 1-2 is assigned “2”. In the data storage unit 2, the storage device 2-1 is assigned “1”. 1 ", and the storage device 2-2 is assigned as" 2 ".
【００８４】次に本実施例のデータ格納システムにおい
て、各データ格納部１、２に同一のファイルのデータを
格納した際のデータ管理方式について説明する。図４
は、データ格納部１において各記憶装置１−１〜１−４
にファイルのデータを分割して格納した状態を模式的に
示す図であり、図５は、データ格納部２において各記憶
装置２−１〜２−４にファイルのデータを分割して格納
した状態を模式的に示す図である。Next, a description will be given of a data management method when data of the same file is stored in each of the data storage units 1 and 2 in the data storage system of this embodiment. FIG.
Are the respective storage devices 1-1 to 1-4 in the data storage unit 1.
FIG. 5 is a diagram schematically showing a state in which file data is divided and stored in FIG. 5. FIG. 5 shows a state in which file data is divided and stored in each of the storage devices 2-1 to 2-4 in the data storage unit 2. It is a figure which shows typically.
【００８５】データ格納部１および２の各記憶装置１−
１〜１−４、および２−１〜２−４に格納されたファイ
ルは、格納順序生成手段１１によって生成された格納周
期および格納順序列で格納されており、この格納周期と
格納順序列とに基づいて、データ書込手段３は、１つの
ファイルのデータを分割して格納し、データ読出手段５
は、各記憶装置１−１〜１−４から分割されたデータ
を、この格納周期と格納順序列に基づいて１つのファイ
ルのデータとして読み出す。Each storage device 1 of data storage units 1 and 2
The files stored in 1 to 1-4 and 2-1 to 2-4 are stored in the storage cycle and the storage sequence generated by the storage sequence generating unit 11. , The data writing means 3 divides and stores the data of one file, and
Reads the data divided from each of the storage devices 1-1 to 1-4 as data of one file based on the storage cycle and the storage sequence.
【００８６】図４を参照して、データ格納部１における
データ格納順序生成手段１１で生成された格納順序は、
格納周期が「４」で、格納順序１、２、３、４であるこ
とを示している。すなわち、データ格納部１にファイル
のデータを分割して格納する際は、分割されたファイル
のデータの最初のデータは記憶装置１−１に、次のデー
タは記憶装置１−２に、３番目のデータは記憶装置１−
３に、４番目のデータは記憶装置１−４に、と順番に格
納する。ここで周期は「４」であるため、５番目のデー
タは再び記憶装置１−１に格納される。結局、記憶装置
１−１には、ファイルを分割した１、５、９、…番目の
データ、記憶装置１−２には、２、６、１０、…番目の
データ、記憶装置１−３には、３、７、１１、…番目の
データ、記憶装置１−４には、４、８、１２、…番目の
データが、それぞれ格納される。Referring to FIG. 4, the storage order generated by data storage order generation means 11 in data storage unit 1 is as follows.
The storage cycle is “4”, indicating that the storage order is 1, 2, 3, 4. That is, when the file data is divided and stored in the data storage unit 1, the first data of the divided file data is stored in the storage device 1-1, the next data is stored in the storage device 1-2, and the third data is stored in the storage device 1-2. Is stored in the storage device 1-
Third, the fourth data is stored in the storage device 1-4 in that order. Here, since the cycle is “4”, the fifth data is stored again in the storage device 1-1. After all, the storage device 1-1 stores the first, fifth, ninth,... Data of the file, the storage device 1-2 stores the second, sixth, tenth,. .., And the storage device 1-4 stores the fourth, eighth, twelfth,... Data, respectively.
【００８７】一方、図５を参照して、データ格納部１に
格納されたファイルのデータと同一のデータが、データ
格納部２に格納されていることを示している。データ格
納部２では、データ格納順序生成手段１１で生成された
格納周期が「１６」であり、格納順序列は、１、２、
３、４、２、３、４、１、３、４、１、２、４、１、
２、３の順であることを示している。すなわち、記憶装
置２−１には、ファイルを分割した１、８、１１、…番
目のデータ、記憶装置２−２には、２、５、１２、…番
目のデータ、記憶装置２−３には、３、６、９、…番目
のデータ、記憶装置２−４には、４、７、１０、…番目
のデータがそれぞれ格納される。On the other hand, referring to FIG. 5, it is shown that the same data as the data of the file stored in data storage unit 1 is stored in data storage unit 2. In the data storage unit 2, the storage cycle generated by the data storage order generation unit 11 is “16”, and the storage order sequence is 1, 2,.
3, 4, 2, 3, 4, 1, 3, 4, 1, 2, 4, 1,
This indicates that the order is a few. In other words, the storage device 2-1 stores the first, eighth, eleventh,... Data of the file, the storage device 2-2 stores the second, fifth, twelfth,. .., And the storage device 2-4 stores the fourth, seventh, tenth,... Data.
【００８８】上記した格納例はあくまでも一例であっ
て、データ格納順序生成手段１１は、各データ格納部
１、２毎に様々な周期および格納順序列を生成して用い
ることができる。The above-described storage example is merely an example, and the data storage order generation means 11 can generate and use various cycles and storage order sequences for each of the data storage units 1 and 2.
【００８９】このように、本実施例においては、データ
格納部１および２は、データ格納順序生成手段１１によ
って生成された格納周期および格納順序列を参照するこ
とにより、各データ格納部１、２毎に、様々な格納順序
で、ファイルのデータを分割して格納することができ
る。As described above, in the present embodiment, the data storage units 1 and 2 refer to the storage period and the storage sequence generated by the data storage order generation unit 11 so that the data storage units 1 and 2 Each time, file data can be divided and stored in various storage orders.
【００９０】次に、本実施例のデータ格納システムに、
障害が発生した場合のデータ復旧処理について説明す
る。ここでは、データ格納部１における記憶装置１−１
に障害が発生し、格納されていたデータが失われた場合
を想定する。また、各データ格納部１、２におけるデー
タの格納順序および格納周期は、図４及び図５に示した
例の通りであるものとする。Next, in the data storage system of this embodiment,
The data recovery processing when a failure occurs will be described. Here, the storage device 1-1 in the data storage unit 1
It is assumed that a failure has occurred and stored data has been lost. Also, the data storage order and storage cycle in each of the data storage units 1 and 2 are as shown in the examples shown in FIGS.
【００９１】通常の運用状態へ復帰するためには、各デ
ータ格納部１、２におけるデータの整合性を保つため
に、失われたデータの複製を持つデータ格納部２の各記
憶装置から読み出し、データ格納部１の障害の発生した
記憶装置１−１に書き戻すという復旧処理が必要とな
る。しかしながら、データ格納部２では、通常運用の読
み出し、あるいは書き込みといった、記憶装置へのアク
セスが行なわれているために、復旧処理のための読み出
しは、通常運用のアクセスとの競合が発生する。In order to return to the normal operation state, in order to maintain data consistency in each of the data storage units 1 and 2, the data is read out from each storage device of the data storage unit 2 having a copy of the lost data. A recovery process of writing back to the failed storage device 1-1 of the data storage unit 1 is required. However, in the data storage unit 2, access to the storage device such as reading or writing for normal operation is performed, so that reading for recovery processing conflicts with access for normal operation.
【００９２】例えば、上記第２の実施例のように、障害
の発生した記憶装置１−１に格納されていたデータの複
製が、データ格納部２において、記憶装置２−１に格納
されていた場合、図８に示すように、通常運用のアクセ
ス（通常のｒｅａｄ／ｗｒｉｔｅアクセス）のすき間に
おいて、記憶装置２−１に対してのみ、復旧処理の読み
出し（ｒｅａｄ）が発生する。For example, as in the second embodiment, a copy of the data stored in the failed storage device 1-1 is stored in the storage device 2-1 in the data storage unit 2. In this case, as shown in FIG. 8, in a space between normal operation access (normal read / write access), reading (read) of the recovery processing occurs only for the storage device 2-1.
【００９３】なお、図８は、通常の読出処理と復旧の読
出処理におけるタイミングを示す図である。また図９
は、復旧処理の読み出しを優先した場合のタイミングを
示す図である。図１０は、本発明の第３の実施例におけ
る読出処理のタイミングを示す図である。FIG. 8 is a diagram showing timings in normal read processing and recovery read processing. FIG.
FIG. 8 is a diagram showing timing when priority is given to reading of the recovery processing. FIG. 10 is a diagram showing the timing of the reading process according to the third embodiment of the present invention.
【００９４】ここで、復旧処理効率を向上させるため
に、一度に大量のデータ読み出しを行なうと、図９に示
すように、復旧処理のための読み出しによって（図中、
破線で示す復旧処理のｒｅａｄ参照）、記憶装置２−１
に対する占有時間が多くなり、通常運用のアクセスの応
答が遅延させられる。また、通常運用のアクセスは、一
般に、各記憶装置に対して均等になるように設計されて
いる可能性が高く、１つの記憶装置からの応答が遅延す
ると、全体の応答が遅延させられてしまうことになり、
非効率的である。Here, when a large amount of data is read at a time to improve the recovery processing efficiency, as shown in FIG.
(See the read of the recovery processing indicated by the broken line), storage device 2-1
The occupation time of the access is increased, and the response of the normal operation access is delayed. In addition, access for normal operation is generally likely to be designed to be equal for each storage device, and if a response from one storage device is delayed, the entire response is delayed. That means
Inefficient.
【００９５】これに対して、上記した本発明の第３の実
施例におけるデータ格納システムでは、それぞれのデー
タ格納部１および２におけるデータ格納順序を、それぞ
れ図４および図５に示したように、一方のデータ格納部
における１つの記憶装置内に格納されたデータを他方の
データ格納部では複数の記憶装置に分散されるような格
納順序を選ぶことにより、図１０に示すように、復旧処
理のための読み出し処理は、それぞれの記憶装置２−１
〜２−４における通常運用のアクセスのすき間を利用す
ることができるため、通常運用のアクセスを妨げること
なく、復旧効率を最大限に活用することが可能となる。On the other hand, in the data storage system according to the third embodiment of the present invention, the data storage order in the respective data storage units 1 and 2 is as shown in FIGS. 4 and 5, respectively. By selecting a storage order in which data stored in one storage device in one data storage unit is distributed to a plurality of storage devices in the other data storage unit, as shown in FIG. The reading process for each storage device 2-1
Since it is possible to use the gap of the access for normal operation in ~ 2-4, it is possible to maximize the recovery efficiency without hindering the access for normal operation.
【００９６】すなわち、データ格納部１において障害の
発生した記憶装置１−１に格納されていたデータの複製
データは、データ格納部２において、１つの記憶装置２
−１のみに存在するのではなく、複数の記憶装置２−１
〜２−４に分散されている。このため、通常のアクセス
処理を妨げない範囲での復旧処理のための読み出し処理
が各記憶装置２−１〜２−４に対して並列的に実行する
ことができるので、復旧処理効率は、従来方式よりも大
幅に向上し、処理時間は短縮する。That is, the duplicate data of the data stored in the failed storage device 1-1 in the data storage unit 1 is stored in one storage device 2 in the data storage unit 2.
-1, not a plurality of storage devices 2-1.
~ 2-4. For this reason, the read processing for the recovery processing within a range that does not hinder the normal access processing can be executed in parallel for each of the storage devices 2-1 to 2-4. It is much better than the method and the processing time is shortened.
【００９７】この格納順序は、図４および図５における
データ格納部１および２でのデータ格納順序列および周
期で示されているように、障害の発生したデータ格納部
１では、分割されたファイルのデータの格納順序は格納
順序列１、２、３、４で、格納周期４であるため、記憶
装置１−１に格納されているファイル１のデータは１、
５、９、１３、…、（１＋ｋＮ）（但し、ｋは０以上の
整数）である。As shown in the data storage sequence in the data storage units 1 and 2 and the cycle in FIG. 4 and FIG. 5, the storage order in the failed data storage unit 1 is Are stored in the storage sequence 1, 2, 3, 4, and the storage cycle is 4. Therefore, the data of the file 1 stored in the storage device 1-1 is 1,
5, 9, 13,..., (1 + kN) (where k is an integer of 0 or more).
【００９８】ところが、データ格納部２において、分割
されたファイルのデータの格納順序は、格納順序列１、
２、３、４、２、３、４、１、３、４、１、２、４、
１、２、３の格納周期１６であるため、記憶装置１−１
に格納されていたデータの複製は、図５に示されるよう
に、記憶装置１−１に格納されているファイル１の１番
目の分割データは、記憶装置２−１に、５番目の分割デ
ータは、記憶装置２−２に、９番目の分割データは、記
憶装置２−３に、１３番目の分割データは、記憶装置２
−４にと、各記憶装置２−１〜２−４に分散されて格納
されており、復旧処理の際の読み出し処理が、各記憶装
置に対して並列的に実行可能な状態で格納されている。However, in the data storage unit 2, the storage order of the data of the divided files is as follows.
2, 3, 4, 2, 3, 4, 1, 3, 4, 1, 2, 4,
Since the storage cycle of 1, 2, and 3 is 16, the storage device 1-1
5, the first divided data of the file 1 stored in the storage device 1-1 is stored in the storage device 2-1 as shown in FIG. Is stored in the storage device 2-2, the ninth divided data is stored in the storage device 2-3, and the thirteenth divided data is stored in the storage device 2
-4 is stored in a distributed manner in each of the storage devices 2-1 to 2-4, and the read process at the time of the recovery process is stored in a state that can be executed in parallel with respect to each of the storage devices. I have.
【００９９】図１７は、本実施例における並列データ復
旧手段１２の動作を説明するためのフローチャートであ
る。図３及び図１７を参照して、本実施例における並列
データ復旧手段１２の動作について以下に説明する。FIG. 17 is a flowchart for explaining the operation of the parallel data recovery means 12 in this embodiment. With reference to FIGS. 3 and 17, the operation of the parallel data recovery unit 12 in the present embodiment will be described below.
【０１００】並列データ復旧手段１２は、データ復旧開
始の要求を受け取ると、まず、データ格納順序生成手段
１１から、各データ格納部１および２の格納順序および
格納周期を認識する（ステップ８０）。Upon receiving the request for starting data recovery, the parallel data recovery means 12 first recognizes the storage order and storage cycle of each of the data storage units 1 and 2 from the data storage order generation means 11 (step 80).
【０１０１】データ格納部１の記憶装置１−１の複製を
持つデータ格納部２の記憶装置２−１〜１−４から該当
するデータを読み出す要求をデータ格納部２のデータ読
出手段６へ発行し、各記憶装置から並列にデータを読み
出す（ステップ８１）。A request to read the corresponding data from the storage devices 2-1 to 1-4 of the data storage unit 2 having a copy of the storage device 1-1 of the data storage unit 1 is issued to the data reading unit 6 of the data storage unit 2. Then, data is read from each storage device in parallel (step 81).
【０１０２】データ格納部２から読み出したデータを復
旧するデータ格納部１の記憶装置１−１へデータ書込手
段３へ書き込み要求を発行して書き込む（ステップ８
２）。A write request is issued to the data writing means 3 and written to the storage device 1-1 of the data storage unit 1 for restoring the data read from the data storage unit 2 (step 8).
2).
【０１０３】以上の処理は、記憶装置１−１に格納され
ていた失われたすべてのデータを復旧するまで継続する
（ステップ８３）。The above processing is continued until all the lost data stored in the storage device 1-1 is restored (step 83).
【０１０４】上記のように、本実施例のデータ格納シス
テムにおけるデータ復旧方式は、システムを停止するこ
となく、通常の運用を継続しながら、元の状態に復旧す
ることができる。As described above, the data recovery system in the data storage system according to the present embodiment can recover the original state without stopping the system, while continuing normal operation.
【０１０５】さらに、本実施例においては、データ格納
順序を各データ格納部毎に異ならせておくことにより、
障害発生後の復旧処理において、１つの記憶装置に格納
されているデータを他のデータ格納部の記憶装置から並
列的に読み出すことが可能となる。このため、１つの記
憶装置に負荷が集中することなく均等に分散され、通常
運用のアクセス性能の劣化を最小限に抑えられ、かつ復
旧処理効率を大幅に向上させることができるという作用
効果を奏する。Further, in this embodiment, the data storage order is different for each data storage unit,
In the recovery process after the occurrence of a failure, data stored in one storage device can be read in parallel from storage devices in another data storage unit. Therefore, there is an effect that the load is evenly distributed without concentration on one storage device, the deterioration of access performance in normal operation is minimized, and the recovery processing efficiency can be greatly improved. .
【０１０６】上記実施例では、記憶装置１−１に障害が
発生した場合の復旧処理についての例について説明した
が、記憶装置１−１〜１−４および２−１〜２−４のい
ずれかに障害が発生した場合にも、本発明は適用可能で
あることは勿論である。例えば記憶装置２−４に障害が
発生した場合には、上記した場合と同様に、データ格納
部２に対する外部からの要求を切り離し、データ格納部
１内の記憶装置に格納されている複製データを読み出し
て、障害の発生した記憶装置に復元する。ただし、記憶
装置２−４に格納されている分割されたファイルの分割
データは、４、７、１０、１３、…番目のブロックであ
るため、これらの分割データの複製データは、やはりデ
ータ格納部１における記憶装置１−１〜４に分割されて
格納されており、復旧処理の際の読み出し処理は、各記
憶装置に対して並列的に実行可能である。In the above embodiment, an example of the recovery processing when a failure has occurred in the storage device 1-1 has been described. However, any one of the storage devices 1-1 to 1-4 and 2-1 to 2-4 has been described. It goes without saying that the present invention can be applied to a case where a failure has occurred. For example, when a failure occurs in the storage device 2-4, as in the case described above, a request from the outside for the data storage unit 2 is disconnected, and the copy data stored in the storage device in the data storage unit 1 is deleted. Read it out and restore it to the failed storage device. However, since the divided data of the divided files stored in the storage device 2-4 are the fourth, seventh, tenth, thirteenth,..., Blocks, the duplicated data of these divided data is also stored in the data storage unit. 1 is divided and stored in the storage devices 1-1 to 4 in FIG. 1, and the reading process at the time of the recovery process can be executed in parallel for each storage device.
【０１０７】また、上記各実施例では、記憶装置の数が
４台の場合について説明したが、一般に、記憶装置の数
はＮ台の場合も適用可能である。In each of the above embodiments, the case where the number of storage devices is four has been described. However, in general, the case where the number of storage devices is N is also applicable.
【０１０８】すなわち、データ格納部１では、ファイル
の格納順序が１、…、ＮのＮを周期とする格納順序で分
割されたファイルのデータが分散格納された場合、記憶
装置１−ｉに着目すると（ｉ、ｉ＋Ｎ、ｉ＋２Ｎ、…）
番目の分割されたデータが次々格納される。これらの分
割データが、データ格納部システム部２のそれぞれの記
憶装置２−１〜２−Ｎのそれぞれに分散されるような格
納順序で格納するためには、例えば、以下のような周期
Ｎ毎に格納する記憶装置を１つシフトするようなＮの２
乗を周期とする格納順序｛１、２、…、Ｎ、２、３、
…、Ｎ、Ｎ−１、３、４、…｝で実現可能である。That is, in the data storage unit 1, when the data of the file divided in the storage order in which the file storage order is 1,... Then (i, i + N, i + 2N, ...)
The third divided data is stored one after another. In order to store the divided data in the storage order such that the divided data is distributed to each of the storage devices 2-1 to 2-N of the data storage unit system unit 2, for example, the following period N N of 2 that shifts the storage device stored in
.., N, 2, 3,.
.., N, N-1, 3, 4,.
【０１０９】この格納順序をデータ格納部２で適用させ
ると、記憶装置１−ｉに格納される分割データは、それ
ぞれ２−１〜２−Ｎに分散格納されることになる。When this storage order is applied in the data storage unit 2, the divided data stored in the storage device 1-i is distributed and stored in 2-1 to 2-N, respectively.
【０１１０】この格納順序を一般式で表現すると、ある
ファイルのデータを分割してＮ台の記憶装置に分散格納
する際、データ格納部１および２に格納するｘ番目の分
割データが格納される記憶装置を示す、格納順序Ｌist
１（ｘ）およびＬist２（ｘ）は、それぞれ次式
（１）、（２）で表わすことができる。When this storage order is expressed by a general formula, when data of a certain file is divided and distributed and stored in N storage devices, the x-th divided data stored in the data storage units 1 and 2 is stored. The storage order List that indicates the storage device
1 (x) and List2 (x) can be expressed by the following equations (1) and (2), respectively.
【０１１１】[0111]
【数１】 (Equation 1)
【０１１２】但し、ｘ ｍｏｄ Ｎは、Ｎを法とするｘ
の剰余を出力し、Here, x mod N is x mod N
And output the remainder of
【０１１３】[0113]
【数２】 (Equation 2)
【０１１４】は床関数（実数ａ以下の最大の整数）を示
している。Indicates a floor function (the largest integer less than or equal to the real number a).
【０１１５】上記の例では、一方のデータ格納部での格
納順序を１からＮまでの規則的な並びを想定したが、格
納順序を入れ換えても適用可能である。すなわち、１〜
Ｎで構成されるすべての順列を用いた格納順序において
も適用可能である。In the above example, the storage order in one data storage unit is assumed to be a regular arrangement from 1 to N. However, the present invention is applicable even if the storage order is changed. That is, 1 to
The present invention can be applied to a storage order using all the permutations composed of N.
【０１１６】また、上記の例では、Ｎを構成される記憶
装置数とした例を挙げたが、Ｎは、必ずしも記憶装置数
に束縛されず、あるファイルのデータを分散格納する単
位として定義することも可能である。In the above example, N is set as the number of storage devices. However, N is not necessarily limited to the number of storage devices and is defined as a unit for distributing and storing data of a certain file. It is also possible.
【０１１７】[0117]
【発明の効果】以上説明したように、本願第１発明（請
求項１）によれば、データを複数の記憶装置に分散格納
するデータ格納部と複製データを同様にして分散格納す
るデータ格納部の一方のデータ格納部に障害が発生して
使用不可能となった場合でも、運用を停止させることな
く、データ格納システムの運用を継続することが可能
で、信頼性及び運用効率を特段に向上するという効果を
奏する。As described above, according to the first invention of the present application (claim 1), a data storage unit for distributing and storing data in a plurality of storage devices and a data storage unit for distributing and storing duplicate data in a similar manner. Even if one of the data storage units fails and becomes unusable, the operation of the data storage system can be continued without stopping the operation, and the reliability and operation efficiency will be particularly improved It has the effect of doing.
【０１１８】その理由は、本発明においては、データ複
製手段により、各データ格納部へ同一のデータを格納
し、データ読出切替手段により、いずれのデータ格納部
からも、同一のデータを読み出すことを可能にしてい
る。また、いずれかのデータ格納部に障害が発生して運
用不能となっても、障害検出手段が障害が発生したこと
をデータ複製手段およびデータ読出切替手段に通知し、
障害が発生したデータ格納部を切り離すことにより、シ
ステムの運用を停止させることなく、正常な運用を継続
可能としているためである。The reason is that, in the present invention, the same data is stored in each data storage unit by the data duplication unit, and the same data is read from any data storage unit by the data read-out switching unit. Making it possible. Further, even if a failure occurs in any of the data storage units and the operation becomes inoperable, the failure detection unit notifies the data duplication unit and the data read switching unit that the failure has occurred,
This is because normal operation can be continued without stopping the operation of the system by separating the data storage unit in which the failure has occurred.
【０１１９】また、本願第２発明（請求項２）によれ
ば、データ復旧手段を備えたことにより、システムの運
用を停止させることなく、運用を継続しながら、元の状
態にまで復旧することができる、という効果を奏する。Further, according to the second invention of the present application (claim 2), the provision of the data recovery means enables the system to be restored to the original state while continuing the operation without stopping the operation. The effect is that it can be done.
【０１２０】さらに、本願第３発明（請求項３）によれ
ば、データ格納順序生成手段および並列データ復旧手段
を更に備え、複数のデータ格納部に同一のファイルを格
納する際、それぞれのデータ格納部に属する複数の記憶
装置に対して全く同一の格納順序で分割された同一のフ
ァイルのデータを格納するのではなく、様々な順序で格
納することを可能としている。Further, according to the third invention of the present application (claim 3), the apparatus further comprises a data storage order generating means and a parallel data recovery means, and when storing the same file in a plurality of data storage units, the respective data storage The data of the same file divided in exactly the same storage order is not stored in a plurality of storage devices belonging to the same unit, but can be stored in various orders.
【０１２１】これにより、同一のファイルをそれぞれの
データ格納部に格納する際、データ格納順序生成手段に
よって、一方のデータ格納部の１つの記憶装置に格納さ
れるデータが、そのファイルの複製を格納するデータ格
納部では複数の記憶装置に分散されて格納されるような
格納順序になるように、分散されて格納されることにな
る。そして、障害発生後の復旧処理において、１つの記
憶装置に格納されるデータの複製を持つ正常なデータ格
納部から読み出す際、１つの記憶装置に集中することが
無く各記憶装置から並列的に復旧するためのデータを読
み出すことができる。Thus, when the same file is stored in each data storage unit, the data stored in one storage device of one data storage unit stores a copy of the file by the data storage order generation means. In such a data storage unit, the data is distributed and stored in such a storage order that the data is distributed and stored in a plurality of storage devices. Then, in a recovery process after a failure occurs, when data is read from a normal data storage unit having a copy of data stored in one storage device, recovery is performed in parallel from each storage device without being concentrated on one storage device. Data for reading can be read.
【０１２２】このため、本発明によれば、復旧元のデー
タ格納部における各記憶装置の帯域を均等に活用し、通
常運用のアクセス性能劣化を最小限に抑え、かつ復旧処
理時間を短縮することができる、という顕著な効果を奏
する。Therefore, according to the present invention, the bandwidth of each storage device in the data storage unit of the recovery source is used evenly, the access performance degradation in normal operation is minimized, and the recovery processing time is shortened. Can be achieved.
【図１】本発明の第１の実施例の構成を示すブロック図
である。FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment of the present invention.
【図２】本発明の第２の実施例の構成を示すブロック図
である。FIG. 2 is a block diagram showing a configuration of a second exemplary embodiment of the present invention.
【図３】本発明の第３の実施例の構成を示すブロック図
である。FIG. 3 is a block diagram illustrating a configuration of a third exemplary embodiment of the present invention.
【図４】本発明の各実施例におけるデータ格納部１にお
ける各記憶装置への格納順序を示す模式図である。FIG. 4 is a schematic diagram showing a storage order in each storage device in the data storage unit 1 in each embodiment of the present invention.
【図５】本発明の第３の実施例におけるデータ格納部２
における記憶装置への格納順序を示す模式図である。FIG. 5 shows a data storage unit 2 according to a third embodiment of the present invention.
FIG. 4 is a schematic diagram showing the order of storage in a storage device in FIG.
【図６】本発明の第１の実施例における分割データ管理
テーブルの内容の一例を示す図である。FIG. 6 is a diagram showing an example of the contents of a divided data management table according to the first embodiment of the present invention.
【図７】本発明の第３の実施例における格納順序管理テ
ーブルの内容の一例を示す図である。FIG. 7 is a diagram showing an example of the contents of a storage order management table according to a third embodiment of the present invention.
【図８】本発明の実施例を説明するための図であり、通
常の読出処理と復旧の読出処理におけるタイミングを示
す図である。FIG. 8 is a diagram for explaining the embodiment of the present invention, and is a diagram showing timings in normal read processing and recovery read processing.
【図９】復旧処理の読み出しを優先した場合のタイミン
グを示す図である。FIG. 9 is a diagram showing timing when priority is given to reading of the recovery processing.
【図１０】本発明の第３の実施例における読出処理のタ
イミングを示す図である。FIG. 10 is a diagram showing a timing of a reading process according to a third embodiment of the present invention.
【図１１】本発明の第１の実施例におけるデータ複製手
段の動作を示すフローチャートである。FIG. 11 is a flowchart showing the operation of the data copying means in the first embodiment of the present invention.
【図１２】本発明の第１の実施例における読出切替手段
の動作を示すフローチャートである。FIG. 12 is a flowchart showing the operation of the read-out switching means in the first embodiment of the present invention.
【図１３】本発明の第１の実施例における読出切替手段
の動作を示すフローチャートである。FIG. 13 is a flowchart showing the operation of the read switching unit according to the first embodiment of the present invention.
【図１４】本発明の第１の実施例におけるデータ書込手
段の動作を示すフローチャートである。FIG. 14 is a flowchart showing the operation of the data writing means according to the first embodiment of the present invention.
【図１５】本発明の第１の実施例におけるデータ読出手
段の動作を示すフローチャートである。FIG. 15 is a flowchart showing the operation of the data reading means according to the first embodiment of the present invention.
【図１６】本発明の第２の実施例におけるデータ復旧手
段の動作を示すフローチャートである。FIG. 16 is a flowchart showing an operation of a data recovery unit according to the second embodiment of the present invention.
【図１７】本発明の第３の実施例における並列データ復
旧手段の動作を示すフローチャートである。FIG. 17 is a flowchart showing the operation of a parallel data recovery unit according to the third embodiment of the present invention.
【図１８】従来のデータ格納システムの構成を示すブロ
ック図である。FIG. 18 is a block diagram showing a configuration of a conventional data storage system.
【図１９】従来の複製データの格納方法を模式的に示す
図である。FIG. 19 is a diagram schematically illustrating a conventional method of storing duplicate data.
１〜２ データ格納部 １−１〜Ｎ、２−１〜Ｎ 記憶装置 ３〜４ データ書込手段 ５〜６ データ読出手段 ７ 障害監視手段 ８ データ複製手段 ９ 読出切替手段 １０ データ復旧手段 １１ データ格納順序生成手段 １２ 並列データ復旧手段 ２０ 分割データ管理テーブル ２１ 格納順序管理テーブル １０１−１〜Ｎ、１０２−１〜Ｎ 記憶装置 １０３ データ管理手段 1-2 data storage unit 1-1-N, 2-1-N storage device 3-4 data writing unit 5-6 data reading unit 7 fault monitoring unit 8 data duplication unit 9 read switching unit 10 data recovery unit 11 data Storage order generation means 12 parallel data recovery means 20 divided data management table 21 storage order management tables 101-1 to N, 102-1 to N storage device 103 data management means
─────────────────────────────────────────────────────
────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成１０年６月１日[Submission date] June 1, 1998
【手続補正１】[Procedure amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】特許請求の範囲[Correction target item name] Claims
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【特許請求の範囲】[Claims]
【手続補正２】[Procedure amendment 2]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２１[Correction target item name] 0021
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００２１】[0021]
【課題を解決するための手段】前記目的を達成するた
め、本発明は、１つのファイルのデータを分割し、複数
の記憶装置に分散して格納するデータ格納システムにお
いて、分散されたデータを格納する複数の記憶装置と、
分割されたデータを複数の記憶装置に格納するデータ書
込手段と、分割されたデータを複数の記憶装置から１つ
のファイルとして、読み出すデータ読出手段と、を有す
る複数の多重化されたデータ格納部と、各データ格納部
に発生した障害を監視する障害監視手段と、複数のデー
タ格納部に同一のデータを格納するデータ複製手段と、
複数のデータ格納部から格納されたデータを読み出すデ
ータ読出切替手段と、を備え、さらに以下の特徴を有す
る。According to the present invention, there is provided a data storage system for dividing data of one file and storing the divided data in a plurality of storage devices. A plurality of storage devices;
A plurality of multiplexed data storage units each including: a data writing unit that stores the divided data in the plurality of storage devices; and a data reading unit that reads the divided data from the plurality of storage devices as one file. A failure monitoring unit that monitors a failure that has occurred in each data storage unit, a data duplication unit that stores the same data in a plurality of data storage units,
It includes a data reading switching means for reading stored data from a plurality of data storage unit, a Ru further <br/> to have the following features.
【手続補正３】[Procedure amendment 3]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２２[Correction target item name] 0022
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００２２】本発明は、多重化されたデータ格納部から
構成される分散データ格納システムにおいて、データ格
納部毎に異なる格納順序を生成する格納順序生成手段
と、データ格納部内の複数の記憶装置から複製されたデ
ータを並列的に読み出す並列データ復旧手段と、を有す
る。The present invention, in a distributed data storage system configured from the multiplexed data storage unit, the data rating
Storage order generation means for generating a different storage order for each storage unit
And data copied from multiple storage devices in the data storage unit.
Data recovery means for reading data in parallel .
【手続補正４】[Procedure amendment 4]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００２３[Correction target item name] 0023
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【００２３】本発明は、１つのファイルのデータを分割
し複数の記憶装置に分散して格納する分散データ格納シ
ステムにおいて、前記複数の記憶装置を備えた複数のデ
ータ格納部に対して同一のファイルのデータを分割して
格納する際に、一つのデータ格納部の１つの記憶装置に
格納されるデータが、他のデータ格納部では複数の記憶
装置に分散されて格納されるような格納順序を設定する
手段を備え、前記データ格納部の１つの記憶装置に障害
発生後、前記１つの記憶装置に格納されていたデータ
を、前記他のデータ格納部の複数の記憶装置から転送し
て復旧する際、前記他のデータ格納部の複数の記憶装置
から並列に読み出し、通常運用のアクセスを妨げずに復
旧処理を行うことを可能としたものである。The present invention divides the data of one file
Distributed data storage system for distributed storage in multiple storage devices.
A plurality of data units each including the plurality of storage devices.
Data of the same file in the data storage
When storing, in one storage device of one data storage unit
If the data to be stored is stored in multiple
Set the storage order so that it is distributed and stored in the device
Means, and one storage device of the data storage unit has a fault.
After the occurrence, the data stored in the one storage device
Are transferred from the plurality of storage devices of the other data storage unit.
When restoring, the plurality of storage devices of the other data storage unit
And read in parallel without interrupting normal operation access.
Ru Der what made it possible to carry out the old process.
【手続補正５】[Procedure amendment 5]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１７[Correction target item name] 0117
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１７】[0117]
【発明の効果】以上説明したように、本発明によれば、
データを複数の記憶装置に分散格納するデータ格納部と
複製データを同様にして分散格納するデータ格納部の一
方のデータ格納部に障害が発生して使用不可能となった
場合でも、運用を停止させることなく、データ格納シス
テムの運用を継続することが可能で、信頼性及び運用効
率を特段に向上するという効果を奏する。As described above, according to the present invention,
Stop operation even if one of the data storage units that distributes and stores data in multiple storage devices in a distributed manner and one that stores distributed data in the same way becomes unavailable due to a failure Without this, the operation of the data storage system can be continued, and there is an effect that reliability and operation efficiency are particularly improved.
【手続補正６】[Procedure amendment 6]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１１９[Correction target item name] 0119
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１１９】また、本発明によれば、データ復旧手段を
備えたことにより、システムの運用を停止させることな
く、運用を継続しながら、元の状態にまで復旧すること
ができる、という効果を奏する。Further, according to the present invention, the provision of the data restoring means provides an effect that the system can be restored to the original state while continuing the operation without stopping the operation. .
【手続補正７】[Procedure amendment 7]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】０１２０[Correction target item name]
【補正方法】変更[Correction method] Change
【補正内容】[Correction contents]
【０１２０】さらに、本発明によれば、データ格納順序
生成手段および並列データ復旧手段を更に備え、複数の
データ格納部に同一のファイルを格納する際、それぞれ
のデータ格納部に属する複数の記憶装置に対して全く同
一の格納順序で分割された同一のファイルのデータを格
納するのではなく、様々な順序で格納することを可能と
している。Further, according to the present invention, when the same file is stored in a plurality of data storage units, a plurality of storage devices belonging to each data storage unit are further provided. However, instead of storing the data of the same file divided in exactly the same storage order, it is possible to store the data in various orders.
Claims (5)
憶装置に分散して格納する分散データ格納システムにお
いて、 分割されたデータを格納する複数の記憶装置と、 分割されたデータを前記複数の記憶装置に格納するデー
タ書込手段と、 分割されたデータを前記複数の記憶装置から１つのファ
イルとして読み出すデータ読出手段と、を有する、多重
化された複数のデータ格納部と、 前記各データ格納部に発生した障害を監視する障害監視
手段と、 前記複数のデータ格納部に同一のデータを格納させるた
めに前記複数のデータ格納部に対して同一のデータを供
給するデータ複製手段と、 前記複数のデータ格納部から格納されたデータを読み出
すデータ読出切替手段と、 を備えたことを特徴とする分散データ格納システム。1. A distributed data storage system for dividing data of one file and distributing and storing the divided data in a plurality of storage devices, comprising: a plurality of storage devices for storing divided data; A plurality of multiplexed data storage units, comprising: a data writing unit that stores data in a storage device; and a data reading unit that reads out the divided data from the plurality of storage devices as one file. A failure monitoring unit that monitors a failure that has occurred in the unit; a data duplication unit that supplies the same data to the plurality of data storage units so that the same data is stored in the plurality of data storage units; And a data read-out switching unit for reading data stored from the data storage unit.
タ格納部の記憶装置に格納されていたデータが失われた
際、運用を継続している他の前記データ格納部から障害
の発生した前記データ格納部へデータを転送するデータ
復旧手段を、更に備えたことを特徴とする請求項１記載
の分散データ格納システム。2. When a failure occurs in the data storage unit and data stored in a storage device of the data storage unit is lost, a failure occurs from another data storage unit that is operating continuously. 2. The distributed data storage system according to claim 1, further comprising data recovery means for transferring data to said data storage unit.
序を生成する格納順序生成手段と、 前記データ格納部内の複数の記憶装置から複製されたデ
ータを並列的に読み出す並列データ復旧手段と、 を更に備えたことを特徴とする請求項１記載の分散デー
タ格納システム。3. A storage order generation unit for generating a different storage order for each of the plurality of data storage units; a parallel data recovery unit for reading in parallel data copied from a plurality of storage devices in the data storage unit; The distributed data storage system according to claim 1, further comprising:
憶装置に分散して格納する分散データ格納システムにお
いて、 前記複数の記憶装置を備えた複数のデータ格納部に対し
て同一のファイルのデータを分割して格納する際に、一
つのデータ格納部の１つの記憶装置に格納されるデータ
が、他のデータ格納部では複数の記憶装置に分散されて
格納されるような格納順序を設定する手段を備え、 前記データ格納部の１つの記憶装置に障害発生後、前記
１つの記憶装置に格納されていたデータを、前記他のデ
ータ格納部の複数の記憶装置から転送して復旧する際、
前記他のデータ格納部の複数の記憶装置から並列に読み
出し、通常運用のアクセスを妨げずに復旧処理を行うこ
とを可能としたことを特徴とする分散データ格納システ
ムの復旧方式。4. A distributed data storage system in which data of one file is divided and stored in a plurality of storage devices in a distributed manner, wherein data of the same file is stored in a plurality of data storage units including the plurality of storage devices. Is divided and stored, a storage order is set such that data stored in one storage device of one data storage unit is distributed and stored in a plurality of storage devices in another data storage unit. Means for transferring data stored in the one storage device from a plurality of storage devices in the other data storage unit after a failure occurs in one storage device of the data storage unit, and recovering the data.
A recovery method for a distributed data storage system, wherein data can be read out in parallel from a plurality of storage devices of the other data storage unit and recovery processing can be performed without hindering normal operation access.
タ格納部の各データ読出手段から同時に、又は選択的
に、データを読み出すことを特徴とする請求項１記載の
分散データ格納システム。5. The distributed data storage system according to claim 1, wherein said data read switching unit reads data from each of said plurality of data storage units simultaneously or selectively.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9062092A JPH10240452A (en) | 1997-02-28 | 1997-02-28 | Distributed data storage system and recovery system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9062092A JPH10240452A (en) | 1997-02-28 | 1997-02-28 | Distributed data storage system and recovery system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10240452A true JPH10240452A (en) | 1998-09-11 |
Family
ID=13190074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9062092A Pending JPH10240452A (en) | 1997-02-28 | 1997-02-28 | Distributed data storage system and recovery system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10240452A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013025450A (en) * | 2011-07-19 | 2013-02-04 | Nippon Telegr & Teleph Corp <Ntt> | Distributed file management system, distributed file arrangement method and program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03147121A (en) * | 1989-11-02 | 1991-06-24 | Nec Field Service Ltd | Data storage system for disk device |
| JPH04205619A (en) * | 1990-11-30 | 1992-07-27 | Toshiba Corp | Disk control system |
| JPH05505481A (en) * | 1990-03-02 | 1993-08-12 | イーエムシー コーポレーション | Data storage device and method |
| JPH08212018A (en) * | 1994-11-03 | 1996-08-20 | Internatl Business Mach Corp <Ibm> | Method and apparatus for dynamic extension of raid |
-
1997
- 1997-02-28 JP JP9062092A patent/JPH10240452A/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03147121A (en) * | 1989-11-02 | 1991-06-24 | Nec Field Service Ltd | Data storage system for disk device |
| JPH05505481A (en) * | 1990-03-02 | 1993-08-12 | イーエムシー コーポレーション | Data storage device and method |
| JPH04205619A (en) * | 1990-11-30 | 1992-07-27 | Toshiba Corp | Disk control system |
| JPH08212018A (en) * | 1994-11-03 | 1996-08-20 | Internatl Business Mach Corp <Ibm> | Method and apparatus for dynamic extension of raid |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013025450A (en) * | 2011-07-19 | 2013-02-04 | Nippon Telegr & Teleph Corp <Ntt> | Distributed file management system, distributed file arrangement method and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5285610B2 (en) | Optimized method to restore and copy back a failed drive when a global hot spare disk is present | |
| EP1624376B1 (en) | Storage system and data processing system | |
| US8639878B1 (en) | Providing redundancy in a storage system | |
| US5657439A (en) | Distributed subsystem sparing | |
| CA2655911C (en) | Data transfer and recovery process | |
| US8990613B2 (en) | Data transfer and recovery | |
| WO2017119091A1 (en) | Distrubuted storage system, data storage method, and software program | |
| US10019324B2 (en) | Data transfer and recovery | |
| US6915448B2 (en) | Storage disk failover and replacement system | |
| JP5285611B2 (en) | Optimized method to restore and copy back a disconnected drive when there is a global hot spare disk | |
| US8055938B1 (en) | Performance in virtual tape libraries | |
| CN102349047B (en) | Data insertion system, data control device, storage device, data insertion method, data control method and data storage method | |
| US20130103649A9 (en) | Methods and apparatus for point-in-time volumes | |
| US7418621B2 (en) | Redundant storage array method and apparatus | |
| JP2006227964A (en) | Storage system, processing method and program | |
| JP2011086214A (en) | Disk array device | |
| WO2012075845A1 (en) | Distributed file system | |
| US11204709B2 (en) | Storage system and storage control method | |
| EP2375331A2 (en) | Method to establish high level of redundancy, fault tolerance and performance in a raid system without using parity and mirroring | |
| JP2005099995A (en) | Disk sharing method and system of magnetic disk unit | |
| JPH07261945A (en) | Disk array device and disk array dividing method | |
| WO2010092634A1 (en) | Storage system | |
| JP2008276281A (en) | Data synchronization system, method, and program | |
| JP3597349B2 (en) | Storage subsystem and fault recovery method thereof | |
| JPH10240452A (en) | Distributed data storage system and recovery system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20000516 |