JPH10240452A - Distributed data storage system and recovery system - Google Patents

Distributed data storage system and recovery system

Info

Publication number
JPH10240452A
JPH10240452A JP9062092A JP6209297A JPH10240452A JP H10240452 A JPH10240452 A JP H10240452A JP 9062092 A JP9062092 A JP 9062092A JP 6209297 A JP6209297 A JP 6209297A JP H10240452 A JPH10240452 A JP H10240452A
Authority
JP
Japan
Prior art keywords
data
storage
storage unit
data storage
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9062092A
Other languages
Japanese (ja)
Inventor
Hisayuki Aoki
Hiroyuki Otani
寛之 大谷
久幸 青木
Original Assignee
Nec Corp
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp, 日本電気株式会社 filed Critical Nec Corp
Priority to JP9062092A priority Critical patent/JPH10240452A/en
Publication of JPH10240452A publication Critical patent/JPH10240452A/en
Application status is Granted legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a distributed data storage system with which recovery processing time is shortened without disturbing the access of ordinary operation. SOLUTION: In the case of striping storage while dividing the data of the same file to plural data storage parts 1 and 2, a data storage order generating means 11 sets a storage order so as to store data to be stored in one storage device at one data storage part but to store the data distributedly in plural storage devices at the other storage part. Thus, in the case of recovery by transferring data stored in one storage device from the other storage device after a fault occurs, a parallel data recovering means 12 can parallelly read data out of respective storage devices and recovery processing time is shortened without disturbing the access of ordinary operation.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、1つのファイルのデータを分割し、複数の記憶装置に分散して格納する分散データ格納システムおよびその復旧方式に関する。 The present invention relates divides data of one file to a distributed data storage system and recovery method distributed and stored in a plurality of storage devices.

【0002】 [0002]

【従来の技術】従来より大容量化、高スループット化を目的として、1つのファイルのデータを分割して、複数の記憶装置にストライピング格納するデータ格納方式が用いられている。 BACKGROUND ART Daiyo Conventionally capacity, for the purpose of high throughput, by dividing the data of a single file, the data storage system for striping stored in a plurality of storage devices have been used. このデータ格納方式では、格納されたデータを読み出す際、複数の記憶装置に対して並列的にアクセスすることができるため、高速なアクセスが可能となる。 In this data storage method, when reading the stored data, it is possible to parallel access to a plurality of storage devices, thereby enabling high-speed access.

【0003】しかし、このような従来のデータ格納方式では、1つの記憶装置に障害が発生すると、障害が発生した記憶装置にまたがって格納されているデータすべてにその影響が波及し、正常なアクセスができなくなるため、信頼性、耐障害性の点で重大な問題となる。 However, in such a conventional data storage system, when a failure occurs in one storage device, and that affects all data stored across the storage device failure is spread, the normal access since it becomes impossible, reliability, and a serious problem in terms of resiliency.

【0004】そこで、この問題に対する対策の1つとして、ある記憶装置に障害が発生しても、他の記憶装置から読み出せるように、複製したデータを別の記憶装置に保存する方式が知られている。 [0004] Therefore, as one of measures against this problem, even if failure is storage device occurs, as can be read from another storage device, method of storing the duplicated data to another storage device is known ing. 例えば、文献(Gregory For example, the literature (Gregory
R. R. “Disk Arrays High-Performance, High "Disk Arrays High-Performance, High
-Reliability Storage Subsystems”(ディスクアレイズ ハイパフォーマンス、ハイリライアビリティ、 -Reliability Storage Subsystems "(disk Areizu high-performance, High Reliability ability,
ストレッジ・サブシステム), IEEE Computer, Sutorejji subsystem), IEEE Computer,
March, 1994)では、RAID(RedundantArrays March, 1994) in, RAID (RedundantArrays
of Inexpensive Disks)方式を各LEVEL(レベル)毎に詳細に分類している。 of Inexpensive Disks) are classified in detail for each LEVEL (level) the system. RAID−0は、複数の記憶装置にデータを分割してストライピング格納する方式、RAID−1は、1つの記憶装置のデータの全く同一の複製を作る方式である。 RAID-0 is striping stores to system, RAID-1 by dividing the data into a plurality of storage devices is exactly the method of making the same copy of data of one storage device. また、これらを複合し、 In addition, composite of these,
ストライピングした各記憶装置の複製を用意しておく方式として、RAID−0+1方式がある。 As a method to be prepared a copy of each memory device in which striping, there is RAID-0 + 1 mode.

【0005】図18は、RAID−0+1方式のデータ格納システムの構成をブロック図にて示したものである。 [0005] Figure 18 is a diagram showing the configuration of a data storage system RAID-0 + 1 mode by a block diagram. 図18を参照して、このシステムでは、4個の記憶装置101−1〜101−4と、複製されたデータを格納する4個の記憶装置102−1〜102−4と、データ管理手段103と、を備えて構成されている。 Referring to FIG. 18, in this system, the four storage devices 101-1 to 101-4, the four storage devices 102-1 to 102-4 for storing the replicated data, the data management unit 103 It is configured to include a and.

【0006】図19に、それぞれの記憶装置に対するデータの格納例を模式的に示す。 [0006] Figure 19, an example of storing data for each storage device shown schematically. データ管理手段103 Data management means 103
は、1つのファイルのデータをブロック毎に分割し、最初のブロックを記憶装置101−1、次のブロックを1 Divides the data in one file for each block, the first block of the storage device 101-1, the next block 1
01−2と、順番に、記憶装置101−1〜101−4 And 01-2, in turn, the storage device 101-1 to 101-4
にストライピング格納して行き、図19に示すように、 Continue to striping stored, as shown in FIG. 19,
5番目のブロックは再び記憶装置101−1に格納する。 Fifth block is again stored in the storage device 101-1. また、このデータの複製についても同様にして、記憶装置102−1〜101−4にストライピング格納する。 Further, the copy of this data in the same manner, striping stored in the storage device 102-1~101-4.

【0007】このデータ格納システムにおいて、格納したデータの通常時の読み出しは、データ管理手段103 [0007] In this data storage system, normal readout of the stored data, the data management unit 103
を通して、記憶装置101−1〜101−4から格納されたデータを読み出すことになる。 Through, thereby reading the stored data from the storage device 101-1 to 101-4.

【0008】ここで、もし、いずれかの記憶装置に障害が発生した場合には、複製データを格納した記憶装置に切り替えてデータを読み出すことになる。 [0008] Here, if, when a failure occurs in any storage device, so that the read data is switched to the storage device storing the replicated data. 例えば、記憶装置101−1に障害が発生して、記憶装置101−1 For example, the storage device 101-1 fails, making storage device 101-1
〜101−4から正常なデータが読み出せなくなった場合、データ管理手段103は、データの読み出し元を記憶装置102−1〜102−4に切り替えて、データの読み出しを継続する。 If normal data is not be read from ~101-4, the data management unit 103 switches the data reading source in the storage device 102-1 to 102-4, and continues to read the data. また、障害発生後の復旧処理では、多重化されたデータの整合性を保つために、データの失なわれた記憶装置101−1に対して記憶装置10 Further, in the recovery process after a failure, in order to maintain the integrity of the multiplexed data, the storage device to the storage device 101-1 which lost data 10
2−1からデータを複製して元の状態に復旧する。 Restored to its original state by replicating data from 2-1.

【0009】 [0009]

【発明が解決しようとする課題】上記した従来のデータ格納方式は、同一のデータを複数の記憶装置に冗長格納することにより信頼性を高めており、また、障害時のパフォーマンス低下も抑えているが、それでも、複数の記憶装置の障害や、記憶装置以外の障害については対応できない、という問題点を有している。 Conventional data storage scheme above The object of the invention is to solve the above-by redundant store the same data to a plurality of storage devices and to enhance the reliability, also is suppressed even performance degradation when a fault but nevertheless, or failure of the plurality of storage devices can not deal for disorders other than the storage device has a problem that.

【0010】例えば、図18を参照して、同時に、記憶装置101−1、複製データ格納用記憶装置102−1 [0010] For example, with reference to FIG. 18, at the same time, the storage device 101-1, the copy data storage memory 102-1
に障害が発生した場合や、記憶装置101−1〜101 If a failure occurs, or the storage device 101-1 to 101
−4、および複製データ格納用記憶装置102−1〜1 -4, and copy data storage for storage 102-1~1
02−4を管理しているデータ管理手段103に障害が発生した場合、その後の正常なアクセスは不可能となる。 If 02-4 to the data management unit 103 that manages the failure, then the normal access becomes impossible.

【0011】また、いずれかの記憶装置に障害が発生した後の復旧処理として、障害が発生した記憶装置を修理あるいは交換することになるが、障害の発生により、格納されていたデータが失われたり、復旧処理の間に、当該記憶装置に格納されているデータの複製を持つ記憶装置で更新が行なわれていると、データの整合性が保たれなくなる。 Further, as a recovery process after a failure occurs in any storage device, but will be repaired or replaced the memory device failure, the occurrence of a failure, data stored is lost or, during the recovery process, the updated memory device having a copy of data stored in the storage device is being performed, data integrity can not be maintained.

【0012】このために、障害の発生した記憶装置に対して、その複製を持つ正常な記憶装置から障害によって失われたデータを復旧する手段が必要となる。 [0012] For this, on the failed storage device failure, the means for recovering the data lost by the fault from a normal storage device with its replication necessary.

【0013】また、復旧処理の間にも、正常な記憶装置に対しては、通常運用のアクセスが継続して行なわれている。 Further, even during the recovery process, for normal storage, and access of the normal operation is continuously performed. このため、この復旧処理中の状態下では、復旧処理のための読み出し処理と、通常運用のアクセス処理と、が同時に競合することになる。 Therefore, under conditions in this recovery process, the reading process for the recovery process, the access processing of the normal operation, but will compete at the same time.

【0014】ところが、各記憶装置にアクセス可能な帯域には上限があり、この帯域の範囲内でしかアクセスすることができない。 [0014] However, there is an upper limit to the accessible bandwidth in the storage device, it can only be accessed within this band. すなわち、通常運用のアクセスを優先させれば、復旧処理の読み出しが妨げられ、復旧処理の読み出しを優先されれば、通常運用のアクセスが妨げられることになる。 That, if priority is given to the access of the normal operation, the recovery process of the reading is disturbed, if priority is given to read the recovery process, so that the access of the normal operation is prevented.

【0015】そして、この復旧処理のためのデータ読み出しは、迅速かつなるべく短時間に行なわねばならない。 [0015] Then, data reading for this recovery process, quickly and must be carried out as much as possible short time. すなわち、障害が発生してから元の状態に復旧するまでには、多重化された片側のデータ格納部のみで運用されており、さらに、このデータ格納部にも続けて障害が発生するような事態になることは回避しなければならない。 That is, since the failure to recover to its original state is operated only in the data storage unit of one multiplexed, further, that a failure occurs continuously in the data storage unit must be avoided is to become a situation.

【0016】しかし、復旧処理のための読み出しを優先させ、障害の発生した記憶装置の複製を持つ正常な記憶装置の負荷が増大すると、通常運用のアクセス性能は大幅に低下する。 [0016] However, the read is given priority for recovery processing, the load of the normal memory device having a copy of the generated storage device failure is increased, access performance of normal operation is greatly reduced. その理由は次の通りである。 The reason for this is as follows.

【0017】すなわち、ファイルのデータが分割され複数の記憶装置に分散して格納されているために、各データを1つのファイルとして読み出すためには、各記憶装置に対して並列的に読み出しが行なわれる。 [0017] That is, because the data files are stored across a plurality of storage devices are divided, in order to read the data as a single file, parallel read performed for each storage device It is. ところが、 However,
ある記憶装置に対する負荷が増大したアンバランスな状況では、該負荷が増大した記憶装置からの読み出し応答が遅延するために、各記憶装置のデータが一度に揃わないと、1つのファイルとして扱うことができず、その結果、ファイル全体の読み出しに対する応答が遅れることになる。 The unbalanced situation where the load is increased for a memory device, in order to read the response from the memory device the load is increased is delayed, the data of each storage device is not aligned at one time, it is handled as a single file It can not, as a result, will be delayed response to the overall read files.

【0018】したがって、本発明は上記問題点に鑑みてなされたものであって、その第1の目的は、1つのファイルのデータを複数の記憶装置に分散して格納する分散データ格納システムにおいて、各記憶装置や、各記憶装置に分散格納されたデータをアクセスする手段に障害が発生した場合でも、正常な運用を継続可能とするデータ格納システムを提供することにある。 Accordingly, the present invention was made in view of the above problems, in the first object, a distributed data storage system for storing and distributing data from a single file across multiple storage devices, and each of the storage devices, even if a failure occurs in the means for accessing a distributed data stored in the storage device is to provide a data storage system that allows continued normal operation.

【0019】また、本発明の第2の目的は、障害の発生した記憶装置に格納されていたデータを元の状態に復旧するための手段を有するデータ格納システムを提供することにある。 [0019] A second object of the present invention is to provide a data storage system having a means for recovering the data stored in the storage device from the failed the original state.

【0020】また、本発明の第3の目的は、障害の発生した記憶装置に格納されていたデータを元の状態に復旧する際に、各記憶装置の帯域を均等に有効活用し、通常運用のアクセス性能の劣化を最小限に抑えるとともに、 [0020] A third object of the present invention, when recovering the data stored in the storage device from the failed the original state, evenly effectively utilizing the bandwidth of each memory device, normal operation with to minimize the deterioration of access performance,
復旧処理時間を短縮する、データ格納システムの復旧処理方式を提供することにある。 Shorten the recovery processing time is to provide a recovery processing method of the data storage system.

【0021】 [0021]

【課題を解決するための手段】前記目的を達成するため、本願第1発明は、1つのファイルのデータを分割し、複数の記憶装置に分散して格納するデータ格納システムにおいて、分散されたデータを格納する複数の記憶装置と、分割されたデータを複数の記憶装置に格納するデータ書込手段と、分割されたデータを複数の記憶装置から1つのファイルとして、読み出すデータ読出手段と、を有する複数の多重化されたデータ格納部と、各データ格納部に発生した障害を監視する障害監視手段と、 Means for Solving the Problems] To achieve the above object, a first aspect of the present invention divides the data of a single file, in a data storage system that stores distributed across multiple storage devices, distributed data has a plurality of memory devices for storing a data writing means for storing the divided data into a plurality of storage devices, the divided data as a single file from a plurality of storage devices, a data reading means for reading, a a plurality of multiplexed data storage unit, and the failure monitoring means for monitoring a fault occurring in the data storage unit,
複数のデータ格納部に同一のデータを格納するデータ複製手段と、複数のデータ格納部から格納されたデータを読み出すデータ読出切替手段と、を備えたことを特徴とする。 Characterized by comprising a data replication means for storing the same data to a plurality of data storage unit, a data reading switching means for reading stored data from a plurality of data storage unit.

【0022】本願第2発明は、多重化されたデータ格納部から構成される分散データ格納システムにおいて、データ格納部に障害が発生して格納されていたデータが失われた際、運用を継続している他のデータ格納部から障害の発生したデータ格納部へデータを転送することによりシステムを復旧するデータ復旧手段を有することを特徴とする。 The present second invention, in a distributed data storage system composed of multiplexed data storing unit, when the data in the data storage unit failure is stored generated is lost to continue to operate It characterized by having a data recovery means for recovering the system by transferring the data from the other data storage unit is to generated data storage unit failure.

【0023】本願第3発明は、多重化されたデータ格納部から構成される分散データ格納システムにおいて、データ格納部毎に異なる格納順序を生成する格納順序生成手段と、データ格納部内の複数の記憶装置から複製されたデータを並列的に読み出す並列データ復旧手段と、を有することを特徴とする。 The third aspect of the present invention, in the distributed data storage system configured from the multiplexed data storage unit, and the storage sequence generating means for generating a different storage order for each data storage unit, a plurality of storage in the data storage unit and parallel data recovery means for reading replicated data from the devices in parallel, characterized by having a.

【0024】 [0024]

【発明の実施の形態】本発明の実施の形態について以下に説明する。 The embodiment of the embodiment of the present invention will be described below. 本発明は、その好ましい実施の形態において、分割されたデータを格納する複数の記憶装置(図1 The present invention, in the form of its preferred embodiment, a plurality of storage devices for storing the divided data (Fig. 1
の1−1〜1−4、2−1〜2−4)と、分割されたデータを複数の記憶装置に格納するデータ書込手段(図1 With 1-1~1-4,2-1~2-4), the data writing means for storing the divided data to a plurality of storage devices (Fig. 1
の3、4)と、分割されたデータを複数の記憶装置から1つのファイルとして読み出すデータ読出手段(図1の5、6)と、を有する、多重化された複数のデータ格納部(図1の1、2)を備え、各データ格納部に発生した障害を監視する障害監視手段(図の7)と、複数のデータ格納部に対して同一のデータを供給するデータ複製手段(図1の8)と、複数のデータ格納部から、同時に又は選択的に格納されたデータを読み出すデータ読出切替手段(図1の9)と、を備えている。 And 3,4), a data reading means for reading the divided data from a plurality of storage devices as a single file (5,6 in Fig. 1), having a multiplexed plurality of data storage unit (Fig. 1 1,2) provided with a fault monitoring means for monitoring a fault occurring in the data storage unit (7 in the figure), the data replication means for supplying the same data to a plurality of data storage unit (in FIG. 1 8) includes a plurality of data storage unit, a data read switching means for reading out data stored at the same time or selectively (9 in FIG. 1), the.

【0025】本発明は、その好ましい実施の形態によれば、1つのファイルのデータを分割し、複数の記憶装置に分散して格納するデータ格納システムにおいて、データ複製手段(図1の8)により、各データ格納部(図1 The present invention, according to its preferred embodiments, to divide the data of a single file, in a data storage system that stores distributed across multiple storage devices, the data replication means (8 in FIG. 1) each data storage unit (Fig. 1
の1、2)へ同一のデータを格納し、データ読出切替手段(図1の9)により、いずれのデータ格納部からも、 Storing the same data into 1,2) of the data read switching means (9 in FIG. 1), from any of the data storage unit,
同一のデータを読み出すことを可能にしている。 Is it possible to read the same data. また、 Also,
いずれかのデータ格納部に障害が発生して運用不能となっても、障害検出手段(図1の7)が障害が発生したことをデータ複製手段およびデータ読出切替手段に通知し、障害が発生したデータ格納部を切り離すことにより、システムの運用を停止させることなく、正常な運用を継続可能としている。 Even become inoperative either the data storage unit failure occurs, notifies that the failure detecting means (7 in FIG. 1) failure occurs in the data replication means and the data reading switching means, a failure occurs by separating the data storage unit, without stopping the operation of the system, thereby enabling continued normal operation.

【0026】また本発明は、その好ましい別の実施の形態において、1つのファイルのデータを分割し複数の記憶装置に分散して格納するデータ格納システムにおいて、データ復旧手段(図2の10)を備えたことにより、データ格納部に障害が発生した際、システムの運用を停止させることなく、正常な運用を継続しながら、元の状態まで復旧可能となる。 [0026] The present invention, in another preferred embodiment, in one divides the data of the file data storage system that stores distributed across multiple storage devices, data recovery means (10 in FIG. 2) by including a, when the data storage unit fails, without stopping the operation of the system, while continuing normal operations, it becomes possible restoration to the original state.

【0027】さらに本発明は、その好ましい別の実施の形態において、1つのファイルのデータを分割し複数の記憶装置に分散して格納するデータ格納システムにおいて、データ格納順序生成手段(図3の11)を備えたことにより、複数のデータ格納部に同一のファイルを格納する際、それぞれのデータ格納部に属する複数の記憶装置に対して全く同一の格納順序で分割された同一のファイルのデータを格納するのではなく、様々な順序で格納することが可能となる。 [0027] The present invention, in another preferred embodiment, in a data storage system that stores distributed to the divided plurality of storage devices data from a single file, the data storage order generating means (in Fig. 3 11 ) by providing a time of storing the same file to multiple data storage unit, the data of the same file that is divided exactly in the same storage order for a plurality of storage devices belonging to the respective data storage unit rather than storing, it is possible to store in various orders.

【0028】このため、同一のファイルをそれぞれのデータ格納部に格納する際、データ格納順序生成手段によって、一方のデータ格納部の1つの記憶装置に格納されるデータが、そのファイルの複製を格納するデータ格納部では複数の記憶装置に分散されて格納されるような格納順序になるように、データを分散格納する。 [0028] Therefore, when storing the same file to each of the data storage unit, the data storage order generating means, the data is stored in one storage device of one of the data storage unit, storing a copy of the file the data storage unit that to be storage order as stored is distributed to a plurality of storage devices, to distributed storage of data.

【0029】その後、障害発生した際の復旧処理において、1つの記憶装置に格納されるデータの複製を持つ正常なデータ格納部から読み出す際、並列データ復旧手段(図3の12)は、各記憶装置から並列的に復旧するためのデータを読み出すことが可能となる。 [0029] Then, in the recovery process when the failure occurs, when reading from the normal data storage section having a copy of data stored in one storage device, the parallel data recovery unit (12 in FIG. 3), each storage it is possible to read the data to recover in parallel from the device.

【0030】このため、本発明の実施の形態においては、1つの記憶装置に集中することが無く、負荷は分散されることになるので、復旧元のデータ格納部における各記憶装置の帯域を均等に活用し、通常運用のアクセス性能劣化を最小限に抑え、かつ復旧処理時間を短縮することが可能となる。 [0030] Therefore, in the embodiment of the present invention, without concentrating on one storage device, the load will be distributed evenly bandwidth of each storage device in the restoration source data storage unit utilizing the, minimal access performance degradation of the normal operation, and it is possible to shorten the recovery processing time.

【0031】 [0031]

【実施例】上記した本発明の実施の形態について更に詳細に説明すべく、本発明の実施例について図面を参照して以下に説明する。 Furthermore in order to be described in detail [Example] Embodiments of the present invention described above will be described below with reference to the accompanying drawings embodiments of the present invention.

【0032】 [0032]

【実施例1】図1は、本発明の第1の実施例の構成をブロック図にて示したものである。 Embodiment 1 FIG. 1 is a configuration of a first embodiment of the present invention shown in a block diagram. 図1を参照して、本実施例は、1つのファイルのデータを格納するデータ格納部1と、同一の複製されたファイルのデータを格納するデータ格納部2と、を含む、多重化されたデータ格納部により構成された分散データ格納システムとして構成されている。 Referring to FIG. 1, this embodiment includes a data storage unit 1 for storing data of a file, a data storage unit 2 for storing data of the same replicated file, and multiplexed It is configured as a distributed data storage system constructed in accordance with the data storage unit. 本実施例においては、データ複製手段8、障害監視手段7、及び読出切替手段9を更に備えている。 In the present embodiment, the data replication means 8, further comprising failure monitor means 7, and a read switching unit 9.

【0033】データ格納部1は、複数の記憶装置1−1 The data storage unit 1, a plurality of storage devices 1-1
〜1−4、データ書込手段3、及びデータ読出手段5を備えて構成される。 ~1-4, data writing unit 3, and a data reading means 5 constructed. またデータ格納部2は、複数の記憶装置2−1〜2−4、データ書込手段4、及びデータ読出手段6を備えて構成される。 The data storage unit 2 is configured to include a plurality of storage devices 2-1 to 2-4, the data writing means 4, and the data reading unit 6.

【0034】データ書込手段3および4は、データ複製手段8から送られるファイルのデータを複数のデータに分割し、複数の記憶装置1−1〜1−4および2−1〜 The data writing means 3 and 4 divides the data file sent from the data replication unit 8 into a plurality of data, a plurality of storage devices 1-1 to 1-4 and 2-1
2−4へデータを書き込む。 2-4 and writes the data to.

【0035】データ読出手段5および6は、複数の記憶装置1−1〜1−4および2−1〜2−4に分割されて格納されているデータを各記憶装置から読み出して1つのファイルとして扱う手段であり、読み出したデータを、読出切替手段9へ転送する。 The data reading means 5 and 6, as one file by reading the data stored is divided into a plurality of storage devices 1-1 to 1-4 and 2-1 to 2-4 from the memory device a means for handling the read data is transferred to the readout switching means 9.

【0036】障害監視手段7は、各データ格納部1、2 The failure monitoring unit 7, the data storage units 1 and 2
の状態を監視し、各データ格納部1、2を構成する各記憶装置1−1〜1−4、2−1〜2−4、データ書込手段3、4あるいはデータ読出手段5、6に障害が発生し、正常な動作が不可能になったことを検出すると、データ複製手段8および読出切替手段9に障害が発生したことを通知する。 Monitoring the state, the storage device 1-1~1-4,2-1~2-4 constituting each data storage unit 1 and 2, the data writing means 3, 4 or the data reading means 5 and 6 failure occurs, when it is detected that the normal operation becomes impossible, notifies that the data replication means 8 and a read switching unit 9 fails.

【0037】データ複製手段8は、このデータ格納システムに格納するファイルのデータを複製し、データ格納部1および2のデータ書込手段3および4に対して、格納するデータをそれぞれ送信する。 The data replication means 8 replicates data files to be stored in the data storage system, to the data storage unit 1 and the second data writing means 3 and 4, and transmits the data to be stored, respectively.

【0038】読出切替手段9は、データ格納部1および2に格納されている同一のファイルのデータをそれぞれ選択的にあるいは同時に読み出す。 The readout switching means 9, the same that is stored in the data storage unit 1 and 2 file data read are selectively or simultaneously.

【0039】まず、本実施例における、各データ格納部1、2におけるデータ管理方式について説明する。 Firstly, in the present embodiment, a description will be given of a data management method of each data storage unit 1. データ格納部1におけるデータの管理方式について説明する。 It described management method for data in the data storage unit 1.

【0040】図4は、データ格納部1において各記憶装置1−1〜1−4にファイルのデータを分散して格納した状態を模式的に示す図である。 [0040] Figure 4 is a diagram schematically showing a state that stores distributed file data in the respective storage devices 1-1 to 1-4 in the data storage unit 1. 1つのファイルのデータを分割したデータは、まず記憶装置1−1内に格納され、次に記憶装置1−2と順次格納していき記憶装置1 Data obtained by dividing one file data is first stored in the storage device 1-1, then the storage device 1-2 sequentially stored to continue the storage device 1
−4まで格納されると、次の分割されたデータは、巡回的に、記憶装置1−1へと格納される。 And stored to -4, the next divided data, cyclically stored into storage device 1-1.

【0041】また、データ書込手段3およびデータ読出手段5は、図6にその内容の一例を示すような分割データ管理テーブル20をそれぞれのファイル毎に各記憶装置単位で管理しており、分割されたデータが格納された各記憶装置およびその格納位置を識別可能である。 Further, the data writing unit 3 and the data reading unit 5 is managed by the storage device unit divided data management table 20 as an example of the contents 6 to each each file, divided data is identifiable to each storage device and a storage position is stored. この分割データ管理テーブル20は、データ書込手段3がデータを書き込む際に更新し、データ読出手段5がデータを読み出す際に参照される。 The divided data management table 20, data writing section 3 is updated when data is written, the data reading means 5 is referred to when reading the data. 図6を参照して、分割データ管理テーブル20は、一つのファイルに対して分割された各データの各記憶装置での格納位置(アドレス)を記憶保持しており、例えばファイル1の最初のデータはディスク1のアドレスA11、次のデータはディスク2のアドレスA21、3番目のデータはディスク3のアドレスA31、4番目のデータはディスク3のアドレスA41という情報が格納管理される。 Referring to FIG. 6, the divided data management table 20, the storage position in the storage device of each data divided for one file (address) is stored and held, for example, the first data file 1 the address of the disk 1 A11, the next data data A21,3 th address of the disk 2 data for address A31,4 th disc 3 is information that addresses A41 of the disc 3 are stored and managed.

【0042】図11は、本実施例におけるデータ複製手段8の動作を説明するためのフローチャートである。 [0042] Figure 11 is a flow chart for explaining the operation of the data replication means 8 in this embodiment. 図1及び図11を参照して、本実施例のデータ格納システムに、実際に、ファイルを書き込む際の、データ複製手段8の動作について以下に説明する。 Referring to FIGS. 1 and 11, the data storage system of this embodiment, in practice, when writing files will be described below the operation of the data replication means 8.

【0043】外部から、ファイルのデータを書き込む場合には、データ複製手段8に対して書き込み要求が発行される。 [0043] from the outside, when writing data of a file write request is issued to the data replication unit 8. 書き込み要求を受けたデータ複製手段は、まず、各データ格納部1、2において障害が発生していないことを確認する(ステップ30)。 Data replication unit which has received the write request, first, to make sure that the fault has not occurred in the data storage 1 (step 30).

【0044】いずれのデータ格納部にも障害が発生していなければ、そのファイルのデータを複製する(ステップ31)。 [0044] Unless also fails in any of the data storage unit, to replicate data of the file (step 31).

【0045】その後、各データ格納部1、2のデータ書込手段3、4に対して、複製したデータの書き込み要求を発行し、データの書き込みを行なう(ステップ3 [0045] Thereafter, the data writing means 3, 4 of each data storage unit 1 issues a duplicate write request data, writes data (Step 3
2)。 2).

【0046】一方、ステップ30において、いずれかのデータ格納部に障害が発生していた場合には、データの複製を行なわずに、正常なデータ格納部のデータ書込手段のみに対して、書き込み要求を発行する(ステップ3 Meanwhile, in step 30, when a fault has occurred in one of the data storage unit, without duplication of data, with respect to only the data writing means of the normal data storage unit, writing issues a request (step 3
3)。 3).

【0047】上記のようにして、データ複製手段8は、 [0047] As described above, data replication means 8,
本実施例のデータ格納システムに対してファイルのデータを書き込む際に動作する。 It operates when writing file data to the data storage system of this embodiment.

【0048】図14は、本実施例におけるデータ書込手段の動作を説明するためのフローチャートである。 [0048] Figure 14 is a flow chart for explaining the operation of the data writing unit in the present embodiment. 図1 Figure 1
及び図14を参照して、各データ格納部1、2に対して、実際にデータを書き込む際のデータ書込手段3および4の動作について以下に説明する。 And with reference to FIG. 14, for each data storage unit 1 will be described below actually operation of the data writing means 3 and 4 for writing data.

【0049】データ書き込み要求を受けたデータ書込手段3、4は、まず、データを書き込む開始オフセット、 The data writing means 3, 4 which has received the data write request, first, the starting offset to write data,
データ格納順序、データ格納周期を基に、書き込むべき記憶装置を特定し、データを分割する(ステップ5 Data storage order, based on the data storage period, identifies the memory device to be written, to divide the data (Step 5
0)。 0).

【0050】各分割したデータに対して、各記憶装置上の実際に格納する格納位置を特定し、分割データ管理テーブル20に格納位置を登録する(ステップ51)。 [0050] For each divided data, and identifying the location of actually stored on each storage device, and registers the storage location in the divided data management table 20 (step 51).

【0051】そして、分割したデータを各記憶装置上の定めた格納位置に並列的に書き込む(ステップ52)。 [0051] Then, in parallel with writing the divided data in a storage location defined on each storage device (step 52).
すべての分割されたデータを書き終えるまで、ステップ52の並列書き込み処理は繰り返される(ステップ53 Until after writing all of the divided data, the parallel writing process of step 52 is repeated (step 53
のNo分岐)、すべての分割されたデータを書き終えた場合には(ステップ53のYes分岐)、書き込みが完了することになる(ステップ54)。 No in), when it finished writing all the divided data (Yes branch of step 53), so that the writing is completed (step 54). 上記のようにして、各データ格納部1および2内のデータ書込手段3および4は、分割したファイルのデータを書き込む際に動作する。 As described above, the data writing means 3 and 4 in each data storage unit 1 and 2 operates when writing data of the divided file.

【0052】図12及び図13は、本実施例における読出切替手段9の動作を説明するためのフローチャートである。 [0052] FIGS. 12 and 13 are flowcharts for explaining the operation of the readout switch means 9 in this embodiment. なお、図12及び図13は図面作成の都合で分図されたものである。 Incidentally, FIGS. 12 and 13 are those divided FIG convenience of creating drawings. 図1及び図14を参照して、本実施形態のデータ格納システムに対して、実際に格納されたファイルのデータを読み出す際の読出切替手段9の動作について以下に説明する。 Referring to FIGS. 1 and 14, for the data storage system of the present embodiment will be described below actually operation of the read switch means 9 for reading the data of the stored files.

【0053】本実施例のデータ格納システムからファイルのデータを読み出す場合には、読出切替手段9に対して読み出し要求が発行される。 [0053] If from the data storage system of the present embodiment reads data of a file, read request is issued to read switching unit 9. 読み出し要求を受けた読出切替手段9は、まず、各データ格納部1、2において障害が発生していないことを確認する(ステップ4 Reading switching unit 9 which receives a read request, first, to make sure that the fault has not occurred in the data storage 1 (Step 4
0)。 0).

【0054】いずれのデータ格納部にも障害が発生していなければ、読み出すファイルを格納している各データ格納部1および2内のデータ読出手段5および6へ、読み出し要求を発行し、データを読み出す(ステップ4 [0054] Unless also fails in any of the data storage unit, the data reading means 5 and 6 of each data storage unit 1 and the 2 stores the file to read, and issues a read request, data read (step 4
1)。 1).

【0055】ここで、データ読み出し要求元へ、実際に読み出したデータを返却するタイミングを確認する(ステップ43)。 [0055] In this case, the data read request source, to make sure the timing to return the actually read data (step 43).

【0056】返却するタイミングは、高速応答性を重視するために、いずれかのデータ格納部1あるいは2から先に読み出せた方のデータを要求元へ返却する(ステップ44)、あるいは信頼性を重視するために、両者のデータに相違が無いことを確認してから読み出したデータを要求元へ返却する方法がある(ステップ45)。 [0056] The timing to return, in order to emphasize the high-speed response, and returns the data of those who read out earlier either from the data storage unit 1 or 2 to the requestor (step 44), or the reliability to emphasize, there is a method to return the read data after confirming that there is no difference in both the data to the requestor (step 45).

【0057】一方、ステップ40において、いずれかのデータ格納部に障害が発生していた場合には、正常なデータ格納部のデータ読出手段のみに読み出し要求を発行する(ステップ42)。 Meanwhile, in step 40, when a fault has occurred in one of the data storage unit, and issues a read request only to the data reading means of the normal data storage section (Step 42).

【0058】正常なデータ格納部から読み出したデータを要求元へ返却する(ステップ46)。 [0058] returns the read data from the normal data storage unit to the requestor (step 46). 上記ようにして、読出切替手段9は、本実施例のデータ格納システムに対してファイルのデータを読み出す際に動作する。 In the above so, reading switching unit 9 is operated when reading the data file to the data storage system of this embodiment.

【0059】図15は、本実施例におけるデータ格納部のデータ読出手段の動作を説明するためのフローチャートである。 [0059] Figure 15 is a flowchart for explaining the operation of the data reading means in the data storage unit in the present embodiment. 図1及び図15を参照して、本実施例において、各データ格納部1および2に対して、実際にデータを読み出す際のデータ読出手段5および6の動作について説明する。 Referring to FIGS. 1 and 15, in this embodiment, for each data storage unit 1 and 2, it will be described actually operation of the data reading means 5 and 6 for reading data.

【0060】データ読み出し要求を受けたデータ読み出し手段5および6は、まず、読み出し開始オフセット、 [0060] Data reading means 5 and 6 which has received the data read request, first, the read start offset,
データ格納順序、データ格納周期、分割データ管理テーブルから、該当するデータが格納されている記憶装置と読み出し位置を特定する(ステップ60)。 Data storage order, data storage period, the divided data management table, identifies the memory device and a read position corresponding data is stored (step 60).

【0061】各記憶装置に格納されている分割されたファイルのデータを各記憶装置から並列に読み出す(ステップ61)。 [0061] reading the data of the files that are divided are stored in each storage device in parallel from each of the storage devices (step 61).

【0062】全ての要求されたデータを読み出すまで、 [0062] to read all of the requested data,
ステップ61の動作を継続する(ステップ62)。 To continue the operation of step 61 (step 62).

【0063】読み出した分割されたファイルのデータを1つのファイルのデータとして、要求元へ返却する(ステップ63)。 [0063] The data of the divided files as data of one file read out, returns to the requestor (step 63).

【0064】上記のようにして、各データ格納部1および2内のデータ読出手段5および6は、分割されたファイルのデータを読み出す際に動作する。 [0064] As described above, data read means 5 and 6 within each data storage unit 1 and 2 operate when reading the data of the divided file.

【0065】次に、本実施例のデータ格納システムに障害が発生した場合の動作について説明する。 Next, the operation of the case where the data storage system of this embodiment fails. 以下では、 In the following,
データ格納部1の記憶装置1−1に障害が発生した場合を想定する。 Failure assumed that occurred in the storage device 1-1 of the data storage unit 1. この状況下では、データ格納部1において、記憶装置1−1を跨いで分散格納されたデータは、 In this situation, the data storage unit 1, data distributedly stored across the storage device 1-1,
1つのファイルのデータとして読み出す際、部分的に欠け落ちた不完全なデータしか得られなくなる。 When read as a single file data, only partially chipped fell incomplete data obtained not. また、記憶装置1−1に対して新たにデータを書き込むことができなくなるため、もはや、データ格納部1では運用が不可能である。 Further, it becomes impossible to write new data to the storage device 1-1, longer, it is impossible to operate the data storage unit 1. そこで、データ格納部1の各構成要素のいずれかに障害が発生した場合には、即座にシステムから切り離し、データ格納部2のみで運用を継続する。 Therefore, if one of the components of the data storage unit 1 fails, immediately disconnected from the system to continue to operate only at the data storage unit 2.

【0066】まず、障害監視手段7が、データ格納部1 [0066] First, the failure monitoring unit 7, the data storage unit 1
の記憶装置1−1に障害が発生したことを検出すると、 When the storage device 1-1 a failure detection of occurrence,
障害監視手段7は、データ複製手段8および読出切替手段9に対して、データ格納部1の記憶装置1−1に障害が発生したことを通知する。 Failure monitoring means 7 notifies the data replication means 8 and a read switching unit 9, the storage device 1-1 of the data storage unit 1 fails.

【0067】障害発生の通知を受けたデータ複製手段8 [0067] The data was notified of the failure duplication means 8
は、データ格納システムにファイルのデータを格納する際に、データ格納部1に対してデータの転送は行なわず、データ格納部2のデータ書込手段4に対してのみ格納するデータを転送する。 , When stored in the data storage system data files, data transfer is not performed with respect to the data storage unit 1, and transfers the data to be stored to the data writing unit 4 of the data storage unit 2 only.

【0068】同様にして、読出切替手段9では、データ格納部1から格納されたデータの読み出しは行なわず、 [0068] In the same manner, the read switching means 9 reads the stored data from the data storage unit 1 is not performed,
データ格納部2のデータ読出手段6からのみデータを読み出し、運用をそのまま継続する。 It reads data only from the data readout unit 6 of the data storage unit 2, as it continues the operation.

【0069】以上のように、複数の記憶装置にファイルのデータを分割して格納する本実施例のデータ格納システムにおいては、データ格納部を多重化させ、それぞれのデータ格納部に、同一のファイルのデータを格納し、 [0069] As described above, in the data storage system of this embodiment to store by dividing the data file into a plurality of storage devices, to multiplex the data storage unit, each of the data storage unit, the same file stores of data,
データ複製手段、読出切替手段、障害監視手段を備えて構成したことにより、いずれかのデータ格納部内に障害が発生しても、システムを停止させることなく、通常の運用を継続することができる。 Data replication unit, reading switching means, by which is configured with a failure monitoring unit, even if a failure on any of the data storage portion occurs, without stopping the system can continue normal operation.

【0070】 [0070]

【実施例2】次に本発明の第2の実施例について説明する。 Example 2 will now be described a second embodiment of the present invention. 図2は、本発明の第2の実施例の構成をブロック図にて示したものである。 FIG. 2 shows the structure of a second embodiment of the present invention shown in a block diagram. 図2を参照して、本実施例は、 Referring to FIG. 2, this embodiment,
前記第1の実施例と同様に、1つのファイルのデータを格納するデータ格納部1および同一の複製されたファイルのデータを格納するデータ格納部2からなる多重化されたデータ格納部により構成される分散データ格納システムである。 Similar to the first embodiment, is constituted by a single multiplexed data storage unit and a data storage unit 2 for storing data of the data storage unit 1 and the same replicated file storing data of the file that is a distributed data storage system. データ格納部1は、複数の記憶装置1−1 Data storage unit 1, a plurality of storage devices 1-1
〜1−4、データ書込手段3、及びデータ読出手段5から構成され、データ格納部2は、複数の記憶装置2−1 ~1-4, data writing unit 3, and is configured from the data reading means 5, the data storage unit 2, a plurality of storage devices 2-1
〜2−4、データ書込手段4、及びデータ読出手段6から構成され、障害監視手段7、データ複製手段8、読出切替手段9を含む。 ~2-4, and a data writing unit 4 and the data reading unit 6, comprising failure monitor means 7, the data replication means 8, the readout switching means 9.

【0071】さらに本実施例は、データ復旧手段10を備えて構成されており、データ復旧手段10は、障害の発生したデータ格納部内の記憶装置で失われたデータをその複製を持つ通常の運用を継続しているデータ格納部から読み出し、障害の発生したデータ格納部内の記憶装置へ書き戻す処理を行なう。 [0071] The present embodiment is configured by a data recovery unit 10, the data recovery means 10, normal operation with that replicate data that has been lost in storage in generated data storage unit failures read from the data storage unit that continues, performs the processing written back to the storage device in the generated data storage unit failure.

【0072】以下では、データ格納部1における各記憶装置1−1〜1−4に格納されているデータの複製が、 [0072] In the following, the replication of data stored in the storage devices 1-1 to 1-4 in the data storage unit 1,
データ格納部2における各記憶装置2−1〜2−4にそれぞれ格納されている状況において、データ格納部1における記憶装置1−1に障害が発生した場合の、本実施例におけるデータ復旧処理の動作について説明する。 In situations respectively stored in the storage devices 21 to 24 in the data storage unit 2, when the storage device 1-1 in the data storage unit 1 fails, the data recovery process in this embodiment the operation will be described.

【0073】まず、データ格納部1の記憶装置1−1に障害が発生したことを障害監視手段7が検出すると、障害監視手段7は、データ複製手段8、読出切替手段9およびデータ復旧手段10に対して、データ格納部1の記憶装置1−1に障害が発生したことを通知する。 [0073] First, when the failure monitoring unit 7 that the storage device 1-1 of the data storage unit 1 fails to detect fault monitoring unit 7, the data replication means 8, the read switching unit 9 and the data recovery unit 10 respect, to notify that the storage device 1-1 of the data storage unit 1 fails.

【0074】障害発生の通知を受けたデータ複製手段8 [0074] The data was notified of the failure duplication means 8
は、データ格納システムにファイルのデータを格納する際、障害の発生したデータ格納部1に対しては、データの転送を行なわず、データ格納部2のデータ書き込み手段4に対してのみデータを転送することで、運用を継続する。 The transfer time of storing in the data storage system the data of the file, for the data storage unit 1 failed, without transfer of data, the data only to the data writing means 4 of the data storage unit 2 by, it continues to operate. 同様に、読出切替手段9は、障害の発生したデータ格納部1からはデータの読み出しを行なわず、データ格納部2のデータ読出手段6からのみデータを読み出すことで、運用を継続する。 Similarly, read switching means 9, without the reading of data from the data storage unit 1 failed, by reading the data only from the data reading means 6 of the data storage unit 2, continue to operate.

【0075】しかし、その後、システムが回復し、正常な運用の準備が整ったデータ格納部1では、障害によって失われたデータを修復する必要がある。 [0075] However, thereafter, the system is restored, the data storage unit 1 is ready for normal operation, it is necessary to repair the data lost by the fault.

【0076】図16は、本実施例におけるデータ復旧手段10の動作を説明するためのフローチャートである。 [0076] Figure 16 is a flow chart for explaining the operation of the data recovery unit 10 in this embodiment.
図2及び図16を参照して、本実施例のデータ格納システムにおいて、実際にデータを復旧する際のデータ復旧手段10の動作について説明する。 Referring to FIGS. 2 and 16, in a data storage system of this embodiment will be described actually operation of the data recovery means 10 when recovering data.

【0077】データ復旧手段10は、データの復旧開始の要求を受けると、障害によって失われたデータの複製を持つデータ格納部2の記憶装置2−1から格納されているデータをデータ格納部2のデータ読出手段6を通して、データ読み出しを開始する(ステップ70)。 [0077] Data recovery means 10 receives a request for restoration start of the data, the data storage unit 2 of the storage device 2-1 the data storage unit 2 the data stored from having a copy of data lost due to failure through the data reading unit 6, it starts data read (step 70).

【0078】データ格納部2のデータ読出手段6から読み出したデータをデータ格納部1のデータ書込手段3を経由し、復旧する記憶装置1−1へデータを書き込む(ステップ71)。 [0078] The data read from data reading unit 6 of the data storage unit 2 via the data writing unit 3 of the data storage unit 1, writing data in the storage device 1-1 to recover (step 71). 以上の処理は、記憶装置2−1内のすべてのデータが読み出されて、記憶装置1−1へ書き込まれるまで継続する(ステップ72)。 Above process, all of the data in the storage device 2-1 is read, and continues until they are written to the storage device 1-1 (step 72).

【0079】上記のようにして、本実施例のデータ格納システムは、データ復旧手段10を備えたことにより、 [0079] As described above, the data storage system of this embodiment is provided with the data recovery unit 10,
システムを停止させることなく通常の運用を継続しながら、元の状態まで復旧することができる。 While continuing normal operation without stopping the system, it can be restored to the original state.

【0080】 [0080]

【実施例3】次に本発明の第3の実施例について説明する。 Third Embodiment Next, a third embodiment of the present invention will be described. 図3は、本発明の第2の実施例の構成をブロック図にて示したものである。 Figure 3 is a configuration of a second embodiment of the present invention shown in a block diagram. 図3を参照して、本実施例は、 Referring to FIG. 3, this embodiment,
前記第1および第2の実施例と同様に、1つのファイルのデータを格納するデータ格納部1および同一の複製されたファイルのデータを格納するデータ格納部2からなる多重化されたデータ格納部により構成される分散データ格納システムである。 Wherein similarly to the first and second embodiments, one of the multiplexed data storage unit and a data storage unit 2 for storing data of the data storage unit 1 and the same replicated file storing data of the file a distributed data storage system composed of. データ格納部1は、複数の記憶装置1−1〜1−4、データ書込手段3、及びデータ読出手段5から構成され、データ格納部2は、複数の記憶装置2−1〜2−4、データ書込手段4、及びデータ読出手段6から構成されている。 Data storage unit 1, a plurality of storage devices 1-1 to 1-4, and a data writing means 3, and the data reading unit 5, the data storage unit 2, a plurality of storage devices 2-1 to 2-4 , and a data writing unit 4 and the data reading unit 6. 本実施例は、障害監視手段7、データ複製手段8、読出切替手段9および並列データ復旧手段12を含み、さらに、データ格納順序生成手段11を備えて構成されている。 This example, failure monitoring unit 7, the data replication means 8 comprises a read switching means 9 and a parallel data recovery unit 12, furthermore, is configured to include a data storage order generation unit 11.

【0081】データ格納順序生成手段11は、それぞれのデータ格納部1、2において、ファイルのデータを分割し、各記憶装置に分散格納する際の格納順序を決定する手段であり、各データ格納毎に異なる格納順序を生成することが可能である。 [0081] Data storage order generating means 11 in each of the data storage unit 1 divides the data of the file, a means for determining the storage order when dispersed stored in respective storage devices, each data storage each the it is possible to generate a different storage order.

【0082】各データ格納部1、2に対し、ファイルのデータを分割して格納する際、あるいは分割されたデータを1つのファイルとして読み出す際は、データ格納順序生成手段11によって生成された格納順序に従って行なわれる。 [0082] For each data storage unit 1, when storing by dividing the data of the file, or when reading the divided data as a single file, stored sequence generated by the data storage order generating means 11 It is carried out in accordance with.

【0083】また、データ格納順序生成手段11は、図7に内容の一例を示すような格納順序テーブル21を管理する。 [0083] Further, the data storage order generation unit 11 manages the storage sequence table 21 as an example of the content in FIG. 格納順序テーブル21では、各データ格納部1、2毎に格納格納順序列および格納周期を管理している。 Storing sequence table 21 manages the storing order of storage hierarchy and storing period for each of the data storage unit 2. このうち、格納順序列は、各データ格納部1、2の内部において、各記憶装置を一意に識別する記憶装置I Of these, storage order hierarchy, in the interior of each of the data storage unit 1, uniquely identifying the storage device I each storage device
Dの列であり、例えば、データ格納部1では、記憶装置1−1が「1」、記憶装置1−2が「2」と割り当てられ、データ格納部2では、記憶装置2−1が「1」、記憶装置2−2が「2」と割り当てられる。 A column and D, for example, the data storage unit 1, the storage device 1-1 is "1", the storage device 1-2 is assigned "2", the data storage unit 2, the storage device 2-1 is " 1 ", the storage device 2-2 is assigned" 2 ".

【0084】次に本実施例のデータ格納システムにおいて、各データ格納部1、2に同一のファイルのデータを格納した際のデータ管理方式について説明する。 [0084] Next, in the data storage system of this embodiment will be described data management method when storing the data in the same file in the data storage unit 2. 図4 Figure 4
は、データ格納部1において各記憶装置1−1〜1−4 , Each storage device in the data storage unit 1 11 to 14
にファイルのデータを分割して格納した状態を模式的に示す図であり、図5は、データ格納部2において各記憶装置2−1〜2−4にファイルのデータを分割して格納した状態を模式的に示す図である。 State is a state in which stored by dividing the data of the file a diagram schematically showing, FIG. 5, stored in the storage device 2-1 through 2-4 by dividing the data file in the data storage unit 2 which is a diagram schematically showing.

【0085】データ格納部1および2の各記憶装置1− [0085] Each storage device of the data storage unit 1 and 2 1-
1〜1−4、および2−1〜2−4に格納されたファイルは、格納順序生成手段11によって生成された格納周期および格納順序列で格納されており、この格納周期と格納順序列とに基づいて、データ書込手段3は、1つのファイルのデータを分割して格納し、データ読出手段5 1~1-4, and the file stored in the 2-1 to 2-4, storing order generation unit 11 are stored in the storage period and storage order rank is generated by, and the storage period and storage order rank based on the data writing means 3, and stores the divided data of a file, the data reading means 5
は、各記憶装置1−1〜1−4から分割されたデータを、この格納周期と格納順序列に基づいて1つのファイルのデータとして読み出す。 Reads the data divided from each of the storage devices 1-1 to 1-4, as the data of a file based on the storage order ordering this storage period.

【0086】図4を参照して、データ格納部1におけるデータ格納順序生成手段11で生成された格納順序は、 [0086] With reference to FIG. 4, storage sequence generated by the data storage order generating means 11 in the data storage unit 1,
格納周期が「4」で、格納順序1、2、3、4であることを示している。 Storage period is "4", indicating that storage is the order 1,2,3,4. すなわち、データ格納部1にファイルのデータを分割して格納する際は、分割されたファイルのデータの最初のデータは記憶装置1−1に、次のデータは記憶装置1−2に、3番目のデータは記憶装置1− That is, when stored in the data storage unit 1 divides the data file, the first data of the data of the divided file in the storage device 1-1, the following data to the storage device 1-2, the third the data storage device 1
3に、4番目のデータは記憶装置1−4に、と順番に格納する。 3, the fourth data stored in the storage device 1-4, and in order. ここで周期は「4」であるため、5番目のデータは再び記憶装置1−1に格納される。 Here, since the period is "4", 5 th data is again stored in the storage device 1-1. 結局、記憶装置1−1には、ファイルを分割した1、5、9、…番目のデータ、記憶装置1−2には、2、6、10、…番目のデータ、記憶装置1−3には、3、7、11、…番目のデータ、記憶装置1−4には、4、8、12、…番目のデータが、それぞれ格納される。 After all, in the storage device 1-1, 1, 5, and 9 obtained by dividing the file, ... th data, the storage device 1-2, 2, 6, 10 ... th data, the storage device 1-3 is 3, 7, 11, ... th data, the storage device 1-4, 4, 8, 12 are ... th data, are stored, respectively.

【0087】一方、図5を参照して、データ格納部1に格納されたファイルのデータと同一のデータが、データ格納部2に格納されていることを示している。 [0087] Meanwhile, referring to FIG. 5, the file data and the same data stored in the data storage unit 1, indicating that it is stored in the data storage unit 2. データ格納部2では、データ格納順序生成手段11で生成された格納周期が「16」であり、格納順序列は、1、2、 The data storage unit 2, a storage period that is generated in the data storage order generation unit 11 is "16", storage order hierarchy is 1,2,
3、4、2、3、4、1、3、4、1、2、4、1、 3,4,2,3,4,1,3,4,1,2,4,1,
2、3の順であることを示している。 Indicates that the order of 2,3. すなわち、記憶装置2−1には、ファイルを分割した1、8、11、…番目のデータ、記憶装置2−2には、2、5、12、…番目のデータ、記憶装置2−3には、3、6、9、…番目のデータ、記憶装置2−4には、4、7、10、…番目のデータがそれぞれ格納される。 That is, the storage device 2-1, 1,8,11 divided file, ... th data, the storage device 2-2, 2,5,12, ... th data, the storage device 2-3 is 3,6,9, ... th data, the storage device 2-4, 4,7,10, ... th data is stored, respectively.

【0088】上記した格納例はあくまでも一例であって、データ格納順序生成手段11は、各データ格納部1、2毎に様々な周期および格納順序列を生成して用いることができる。 [0088] storing the above example is merely one example, the data storage sequence generation unit 11 may be used to generate a variety of cycle and storage order rank for each of the data storage unit 2.

【0089】このように、本実施例においては、データ格納部1および2は、データ格納順序生成手段11によって生成された格納周期および格納順序列を参照することにより、各データ格納部1、2毎に、様々な格納順序で、ファイルのデータを分割して格納することができる。 [0089] Thus, in the present embodiment, the data storage unit 1 and 2, by referring to the storage period and storage order rank is generated by the data storage order generation unit 11, the data storage units 1 and 2 each can be stored in different storage order, by dividing the data file.

【0090】次に、本実施例のデータ格納システムに、 [0090] Next, the data storage system of this embodiment,
障害が発生した場合のデータ復旧処理について説明する。 It will be described data recovery process when a failure occurs. ここでは、データ格納部1における記憶装置1−1 Here, the storage device in the data storage unit 1 1-1
に障害が発生し、格納されていたデータが失われた場合を想定する。 The failure occurs, it is assumed that data stored is lost. また、各データ格納部1、2におけるデータの格納順序および格納周期は、図4及び図5に示した例の通りであるものとする。 Also, the storage order and storage period of the data in each data storage unit 1 is assumed to be as in the example shown in FIGS.

【0091】通常の運用状態へ復帰するためには、各データ格納部1、2におけるデータの整合性を保つために、失われたデータの複製を持つデータ格納部2の各記憶装置から読み出し、データ格納部1の障害の発生した記憶装置1−1に書き戻すという復旧処理が必要となる。 [0091] To return to normal operating conditions, in order to maintain the integrity of the data in each data storage unit 1 is read from the storage devices of the data storage unit 2 having a copy of the lost data, recovery process that written back to the storage device 1-1 the failed data storage unit 1 is required. しかしながら、データ格納部2では、通常運用の読み出し、あるいは書き込みといった、記憶装置へのアクセスが行なわれているために、復旧処理のための読み出しは、通常運用のアクセスとの競合が発生する。 However, the data storage unit 2 reads the normal operation or like writing, in order to access the storage device is being performed, read for recovery process, conflicts with the access of the normal operation occurs.

【0092】例えば、上記第2の実施例のように、障害の発生した記憶装置1−1に格納されていたデータの複製が、データ格納部2において、記憶装置2−1に格納されていた場合、図8に示すように、通常運用のアクセス(通常のread/writeアクセス)のすき間において、記憶装置2−1に対してのみ、復旧処理の読み出し(read)が発生する。 [0092] For example, the as in the second embodiment, the data stored in the storage device 1-1 the failed replication, the data storage unit 2, is stored in the storage device 2-1 If, as shown in FIG. 8, in the gap of the access of a normal operation (normal read / write access), only the storage devices 21, the recovery processing of the read (read) will occur.

【0093】なお、図8は、通常の読出処理と復旧の読出処理におけるタイミングを示す図である。 [0093] FIG. 8 is a diagram showing a timing of reading processing and recovery normal read processing. また図9 In addition, FIG. 9
は、復旧処理の読み出しを優先した場合のタイミングを示す図である。 Is a diagram showing the timing when the priority to reading the recovery process. 図10は、本発明の第3の実施例における読出処理のタイミングを示す図である。 Figure 10 is a diagram showing a timing of the read process in the third embodiment of the present invention.

【0094】ここで、復旧処理効率を向上させるために、一度に大量のデータ読み出しを行なうと、図9に示すように、復旧処理のための読み出しによって(図中、 [0094] Here, in order to improve the recovery process efficiency, when the large amount of data read at a time, as shown in FIG. 9, (Figure by reading for recovery processing,
破線で示す復旧処理のread参照)、記憶装置2−1 Referring read recovery process shown by a broken line), the storage device 2-1
に対する占有時間が多くなり、通常運用のアクセスの応答が遅延させられる。 Occupancy time is increased with respect to the response of the access of normal operation is delayed. また、通常運用のアクセスは、一般に、各記憶装置に対して均等になるように設計されている可能性が高く、1つの記憶装置からの応答が遅延すると、全体の応答が遅延させられてしまうことになり、 The access of the normal operation, in general, each storage device is likely to have been designed to be equal with respect to, the response from one storage device is delayed, overall response will be delayed It will be,
非効率的である。 It is inefficient.

【0095】これに対して、上記した本発明の第3の実施例におけるデータ格納システムでは、それぞれのデータ格納部1および2におけるデータ格納順序を、それぞれ図4および図5に示したように、一方のデータ格納部における1つの記憶装置内に格納されたデータを他方のデータ格納部では複数の記憶装置に分散されるような格納順序を選ぶことにより、図10に示すように、復旧処理のための読み出し処理は、それぞれの記憶装置2−1 [0095] In contrast, in the data storage system in the third embodiment of the present invention described above, the data storage order in each of the data storage unit 1 and 2, as shown in FIGS. 4 and 5, by choosing storage order as is distributed to a plurality of storage devices to the data stored in one storage device on the other data storage unit of one of the data storage unit, as shown in FIG. 10, the recovery process reading process for each of the storage devices 21
〜2−4における通常運用のアクセスのすき間を利用することができるため、通常運用のアクセスを妨げることなく、復旧効率を最大限に活用することが可能となる。 It is possible to use the gap of the access of the normal operation in ~2-4, without interrupting access normal operation, it is possible to take full advantage of the recovery efficiency.

【0096】すなわち、データ格納部1において障害の発生した記憶装置1−1に格納されていたデータの複製データは、データ格納部2において、1つの記憶装置2 [0096] That is, the copy data of the data stored in the storage device 1-1 from the failed in the data storage unit 1, in the data storage unit 2, one storage device 2
−1のみに存在するのではなく、複数の記憶装置2−1 -1 only exists not, a plurality of storage devices 2-1
〜2−4に分散されている。 It is distributed to ~2-4. このため、通常のアクセス処理を妨げない範囲での復旧処理のための読み出し処理が各記憶装置2−1〜2−4に対して並列的に実行することができるので、復旧処理効率は、従来方式よりも大幅に向上し、処理時間は短縮する。 This makes it possible to read process for recovery process within a range which does not impair the normal access processing is executed in parallel with respect to each of the storage devices 21 to 24, the recovery processing efficiency, conventional significantly improved than the method, the processing time is shortened.

【0097】この格納順序は、図4および図5におけるデータ格納部1および2でのデータ格納順序列および周期で示されているように、障害の発生したデータ格納部1では、分割されたファイルのデータの格納順序は格納順序列1、2、3、4で、格納周期4であるため、記憶装置1−1に格納されているファイル1のデータは1、 [0097] The storage order, as shown by the data storage order hierarchy and the period of the data storage unit 1 and 2 in FIG. 4 and FIG. 5, the data storage unit 1 failed, divided files in storage order storage order hierarchy 1,2,3,4 data for a storage period 4, data of file 1 stored in the storage device 1-1 1,
5、9、13、…、(1+kN)(但し、kは0以上の整数)である。 5, 9 and 13, ..., a (1 + kN) (however, k is an integer of 0 or more).

【0098】ところが、データ格納部2において、分割されたファイルのデータの格納順序は、格納順序列1、 [0098] However, in the data storage unit 2, the storage order of the data of the divided files, storage order rank 1,
2、3、4、2、3、4、1、3、4、1、2、4、 2,3,4,2,3,4,1,3,4,1,2,4,
1、2、3の格納周期16であるため、記憶装置1−1 Since 1,2,3 a storage period 16, the storage device 1-1
に格納されていたデータの複製は、図5に示されるように、記憶装置1−1に格納されているファイル1の1番目の分割データは、記憶装置2−1に、5番目の分割データは、記憶装置2−2に、9番目の分割データは、記憶装置2−3に、13番目の分割データは、記憶装置2 As replication of data stored is shown in Figure 5, the first divided data file 1 stored in the storage device 1-1, the storage device 2-1, 5 th divided data It is the storage device 2-2, the ninth divided data, the storage device 2-3, 13 th divided data storage device 2
−4にと、各記憶装置2−1〜2−4に分散されて格納されており、復旧処理の際の読み出し処理が、各記憶装置に対して並列的に実行可能な状態で格納されている。 And -4, is stored is distributed to each of the storage devices 21 to 24, read processing during recovery processing, it is stored in an executable state in parallel with respect to each of the storage devices there.

【0099】図17は、本実施例における並列データ復旧手段12の動作を説明するためのフローチャートである。 [0099] Figure 17 is a flowchart for explaining the operation of the parallel data recovery unit 12 in this embodiment. 図3及び図17を参照して、本実施例における並列データ復旧手段12の動作について以下に説明する。 With reference to FIGS. 3 and 17, it will be described below the operation of the parallel data recovery unit 12 in this embodiment.

【0100】並列データ復旧手段12は、データ復旧開始の要求を受け取ると、まず、データ格納順序生成手段11から、各データ格納部1および2の格納順序および格納周期を認識する(ステップ80)。 [0100] Parallel data recovery unit 12 receives a request for data recovery starts, first, from the data storage order generation unit 11 recognizes the storage order and storage period of each data storage unit 1 and 2 (step 80).

【0101】データ格納部1の記憶装置1−1の複製を持つデータ格納部2の記憶装置2−1〜1−4から該当するデータを読み出す要求をデータ格納部2のデータ読出手段6へ発行し、各記憶装置から並列にデータを読み出す(ステップ81)。 [0102] issued from the data storage unit 2 of the storage device 2-1~1-4 that have a replica of the data storage unit 1 in the storage device 1-1 a request to read the relevant data to the data reading means 6 of the data storage unit 2 and reads data in parallel from each of the storage devices (step 81).

【0102】データ格納部2から読み出したデータを復旧するデータ格納部1の記憶装置1−1へデータ書込手段3へ書き込み要求を発行して書き込む(ステップ8 [0102] written by issuing a write request to the data writing unit 3 to the data storage unit 1 of the storage device 1-1 to recover the data read from the data storage unit 2 (Step 8
2)。 2).

【0103】以上の処理は、記憶装置1−1に格納されていた失われたすべてのデータを復旧するまで継続する(ステップ83)。 [0103] The above process continues until recover all data lost that was stored in the storage device 1-1 (step 83).

【0104】上記のように、本実施例のデータ格納システムにおけるデータ復旧方式は、システムを停止することなく、通常の運用を継続しながら、元の状態に復旧することができる。 [0104] As described above, data recovery scheme in a data storage system of this embodiment, without stopping the system, while continuing the normal operation can be restored to its original state.

【0105】さらに、本実施例においては、データ格納順序を各データ格納部毎に異ならせておくことにより、 [0105] Further, in this embodiment, by previously with different data storage order for each of the data storage unit,
障害発生後の復旧処理において、1つの記憶装置に格納されているデータを他のデータ格納部の記憶装置から並列的に読み出すことが可能となる。 In the recovery process after a failure, comprising the data stored in one storage device from other data storage portion of the storage device can be read in parallel. このため、1つの記憶装置に負荷が集中することなく均等に分散され、通常運用のアクセス性能の劣化を最小限に抑えられ、かつ復旧処理効率を大幅に向上させることができるという作用効果を奏する。 Therefore, evenly dispersed without load in one storage device is concentrated, it achieves the effect that the degradation of the access performance of normal operation is minimized, and the recovery processing efficiency can be significantly improved .

【0106】上記実施例では、記憶装置1−1に障害が発生した場合の復旧処理についての例について説明したが、記憶装置1−1〜1−4および2−1〜2−4のいずれかに障害が発生した場合にも、本発明は適用可能であることは勿論である。 [0106] In the above embodiment, the storage device 1-1 failure has described the example of the recovery process if it occurs, any of the storage devices 1-1 to 1-4 and 2-1 to 2-4 when a failure occurs also that the invention is applicable as a matter of course. 例えば記憶装置2−4に障害が発生した場合には、上記した場合と同様に、データ格納部2に対する外部からの要求を切り離し、データ格納部1内の記憶装置に格納されている複製データを読み出して、障害の発生した記憶装置に復元する。 For example, when the storage device 2-4 has failed, as in the case described above, disconnect request from the outside to the data storage unit 2, the replication data stored in the storage device of the data storage unit 1 read out is restored to the generated memory disorders. ただし、記憶装置2−4に格納されている分割されたファイルの分割データは、4、7、10、13、…番目のブロックであるため、これらの分割データの複製データは、やはりデータ格納部1における記憶装置1−1〜4に分割されて格納されており、復旧処理の際の読み出し処理は、各記憶装置に対して並列的に実行可能である。 However, the divided data of the divided files are stored in the storage device 2-4, 4,7,10,13, ... th for a block, replicated data of these divided data is also data storage unit are stored is divided into a storage device 1-1 to 1-4 in one read process during the recovery process can be executed in parallel with respect to each storage device.

【0107】また、上記各実施例では、記憶装置の数が4台の場合について説明したが、一般に、記憶装置の数はN台の場合も適用可能である。 [0107] In the above-described embodiments, the number of storage devices has been described for the case of four, generally, the number of storage devices is also applicable if the N units.

【0108】すなわち、データ格納部1では、ファイルの格納順序が1、…、NのNを周期とする格納順序で分割されたファイルのデータが分散格納された場合、記憶装置1−iに着目すると(i、i+N、i+2N、…) [0108] That is, the data storage unit 1, the storage order of the files 1, ..., if the data of the divided files are distributed and stored in the storage order to N the period of N, focusing on the storage device 1-i Then (i, i + N, i + 2N, ...)
番目の分割されたデータが次々格納される。 Th divided data is stored one after another. これらの分割データが、データ格納部システム部2のそれぞれの記憶装置2−1〜2−Nのそれぞれに分散されるような格納順序で格納するためには、例えば、以下のような周期N毎に格納する記憶装置を1つシフトするようなNの2 These resolution data, for storage in the storage order as distributed to each of the respective storage devices 2-1 to 2-N in the data storage unit system unit 2, for example, the following each cycle N 2 of N such that one shift storage device for storing the
乗を周期とする格納順序{1、2、…、N、2、3、 Storage order {1,2 to multiply the cycle, ..., N, 2,3,
…、N、N−1、3、4、…}で実現可能である。 ..., N, N-1,3,4, can be realized by ...}.

【0109】この格納順序をデータ格納部2で適用させると、記憶装置1−iに格納される分割データは、それぞれ2−1〜2−Nに分散格納されることになる。 [0109] When the apply this storage order in the data storage unit 2, the divided data stored in the storage device 1-i will be distributed and stored in the respective 2-1 to 2-N.

【0110】この格納順序を一般式で表現すると、あるファイルのデータを分割してN台の記憶装置に分散格納する際、データ格納部1および2に格納するx番目の分割データが格納される記憶装置を示す、格納順序List [0110] To express this storage order in the general formula, when dispersed stored in N storage apparatuses by dividing the data of a file, x-th division data stored in the data storage unit 1 and 2 are stored It shows a storage device, storage order List
1(x)およびList2(x)は、それぞれ次式(1)、(2)で表わすことができる。 1 (x) and List2 (x) are respectively the following formula (1) can be expressed by (2).

【0111】 [0111]

【数1】 [Number 1]

【0112】但し、x mod Nは、Nを法とするx [0112] However, x mod N is, x modulo N
の剰余を出力し、 And it outputs the remainder,

【0113】 [0113]

【数2】 [Number 2]

【0114】は床関数(実数a以下の最大の整数)を示している。 [0114] indicates the floor function (real number a largest integer less than or equal to).

【0115】上記の例では、一方のデータ格納部での格納順序を1からNまでの規則的な並びを想定したが、格納順序を入れ換えても適用可能である。 [0115] In the above example, it is assumed regular arrangement of the storage order in one of the data storage unit 1 to N, be switched storage order is applicable. すなわち、1〜 That is, 1
Nで構成されるすべての順列を用いた格納順序においても適用可能である。 It can also be applied in storage order using all permutations constituted by N.

【0116】また、上記の例では、Nを構成される記憶装置数とした例を挙げたが、Nは、必ずしも記憶装置数に束縛されず、あるファイルのデータを分散格納する単位として定義することも可能である。 [0116] Further, in the above example, an example in which the number of storage device configured to N, N is not necessarily bound to the number of storage devices, defining the data of a file as a unit for distributed storage it is also possible.

【0117】 [0117]

【発明の効果】以上説明したように、本願第1発明(請求項1)によれば、データを複数の記憶装置に分散格納するデータ格納部と複製データを同様にして分散格納するデータ格納部の一方のデータ格納部に障害が発生して使用不可能となった場合でも、運用を停止させることなく、データ格納システムの運用を継続することが可能で、信頼性及び運用効率を特段に向上するという効果を奏する。 As described in the foregoing, according to the first invention (Claim 1), the data storage unit for distributed storage in a similar manner the copied data to the data storage unit for distributed and stored data in the plurality of storage devices even if one fault in the data storage unit of becomes unusable occurred, without stopping the operation, we can continue the operation of the data storage system, improve the reliability and operational efficiency otherwise an effect that is.

【0118】その理由は、本発明においては、データ複製手段により、各データ格納部へ同一のデータを格納し、データ読出切替手段により、いずれのデータ格納部からも、同一のデータを読み出すことを可能にしている。 [0118] This is because, in the present invention, the data replication means and store the same data to the data storage unit, the data read switching means, from any of the data storage unit, the reading of the same data It is possible. また、いずれかのデータ格納部に障害が発生して運用不能となっても、障害検出手段が障害が発生したことをデータ複製手段およびデータ読出切替手段に通知し、 Further, even when the one of the data storage unit in the failure inoperative occurred, it notifies that the failure detecting means has failed in the data replication means and the data reading switching means,
障害が発生したデータ格納部を切り離すことにより、システムの運用を停止させることなく、正常な運用を継続可能としているためである。 By separating the data storage unit fails, without stopping the operation of the system, because that allows continued normal operation.

【0119】また、本願第2発明(請求項2)によれば、データ復旧手段を備えたことにより、システムの運用を停止させることなく、運用を継続しながら、元の状態にまで復旧することができる、という効果を奏する。 [0119] Further, according to the second invention (Claim 2), by having the data recovery means, without stopping the operation of the system, while continuing the operation, be restored to the original state it is, an effect that.

【0120】さらに、本願第3発明(請求項3)によれば、データ格納順序生成手段および並列データ復旧手段を更に備え、複数のデータ格納部に同一のファイルを格納する際、それぞれのデータ格納部に属する複数の記憶装置に対して全く同一の格納順序で分割された同一のファイルのデータを格納するのではなく、様々な順序で格納することを可能としている。 [0120] Further, according to the present third invention (claim 3), further comprising a data storage order generating means and parallel data recovery means, when storing the same file to multiple data storage unit, stores each data rather than storing the data of the divided same file exactly the same storage order for a plurality of storage devices belonging to the part, it is made possible to store in various orders.

【0121】これにより、同一のファイルをそれぞれのデータ格納部に格納する際、データ格納順序生成手段によって、一方のデータ格納部の1つの記憶装置に格納されるデータが、そのファイルの複製を格納するデータ格納部では複数の記憶装置に分散されて格納されるような格納順序になるように、分散されて格納されることになる。 [0121] Thus, when storing the same file to each of the data storage unit, the data storage order generating means, the data is stored in one storage device of one of the data storage unit, storing a copy of the file the data storage unit that to be storage order as stored is distributed to a plurality of storage devices, to be stored are distributed. そして、障害発生後の復旧処理において、1つの記憶装置に格納されるデータの複製を持つ正常なデータ格納部から読み出す際、1つの記憶装置に集中することが無く各記憶装置から並列的に復旧するためのデータを読み出すことができる。 Then, the recovery process after a failure, when read from one storage device normal data storage unit having a copy of data stored in, parallel recovery from the storage device without concentrating on one storage device data for can be read.

【0122】このため、本発明によれば、復旧元のデータ格納部における各記憶装置の帯域を均等に活用し、通常運用のアクセス性能劣化を最小限に抑え、かつ復旧処理時間を短縮することができる、という顕著な効果を奏する。 [0122] Therefore, according to the present invention, the utilizing equally the bandwidth of each memory device in the restoration source data storage unit, to minimize access performance degradation of the normal operation, and to shorten the recovery processing time it is, a marked effect of.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施例の構成を示すブロック図である。 1 is a block diagram showing a configuration of a first embodiment of the present invention.

【図2】本発明の第2の実施例の構成を示すブロック図である。 2 is a block diagram showing a configuration of a second embodiment of the present invention.

【図3】本発明の第3の実施例の構成を示すブロック図である。 3 is a block diagram showing the configuration of a third embodiment of the present invention.

【図4】本発明の各実施例におけるデータ格納部1における各記憶装置への格納順序を示す模式図である。 4 is a schematic diagram showing a storage sequence for each storage device in the data storage unit 1 in each example of the present invention.

【図5】本発明の第3の実施例におけるデータ格納部2 [5] data storage unit 2 in the third embodiment of the present invention
における記憶装置への格納順序を示す模式図である。 It is a schematic diagram showing a storage sequence in the memory device in.

【図6】本発明の第1の実施例における分割データ管理テーブルの内容の一例を示す図である。 6 is a diagram showing an example of the contents of the divided data management table in the first embodiment of the present invention.

【図7】本発明の第3の実施例における格納順序管理テーブルの内容の一例を示す図である。 7 is a diagram showing an example of the contents of the storage order management table in the third embodiment of the present invention.

【図8】本発明の実施例を説明するための図であり、通常の読出処理と復旧の読出処理におけるタイミングを示す図である。 Figure 8 is a view for explaining an embodiment of the present invention, showing the timing in the reading process of the normal read processing and recovery.

【図9】復旧処理の読み出しを優先した場合のタイミングを示す図である。 9 is a diagram showing the timing when the priority to reading the recovery process.

【図10】本発明の第3の実施例における読出処理のタイミングを示す図である。 It is a diagram showing a timing of the read process in the third embodiment of the present invention; FIG.

【図11】本発明の第1の実施例におけるデータ複製手段の動作を示すフローチャートである。 11 is a flowchart showing the operation of data replication unit in the first embodiment of the present invention.

【図12】本発明の第1の実施例における読出切替手段の動作を示すフローチャートである。 It is a flowchart illustrating the operation of reading the switching means in the first embodiment of the present invention; FIG.

【図13】本発明の第1の実施例における読出切替手段の動作を示すフローチャートである。 13 is a flowchart showing the operation of the readout switch means in the first embodiment of the present invention.

【図14】本発明の第1の実施例におけるデータ書込手段の動作を示すフローチャートである。 14 is a flowchart showing the operation of the data writing means in the first embodiment of the present invention.

【図15】本発明の第1の実施例におけるデータ読出手段の動作を示すフローチャートである。 It is a flowchart showing the operation of the data reading means in the first embodiment of the present invention; FIG.

【図16】本発明の第2の実施例におけるデータ復旧手段の動作を示すフローチャートである。 Is a flowchart showing the operation of the data recovery unit in the second embodiment of Figure 16 the present invention.

【図17】本発明の第3の実施例における並列データ復旧手段の動作を示すフローチャートである。 17 is a flowchart showing the operation of the parallel data recovery unit in the third embodiment of the present invention.

【図18】従来のデータ格納システムの構成を示すブロック図である。 18 is a block diagram showing a configuration of a conventional data storage system.

【図19】従来の複製データの格納方法を模式的に示す図である。 19 is a diagram schematically showing a method for storing conventional replicated data.

【符号の説明】 DESCRIPTION OF SYMBOLS

1〜2 データ格納部 1−1〜N、2−1〜N 記憶装置 3〜4 データ書込手段 5〜6 データ読出手段 7 障害監視手段 8 データ複製手段 9 読出切替手段 10 データ復旧手段 11 データ格納順序生成手段 12 並列データ復旧手段 20 分割データ管理テーブル 21 格納順序管理テーブル 101−1〜N、102−1〜N 記憶装置 103 データ管理手段 1-2 data storage unit 1-1~N, 2-1~N storage device 3-4 the data writing unit 5-6 data reading means 7 fault monitoring means 8 data replication means 9 read switch means 10 Data Recovery unit 11 data storing order generation unit 12 parallel data recovery unit 20 divides the data management table 21 stores the order management table 101-1~N, 102-1~N storage device 103 data management means

───────────────────────────────────────────────────── ────────────────────────────────────────────────── ───

【手続補正書】 [Procedure amendment]

【提出日】平成10年6月1日 [Filing date], 1998 June 1,

【手続補正1】 [Amendment 1]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】特許請求の範囲 [Correction target item name] the scope of the appended claims

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【特許請求の範囲】 [The claims]

【手続補正2】 [Amendment 2]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】0021 [Correction target item name] 0021

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【0021】 [0021]

【課題を解決するための手段】前記目的を達成するため、本発明は、1つのファイルのデータを分割し、複数の記憶装置に分散して格納するデータ格納システムにおいて、分散されたデータを格納する複数の記憶装置と、 Means for Solving the Problems] To achieve the above object, the present invention is stored divided data from a single file, in a data storage system that stores distributed across multiple storage devices, the distributed data a plurality of storage devices that,
分割されたデータを複数の記憶装置に格納するデータ書込手段と、分割されたデータを複数の記憶装置から1つのファイルとして、読み出すデータ読出手段と、を有する複数の多重化されたデータ格納部と、各データ格納部に発生した障害を監視する障害監視手段と、複数のデータ格納部に同一のデータを格納するデータ複製手段と、 And data writing means for storing the divided data into a plurality of storage devices, divided data as a single file from a plurality of storage devices, a plurality of multiplexed data storage unit having a data reading means, for reading When a fault monitoring means for monitoring a fault occurring in the data storage unit, the data replication means for storing the same data to a plurality of data storage unit,
複数のデータ格納部から格納されたデータを読み出すデータ読出切替手段と、を備え、さらに以下の特徴を有す<br/>る。 It includes a data reading switching means for reading stored data from a plurality of data storage unit, a Ru further <br/> to have the following features.

【手続補正3】 [Amendment 3]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】0022 [Correction target item name] 0022

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【0022】本発明は、多重化されたデータ格納部から構成される分散データ格納システムにおいて、 データ格 The present invention, in a distributed data storage system configured from the multiplexed data storage unit, the data rating
納部毎に異なる格納順序を生成する格納順序生成手段 Storage order generating means for generating a different storage order for each pay part
と、データ格納部内の複数の記憶装置から複製されたデ If, de replicated from a plurality of storage devices in the data storage unit
ータを並列的に読み出す並列データ復旧手段と、を有する。 It has a parallel data recovery means for reading over data in parallel, the.

【手続補正4】 [Amendment 4]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】0023 [Correction target item name] 0023

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【0023】本発明は、 1つのファイルのデータを分割 [0023] The present invention is, divides the data of a single file
し複数の記憶装置に分散して格納する分散データ格納シ Distributed data storage sheet which stores distributed across multiple storage devices
ステムにおいて、前記複数の記憶装置を備えた複数のデ In the stem, a plurality of de having a plurality of storage devices
ータ格納部に対して同一のファイルのデータを分割して By dividing the data of the same file for over data storage unit
格納する際に、一つのデータ格納部の1つの記憶装置に When storing, in a single storage device of one data storage unit
格納されるデータが、他のデータ格納部では複数の記憶 Data to be stored, a plurality of storage in the other data storage unit
装置に分散されて格納されるような格納順序を設定する Setting the storage order as stored is distributed to a device
手段を備え、前記データ格納部の1つの記憶装置に障害 Comprising means, failure in one storage device of the data storage unit
発生後、前記1つの記憶装置に格納されていたデータ After generation, it was stored in the one storage device data
を、前記他のデータ格納部の複数の記憶装置から転送し The transfers from the plurality of storage devices of the other data storage unit
て復旧する際、前記他のデータ格納部の複数の記憶装置 When recovering Te, the other data storage sections of the plurality of storage devices
から並列に読み出し、通常運用のアクセスを妨げずに復 From the read in parallel, recovery without interfering with the access of normal operation
旧処理を行うことを可能としたものである。 Ru Der what made it possible to carry out the old process.

【手続補正5】 [Amendment 5]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】0117 [Correction target item name] 0117

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【0117】 [0117]

【発明の効果】以上説明したように、本発明によれば、 As described in the foregoing, according to the present invention,
データを複数の記憶装置に分散格納するデータ格納部と複製データを同様にして分散格納するデータ格納部の一方のデータ格納部に障害が発生して使用不可能となった場合でも、運用を停止させることなく、データ格納システムの運用を継続することが可能で、信頼性及び運用効率を特段に向上するという効果を奏する。 Even if a failure could not use occurred in one of the data storage unit of the data storage unit for distributed storage in the same manner as the data storage unit a copy data distributed and stored data in the plurality of storage devices, decommission without, it can continue the operation of data storage system, an effect of improving the reliability and operational efficiency otherwise.

【手続補正6】 [Amendment 6]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】0119 [Correction target item name] 0119

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【0119】また、本発明によれば、データ復旧手段を備えたことにより、システムの運用を停止させることなく、運用を継続しながら、元の状態にまで復旧することができる、という効果を奏する。 [0119] Further, according to the present invention, by providing the data recovery means, without stopping the operation of the system, while continuing the operation, can be restored to the original state, an effect that .

【手続補正7】 [Amendment 7]

【補正対象書類名】明細書 [Correction target document name] specification

【補正対象項目名】0120 [Correction target item name] 0120

【補正方法】変更 [Correction method] change

【補正内容】 [Correction contents]

【0120】さらに、本発明によれば、データ格納順序生成手段および並列データ復旧手段を更に備え、複数のデータ格納部に同一のファイルを格納する際、それぞれのデータ格納部に属する複数の記憶装置に対して全く同一の格納順序で分割された同一のファイルのデータを格納するのではなく、様々な順序で格納することを可能としている。 [0120] Further, according to the present invention, further comprising a data storage order generating means and parallel data recovery means, when storing the same file to multiple data storage unit, a plurality of storage devices belonging to the respective data storage unit rather than storing the data of the divided same file exactly the same storage order against, thereby making it possible to be stored in a variety of orders.

Claims (5)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】1つのファイルのデータを分割し複数の記憶装置に分散して格納する分散データ格納システムにおいて、 分割されたデータを格納する複数の記憶装置と、 分割されたデータを前記複数の記憶装置に格納するデータ書込手段と、 分割されたデータを前記複数の記憶装置から1つのファイルとして読み出すデータ読出手段と、を有する、多重化された複数のデータ格納部と、 前記各データ格納部に発生した障害を監視する障害監視手段と、 前記複数のデータ格納部に同一のデータを格納させるために前記複数のデータ格納部に対して同一のデータを供給するデータ複製手段と、 前記複数のデータ格納部から格納されたデータを読み出すデータ読出切替手段と、 を備えたことを特徴とする分散データ格納システム。 1. A one divides the data files distributed data storage system that stores distributed across multiple storage devices, a plurality of memory devices for storing the divided data, the divided data of the plurality and data writing means for storing in the storage unit, the divided data having a data reading means for reading a single file from the plurality of storage devices, a plurality of data storage unit that is multiplexed, said storage each data and failure monitoring means for monitoring a fault occurring in parts, the data replication means for supplying same data to the plurality of data storage unit in order to store the same data to the plurality of data storage unit, said plurality distributed data storage system, characterized in that it and a data read switching means for reading out stored from the data storage unit data.
  2. 【請求項2】前記データ格納部に障害が発生し前記データ格納部の記憶装置に格納されていたデータが失われた際、運用を継続している他の前記データ格納部から障害の発生した前記データ格納部へデータを転送するデータ復旧手段を、更に備えたことを特徴とする請求項1記載の分散データ格納システム。 Wherein when data failure in the data storage unit is stored in the storage device occurs the data storage unit is lost, the failed from other of said data storage unit that continues to operate distributed data storage system of claim 1, wherein the data recovery means for transferring data to said data storage unit, further comprising.
  3. 【請求項3】前記複数のデータ格納部毎に異なる格納順序を生成する格納順序生成手段と、 前記データ格納部内の複数の記憶装置から複製されたデータを並列的に読み出す並列データ復旧手段と、 を更に備えたことを特徴とする請求項1記載の分散データ格納システム。 3. A storage sequence generating means for generating a different storage order for each of the plurality of data storage unit, and parallel data recovery means for reading replicated data from a plurality of storage devices in said data storage unit in parallel, Moreover the distributed data storage system according to claim 1, further comprising a.
  4. 【請求項4】1つのファイルのデータを分割し複数の記憶装置に分散して格納する分散データ格納システムにおいて、 前記複数の記憶装置を備えた複数のデータ格納部に対して同一のファイルのデータを分割して格納する際に、一つのデータ格納部の1つの記憶装置に格納されるデータが、他のデータ格納部では複数の記憶装置に分散されて格納されるような格納順序を設定する手段を備え、 前記データ格納部の1つの記憶装置に障害発生後、前記1つの記憶装置に格納されていたデータを、前記他のデータ格納部の複数の記憶装置から転送して復旧する際、 4. A one divides the data files distributed data storage system that stores distributed across multiple storage devices, the data of the same file to multiple data storage unit having a plurality of storage devices when storing by dividing the data to be stored in one storage device of one data storage unit, in another data storage unit sets the storage order as stored is distributed to a plurality of storage devices comprising means, after a failure in one storage device of the data storage unit, the one of the data stored in the storage device, when restored by transferring a plurality of storage devices of the other data storage unit,
    前記他のデータ格納部の複数の記憶装置から並列に読み出し、通常運用のアクセスを妨げずに復旧処理を行うことを可能としたことを特徴とする分散データ格納システムの復旧方式。 The reading from the other of the plurality of storage devices of the data storage unit in parallel, the recovery method of distributed data storage system, characterized in that made it possible to perform the recovery process without interfering with access normal operation.
  5. 【請求項5】前記データ読出切替手段が前記複数のデータ格納部の各データ読出手段から同時に、又は選択的に、データを読み出すことを特徴とする請求項1記載の分散データ格納システム。 Wherein said data reading switching means simultaneously from the data reading means of said plurality of data storage unit, or alternatively, distributed data storage system of claim 1, wherein the reading data.
JP9062092A 1997-02-28 1997-02-28 Distributed data storage system and recovery system Granted JPH10240452A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9062092A JPH10240452A (en) 1997-02-28 1997-02-28 Distributed data storage system and recovery system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9062092A JPH10240452A (en) 1997-02-28 1997-02-28 Distributed data storage system and recovery system

Publications (1)

Publication Number Publication Date
JPH10240452A true JPH10240452A (en) 1998-09-11

Family

ID=13190074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9062092A Granted JPH10240452A (en) 1997-02-28 1997-02-28 Distributed data storage system and recovery system

Country Status (1)

Country Link
JP (1) JPH10240452A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025450A (en) * 2011-07-19 2013-02-04 Nippon Telegr & Teleph Corp <Ntt> Distributed file management system, distributed file arrangement method and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03147121A (en) * 1989-11-02 1991-06-24 Nec Field Service Ltd Data storage system for disk device
JPH04205619A (en) * 1990-11-30 1992-07-27 Toshiba Corp Disk control system
JPH05505481A (en) * 1990-03-02 1993-08-12
JPH08212018A (en) * 1994-11-03 1996-08-20 Internatl Business Mach Corp <Ibm> Method and device for dynamically extending raid

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03147121A (en) * 1989-11-02 1991-06-24 Nec Field Service Ltd Data storage system for disk device
JPH05505481A (en) * 1990-03-02 1993-08-12
JPH04205619A (en) * 1990-11-30 1992-07-27 Toshiba Corp Disk control system
JPH08212018A (en) * 1994-11-03 1996-08-20 Internatl Business Mach Corp <Ibm> Method and device for dynamically extending raid

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013025450A (en) * 2011-07-19 2013-02-04 Nippon Telegr & Teleph Corp <Ntt> Distributed file management system, distributed file arrangement method and program

Similar Documents

Publication Publication Date Title
US6745310B2 (en) Real time local and remote management of data files and directories and method of operating the same
US5917998A (en) Method and apparatus for establishing and maintaining the status of membership sets used in mirrored read and write input/output without logging
US8060714B1 (en) Initializing volumes in a replication system
US5089958A (en) Fault tolerant computer backup system
EP0860017B1 (en) Loosely coupled mass storage computer cluster
US6804690B1 (en) Method for physical backup in data logical order
US9563517B1 (en) Cloud snapshots
EP1224550B1 (en) Load balancing configuration for storage arrays employing mirroring and striping
US6154853A (en) Method and apparatus for dynamic sparing in a RAID storage system
US5379391A (en) Method and apparatus to access data records in a cache memory by multiple virtual addresses
US7249150B1 (en) System and method for parallelized replay of an NVRAM log in a storage appliance
JP3358687B2 (en) Disk array device
KR940011039B1 (en) Distributed sparing method and apparatus in dasd arrays
US8904129B2 (en) Method and apparatus for backup and restore in a dynamic chunk allocation storage system
US8560879B1 (en) Data recovery for failed memory device of memory device array
US6742137B1 (en) Object oriented fault tolerance
JP3049031B2 (en) Apparatus for performing a snapshot copy of the volume
US7509524B2 (en) Systems and methods for a distributed file system with data recovery
US8335761B1 (en) Replicating in a multi-copy environment
EP0608344B1 (en) System for backing-up data for rollback
US6678788B1 (en) Data type and topological data categorization and ordering for a mass storage system
US8706755B2 (en) Distributed file system for intelligently managing the storing and retrieval of data
US5394532A (en) Disk drive array memory system having instant format capability
JP3243223B2 (en) Storage device array
US9087013B2 (en) Methods and apparatus for point-in-time volumes

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20000516