JP6384066B2 - Data management apparatus and data management method - Google Patents
Data management apparatus and data management method Download PDFInfo
- Publication number
- JP6384066B2 JP6384066B2 JP2014041673A JP2014041673A JP6384066B2 JP 6384066 B2 JP6384066 B2 JP 6384066B2 JP 2014041673 A JP2014041673 A JP 2014041673A JP 2014041673 A JP2014041673 A JP 2014041673A JP 6384066 B2 JP6384066 B2 JP 6384066B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- storage
- storage device
- divided
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、データのバックアップ技術に関するものであり、特にオンラインストレージへデータを保存する技術に関するものである。 The present invention relates to a data backup technique, and more particularly to a technique for storing data in an online storage.
情報通信社会の発展とともに、様々な情報が電子データとして扱われるようになり、重要な情報についても電子データのまま処理や保存を行うことが多くなっている。そのような情報を含む電子データは失われることが許容されないため、情報処理装置や記憶装置の障害等に備え、電子データのバックアップを安全に保存しておくことが重要になっている。 With the development of the information and communication society, various information is handled as electronic data, and important information is often processed and stored as electronic data. Since electronic data including such information is not allowed to be lost, it is important to safely save a backup of the electronic data in preparation for a failure of the information processing device or the storage device.
データのバックアップのためには十分な容量を有する記憶装置を、データのバックアップ用として備えることによりバックアップが必要なデータを保存しておく方法が考えられる。しかし、変動するデータ量に対応するようにバックアップ用の記憶装置を備えておくことは効率的ではない。また、バックアップ用の記憶装置や付帯装置が故障したときのために冗長性を有するようなシステムの構成とした場合、バックアップ用のシステムの構成は大がかりなものとなり得る。 A method of storing data that needs to be backed up by providing a storage device having a sufficient capacity for data backup for data backup is conceivable. However, it is not efficient to provide a storage device for backup so as to cope with the varying data amount. Further, when a system configuration is provided that has redundancy in case a backup storage device or auxiliary device fails, the configuration of the backup system can be large.
データの変動量に対応する方法としては、ネットワークを介して記憶装置を複数の利用者が共有する方法がある。記憶装置を共有することにより、データの増大に合わせた記憶容量を有する記憶装置を利用者がそれぞれ備えることが不要となる。このような共有の記憶装置としては、データ所有者以外の事業者が提供する運営する複数のオンラインストレージ、すなわち、ネットワークを介して接続された複数の記憶装置を利用することができる。また、冗長性への対応としては、ネットワークを介して接続された複数の記憶装置に分散して、バックアップとしてのデータを保存することにより冗長性を確保する方法がある。このように、オンラインストレージデータを保存することにより、データ量の変動への対応と冗長性の確保に対応することが可能となり得る。 As a method corresponding to the amount of data fluctuation, there is a method in which a plurality of users share a storage device via a network. By sharing the storage device, it becomes unnecessary for each user to have a storage device having a storage capacity that matches the increase in data. As such a shared storage device, it is possible to use a plurality of online storages operated by an operator other than the data owner, that is, a plurality of storage devices connected via a network. Further, as a measure for redundancy, there is a method of ensuring redundancy by distributing data as backups in a plurality of storage devices connected via a network. Thus, by storing online storage data, it may be possible to cope with changes in data amount and to ensure redundancy.
しかし、オンラインストレージを利用する場合は、利用者が管理権限を有していないことも多く、直接、安全性や信頼性についての管理を行うことが出来ない。例えば、オンラインストレージの管理者側の理由や障害の発生により稼動の停止等が行われ、利用できなくなる懸念もある。また、ネットワークを介して接続されていることから外部からの攻撃によりデータが漏えいする危険性も有する。そのため、重要なデータの保存先としてオンラインストレージを利用する際には、稼動が停止したときへの対策やデータの安全性を維持する対策を施す必要がある。 However, when using online storage, the user often does not have management authority, and cannot directly manage safety and reliability. For example, there is a concern that the operation may be stopped due to a reason on the administrator side of the online storage or the occurrence of a failure, making it unusable. In addition, since they are connected via a network, there is a risk that data will be leaked by an attack from the outside. For this reason, when online storage is used as a storage location for important data, it is necessary to take measures for when operation stops and measures for maintaining data safety.
また、オンラインストレージは個々の性能や仕様が異なり、データのバックアップを行う際の書き込みに要する時間や、バックアップを行ったデータの読み出しに要する時間にもばらつきが生じ得る。しかし、データの処理はリアルタイムで行えることが望ましく、またバックアップを行ったデータが必要になったときには、素早く確実に読み出せることが望ましい。そのため、データのバックアップに関する処理を、安全性を確保しつつ一定の処理性能を維持して行えることへの要求も高い。そのような要求に対応するため、オンラインストレージへのデータのバックアップに関連する技術の開発も盛んに行われている。オンラインストレージにバックアップデータを保存する技術としては、例えば、特許文献１のような技術が開示されている。
In addition, online storage has different performance and specifications, and there may be variations in the time required for writing data when backing up data and the time required for reading data that has been backed up. However, it is desirable to be able to process data in real time, and it is desirable to be able to read it quickly and reliably when the backed up data is needed. Therefore, there is a high demand for processing related to data backup while maintaining certain processing performance while ensuring safety. In order to meet such demands, development of technologies related to data backup to online storage has been actively conducted. As a technique for storing backup data in an online storage, for example, a technique as disclosed in
特許文献１は、オンラインストレージにデータのバックアップを行う、データバックアップシステムに関するものである。特許文献１のバックアップシステムは、バックアップデータを暗号化し、暗号化処理を行った単位であるブロックを分割してオンラインストレージへの保存を行っている。特許文献１のバックアップシステムは、暗号化したデータの復元に必要な連続データが、１つのオンラインストレージに保存されることがないようにブロックの分割を行ってデータを保存している。特許文献１では、データを分割してバックアップを行うことで、第三者が運営するオンラインストレージに、データの安全性を確保してデータの保存を行うことが出来るとしている。
しかしながら、特許文献１の技術は次のような点で十分ではない。特許文献１では、バックアップを行うデータを暗号化して分割し、連続したデータが同一のオンラインストレージに保存されないようにして安全性の確保が行われている。しかし、特許文献１では、あらかじめ定められたオンラインストレージを用いてデータのバックアップが決定している。そのため、特許文献１の技術では、オンラインストレージでの障害の発生や稼働停止等が生じたときに対応することができない。すなわち、特許文献１のデータバックアップシステムでは、オンラインストレージに障害等が生じたときに、他のオンラインストレージから性能を維持し得るオンラインストレージを選択して処理を継続することができない。
よって、特許文献１は、処理性能の維持した継続的な運用と高い安全性の両立を要するデータのバックアップに用いるための技術としては十分ではない。
However, the technique of
Therefore,
本発明は、処理性能の維持しつつバックアップを行うデータの安全性の確保が可能なデータ管理装置を得ることを目的としている。 An object of the present invention is to obtain a data management device capable of ensuring the safety of data to be backed up while maintaining processing performance.
上記の課題を解決するため、本発明のデータ管理装置は、記憶装置評価手段と、記憶装置選択手段と、データ分割手段と、保存先決定手段と、データ送信手段を備えている。記憶装置評価手段は、ネットワークを介して接続された複数の記憶装置の所定の特性を評価する。記憶装置選択手段は、バックアップを行うデータの保存先を、評価点を基に複数の記憶装置から選択する。データ分割手段は、バックアップを行うデータを、冗長性を満たすように分割して分割データとして生成する。保存先決定手段は、記分割データ全てが同一の記憶装置に保存されないように決定する。データ送信手段は、保存先決定手段が決定した保存先の記憶装置に分割データをそれぞれ書き込む。 In order to solve the above problems, the data management apparatus of the present invention includes a storage device evaluation unit, a storage device selection unit, a data division unit, a storage destination determination unit, and a data transmission unit. The storage device evaluation means evaluates predetermined characteristics of a plurality of storage devices connected via a network. The storage device selection means selects a storage destination of data to be backed up from a plurality of storage devices based on the evaluation points. The data dividing means divides the data to be backed up so as to satisfy the redundancy and generates the divided data. The storage destination determination unit determines that all the divided data is not stored in the same storage device. The data transmission means writes the divided data to the storage device at the storage destination determined by the storage destination determination means.
本発明のデータ管理方法は、ネットワークを介して接続された複数の記憶装置の所定の特性を評価する。本発明のデータ管理方法は、バックアップを行うデータの保存先を、所定の特性の評価結果を基に前記記憶装置から選択する。本発明のデータ管理方法は、バックアップを行うデータを、冗長性を満たすように分割して分割データとして生成する。本発明のデータ管理方法は、分割データ全てが同一の記憶装置に保存されないように決定する。本発明のデータ管理方法は、決定した保存先の記憶装置に分割データをそれぞれ書き込む。 The data management method of the present invention evaluates predetermined characteristics of a plurality of storage devices connected via a network. In the data management method of the present invention, a storage destination of data to be backed up is selected from the storage device based on an evaluation result of predetermined characteristics. According to the data management method of the present invention, data to be backed up is divided and generated as divided data so as to satisfy redundancy. The data management method of the present invention determines that not all the divided data are stored in the same storage device. According to the data management method of the present invention, each of the divided data is written into the determined storage device.
本発明によると、処理性能の維持しつつバックアップを行うデータの安全性を確保することができる。 According to the present invention, it is possible to ensure the safety of data to be backed up while maintaining processing performance.
本発明の第１の実施形態について図を参照して詳細に説明する。図１は本実施形態のデータ管理装置の構成の概要を示したものである。本実施形態のデータ管理装置は、記憶装置評価手段１１と、記憶装置選択手段１２と、データ分割手段１３と、保存先決定手段１４と、データ送信手段１５を備えている。
A first embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 shows an outline of the configuration of the data management apparatus of this embodiment. The data management apparatus according to this embodiment includes a storage
記憶装置評価手段１１は、ネットワークを介して接続された複数の記憶装置の所定の特性を評価する。記憶装置選択手段１２は、バックアップを行うデータの保存先を、所定の特性の評価結果を基に複数の記憶装置から選択する。データ分割手段１３は、バックアップを行うデータを、所定の冗長性を満たすように分割して分割データとして生成する。保存先決定手段１４は、分割データ全てが同一の記憶装置に保存されないように決定する。データ送信手段１５は、保存先決定手段１４が決定した保存先の記憶装置に分割データをそれぞれ書き込む。
The storage
本実施系形態のデータ管理装置は、記憶装置評価手段１１においてネットワークを介して接続された複数の記憶装置の評価を行い、評価結果を基に記憶装置選択手段１２が、バックアップを行うデータの保存先となる記憶装置を複数の中から選択している。本実施形態のデータ管理装置では、記憶装置の所定の特性の評価を行って保存先を選択することにより、処理性能を維持することができる。また、本実施系形態のデータ管理装置は、データ分割手段１３がバックアップを行うデータを所定の冗長性を満たすように分割している。また、データを復元するのに必要な分割データ全てが同一の記憶装置に保存されないよう記憶装置に保存される。そのため、同一の記憶装置にデータの復元に必要な分割データの全てが保存されることはなく、安全性を確保することができる。以上より、本実施形態のデータ管理装置が処理性能を維持しつつ、バックアップを行ったデータの安全性を確保することができる。
The data management apparatus of this embodiment evaluates a plurality of storage devices connected via a network in the storage device evaluation means 11, and the storage device selection means 12 stores data to be backed up based on the evaluation result. The previous storage device is selected from a plurality. In the data management apparatus of this embodiment, the processing performance can be maintained by evaluating a predetermined characteristic of the storage device and selecting a storage destination. In the data management apparatus according to the present embodiment, the data to be backed up by the
本発明の第２の実施形態について図を参照して詳細に説明する。図２は本実施形態の情報処理システムの構成の概要を示している。 A second embodiment of the present invention will be described in detail with reference to the drawings. FIG. 2 shows an outline of the configuration of the information processing system of this embodiment.
本実施形態の情報処理システムは、データ管理装置１００と、バックアップサーバ２０１と、オンラインストレージ２０２と、内部ネットワーク２０３と、外部ネットワーク２０４を備えている。オンラインストレージ２０２は、複数、備えられている。データ管理装置１００とバックアップサーバ２０１は、内部ネットワーク２０３を介して接続されている。また、データ管理装置１００とオンラインストレージ２０２は、外部ネットワーク２０４を介して接続されている。
The information processing system according to this embodiment includes a
図３は、本実施形態のデータ管理装置１００の構成の概要を示している。データ管理装置１００は、バックアップデータ送受信部１１０と、ストレージ監視部１２０と、ストレージ管理部１３０と、データ管理部１４０と、データ操作部１５０と、ストレージデータ操作部１６０とを備えている。
FIG. 3 shows an outline of the configuration of the
ストレージ監視部１２０は、オンラインストレージ２０２の稼働状態や性能について監視する機能を有する。また、オンラインストレージ２０２に保存したデータの改変の有無を監視する機能を有している。ストレージ監視部１２０は、データ改変監視部１２１と、性能監視部１２２と、稼動監視部１２３を備えている。
The
データ改変監視部１２１は、オンラインストレージ２０２に書き込んだデータが改変の有無を確認する機能を有する。データ改変監視部１２１がデータの改変を検知した場合は、そのデータが書き込まれたオンラインストレージ２０２は、データのバックアップの候補から除外される。すなわち、データの改変が検知されたオンラインストレージ２０２は、データのバックアップ先として使用されない。データ改変監視部１２１によりデータの改変が検知されていないオンラインストレージ２０２は、バックアップ先またはバックアップ先の候補として継続的して使用される。
The data
性能監視部１２２は、オンラインストレージ２０２のデータの書き込みおよび読み出しに要するレスポンス時間を計測し、書き込みの速度および読み出しの速度を算出する機能を有する。性能監視部１２２は、算出した書き込みの速度および読み出しの速度の情報を、サービス管理部１３１に保存されているサービス管理表に、オンラインストレージ２０２の識別情報と関連づけて保存する。オンラインストレージ２０２の識別情報とは、個々のオンラインストレージ２０２を識別するための識別子の情報のことをいう。
The
稼動監視部１２３は、オンラインストレージ２０２の動作状況を監視する機能を有する。稼動監視部１２３がオンラインストレージ２０２の障害等を検知した場合は、そのオンラインストレージ２０２は、データのバックアップ先の候補から除外される。稼動監視部１２３は、データの書き込みまたは読み出しが不可の場合やタイムアウト、すなわち、所定の時間内に完了できないときに、該当するオンラインストレージ２０２に障害等が発生していると判断する。また、稼動監視部１２３により稼動状態にあることが判断されたオンラインストレージ２０２は、バックアップ先またはバックアップ先の候補として継続して使用される。
The
ストレージ管理部１３０は、各オンラインストレージ２０２がデータの保存先として適するかの情報を取得し、管理する機能を有する。ストレージ管理部１３０は、サービス管理部１３１と、スコア算出部１３２を備えている。
The
サービス管理部１３１は、各オンラインストレージ２０２の情報をサービス管理表として保存している。図４は、本実施形態のサービス管理表の例を示したものである。図４のオンラインストレージは、オンラインストレージ２０２の識別情報である。図４の例では、オンラインストレージ２０２の識別情報は、オンラインストレージ２０２を提供している事業者の名称が識別子として設定され、Ａ社やＢ社のように保存されている。稼動状態は、オンラインストレージ２０２の稼働の有無を示している。稼動状態の情報は、正常に稼働している場合は「○」、何らかの不具合が発生している場合や完全に停止している場合は「×」として保存されている。
The
図４のデータ改変有無は、オンラインストレージ２０２に書き込まれたデータの改変の有無の実績が記録されている。データの改変とは、データの書き込み後に生じたデータの破損や第三者による意図的なデータの変更が行われたことをいう。データ改変有無の情報は、データの改変が生じたことがある場合は「有」、データの改変が生じたことがない場合は「無」として保存されている。データ改変の有無の情報は、オンラインストレージ２０２のメンテナンス後などにリセットされて「無」に戻される。
As for the presence / absence of data modification in FIG. 4, the record of the presence / absence of modification of data written in the
書き込み速度は、オンラインストレージ２０２にデータの書き込みを行う際の速度の情報である。図４の例では、書き込み速度の情報は、１０Ｍｂｐｓ（Megabits Per Second）のように保存されている。本実施形態では書き込み速度は、所定の時点からの後に行われた各オンラインストレージ２０２へのデータの書き込み動作の平均値として保存されている。
The writing speed is information on the speed at which data is written to the
読み込み速度は、オンラインストレージ２０２に保存されたデータの読み込みを行う際の速度である。図４の例では、読み込み速度の情報は、２５Ｍｂｐｓのように保存されている。本実施形態では読み込み速度は、所定の時点からの後に行われた各オンラインストレージ２０２からのデータの読み込み動作の平均値として保存されている。
The reading speed is a speed at which data stored in the
従量課金は、各オンラインストレージ２０２を利用する際のデータ量あたりの課金の有無を示している。従量課金の情報は、データ量あたりの課金が行われる場合は「有」、データ量あたりの課金が行われない場合は「無」として保存されている。１ＧＢ（Gigabyte）料金は、従量課金が「有」の場合に、データの保存に要する１ＧＢあたりの料金を示している。
Pay-per-use indicates whether or not there is a charge per data amount when using each
容量制限は、各オンラインストレージ２０２について、保存するデータの総容量の制限の有無を示している。例えば、各オンラインストレージ２０２を管理する事業者等により、利用者が利用するデータの保存量の最大値が設定されている場合は、容量制限は「有」になる。容量制限の情報は、データの保存量に制限がある場合は「有」、制限がない場合は「無」として保存されている。残容量は、容量制限が「有」の場合に、既に保存しているデータに加えて、さらに保存することが可能なデータの容量を示している。残容量の情報は、１．４ＴＢ（Terabyte）のように保存されている。転送量制限は、転送量、すなわち、データの送受信時の帯域の制限の有無を示している。転送量制限の情報は、転送量に制限がある場合は「有」、転送量に制限がない場合は「無」として保存されている。残転送量は、転送量制限が「有」の場合に、現在、使用している帯域に加えて使用できる帯域の容量を示している。
The capacity limit indicates whether there is a limit on the total capacity of data to be stored for each
スコアは、スコア算出部１３２が算出した各オンラインストレージ２０２の評価点を示している。スコアの情報は、最高の評価点が１、最低の評価点が０となるように設定されている。スコアが０のオンラインストレージ２０２は、データの保存先としては使用されない。
The score indicates the evaluation score of each
スコア算出部１３２は、サービス管理表の情報に基づいて各オンラインストレージ２０２の評価値であるスコアを算出する機能を有する。スコアの算出方法の例については、後で説明する。
The
データ管理部１４０は、各オンラインストレージ２０２に保存されているデータ管理する機能を有する。データ管理部１４０は、分割データ管理部１４１と、格納データ管理部１４２と、格納箇所判断部１４３と、格納箇所再配置部１４４と、冗長性確認部１４５と、再送判断部１４６を備えている。
The
分割データ管理部１４１は、データブロック分割データ、データブロックおよびバックアップデータを互いに紐づけた情報を分割データ管理表として保存して関する機能を有する。バックアップデータは、バックアップサーバ２０１からデータ管理装置１００に送られてくるバックアップを行う対象となるデータである。データブロックは、バックアップデータを分割して生成されるデータである。また、データブロック分割データは、データブロックをさらに分割して生成されるデータである。オンラインストレージ２０２へのデータの保存は、データブロック分割データを単位として行われる。図５は、本実施形態の分割データ管理表の例を示したものである。図５に示す通り、分割データ管理表は、データブロック分割データ、データブロック、バックアップデータ、サイズおよび復元時に必要なデータブロック分割データの情報により構成されている。
The divided
分割データ管理表のデータブロック分割データは、個々のデータブロック分割データを識別するための識別子の情報である。データブロックは、個々のデータブロックを識別するための識別子の情報である。バックアップデータは、個々のバックアップデータを識別するための識別子の情報である。サイズは、データブロック分割データのデータ量の情報である。復元時に必要なデータブロック分割データは、データブロックを復元する際に必要なデータブロック分割データの数を示す情報である。 The data block division data of the division data management table is information of an identifier for identifying individual data block division data. The data block is identifier information for identifying individual data blocks. The backup data is identifier information for identifying individual backup data. The size is information on the data amount of the data block divided data. The data block division data necessary for restoration is information indicating the number of data block division data necessary for restoring the data block.
格納データ管理部１４２は、データブロック分割データの保存先の情報を格納データ管理表として保存して管理する機能を有する。図６は、本実施形態の格納データ管理表の例を示している。図６に示す通り、格納データ管理表はデータブロック分割データ、書き込み時レスポンス、読み込み時レスポンス、書き込み成否、読み込み成否および書き込み先の情報で構成されている。データブロック分割データは、データブロック分割データの識別子の情報である。書き込み時レスポンスは、書き込みを行うデータの送信をオンラインストレージ２０２に対して行ってから、書き込み完了の信号を受信するまでに要した時間の情報である。書き込み成否は、オンラインストレージ２０２に正常に書き込みが行えたかを示す情報である。書き込み成否の情報は、正常に書き込みを行えた場合は「○」、書き込みが正常に行えなかった場合は「×」として保存されている。
The stored
読み込み時レスポンスは、データの読み込みのためにオンラインストレージ２０２に対してデータの送信を要求してから、データを受信するまでに要した時間の情報である。読み込み成否は、オンラインストレージ２０２から正常にデータの読み込みが行えたかを示す情報である。読み込み成否の情報は、正常に読み込みを行えた場合は「○」、読み込みが正常に行えなかった場合は「×」として保存されている。書き込み先は、各データブロック分割データの書き込み先、すなわち保存先のオンラインストレージ２０２を識別する情報である。本実施形態では、書き込み先の情報は、各オンラインストレージ２０２の運用を行っている事業者名の情報を保存している。
The response at the time of reading is information on the time required from when the data transmission is requested to the
格納箇所判断部１４３は、各オンラインストレージ２０２に保存するデータブロック分割データの数を算出する機能を有する。格納箇所判断部１４２は、サービス管理表のスコアを基に所定の秘匿性と冗長性を満たすように各オンラインストレージ２０２に保存するデータブロック分割データの数を決定する。本実施形態では、秘匿性の要件は、１つのオンラインストレージ２０２に、データブロックの復元に必要な全てのデータブロック分割データが保存されないこととして設定されている。また、冗長性の要件は、所定の数のオンラインストレージ２０２が稼働を停止しても、他のオンラインストレージ２０２に保存されているデータブロック分割データを元に、データブロックを復元できることとして設定されている。
The storage
格納箇所再配置部１４４は、障害の発生等でデータの保存先として使用できないオンラインストレージ２０２が生じたとき、バックアップ先を再度、決定する機能を有する。格納箇所再配置部１４４は、使用できないオンラインストレージ２０２に、復元に必要なデータブロック分割データが保存されているデータブロックの保存先を再度、決定する。格納箇所再配置部１４４は、サービス管理表のスコアを基に秘匿性と冗長性を満たすように各オンラインストレージ２０２に保存するデータブロック分割データの数を決定する。
The storage
冗長性確認部１４５は、格納データ管理表を参照して、冗長性の失われているデータブロックの有無を確認する機能を有する。冗長性確認部１４５は、冗長性が失われているデータブロックを検知すると、冗長性が失われているデータブロックの情報を格納箇所再配置部１４４に送る。
The
再送判断部１４６は、オンラインストレージ２０２へのデータの書き込みに失敗した際に、再度、同じデータを送信して書き込みを行うかの判断をする機能を有する。書き込みの失敗が生じると、再送判断部１４６は、書き込みが失敗したデータブロック分割データに関するデータブロックの冗長性の有無の情報を冗長性確認部１４５に要求する。再送判断部１４６は、冗長性確認部１４５から冗長性が不足しているとの情報を受け取ると、データの再送が必要と判断する。再送判断部１４６によりデータの再送が必要と判断されると、該当するデータブロック分割データの再送に関する処理が実行される。再送判断部１４６は、冗長性確認部１４５から冗長性を満たしているとの情報を受け取るとデータの再送は不要と判断する。
The
データ操作部１５０は、バックアップデータの分割および、分割されたデータからの元のデータの再構成を行う機能を有する。データ操作部１５０は、データ分割部１５１と、データ再構築部１５２を備えている。
The
データ分割部１５１は、バックアップサーバから送られてくるバックアップデータを分割し、データブロックを生成する機能を有する。また、データ分割部１５１は、データブロックを、所定の冗長性を満たすように分割しデータブロック分割データを生成する機能を有する。データ分割部１５１は、データブロックとデータブロックを分割して生成したデータブロック分割データの対応を紐づけた情報を分割データ管理表として保存する。図７は、バックアップデータ、データブロックおよびデータブロック分割データの関係を模式的に示したものである。図７に示す通り、バックアップサーバ２０１から送られてくるバックアップと対象となるバックアップデータは、データブロックに分割される。データブロックは、さらにデータブロック分割データに分割される。データブロック分割データは、オンラインストレージ２０２に保存される際の、データの１つのまとまりの単位となる。また、データ分割部１５１は、データブロックを分割してデータブロック分割データを生成する際に、データブロックを複数に分割したできた断片データを組み合わせて、データブロック分割データを生成することもある。断片データを組み合わせる場合は、データ分割部１５１は、同一のデータブロック分割データに分割前のデータブロックのデータ内容が全て含まれないように組み合わせを行う。
The
データ再構築部１５２は、オンラインストレージ２０２に保存されているデータブロック分割データを、データ管理表を参照して結合してデータブロックを再構成する機能を有する。また、データ再構築部１５２は、データブロックを、データ管理表を参照して結合してバックアップデータを再構成する機能を有する。
The
ストレージデータ操作部１６０は、オンラインストレージ２０２へのデータの書き込みおよびオンラインストレージ２０２からのデータの読み出しを行う機能を有する。ストレージデータ操作部１６０は、データ送信部１６１と、データ受信部１６２と、データ確認部１６３と、データ削除部１６４を備えている。
The storage
データ送信部１６１は、オンラインストレージ２０２にデータブロック分割データを書き込む機能を有する。また、データ送信部１６１は、書き込みのレスポンス時間を保存して書き込み速度を算出し、書き込み速度の情報を性能監視部１２２に送る機能を有する。
The
データ受信部１６２は、オンラインストレージ２０２からデータブロック分割データを読み込む機能を有する。また、データ受信部１６２は、読み込みのレスポンス時間を保存して読み込み速度を算出し、読み込み速度の情報を性能監視部１２２に送る機能を有する。
The
データ確認部１６３は、書き込みを行ったデータと、オンラインストレージ２０２に保存されているデータの一致の有無を比較する機能を有する。データ確認部１６３は、データ送信部１６１がオンラインストレージ２０２に書き込んだデータと、データ受信部１６２がオンラインストレージ２０２から読み出したデータを比較する。データ確認部１６３は、書き込んだデータと読み込んだデータの不一致を検知した場合には、再送判断部１４６にデータの不一致が生じた情報を送る。
The
データ削除部１６４は、オンラインストレージ２０２に保存されているデータブロック分割データを削除する機能を有する。データ削除部１６４は、オンラインストレージ２０２に保存されているテストデータや不要となったデータを削除する。
The
バックアップサーバ２０１は、バックアップを要するデータをデータ管理装置１００に送る機能を有する。バックアップサーバ２０１は、複数、備えられていてもよい。オンラインストレージ２０２は、データ管理装置１００から送られてくるデータを保存し、要求に応じてデータ管理装置１００にデータを送信する機能を有する。オンラインストレージ２０２は、ネットワークを介して接続された記憶装置である。複数、備えられているオンラインストレージ２０２の各々は、それぞれ異なる構成でもよく、また、同一の構成のものが含まれていてもよい。
The
本実施形態の内部ネットワーク２０３は、イントラネットなどプライベートなネットワークとして構成されている。また、本実施形態の外部ネットワーク２０４は、インターネット回線を用いたパブリックなネットワークとして構成されている。外部ネットワーク２０４は、専用回線を用いて構成することもできる。また、外部ネットワーク２０４は、インターネットと専用回線を併用して構成することもできる。
The
本実施形態の情報処理システムの動作について説明する。始めに、データ管理装置１００が、各オンラインストレージ２０２のスコアを算出する際の動作フローを、図８を参照して説明する。図８は、本実施形態の情報処理システムにおいてデータ管理装置１００が、各オンラインストレージ２０２のスコアを算出する際の、動作フローの概要を示したものである。
The operation of the information processing system of this embodiment will be described. First, an operation flow when the
ストレージ管理部１３０のスコア算出部１３２は、サービス管理表を参照してスコアの算出を行うオンラインストレージ２０２の稼働状態を確認する。稼動状態の情報が「×」で稼働状態に何らかの異常が生じている場合は（ステップ３０１でＮｏ）、スコア算出部１３２は、該当するオンラインストレージ２０２の稼働状態の評価点を０にする。スコアを算出する各評価項目の評価点の中に０があるオンラインストレージ２０２は、書き込み対象から除外される（ステップ３１２）。
The
稼動状態の情報が「○」で正常に稼働している場合は（ステップ３０１でＹｅｓ）、スコア算出部１３２は、稼動状態の評価点を１としてデータ改変の有無を確認する。データ改変有無の情報が「有」の場合は（ステップ３０２でＹｅｓ）、スコア算出部１３２は、該当するオンラインストレージ２０２のデータ改変有無の評価点を０にする。すなわち、データ改変有無の情報が「有」のオンラインストレージ２０２は、書き込み対象から除外される（ステップ３１２）。
When the operation state information is “◯” and the device is operating normally (Yes in step 301), the
データ改変有無の情報が「無」の場合（ステップ３０２でＮｏ）、スコア算出部１３２は、データ改変有無の評価点を１にする。データ改変有無の評価点を１にすると、スコア算出部１３２は、書き込み速度の評価点を算出する（ステップ３０３）。スコア算出部１３２は、最も書き込み速度の速いオンラインストレージ２０２の書き込み速度の値で、各オンラインストレージ２０２の書き込み速度を割った値を、書き込み速度の評価点とする。すなわち、書き込み速度の評価点は、最も書き込み速度の速いオンラインストレージ２０２の書き込み速度の値を１として規格化された値となる。
When the data modification presence / absence information is “none” (No in step 302), the
書き込み速度の評価点を算出すると、スコア算出部１３２は、読み込み速度の評価点を算出する（ステップ３０４）。読み込み速度の評価点は、書き込み速度と同様の方法で算出される。スコア算出部１３２は、最も読み込み速度の速いオンラインストレージ２０２の読み込み速度の値で、各オンラインストレージ２０２の読み込み速度を割った値を、読み込み速度の評価点とする。
After calculating the writing speed evaluation score, the
読み込み速度の評価点を算出すると、オンラインストレージ２０２が従量課金であるかを確認する。従量課金とは、各オンラインストレージ２０２を運用している事業者から、オンラインストレージ２０２にデータ量に応じて課金、すなわち料金を請求されることをいう。サービス管理表の従量課金の情報が「無」の場合（ステップ３０５でＮｏ）、スコア算出部１３２は、従量課金の評価点を１としてステップ３０７に進む（ステップ３１３）。
When the evaluation score for the reading speed is calculated, it is confirmed whether the
サービス管理表の従量課金の情報が「有」の場合（ステップ３０５でＹｅｓ）、スコア算出部１３２は、従量課金の評価点を算出する（ステップ３０６）。スコア算出部１３２は、サービス管理表に保存された１ＧＢあたりの料金が最も高いオンラインストレージ２０２の料金で、各オンラインストレージ２０２の料金を割った値を算出する。スコア算出部１３２は、料金が最も高いオンラインストレージ２０２の料金で、各オンラインストレージ２０２の料金を割った値を１から引いた値をさらに算出して従量課金の評価点とする。
When the usage-based charging information in the service management table is “Yes” (Yes in Step 305), the
従量課金の評価点を算出すると、スコア算出部１３２はサービス管理表を参照して、オンラインストレージ２０２に保存できる容量に制限が設定されているかを確認する。サービス管理用の容量制限の情報が「無」の場合（ステップ３０７でＮｏ）、スコア算出部１３２は、容量制限の評価点を１としてステップ３０９に進む（ステップ３１４）。
When calculating the evaluation score for pay-per-use, the
サービス管理用の容量制限の情報が「有」の場合（ステップ３０７でＹｅｓ）、スコア算出部１３２は、容量制限の評価点を算出する（ステップ３０８）。スコア算出部１３２は、サービス管理表の残容量の値を、データブロックの平均データ量で割った値を容量制限の評価点とする。スコア算出部１３２は、サービス管理表の残容量の値を、データブロックの平均データ量で割った値が１を超えた場合は、容量制限の評価点を１とする。
When the information on the capacity limit for service management is “Yes” (Yes in Step 307), the
容量制限の評価点を算出すると、スコア算出部１３２はサービス管理表を参照して転送量の制限の有無を確認する。サービス管理表の転送量制限の情報が「無」の場合（ステップ３０９でＮｏ）、スコア算出部１３２は、転送量制限の評価点を１としてステップ３１１に進む（ステップ３１５）。
When the capacity limit evaluation score is calculated, the
サービス管理表の転送量制限の情報が「有」の場合（ステップ３０９でＹｅｓ）、スコア算出部１３２は、転送量制限の評価点を算出する（ステップ３１０）。スコア算出部１３２は、サービス管理表の転送量残量の値を、データブロックの平均データ量で割った値を転送量制限の評価点とする。スコア算出部１３２は、サービス管理表の転送量残量の値を、データブロックの平均データ量で割った値が１を超えた場合は、転送量制限の評価点を１とする。
When the transfer amount restriction information in the service management table is “Yes” (Yes in Step 309), the
転送量制限の評価点を算出すると、スコア算出部１３２はオンラインストレージ２０２ごとに、各項目の評価点を乗算して総合評価点であるスコアを算出する（ステップ１３１）。以上で、データ管理装置１００が、各オンラインストレージ２０２のスコアを算出する動作は完了する。
When the evaluation score for the transfer amount restriction is calculated, the
次に、スコアを算出する際に参照されるサービス管理表を更新するために、定期的にオンラインストレージ２０２の特性の評価が行われる際の動作について、図９を参照して説明する。図９は、オンラインストレージ２０２の特性の評価が行われる際の動作フローの概要を示している。オンラインストレージ２０２の特性の定期的な評価は、所定の期間ごと、または、設定されたタイミングに基づいて定期的に実施される。
Next, an operation when the characteristics of the
ストレージ監視部１２０は、試験用のデータである一時的なデータを作成する（ステップ３２１）。一時的なデータは、例えば、試験データであることを示す情報および発信元の識別情報により構成されている。一時的なデータを作成すると、ストレージ監視部１２０は一時的なデータをストレージデータ操作部１６０に送る。ストレージデータ操作部１６０に送られた一時的なデータは、データ確認部１６３に保存される。一時的なデータがデータ確認部１６３に保存されると、データ送信部１６１は、オンラインストレージ２０２に一時的なデータを送信する（ステップ３２２）。また、データ送信部１６１は、一時的なデータを送信したときの時刻の情報を保存する。
The
オンラインストレージ２０２は、データ管理装置１００から一時的なデータを受け取ると、一時的なデータの保存を行う。オンラインストレージ２０２は、一時的なデータの保存を行うと、保存したことを示す信号を保存完了信号としてデータ管理装置１００に送信する。
When the
保存完了信号を受け取ると（ステップ３２３）、データ管理装置１００のデータ送信部１６１は、一時的なデータをオンラインストレージ２０２に送信してから保存完了信号を受け取るまでの時間を算出する。データ送信部１６１は、一時的なデータを送信してから保存完了信号を受け取るまでの時間を書き込みレスポンス時間として算出する。データ送信部１６１はレスポンス時間を算出すると、一時的なデータのデータ量から書き込み速度算出し、算出した書き込み速度の値を保存する（ステップ３２４）。
When the storage completion signal is received (step 323), the
データ送信部１６１がデータを保存する際の書き込みレスポンス時間を保存すると、データ受信部１６２は、オンラインストレージ２０２に一時的なデータの送信を要求する信号をデータ要求信号として送信する（ステップ３２５）。データ要求信号を受け取ると、オンラインストレージ２０２は保存している一時的なデータをデータ管理装置１００に送信する。オンラインストレージ２０２から一時的なデータを受信すると（ステップ３２６）、データ受信部１６２は受け取ったデータをデータ確認部１６３に送る。また、データ受信部１６２は、データ要求信号を送信してからデータを受け取るまでの時間から読み出しレスポンス時間を算出する。レスポンス時間を算出すると、データ受信部１６２は受け取った一時的なデータのデータ量から読み出し速度を算出し、算出した読み出しを保存する（ステップ３２７）。
When the
一時的なデータを受け取ると、データ確認部１６３はオンラインストレージ２０２から受け取ったデータと、データ管理装置１００に保存されていたデータを比較してデータの改変の有無を判断する（ステップ３２８）。
When the temporary data is received, the
データ確認部１６３は、オンラインストレージ２０２に書き込んだデータと、読み込んだデータを比較する。データ確認部１６３は、２つのデータを比較し、２つのデータが一致していれば改変は行われていないと判断する。また、データ確認部１６３は、２つのデータが不一致である場合には、改変が行われたと判断する。データ確認部１６３は、判断結果の情報をデータ改変監視部１２１に送る。データ改変監視部１２１は、データ確認部１６３から送られてきた情報を基に、データの改変の有無を判断する。データ改変監視部１２１は、データの改変の有無を判断すると、サービス管理部１３１に保存されているサービス管理表のデータの改変の有無の情報を更新する（ステップ３２９）。
The
また、性能監視部１２２は、データ送信部１６１およびデータ受信部１６２によってそれぞれ保持されている書き込み速度および読み出し速度の情報を取得する。性能監視部１２２は取得した書き込み速度および読み出し速度の情報を基に、サービス管理部１３１に保存されているサービス管理表に保存されている、オンラインストレージ２０２の書き込みおよび読み込み速度の情報を更新する。
In addition, the
データ確認部１６３はデータの比較を行うと、比較結果としてデータ改変の有無を保存する。データ確認部１６３が比較結果を保存すると、ストレージデータ操作部１６０は、保存していた一時的なデータを削除する（ステップ２２９）。また、データ削除部１６４は、オンラインストレージ２０２に保存されている一時的なデータの削除を要求する信号をデータ削除要求信号としてオンラインストレージ２０２に送る。オンラインストレージ２０２は、データ削除要求信号を受け取ると保存している一時的なデータを保存する。
When the
スコア算出部１３２は、サービス管理表の更新が行われると、ステップ３０１から３１５の動作によりオンラインストレージ２０２のスコアを算出してサービス管理表のスコアの情報を更新する。以上で、サービス管理表を更新するためのオンラインストレージ２０２の特性の評価の動作は完了する。
When the service management table is updated, the
次に、バックアップサーバ２０１のデータをオンラインストレージ２０２に保存する際の動作について図１０を参照して説明する。図１０は、本実施形態の情報処理システムにおいてバックアップサーバ２０１のデータをオンラインストレージ２０２に保存する際の動作フローの概要を示したものである。
Next, an operation when the data of the
バックアップサーバ２０１からデータ管理装置１００のバックアップデータ送受信部１１０にバックアップデータ、すなわち、バックアップを行う対象となるデータが送られてくる。バックアップデータを受信すると（ステップ３３１）、データ管理装置１００はバックアップデータを分割して各オンラインストレージ２０２に保存する動作を開始する。
Backup data, that is, data to be backed up is sent from the
バックアップの動作が開始されると、格納箇所判断部１４３は、サービス管理部１３１のサービス管理表を参照して、バックアップ先の候補となるオンラインストレージ２０２を選択する（ステップ３３２）。格納箇所判断部１４３は、サービス管理表に保存されているオンラインストレージ２０２のスコアを基にバックアップ先の候補となる複数のオンラインストレージ２０２を選択する。
When the backup operation is started, the storage
データ操作部１５０のデータ分割部１５１は、バックアップデータを分割してデータブロックを生成する（ステップ３３３）。データ分割部１５１には、データブロックを生成する際のデータの分割数や、１つのデータブロックのデータサイズなどの分割に関する条件があらかじめ設定されて保存されている。
The
データ分割部１５１は、データブロックを所定の分割方法により冗長性を有するように分割して、データブロック分割データを生成する（ステップ３３５）。設定されている条件に基づいてデータ分割部１５１は、分割後のデータが冗長性を有するように所定のデータ分割法でデータの分割を行う。本実施形態では、秘密分散法に基づいてデータブロックの分割が行われる。
The
データブロックを分割してデータブロック分割データを生成する際の分割数は、格納箇所判断部１４３により決定される。格納箇所判断部１４３は、サービス管理表に保存されたオンラインストレージ２０２のスコアと、冗長性および秘匿性の要件を基にデータの分割数を決定する。
The storage
データブロックを分割する際の分割数の決定方法の例について説明する。格納箇所判断部１４３は、サービス管理表のスコアを参照して、データの保存先となるオンラインストレージ２０２を上位から所定の数、選択する。本実施形態では、５つのオンラインストレージ２０２が選択されるとして説明する。選択されるオンラインストレージ２０２の数は、保存するデータ量や稼動しているオンラインストレージ２０２の数により可変としてもよい。
An example of how to determine the number of divisions when dividing a data block will be described. The storage
データの保存先としてオンラインストレージ２０２として、ストレージＡ、ストレージＢ、ストレージＣ、ストレージＤおよびストレージＥの５つが選択されたとして説明する。また、各オンラインストレージ２０２のスコアは、ストレージＡが０．８、ストレージＢが０．０６、ストレージＣが０．５、ストレージＤが０．８、ストレージＦが０．１であるとして説明する。スコアは０から１の間で設定されているとする。
In the following description, it is assumed that storage A, storage B, storage C, storage D, and storage E are selected as the
５つのオンラインストレージ２０２のうち１つに障害が発生しても、バックアップの動作を継続できる設定とした場合について図１１の上段を参照して説明する。図１１は、５つのオンラインストレージ２０２にデータブロック分割ファイルを割り当てた際の、スコアと割り当て数の関係を示した図である。
A case where the backup operation is set to continue even if a failure occurs in one of the five
格納箇所判断部１４３は、データの保存先となる５つのオンラインストレージ２０２のうち１つに障害が発生しても、残りの４つでデータの復元が出来るように分割数を設定する。４つのオンラインストレージ２０２で、データブロック分割データの数がそれぞれ１つずつであってもデータの復元が可能となるように、復元時に必要なデータブロック分割データの数は４つとして設定される。復元時に必要なデータブロック分割データの数は４つとして設定されたときに、１つのオンラインストレージ２０２に保存されるデータブロック分割データは３つまでと設定される。１つのオンラインストレージ２０２から情報が漏えいした際に、第三者が復元に必要な全てのデータブロック分割データを得ることがないようにするためである。
The storage
また、１つのオンラインストレージ２０２が障害等で利用できなくなっても、データブロックを復元可能にするため、同一のデータが少なくとも２つ以上のデータブロック分割データに含まれるようにデータブロック分割データが生成される。
In addition, data block division data is generated so that the same data is included in at least two or more data block division data so that the data block can be restored even if one
１つのオンラインストレージ２０２に保存されるデータブロック分割データが３つまでと定まると、格納箇所判断部１４３は、スコアの値によりオンラインストレージ２０２を３つのグループに分類する。例えば、３つのスコアの値に応じたグループは、スコアが０．３３未満のグループ、０．３３以上かつ０．６６未満のグループおよび０．６６以上のグループの３つに分けられる。
When the number of data block division data stored in one
このとき、格納箇所判断部１４３は、スコアが高い０．６６以上のグループに３つのデータブロック分割ファイルを割り当てる。また、データ格納箇所判断部１４２は、０．３３以上かつ０．６６未満のグループに２つのデータブロック分割ファイルを割り当てる。スコアが低い０．３３未満のグループには最小限の１つのデータブロック分割ファイルのみが割り当てられる。
At this time, the storage
同一のデータが含まれるデータブロック分割データは、少なくとも２つ以上のオンラインストレージ２０２に割り当てられる。このような、データブロック分割データの生成とオンラインストレージ２０２への割り当てを行うことにより、冗長性を確保することができる。また、スコアが高いオンラインストレージ２０２は、性能および信頼性が高いことが期待されるので、多くデータブロック分割ファイルのみが割り当てられる。一方で、スコアが低いオンラインストレージ２０２は、性能および信頼性が低いことが予想されるため、割り当てられる多くデータブロック分割ファイルは少なく設定される。このように性能が維持でき、障害が発生しにくいオンラインストレージ２０２を多くのデータの割り当て先とすることで、性能の維持とデータ安全性の両立の効果が向上する。
Data block division data including the same data is allocated to at least two or more
以上のように割り当てが行われると、ストレージＡには３つ、ストレージＢには１つ、ストレージＣには２つ、ストレージＤには３つ、ストレージＦには１つのデータブロック分割ファイルが割り当てられる。 When allocation is performed as described above, three data block divided files are allocated to storage A, one to storage B, two to storage C, three to storage D, and one to storage F. It is done.
次に５つのオンラインストレージ２０２のうち２つに障害が発生しても、バックアップの動作を継続できる設定の場合について図１１の中段を参照して説明する。格納箇所判断部１４３は、データの保存先となる５つのオンラインストレージ２０２のうち２つに障害が発生しても、残りの３つでデータの復元が出来るように分割数を設定する。３つのオンラインストレージ２０２で、データブロック分割データの数がそれぞれ１つずつであってもデータの復元が可能となるように、復元時に必要なデータブロック分割データの数は３つとして設定される。復元時に必要なデータブロック分割データの数は３つとして設定されたときに、１つのオンラインストレージ２０２に保存されるデータブロック分割データは２つまでと設定される。１つのオンラインストレージ２０２から情報が漏えいした際に、第三者が復元に必要な全てのデータブロック分割データを得ることがないようにするためである。
Next, a case where the backup operation can be continued even if a failure occurs in two of the five
また、２つのオンラインストレージ２０２が障害等で利用できなくなっても、データブロックを復元可能にするため、同一のデータが少なくとも３つ以上のデータブロック分割データに含まれるようにデータブロック分割データが生成される。
In addition, data block division data is generated so that the same data is included in at least three or more data block division data so that the data block can be restored even if the two
１つのオンラインストレージ２０２に保存されるデータブロック分割データが２つまでと定まると、格納箇所判断部１４３は、スコアによりオンラインストレージ２０２を２つのグループに分類する。２つに分けた場合、例えば、スコアが０．５０未満のグループおよび０．５０以上のグループの２つに分けられる。
When the data block division data stored in one
このとき、格納箇所判断部１４３は、スコアが高い０．５０以上のグループに２つのデータブロック分割ファイルを割り当てる。スコアが低い０．５０未満のグループには１つのデータブロック分割ファイルのみが割り当てられる。以上のように割り当てが行われると、ストレージＡには２つ、ストレージＢには１つ、ストレージＣには２つ、ストレージＤには２つ、ストレージＦには１つのデータブロック分割ファイルが割り当てられる。また、同一のデータが含まれるデータブロック分割データは、少なくとも３つ以上のオンラインストレージ２０２に割り当てられる。
At this time, the storage
５つのオンラインストレージ２０２のうち３つに障害が発生しても、バックアップの動作を継続できる設定の場合について図１１の下段を参照して説明する。格納箇所判断部１４３は、データの保存先となる５つのオンラインストレージ２０２のうち３つに障害が発生しても、残りの２つでデータの復元が出来るように分割数を設定する。２つのオンラインストレージ２０２で、データブロック分割データの数がそれぞれ１つずつであってもデータの復元が可能となるように、復元時に必要なデータブロック分割データの数は２つとして設定される。復元時に必要なデータブロック分割データの数は２つとして設定されたときに、１つのオンラインストレージ２０２に保存されるデータブロック分割データは１つまでと設定される。
A case in which the backup operation can be continued even if a failure occurs in three of the five
よって、１つのオンラインストレージ２０２に割り当てられるデータブロック分割データの最大の数は１、最少の数は１となる。このような場合は、全てのオンラインストレージ２０２に対して、データブロック分割ファイルが１つずつ割り当てられる。
Therefore, the maximum number of data block divided data allocated to one
任意の２つのオンラインストレージ２０２のデータブロック分割データにより、データブロックが復元できるように、互いにデータが重複したデータブロック分割データが生成される。すなわち、各データブロック分割データはデータブロックと比較して、一部のデータが含まれていない状態であるが、同じデータが２以上のデータブロック分割データに無いという状態は存在しないようにデータブロック分割データが生成される。
Data block division data in which data is overlapped with each other is generated by data block division data of any two
データの保存先として割り当ての対象となるオンラインストレージ２０２がＮ個、故障等が発生した場合に動作を継続するために、最低限、必要なオンラインストレージ２０２の数がｎ個であるとする。このとき、復元時に必要なデータブロック分割データの数はＮ−ｎとして設定される。また、情報の漏えいを防止するために、１つのオンラインストレージ２０２に保存されるデータブロック分割データの最大の数はＮ−ｎ−１となる。ただし、Ｎはｎ＋２以上となる。
Assume that the number of
また、Ｎ−ｎ個のオンラインストレージの停止を想定した設定の場合、同一のデータはＮ−ｎ＋１個以上のデータブロック分割データに含まれるように、データブロック分割データが生成される。また、同一のデータを含むデータブロック分割ファイルはＮ−ｎ＋１個以上の、オンラインストレージ２０２にそれぞれ保存される。このように、データブロック分割データの生成および保存先の決定を行うことで、冗長性を確保できる。同一のデータが、稼動の停止を想定した設定よりも多くのオンラインストレージ２０２に保存されていることにより、稼動の停止が発生しても正常なオンラインストレージ２０２から復元に必要なデータを読み出すことできるからである。
Further, in the case of a setting assuming that N-n online storages are stopped, the data block division data is generated so that the same data is included in N-n + 1 or more data block division data. Further, the data block division files including the same data are stored in N−
最低限必要なオンラインストレージ２０２の数を設定する際には、過去の故障実績を基に判断することもできる。例えば、選択されたオンラインストレージ２０２の中に、過去のある時点からＡ台のオンラインストレージ２０２で障害が発生した実績があるとする。そのような場合に、例えば、Ａ＋１のオンラインストレージ２０２で障害が発生しても動作できるようにｎの値を設定することができる。この場合は、過去の障害の発生実績に対して１台分のマージンが考慮されている。
When setting the minimum number of
格納箇所判断部１４３は、オンラインストレージ２０２ごとのデータブロック分割データの保存数を決定すると、決定した情報をデータ分割部１５１に送る。
When the storage
ステップ３３５でデータブロック分割データを生成すると、データ分割部１５１は、生成したデータブロック分割データを、ストレージデータ操作部１６０に送って書き込みを行う。オンラインストレージ操作部１６０は、データ分割部１５１から受け取ったデータブロック分割データを一時、保存する。データ送信部１６１は、データブロック分割データをデータの書き込み先として決定されたオンラインストレージ２０２に書き込みを行って保存する（ステップ３３６）。
When the data block division data is generated in
オンラインストレージ２０２へのデータの書き込みが正常に行われると（ステップ３３７でＹｅｓ）、データ送信部１６１は、書き込みのレスポンス時間を算出する（ステップ３３８）。また、データ送信部１６１は、書き込みのレスポンス時間とデータ量から書き込み速度を算出する。本実施形態のデータ送信部１６１およびデータ受信部１６２は、送受信したデータのデータ量を計測する機能を備えている。
When the data is normally written to the online storage 202 (Yes in Step 337), the
データ確認部１６３は、データ受信部１６２にオンラインストレージ２０２に書き込まれたデータの読み出しを要求する（ステップ３３９）。データ受信部１６２は、オンラインストレージ２０２０からデータブロック分割データを読み出して、データ確認部１６３に送る。また、データ受信部１６２は読み出しのレスポンス時間を、レスポンス時間とデータ量から読み出しの速度を算出する（ステップ３４０）。
The
書き込み速度および読み出し速度が算出されると、性能監視部１２２は、データ送信部１６１およびデータ受信部１６２から書き込み速度および読み出し速度を取得する。性能監視部１２２は取得した書き込み速度を基に、サービス管理部１３１のサービス管理表に保存されている、該当するするオンラインストレージ２０２の書き込み速度および読み出し速度の情報を更新する。
When the writing speed and the reading speed are calculated, the
データ確認部１６３は、データ送信部１６１に保存されているデータと、データ受信部１６２が読み出したデータを比較して、データ改変の有無を確認する（ステップ３４１）。データの改変が無い場合（ステップ３４２でＮｏ）、１つのデータブロック分割データのオンラインストレージ２０２への保存の動作が完了する。まだ、保存されていない残りデータブロック分割データがある場合は（ステップ３４３でＹｅｓ）、ステップ３３６からの動作が繰り返される。また、データ改変監視部１２１は、データ確認部１６３の比較結果を基に、サービス管理表に保存されている、該当するするオンラインストレージ２０２のデータ改変の有無の情報を更新する。
The
保存されていない残りデータブロック分割データが無い場合は（ステップ３４３でＮｏ）、データブロック分割データをオンラインストレージ２０２に保存する動作は完了する。オンラインストレージ２０２へのデータブロック分割データ２０２の保存が終わると、スコア算出部１３２は、サービス管理表のオンラインストレージ２０２のスコアを算出してサービス管理表を更新する。
If there is no remaining data block division data that has not been saved (No in step 343), the operation of saving the data block division data in the
ステップ３３７でオンラインストレージ２０２にデータブロック分割データ正常に書き込めなかった場合（ステップ３３７でＮｏ）、データの再送フローが実施される（ステップ３３４）。データの再送のフローは後で説明する。データの再送フローの実施が終了すると、ステップ３４３からの動作が行われる。
If the data block division data cannot be normally written in the
また、ステップ３４２で、データの改変が生じていた場合（ステップ３４２でＹｅｓ）、データの再送フローが実施される（ステップ３３４）。データの再送フローの実施が終了すると、ステップ３４３からの動作が行われる。以上で、バックアップサーバ２０１のデータをオンラインストレージ２０２に保存する動作は完了する。
If the data has been altered in step 342 (Yes in step 342), a data retransmission flow is performed (step 334). When the execution of the data retransmission flow is completed, the operation from
次に、データブロック分割データのオンラインストレージ２０２への書き込みの失敗またはデータ改変を検知した場合に、データの再送フロー、すなわち、ステップ３４４のフローを実施する際の動作について図１２を参照して説明する。図１２は、オンラインストレージ２０２への書き込みの失敗等が生じた際に、データ再送の要否を判断する際のフローの概要を示したものである。
Next, with reference to FIG. 12, an explanation will be given on the operation of executing the data retransmission flow, that is, the flow of
オンラインストレージ２０２は、データ管理装置１００から送られてきたデータを保存できないとき、書き込み処理のエラーを示す信号を書込エラー信号としてデータ管理装置１００に送る。データ管理装置１００は、書込エラー信号を受け取ると書き込みが失敗したと判断する。また、データ管理装置１００のデータ送信部１６１は所定の時間内に書き込み処理を行えなかったときは、書き込みは失敗したと判断して書き込みの動作を中止する。また、データ確認部１６３は、読み込みを行った際のデータが書き込みを行ったときのデータと一致しなかったとき、データの改変が生じたと判断する。データの書き込みの失敗や改変が生じると、ストレージデータ操作部１６０は、データの書き込みの失敗または改変が生じた情報をデータ管理部１４０に送る。
When the data sent from the
データ管理部１４０は、書き込みが失敗またはデータの改変を検知すると（ステップ３５１）、格納データ管理部１４１の格納データ管理表を参照してデータブロック分割データに関する情報を取得する。データ管理部１４０は、書き込みの失敗等が生じたオンラインストレージ２０２に保存されているデータブロック分割データの数とデータブロック分割データの一覧を、格納データ管理部１４２の格納データ管理表から取得する（ステップ３５２）。
When the
冗長性確認部１４４は、ステップ３５２で取得したデータを基に、各データブロック分割データの書き込みの成否を確認する（ステップ３５３）。冗長性確認部１４４は、オンラインストレージ２０２への書き込みが成功しているデータブロック分割データで、冗長性が確保できているかを確認する（ステップ３５４）。
The
冗長性の確保とは、他のオンラインストレージ２０２に保存されているデータにより、所定の台数のオンラインストレージ２０２の停止が発生してもデータブロックの復元が可能であることをいう。所定の台数は、例えば、５台のオンラインストレージ２０２の運用で２台の停止を想定して設定した場合に、すでに停止した分を含めて計２台として設定される。この場合は、３つ以上のオンラインストレージ２０２に、同一のデータ内容を含むデータブロック分割データが保存されているときに、冗長性が確保されていると判断される。冗長性確認部１４４は、冗長性の確保の有無の情報を再送判断部１４５に送る。
The securing of redundancy means that data blocks can be restored even if a predetermined number of
冗長性が確保できているとき（ステップ３５５でＹｅｓ）、再送判断部１４５はデータの再送は不要と判断する。再送判断部１４５がデータの再送は不要と判断すると、エラーの発生したデータブロック分割データの再送は行われずに他のデータの処理が継続される（ステップ３５６）。冗長性が確保できていないとき（ステップ３５５でＮｏ）、再送判断部１４５はデータの再送が必要と判断する。再送が必要と判断されると、格納箇所判断部１４３は、１台あたりの最大の保存数に到達していないオンラインストレージ２０２の中から再送するデータの保存先を選択する。保存先が決定されると、保存先として決定されたオンラインストレージ２０２へ、データ送信部１６１から、該当するデータブロック分割データの送信が行わる（ステップ３５７）。データの保存先には、例えば、最大数に到達していないオンラインストレージ２０２のうち、もっともスコアの高いものを選ぶ方法とすることができる。以上で、データの再送信の動作フローは完了する。
When redundancy is ensured (Yes in step 355), the
次にオンラインストレージ２０２が稼働停止等で使用できなくなった場合の動作について、図１３を参照して説明する。図１３は、本実施形態の情報処理システムにおいて、使用できないオンラインストレージ２０２が生じた場合の動作フローの概要を示したものである。
Next, an operation when the
オンラインストレージ２０２に障害や運用の停止が生じると、稼動監視部１２３は稼働が停止しているオンラインストレージ２０２が生じたことを検知する（ステップ３６１）。稼動監視部１２３が稼動の停止を検知すると、格納箇所再配置部１４４は格納データ管理表を参照して、稼動が停止したオンラインストレージ２０２に保存されているデータブロック分割データの数と一覧を取得する（ステップ３６２）。格納箇所再配置部１４４は、分割データ管理表の情報を参照して、稼動が停止したオンラインストレージ２０２に保存されているデータブロック分割データに対応するデータブロックの情報を抽出する。格納箇所再配置部１４４は、他の正常に稼働しているオンラインストレージ２０２から、抽出したデータブロックに対応するデータブロック分割データを、データ受信部１６２を介して読み出す（ステップ３６４）。
When a failure or operation stop occurs in the
データブロック分割データが読み出されると、データ再構築部１５２は、データブロック分割データからデータブロックを復元する（ステップ３６５）。データブロックが復元されると、データ管理装置１００は、復元されたデータブロックを基に、通常の方法で他の正常なオンラインストレージ２０２に分割してバックアップを行う（ステップ３６６）。データ管理装置１００は、復元されたデータブロックを、ステップ３３４からステップ３４４の動作で分割してオンラインストレージ２０２に保存する。以上で、オンラインストレージ２０２が稼働停止等で使用できなくなった場合の動作は完了する。
When the data block division data is read, the
また、本実施形態の情報処理システムにおいて、オンラインストレージ２０２に保存されているデータブロック分割データからバックアップデータを復元する際は次のように行う。バックアップサーバ２０１からデータ管理装置１００に、バックアップデータの要求が送られてくる。データ管理装置１００は、バックアップデータの要求を受けたとき、格納データ管理表を参照して、必要なデータブロック分割データを各オンラインストレージ２０２から読み出す。データブロック分割データ２０２の読み出しが終わると、データ再構築部１５２は、格納データ管理表のデータの対応関係の情報に従って、データブロックを復元する。データブロックの復元が終わると、データ再構築部１５２は、データブロックを元にバックアップデータを復元する。データ管理装置１００は、復元されたバックアップデータをバックアップサーバ２０１に送信する。以上の動作で、バックアップデータの復元が行われる。
Further, in the information processing system of this embodiment, when restoring backup data from data block division data stored in the
本実施形態のデータ管理装置１００の各機能は、サーバ等の情報処理装置で動作するコンピュータプログラムにより実行される構成とすることもできる。このような構成とする場合、ジョブ管理装置は１台の情報処理装置で構成されていてもよく、複数の情報処理装置が回線を介して接続されて構成されていてもよい。
Each function of the
本実施系形態の情報処理システムは、データ管理装置１００が各オンラインストレージ２００の評価を行って、オンラインストレージ２０２ごとの評価点であるスコアを算出している。データ管理装置１００は、評価結果を基に保存先となる記憶装置を選択している。本実施形態の情報処理システムでは、オンラインストレージ２０２のスコア付けを行って、スコアを基に保存先を選択することにより、情報処理システムとしての情報処理性能を維持することができる。
In the information processing system of this embodiment, the
本実施系形態の情報処理システムのデータ管理装置１００は、バックアップデータを分割したデータブロックを、冗長性を満たすように分割してデータブロック分割データを生成している。また、データ管理装置１００は、データブロックの復元を行うために必要なデータブロック分割データ全てが同一のオンラインストレージ２０２に保存されることがないように、保存先を決定している。そのため、１つのオンラインストレージ２０２からデータが漏えいしても第三者に情報の内容を知られる危険性が低く秘匿性が高い。
The
また、必要なデータブロック分割データ全てが同一のオンラインストレージ２０２に保存されることがないようにしていることから、秘匿性を維持するための暗号化処理等を簡略可することが可能となる。それにより、本実施形態の情報処理システムではデータの分割を行う際の処理量を低減し、処理速度を維持することが可能となり得る。
In addition, since all necessary data block division data is not stored in the same
データ管理装置１００は、冗長性を満たすようにデータブロックを分割し、スコアの高いオンラインストレージ２０２、すなわち、信頼性の高いオンラインストレージ２０２に多くのデータブロック分割データが保存されるようにしている。そのため、１つのオンラインストレージ２０２が停止しても、データブロックの復元に必要なデータブロック分割データを、他のオンラインストレージ２０２から得られる可能性が高い。そのため、本実施形態の情報処理システムは、バックアップデータが失われる可能性や、第三者に漏えいする可能性が低く高い安全性を有する。また、スコアの高いオンラインストレージ２０２は処理性も高いので、スコアの高いオンラインストレージ２０２に多くのデータを保存することで処理性能を維持することが可能となる。以上より、本実施形態の情報処理システムでは、情報処理性能を維持しつつ、バックアップを行ったデータの高い安全性を確保することができる。
The
第２の実施形態では複数のオンラインストレージからバックアップを行うデータの保存先の候補を選択した。このような構成に代えて、ネットワークを介して接続されているオンラインストレージのうち稼動可能なもの全てがデータの保存先として利用されてもよい。稼動可能なオンラインストレージ全てを利用する場合においても、各オンラインストレージの評価を行い、スコアを基に各オンラインストレージに保存されるデータブロック分割ファイルの数が決定される。このような構成とすることにより、少数のオンラインストレージを用いた小規模な情報処理システムの場合においても、性能の維持とデータの安全性の確保の両立を行うことができる。 In the second embodiment, data storage destination candidates to be backed up are selected from a plurality of online storages. Instead of such a configuration, all operable online storages connected via a network may be used as data storage destinations. Even when all operable online storages are used, each online storage is evaluated, and the number of data block division files stored in each online storage is determined based on the score. By adopting such a configuration, it is possible to maintain both performance and ensure data safety even in a small-scale information processing system using a small number of online storages.
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
（付記１）
ネットワークを介して接続された複数の記憶装置の所定の特性を評価する記憶装置評価手段と、
バックアップを行うデータの保存先を、前記所定の特性の評価結果を基に前記記憶装置から選択する記憶装置選択手段と、
バックアップを行う前記データを、冗長性を満たすように分割して分割データとして生成するデータ分割手段と、
前記分割データ全てが同一の前記記憶装置に保存されないように決定する保存先決定手段と、
前記保存先決定手段が決定した保存先の前記記憶装置に前記分割データをそれぞれ書き込むデータ送信手段と
を備えることを特徴とするデータ管理装置。
(Appendix 1)
Storage device evaluation means for evaluating predetermined characteristics of a plurality of storage devices connected via a network;
Storage device selection means for selecting a storage destination of data to be backed up from the storage device based on an evaluation result of the predetermined characteristic;
Data dividing means for generating data as divided data by dividing the data to be backed up so as to satisfy redundancy;
A storage destination determining means for determining not to store all the divided data in the same storage device;
A data management apparatus comprising: data transmission means for writing the divided data into the storage device at the storage destination determined by the storage destination determination means.
（付記２）
前記記憶装置ごとに前記分割データを割り当てる数を、前記所定の特性の評価結果に基づいて算出する割当数算出手段をさらに備え、
前記データ分割手段は、前記割当数算出手段が算出した前記記憶装置に割り当てる数の合計数を満たすように前記分割データを生成し、
前記保存先決定手段は、前記割当数算出手段が算出した前記記憶装置ごとに割り当てる数に従って、前記分割データの保存先を決定することを特徴とする付記１に記載のデータ管理装置。
(Appendix 2)
An allocation number calculating means for calculating the number of allocation of the divided data for each storage device based on the evaluation result of the predetermined characteristic;
The data dividing unit generates the divided data so as to satisfy a total number of numbers allocated to the storage device calculated by the allocation number calculating unit,
The data management apparatus according to
（付記３）
前記記憶装置の稼動状態を監視する稼動状態監視手段をさらに備え、
前記稼動状態監視手段が前記記憶装置の稼働の停止を検知したときに、前記記憶装置選択手段は、稼動の停止が検知された前記記憶装置をバックアップを行う前記データの保存先として選択しないことを特徴とする付記１または２に記載のデータ管理装置。
(Appendix 3)
An operating state monitoring means for monitoring the operating state of the storage device;
When the operation state monitoring unit detects the stop of the operation of the storage device, the storage device selection unit does not select the storage device in which the operation stop is detected as a storage destination of the data to be backed up. The data management device according to
（付記４）
前記記憶装置から前記分割データを読み込むデータ受信手段と、
前記データ受信手段が読み込みを行った前記分割データが、前記データ分割手段が書き込みを行ったときから改変していないかを判断するデータ確認手段とをさらに備え、
前記データ確認手段が、前記分割データの改変を検知したときに、前記記憶装置選択手段は、改変が検知された前記分割データが保存されていた前記記憶装置を、保存先として選択しないことを特徴とする付記１から３いずれかに記載のデータ管理装置。
(Appendix 4)
Data receiving means for reading the divided data from the storage device;
Data division means for determining whether the divided data read by the data receiving means has not been altered since the data dividing means has written, and
When the data confirmation unit detects the modification of the divided data, the storage device selection unit does not select the storage device in which the divided data where the modification is detected is stored as a storage destination. The data management device according to any one of
（付記５）
前記記憶装置の稼働の停止、または、前記分割データの改変を検知したときに、
前記データ受信手段がバックアップを行った前記データの復元に必要な前記分割データを前記記憶装置から読み出し、前記データの復元後に、再度、前記記憶装置に前記データを分割して保存することを特徴とする付記４に記載のデータ管理装置。
（付記６）
付記１から５いずれかに記載のデータ管理装置と、
バックアップを行うデータを送信する送信手段を有する情報処理装置と、
複数の記憶装置とを備え、
前記データ管理装置は、前記情報処理装置から受信するバックアップを行う前記データを分割して、前記記憶装置に保存することを特徴とするデータ管理システム。
（付記７）
ネットワークを介して接続された複数の記憶装置の所定の特性を評価する記憶装置評価処理と、
バックアップを行うデータの保存先を、前記所定の特性の評価結果を基に前記記憶装置から選択する記憶装置選択処理と、
バックアップを行う前記データを、冗長性を満たすように分割して分割データとして生成するデータ分割処理と、
前記分割データ全てが同一の前記記憶装置に保存されないように決定する保存先決定処理と、
前記保存先決定処理において決定した保存先の前記記憶装置に前記分割データをそれぞれ書き込むデータ送信処理と
を行うことを特徴とするコンピュータプログラム。
(Appendix 5)
When the stop of the operation of the storage device or the modification of the divided data is detected,
The divided data necessary for restoring the data backed up by the data receiving means is read from the storage device, and after the restoration of the data, the data is again divided and stored in the storage device. The data management apparatus according to
(Appendix 6)
The data management device according to any one of
An information processing apparatus having transmission means for transmitting data to be backed up;
A plurality of storage devices,
The data management system divides the data to be backed up received from the information processing apparatus and stores the divided data in the storage device.
(Appendix 7)
A storage device evaluation process for evaluating predetermined characteristics of a plurality of storage devices connected via a network;
A storage device selection process for selecting a storage destination of data to be backed up from the storage device based on an evaluation result of the predetermined characteristic;
A data division process for dividing the data to be backed up so as to satisfy redundancy and generating it as divided data;
A storage destination determination process for determining not to store all the divided data in the same storage device;
A computer program for performing a data transmission process for writing each of the divided data to the storage device at the storage destination determined in the storage destination determination process.
（付記８）
前記記憶装置ごとに前記分割データを割り当てる数を、前記所定の特性の評価結果に基づいて算出する割当数算出処理をさらに行い、
前記データ分割処理において、前記割当数算出手段が算出した前記記憶装置に割り当てる数の合計数を満たすように前記分割データを生成し、
前記保存先決定処理おいて、前記割当数算出処理で算出した前記記憶装置ごとに割り当てる数に従って、前記分割データの保存先を決定することを特徴とする付記７に記載のコンピュータプログラム。
(Appendix 8)
Further performing an allocation number calculation process for calculating the number of allocation of the divided data for each storage device based on the evaluation result of the predetermined characteristic,
In the data division processing, the divided data is generated so as to satisfy the total number of numbers allocated to the storage device calculated by the allocation number calculation means,
The computer program according to
（付記９）
前記記憶装置の稼動状態を監視する稼動状態監視処理をさらに行い、
前記稼動状態監視処理において前記記憶装置の稼働の停止を検知したときに、前記記憶装置選択処理は、稼動の停止が検知された前記記憶装置をバックアップを行う前記データの保存先として選択しないことを特徴とする付記７または８に記載のコンピュータプログラム。
(Appendix 9)
Further performing an operation state monitoring process for monitoring the operation state of the storage device,
When detecting the stop of the operation of the storage device in the operation state monitoring process, the storage device selection process does not select the storage device in which the stop of the operation is detected as a storage destination of the data to be backed up. 9. The computer program according to
（付記１０）
前記記憶装置から前記分割データを読み込むデータ受信処理と、
前記データ受信処理において読み込みを行った前記分割データが、前記データ分割処理において書き込みを行ったときから改変していないかを判断するデータ確認処理とをさらに行い、
前記データ確認処理において、前記分割データの改変を検知したときに、前記記憶装置選択処理は、改変が検知された前記分割データが保存されていた前記記憶装置を、保存先として選択しないことを特徴とする付記７から９いずれかに記載のコンピュータプログラム。
(Appendix 10)
A data reception process for reading the divided data from the storage device;
Further performing a data confirmation process for determining whether the divided data read in the data reception process has not been altered since the data was written in the data division process;
In the data confirmation process, when the modification of the divided data is detected, the storage device selection process does not select the storage device in which the divided data where the modification is detected is stored as a storage destination. The computer program according to any one of
（付記１１）
前記記憶装置の稼働の停止、または、前記分割データの改変を検知したときに、
前記データ受信処理においてバックアップを行った前記データの復元に必要な前記分割データを前記記憶装置から読み出し、前記データの復元後に、再度、前記記憶装置に前記データを分割して保存することを特徴とする付記１０に記載のコンピュータプログラム。
(Appendix 11)
When the stop of the operation of the storage device or the modification of the divided data is detected,
The divided data necessary for restoring the data that was backed up in the data reception process is read from the storage device, and after the data is restored, the data is again divided and stored in the storage device. The computer program according to appendix 10.
（付記１２）
ネットワークを介して接続された複数の記憶装置の所定の特性を評価し、
バックアップを行うデータの保存先を、前記所定の特性の評価結果を基に前記記憶装置から選択し、
バックアップを行う前記データを、冗長性を満たすように分割して分割データとして生成し、
前記分割データ全てが同一の前記記憶装置に保存されないように決定し、
決定した保存先の前記記憶装置に前記分割データをそれぞれ書き込むことを特徴するデータ管理方法。
(Appendix 12)
Evaluate predetermined characteristics of multiple storage devices connected via a network,
Select a storage destination of data to be backed up from the storage device based on the evaluation result of the predetermined characteristic,
The data to be backed up is divided to satisfy redundancy and generated as divided data,
Determining not to store all the divided data in the same storage device;
A data management method, wherein each of the divided data is written into the storage device at the determined storage destination.
（付記１３）
前記記憶装置ごとに前記分割データを割り当てる数を、前記所定の特性の評価結果に基づいて算出し、
算出した前記記憶装置に割り当てる数の合計数を満たすように前記分割データを生成し、
算出した前記記憶装置ごとに割り当てる数に従って、前記分割データの保存先を決定することを特徴とする付記１２に記載のデータ管理方法。
(Appendix 13)
The number of allocation of the divided data for each storage device is calculated based on the evaluation result of the predetermined characteristic,
The divided data is generated so as to satisfy the total number of the numbers assigned to the calculated storage device,
13. The data management method according to
（付記１４）
前記記憶装置の稼動状態を監視し、
前記記憶装置の稼働の停止を検知したときに、稼動の停止が検知された前記記憶装置をバックアップを行う前記データの保存先として選択しないことを特徴とする付記１２または１３に記載のデータ管理方法。
(Appendix 14)
Monitoring the operating state of the storage device;
14. The data management method according to
（付記１５）
前記記憶装置から前記分割データを読み込み、
読み込みを行った前記分割データが、書き込みを行ったときから改変していないかを判断し、
前記分割データの改変を検知したときに、改変が検知された前記分割データが保存されていた前記記憶装置を、保存先として選択しないことを特徴とする付記１２から１４いずれかに記載のデータ管理方法。
(Appendix 15)
Read the divided data from the storage device,
Determine whether the divided data that has been read has not been altered since it was written,
15. The data management according to any one of
（付記１６）
前記記憶装置の稼働の停止、または、前記分割データの改変を検知したときに、
バックアップを行った前記データの復元に必要な前記分割データを前記記憶装置から読み出し、前記データの復元後に、再度、前記記憶装置に前記データを分割して保存することを特徴とする付記１５に記載のデータ管理方法。
(Appendix 16)
When the stop of the operation of the storage device or the modification of the divided data is detected,
本発明は、バックアップを要するデータをオンラインストレージに保存する情報処理システムに利用することができる。 INDUSTRIAL APPLICABILITY The present invention can be used in an information processing system that saves data that requires backup in an online storage.
１１ 記憶装置評価手段
１２ 記憶装置選択手段
１３ データ分割手段
１４ 保存先決定手段
１５ データ送信手段
１００ データ管理装置
１１０ バックアップデータ送受信部
１２０ ストレージ監視部
１２１ データ改変監視部
１２２ 性能監視部
１２３ 稼動監視部
１３０ ストレージ管理部
１３１ サービス管理部
１３２ スコア算出部
１４０ データ管理部
１４１ 分割データ管理部
１４２ 格納データ管理部
１４３ 格納箇所判断部
１４４ 格納箇所再配置部
１４５ 冗長性確認部
１４６ 再送判断部
１５０ データ操作部
１５１ データ分割部
１５２ データ再構築部
１６０ ストレージデータ操作部
１６１ データ送信部
１６２ データ受信部
１６３ データ確認部
１６４ データ削除部
２０１ バックアップサーバ
２０２ オンラインストレージ
２０３ 内部ネットワーク
２０４ 外部ネットワーク
３０１−３１５ データ管理装置の動作ステップ
３２１−３３０ データ管理装置の動作ステップ
３３１−３４４ データ管理装置の動作ステップ
３５１−３５７ データ管理装置の動作ステップ
３６１−３６６ データ管理装置の動作ステップ
DESCRIPTION OF
Claims (8)
バックアップを行うデータの保存先を、前記総合評価点を基に前記記憶装置から複数、選択する記憶装置選択手段と、
前記記憶装置ごとに分割データを割り当てる数を、前記総合評価点を複数段階で分け、前記総合評価点が高い段階に属する前記記憶装置ほど割り当てられる数が多くなるように設定する割当数算出手段と、
バックアップを行う前記データを、前記割当数算出手段が算出した前記記憶装置に割り当てる数の合計数を満たし、所定の冗長性を満たすように分割して前記分割データとして生成するデータ分割手段と、
前記割当数算出手段が算出した前記記憶装置ごとに割り当てる数に従って、同一の前記記憶装置に前記データの復元に必要な前記分割データの全てが保存されない秘匿性の条件と、所定の数の前記記憶装置が稼動を停止しても他の前記記憶装置に保存されている分割データを元に前記データの復元が可能であるように保存する冗長性の条件とを満たすように前記分割データの保存先を決定する保存先決定手段と、
前記保存先決定手段が決定した保存先の前記記憶装置に前記分割データをそれぞれ書き込むデータ送信手段と
を備えることを特徴とするデータ管理装置。 A plurality of storage devices connected via a network, a storage device evaluation means for calculating and evaluating a comprehensive evaluation score based on evaluation of characteristics of a plurality of items for each storage device;
Storage device selection means for selecting a plurality of storage destinations of data to be backed up from the storage device based on the overall evaluation point ;
An allocation number calculating unit configured to divide the number of divided data for each storage device, divide the overall evaluation score in a plurality of stages, and set the number of allocated storage devices to be higher as the storage device belongs to a higher level ,
A data dividing means for generating the data to be backed up, filled the total number of numbers to be allocated to the storage device the allocation number calculation means has calculated, as the divided data by dividing so as to satisfy a predetermined redundancy,
According to the number allocated for each storage device calculated by the allocation number calculation means, a confidentiality condition that does not store all of the divided data necessary for restoring the data in the same storage device, and a predetermined number of the storages The storage destination of the divided data so as to satisfy the redundancy condition of storing the data so that the data can be restored based on the divided data stored in the other storage device even if the apparatus stops operating A storage location determination means for determining
A data management device comprising: a data transmission unit that writes the divided data to the storage device at the storage destination determined by the storage destination determination unit.
前記稼動状態監視手段が前記記憶装置の稼働の停止を検知したときに、前記記憶装置選択手段は、稼動の停止が検知された前記記憶装置をバックアップを行う前記データの保存先として選択しないことを特徴とする請求項１に記載のデータ管理装置。When the operation state monitoring unit detects the stop of the operation of the storage device, the storage device selection unit does not select the storage device in which the operation stop is detected as a storage destination of the data to be backed up. The data management apparatus according to claim 1, wherein the data management apparatus is a data management apparatus.
前記データ受信手段が読み込みを行った前記分割データが、前記データ分割手段が書き込みを行ったときから改変していないかを判断するデータ確認手段とをさらに備え、Data division means for determining whether the divided data read by the data receiving means has not been altered since the data dividing means has written, and
前記データ確認手段が、前記分割データの改変を検知したときに、前記記憶装置選択手段は、改変が検知された前記分割データが保存されていた前記記憶装置を、保存先として選択しないことを特徴とする請求項１または２に記載のデータ管理装置。When the data confirmation unit detects the modification of the divided data, the storage device selection unit does not select the storage device in which the divided data where the modification is detected is stored as a storage destination. The data management device according to claim 1 or 2.
前記データ受信手段がバックアップを行った前記データの復元に必要な前記分割データを前記記憶装置から読み出し、前記データの復元後に、再度、前記記憶装置に前記データを分割して保存することを特徴とする請求項３に記載のデータ管理装置。The divided data necessary for restoring the data backed up by the data receiving means is read from the storage device, and after the restoration of the data, the data is again divided and stored in the storage device. The data management apparatus according to claim 3.
バックアップを行うデータを送信する送信手段を有する情報処理装置と、An information processing apparatus having transmission means for transmitting data to be backed up;
複数の記憶装置とを備え、A plurality of storage devices,
前記データ管理装置は、前記情報処理装置から受信するバックアップを行う前記データを分割して、前記記憶装置に保存することを特徴とするデータ管理システム。The data management system divides the data to be backed up received from the information processing apparatus and stores the divided data in the storage device.
バックアップを行うデータの保存先を、前記総合評価点を基に前記記憶装置から選択する記憶装置選択処理と、 A storage device selection process for selecting a storage destination of data to be backed up from the storage device based on the overall evaluation score;
前記記憶装置ごとに分割データを割り当てる数を、前記総合評価点を複数段階で分け、前記総合評価点が高い段階に属する前記記憶装置ほど割り当てられる数が多くなるように設定し、バックアップを行う前記データを、所定の冗長性を満たし、算出した前記記憶装置に割り当てる数の合計数を満たすように分割して前記分割データとして生成するデータ分割処理と、The number of allocation of divided data for each storage device is divided into a plurality of stages for the overall evaluation score, the storage device belonging to the higher overall evaluation score is set so that the number assigned is larger, and the backup is performed. A data dividing process for generating data as the divided data by dividing the data so as to satisfy a predetermined redundancy and satisfy the total number assigned to the calculated storage device;
算出した前記記憶装置ごとに割り当てる数に従って、同一の前記記憶装置に前記データの復元に必要な前記分割データの全てが保存されない秘匿性の条件と、所定の数の前記記憶装置が稼動を停止しても他の前記記憶装置に保存されている分割データを元に前記データの復元が可能であるように保存する冗長性の条件とを満たすように前記分割データの保存先を決定する保存先決定処理と、According to the calculated number assigned to each storage device, the confidentiality condition that all of the divided data necessary for restoring the data is not stored in the same storage device, and a predetermined number of the storage devices stop operating. However, the storage destination determination for determining the storage destination of the divided data so as to satisfy the redundancy condition for storing the data so that the data can be restored based on the divided data stored in the other storage device. Processing,
前記保存先決定処理において決定した保存先の前記記憶装置に前記分割データをそれぞれ書き込むデータ送信処理とA data transmission process for writing the divided data to the storage device at the storage destination determined in the storage destination determination process;
を行うことを特徴とするコンピュータプログラム。The computer program characterized by performing.
バックアップを行うデータの保存先を、前記総合評価点を基に前記記憶装置から選択し、Select a storage location of data to be backed up from the storage device based on the overall evaluation score,
前記記憶装置ごとに分割データを割り当てる数を、前記総合評価点を複数段階で分け、前記総合評価点が高い段階に属する前記記憶装置ほど割り当てられる数が多くなるように設定し、The number of division data to be assigned to each storage device is set such that the overall evaluation score is divided into a plurality of stages, and the storage device belonging to the stage with the higher overall evaluation score is assigned a larger number.
バックアップを行う前記データを、所定の冗長性を満たし、算出した前記記憶装置に割り当てる数の合計数を満たすように分割して前記分割データとして生成し、The data to be backed up is generated as the divided data by satisfying a predetermined redundancy and dividing it so as to satisfy the total number of the numbers assigned to the calculated storage device,
算出した前記記憶装置ごとに割り当てる数に従って、同一の前記記憶装置に前記データの復元に必要な前記分割データの全てが保存されない秘匿性の条件と、所定の数の前記記憶装置が稼動を停止しても他の前記記憶装置に保存されている分割データを元に前記データの復元が可能であるように保存する冗長性の条件とを満たすように前記分割データの保存先を決定し、According to the calculated number assigned to each storage device, the confidentiality condition that all of the divided data necessary for restoring the data is not stored in the same storage device, and a predetermined number of the storage devices stop operating. However, the storage location of the divided data is determined so as to satisfy the redundancy condition for storing the data so that the data can be restored based on the divided data stored in the other storage device,
決定した保存先の前記記憶装置に前記分割データをそれぞれ書き込むことを特徴するデータ管理方法。A data management method, wherein each of the divided data is written into the storage device at the determined storage destination.
前記記憶装置の稼働の停止を検知したときに、稼動の停止が検知された前記記憶装置をバックアップを行う前記データの保存先として選択しないことを特徴とする請求項７に記載のデータ管理方法。8. The data management method according to claim 7, wherein when the stop of the operation of the storage device is detected, the storage device in which the stop of the operation is detected is not selected as a storage destination of the data to be backed up.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041673A JP6384066B2 (en) | 2014-03-04 | 2014-03-04 | Data management apparatus and data management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014041673A JP6384066B2 (en) | 2014-03-04 | 2014-03-04 | Data management apparatus and data management method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015166988A JP2015166988A (en) | 2015-09-24 |
| JP6384066B2 true JP6384066B2 (en) | 2018-09-05 |
Family
ID=54257820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014041673A Active JP6384066B2 (en) | 2014-03-04 | 2014-03-04 | Data management apparatus and data management method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6384066B2 (en) |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004126716A (en) * | 2002-09-30 | 2004-04-22 | Fujitsu Ltd | Data storing method using wide area distributed storage system, program for making computer realize the method, recording medium, and controller in the system |
| JP2004171224A (en) * | 2002-11-19 | 2004-06-17 | Nec Corp | Contract storage proxy serving system and method |
| JP2005115438A (en) * | 2003-10-03 | 2005-04-28 | Mitsubishi Electric Corp | Data management apparatus |
| JP2006202017A (en) * | 2005-01-20 | 2006-08-03 | Sharp Corp | Information processor, information storage device, function expansion system for information processor, function expansion method and function deletion method for information processor, and function expansion program and function deletion program for information processor |
| JP2007334836A (en) * | 2006-06-19 | 2007-12-27 | Canon Inc | Information processor, data holding device and control method therefor, computer program, and storage medium |
| JP2008176608A (en) * | 2007-01-19 | 2008-07-31 | Matsushita Electric Ind Co Ltd | Data backup device and data backup method |
| JP2008191898A (en) * | 2007-02-05 | 2008-08-21 | Aruze Corp | Data backup system |
| JP5686712B2 (en) * | 2011-06-30 | 2015-03-18 | 株式会社Ｎｔｔドコモ | Backup data generation device, online storage device, metadata management device, backup system, and backup method |
| JP2013131060A (en) * | 2011-12-21 | 2013-07-04 | Panasonic Corp | Information processing device |
| JP2013174987A (en) * | 2012-02-24 | 2013-09-05 | Hitachi Consumer Electronics Co Ltd | Network terminal system and terminal unit |
| GB2501098A (en) * | 2012-04-12 | 2013-10-16 | Qatar Foundation | Fragmenting back up copy for remote storage |
-
2014
- 2014-03-04 JP JP2014041673A patent/JP6384066B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015166988A (en) | 2015-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9411685B2 (en) | Parity chunk operating method and data server apparatus for supporting the same in distributed raid system | |
| EP2998881B1 (en) | A computer implemented method for dynamic sharding | |
| EP3230863B1 (en) | A system and method for providing thin-provisioned block storage with multiple data protection classes | |
| US7590672B2 (en) | Identification of fixed content objects in a distributed fixed content storage system | |
| US8504830B2 (en) | Transfer data management system for internet backup | |
| US11907410B2 (en) | Method and device for managing storage system | |
| CN105516263B (en) | Data distributing method, device, calculate node and storage system in storage system | |
| US20090234908A1 (en) | Data transmission queuing using fault prediction | |
| CN108628706A (en) | Method, apparatus, system and the storage medium of data backup | |
| CN104202385A (en) | Data backup and updating method of distributed file system | |
| CN108255576A (en) | Live migration of virtual machine abnormality eliminating method, device and storage medium | |
| US8543864B2 (en) | Apparatus and method of performing error recovering process in asymmetric clustering file system | |
| WO2015074392A1 (en) | Data processing method, device and system for storage unit | |
| CN109672544B (en) | Data processing method and device and distributed storage system | |
| CN112835511B (en) | Data writing method, device, equipment and medium of distributed storage cluster | |
| JP6135226B2 (en) | Information processing apparatus, information processing method, storage system, and computer program | |
| CN109117292A (en) | A kind of method and apparatus and cluster storage system of cluster-based storage | |
| JP2007334836A (en) | Information processor, data holding device and control method therefor, computer program, and storage medium | |
| US8312237B2 (en) | Automated relocation of in-use multi-site protected data storage | |
| WO2009070355A2 (en) | Systems and methods for providing redundant data storage | |
| JP6384066B2 (en) | Data management apparatus and data management method | |
| CN115065689B (en) | Alliance chain block data storage method and system based on historical evaluation | |
| KR102326683B1 (en) | System and method for asynchronous logging using queue and computer program for the same | |
| JP7248267B2 (en) | Storage device, recovery method, program | |
| CN110083584A (en) | File reconstruction method, apparatus, equipment and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180116 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180605 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180612 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180723 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6384066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |