JP6214089B2 - Computer system and program for determining data replication destination - Google Patents
Computer system and program for determining data replication destination Download PDFInfo
- Publication number
- JP6214089B2 JP6214089B2 JP2014009394A JP2014009394A JP6214089B2 JP 6214089 B2 JP6214089 B2 JP 6214089B2 JP 2014009394 A JP2014009394 A JP 2014009394A JP 2014009394 A JP2014009394 A JP 2014009394A JP 6214089 B2 JP6214089 B2 JP 6214089B2
- Authority
- JP
- Japan
- Prior art keywords
- replication
- data
- storage
- loss weight
- data loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010076 replication Effects 0.000 title claims description 296
- 238000003860 storage Methods 0.000 claims description 211
- 238000007726 management method Methods 0.000 claims description 68
- 238000000034 method Methods 0.000 claims description 55
- 230000014759 maintenance of location Effects 0.000 claims description 39
- 238000013500 data storage Methods 0.000 claims 1
- 230000037221 weight management Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 14
- 238000011156 evaluation Methods 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003362 replicative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、データ複製先としてのストレージを決定する計算機システム及びそのプログラムに関する。 The present invention relates to a computer system and a program for determining a storage as a data replication destination.
データ保護の方法として、非特許文献1では、地理的に分散したサイトに設置したストレージシステムを前提として、津波のような災害に対するデータ喪失リスクを定量評価し、低リスクのサイトを見出すことで、安全なサイトにデータを選択的に複製する方式を提案している。
As a method of data protection, Non-Patent
非特許文献1に示すような技術は、ストレージシステムを構成するサイトの各ストレージシステムの数や複製数が大きいと、ノードの組み合わせ数が増えるために、複製先決定にかかる時間が爆発的に増加する課題があった。
The technology as shown in Non-Patent
そこで、短時間でデータの複製先を決定できる計算機システムが必要となる。 Therefore, a computer system that can determine the data replication destination in a short time is required.
開示する計算機システムは、複数のストレージと、これらの複数のストレージとネットワークを介して接続する管理サーバーを有する。管理サーバーは、データを格納している複数のストレージの各々の複製元ストレージに対応して、データのデータ喪失重みを用いて、データの複製データを格納する、複数のストレージの中の一つを第1複製先ストレージとして決定し、与えられた災害リスクを用いてデータ喪失重みを更新し、更新したデータ喪失重みを用いて、データを格納している複製元ストレージに対応して、複製データを格納する、複数のストレージの中の他の一つを第2複製先ストレージとして決定する。 The disclosed computer system has a plurality of storages and a management server connected to the plurality of storages via a network. The management server uses one of the plurality of storages that stores the data replication data by using the data loss weight of the data corresponding to the replication source storage of each of the plurality of storages storing the data. The data is determined as the first replication destination storage, the data loss weight is updated using the given disaster risk, and the replication data is stored in correspondence with the replication source storage storing the data using the updated data loss weight. Another one of the plurality of storages to be stored is determined as the second replication destination storage.
本発明により、短時間で複製先を決定できる計算機システムが実現される。 According to the present invention, a computer system capable of determining a replication destination in a short time is realized.
以下、図面を参照しながら実施形態を説明する。なお、以下の説明では、「管理テーブル」等の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。また、データ構造に依存しないことを示すために「管理テーブル」を「管理情報」と呼ぶことができる。 Hereinafter, embodiments will be described with reference to the drawings. In the following description, various types of information may be described using an expression such as “management table”, but the various types of information may be expressed using a data structure other than a table. Further, the “management table” can be referred to as “management information” to indicate that it does not depend on the data structure.
また、「プログラム」を主語として処理を説明する場合がある。そのプログラムは、プロセッサ、例えば、MP(Micro Processor)やCPU(Central Processing Unit)によって実行されるもので、定められた処理をするものである。なお、適宜に記憶資源(例えばメモリ)及び通信インターフェース装置(例えば、通信ポート)を用いながら行うため、処理の主語がプロセッサとされてもよい。プロセッサは、CPUの他に専用ハードウェアを有していても良い。コンピュータプログラムは、プログラムソースから各コンピュータにインストールされても良い。プログラムソースは、例えば、プログラム配布サーバー又は記憶メディアなどで提供されるものであっても良い。 Further, the process may be described with “program” as the subject. The program is executed by a processor, for example, an MP (Micro Processor) or a CPU (Central Processing Unit), and performs a predetermined process. Note that the subject of processing may be a processor because the storage resource (for example, a memory) and a communication interface device (for example, a communication port) are used as appropriate. The processor may have dedicated hardware in addition to the CPU. The computer program may be installed on each computer from a program source. The program source may be provided by, for example, a program distribution server or a storage medium.
また、各要素例えば、テーブルなどは番号などで識別可能であるが、識別可能な情報であれば、名前など他種の識別情報が用いられても良い。本発明の図及び説明において同一部分には同一符号を付与しているが、本発明が本実施例に制限されることは無く、本発明の思想に合致するあらゆる応用例が本発明の技術的範囲に含まれる。また、特に限定しない限り、各構成要素は複数でも単数でも構わない。 Each element such as a table can be identified by a number or the like, but other types of identification information such as a name may be used as long as the information can be identified. In the drawings and description of the present invention, the same reference numerals are given to the same parts, but the present invention is not limited to the present embodiment, and any application examples that meet the idea of the present invention are technical. Included in the range. Further, unless specifically limited, each component may be plural or singular.
本実施例では、データ喪失重みの更新を伴う、反復的なデータ複製先の決定について説明する。 In the present embodiment, an iterative determination of a data replication destination accompanied by an update of data loss weight will be described.
図1は、本実施例の計算機システム100の構成図である。計算機システム100は、複数のストレージ101(ストレージ101a〜101n)と管理サーバー102を運用ネットワーク105により接続して構成する。管理サーバー102は、CPU106、メモリ107、運用ネットワーク105に接続するためのインターフェース108(以下、運用I/F108)、及び、管理コンソール103に接続するためのインターフェース109(以下、コンソールI/F109)を有する。
FIG. 1 is a configuration diagram of a
メモリ107は、ストレージ構成管理テーブル110、災害リスク管理テーブル111、データ喪失重み管理テーブル112、及び、複製構成管理テーブル113の各テーブル、並びに、データ喪失重み計算プログラム114、複製先決定プログラム115、及び、複製制御プログラム116の各プログラム(処理部)を格納しており、CPU106がこれらのプログラムを実行する。
The
運用ネットワーク105は、管理サーバー102がストレージ101を運用するためのネットワークであり、Ethernet(登録商標)などが好適である。データネットワーク104は複数のストレージ101の間でデータを転送するためのネットワークであり、Ethernet、ファイバーチャネル、インターネットなどが好適である。なお、データネットワーク104は運用ネットワーク105と同一のネットワークであってもよい。
The
図2は、本実施例のストレージ101の構成図である。ストレージ101は、CPU200、メモリ201、データを格納するボリューム202、運用ネットワーク105に接続するためのインターフェース203(運用I/F203)、及び、データネットワーク104に接続するためのインターフェース204(データI/F204)を有する。
FIG. 2 is a configuration diagram of the
メモリ201は、複製プログラム205を格納しており、CPU200が複製プログラム205を実行する。複製プログラム205は、他のストレージ101の複製プログラム205とデータネットワーク104を介して、ボリューム202に格納されたデータを他のストレージ101に複製する。データの複製単位は、ブロック単位やファイル単位、オブジェクト単位などである。
The
なお、メモリ107に格納された各テーブルおよび各プログラムをメモリ201に格納し、CPU200が各プログラムを実行する構成でもよい。
The table and each program stored in the
以下、計算機システム100が4台のストレージ101と接続されており、各ストレージ101のデータ冗長度を3にする場合(すなわち、各ストレージが格納するデータの複製を2つ作成する場合)を例として説明する。
Hereinafter, a case where the
図3は、ストレージ構成管理テーブル110の構成例を示す図である。ストレージ構成管理テーブル110は、ストレージ101を特定するID300、各ストレージ101が格納するデータ量(複製する元データの量)301、各ストレージ101が複製データを格納するための空き容量302、及び、各ストレージ101にアクセスするために必要なIPアドレス303を有する。データ量301及びは空き容量302の各々は、MB単位などで絶対量を示してもよいが、ここでは簡略化するために所定のデータ量で規格化した値を用いる。
FIG. 3 is a diagram illustrating a configuration example of the storage configuration management table 110. The storage configuration management table 110 includes an
ストレージ構成管理テーブル110は、データの複製に先立って、管理コンソール103を使って、管理者により作成される。
The storage configuration management table 110 is created by an administrator using the
なお、IPアドレス303は、各ストレージ101の運用I/F203のIPアドレスを例として示すが、ネットワークの構成に応じて、例えば、データI/F204であってもよいし、両方を含んでも良い。また、ネットワークがファイバーチャネルで構成されている場合は、WWNを含んでも良い。
The
図4は、災害リスク管理テーブル111の構成例を示す図である。災害リスク管理テーブル111は、複製元(複製元ストレージ)400と複製先(複製先ストレージ)401の組み合わせのそれぞれの災害リスク402の値を格納する。災害リスク402は、複製元(複製元ストレージ)400から複製先(複製先ストレージ)401へデータを複製するときの、そのデータに対応する災害リスクであるとみなせる。
FIG. 4 is a diagram illustrating a configuration example of the disaster risk management table 111. The disaster risk management table 111 stores the values of the
災害リスクは、例えば、地震や津波などの災害により、複製元400と複製先401のストレージ101が同時に損壊し、それらのストレージ101の格納データを喪失する確率である。
The disaster risk is, for example, the probability that the
図4に示す例では、ストレージ1からストレージ2にデータを複製した場合、そのデータを喪失する確率は0.9であり、ストレージ2からストレージ3にデータを複製した場合、そのデータを喪失する確率は0.3である。ただし、データ保護の観点ではストレージ1からストレージ1への複製は意味がないため、そのリスク値は定義なし(−)である。
In the example shown in FIG. 4, when data is replicated from the
災害リスク値管理テーブル111は、データの複製を実行する前に事前に作成する。例えば、実際の地震や津波の被害に関する統計的情報から、被害確率を算定して作成してもよいし、既存の地震モデルや津波モデルを用いて算定して作成してもよいし、数値シミュレータを用いて算定して作成してもよい。 The disaster risk value management table 111 is created in advance before data replication. For example, it may be created by calculating the damage probability from statistical information on actual earthquake or tsunami damage, or by calculating using an existing earthquake model or tsunami model, or a numerical simulator You may calculate and create using
なお、複製元400と複製元401は、ストレージ101の全て(ここでは、4台のストレージ101)を含んでもよいし、一部(4台中の3台のストレージ101)だけを含んでもよい。
Note that the
図5は、データ喪失重み管理テーブル112の構成例を示す図である。データ喪失重み管理テーブル112は、複製元(複製元ストレージ)500、複製先(複製先ストレージ)501の組み合わせのそれぞれのデータ喪失重み502の値を格納する。
FIG. 5 is a diagram illustrating a configuration example of the data loss weight management table 112. The data loss weight management table 112 stores the value of the
データ喪失重み502は、データ喪失被害の大きさを示す数値である。データ喪失重み502は、例えば、災害リスク402と各ストレージ101のデータ量とを掛け算することで得られる。
The
図5に示すでは、データ量1であるストレージ1を複製元とした場合のデータ喪失重み502は災害リスク402と同じ値であり、データ量2であるストレージ2を複製元とした場合のデータ喪失重み502は災害リスク402の2倍である。
In FIG. 5, the
データ喪失重みテーブル112は、複製先の決定に先立って、データ喪失重み計算プログラム114によって生成される。データ喪失重み計算プログラム114は、ストレージ構成管理テーブル110と、災害リスク管理テーブル111とを読み込み、計算したデータ喪失重み502をデータ喪失重み管理テーブル112として書き込む。
The data loss weight table 112 is generated by the data loss
図6は、複製構成管理テーブル113の構成例を示す図である。複製構成管理テーブル113は、複製元600(複製元ストレージ)、複製元600に格納されているデータの1つ目の複製先のストレージ101を示す第1複製先(第1複製先ストレージ)601、及び、そのデータの2つ目の複製先のストレージ101を示す第2複製先(第2複製先ストレージ)602を有する。
FIG. 6 is a diagram illustrating a configuration example of the replication configuration management table 113. The replication configuration management table 113 includes a replication source 600 (replication source storage), a first replication destination (first replication destination storage) 601 indicating the first
計算機システム100が複製先を決定した後、管理コンソール103は、複製構成管理テーブル113の内容を表示・修正することができる。例えば、管理者が管理コンソール103を操作し、複製先に問題がないかを確認したり、特別な要件にあわせてカスタマイズしたりする。
After the
なお、図6は、複製元600、第1複製先602、及び、第2複製先603として、ストレージ101のID300を示しているが、ストレージ101のIPアドレス303であってもよい。
6 shows the
複製先決定プログラム115は、データ複製の実行前に、第1複製先を決定する複製先決定処理および第2複製先を決定する複製先決定処理を実行する。後述するように、決定する複製先を異にするが、複製先決定処理は同様の処理である。
The replication
図7は、第1複製先を決定する複製先決定処理のフローチャートである。第1複製先を決定する複製先決定処理を開始すると、複製先決定プログラム115は、データ喪失重み管理テーブル112を読み込み(S701)、後述する組み合わせ処理を実行し、第1複製先となるストレージを決定し(S702)、複製構成管理テーブル113の第1複製先601に、第1複製先として決定したストレージのIDを書き込む(S703)。
FIG. 7 is a flowchart of a replication destination determination process for determining the first replication destination. When the replication destination determination process for determining the first replication destination is started, the replication
図8は、複製元と複製先の組み合わせを決定する際に使用する組み合わせ作業テーブルの構成例を示す図である。組み合わせ作業テーブル800は、データ喪失重み評価列801、および、複製元と複製先の組み合わせを決定する途中経過を記述する仮決定列802を有する。
FIG. 8 is a diagram illustrating a configuration example of a combination work table used when determining a combination of a replication source and a replication destination. The combination work table 800 has a data loss
データ喪失重み評価列801は、データ喪失重み管理テーブル112のコピーである。すなわち、データ喪失重み評価列801は、複製元となる各ストレージのID、複製先となる各ストレージのID、及び、それらの組み合わせの各々のデータ喪失重みの値である。
The data loss
仮決定列802は、複製先を決定するための各ステップ、及び、そのステップで評価するデータ喪失重みの値である。複製先を決定するための各ステップを、図9を用いて説明する。
The
図9は、複製元と複製先の組み合わせを決定する組み合わせ処理のフローチャートである。本実施例の組み合わせ処理は、データ喪失の危険がある(リスクが高い)ストレージの組み合わせを、できる限り安全な組合せにする。 FIG. 9 is a flowchart of a combination process for determining a combination of a replication source and a replication destination. In the combination processing of the present embodiment, the combination of storages at risk of data loss (high risk) is made as safe as possible.
組み合わせ処理を開始すると、複製先決定プログラム115は組み合わせ作業テーブル800を生成する(S901)。S901では、複製先決定プログラム115は、データ喪失重み管理テーブル112を、データ喪失重み評価列801にコピーする。そして、複製先決定プログラム115は、複製元の数と同じ数だけ、仮決定列802にステップを示す列(ここではステップ1〜ステップ4の4列)を作成する。ただし、このとき、仮決定列802にデータ喪失重みは書き込まない。
When the combination process is started, the replication
次に、複製先決定プログラム115は複製先の候補である各ストレージ101の空き容量をチェックする(S902)。S902では、複製先決定プログラム115は、ストレージ構成管理テーブル110のデータ量301及び空き容量302、並びに、組み合わせ作業テーブル800の仮決定列802を読み込み、決定済みの組み合わせに基づく複製データによって減少する空き容量302を計算した後、データ喪失重み評価列801のうち、データ量301が空き容量302よりも大きくなる組み合わせを以後の組み合わせ処理から除外する。
Next, the copy
複製先決定プログラム115は、複製元ごとに最もデータ喪失重みの小さい複製先を仮決定列802に書き込む(S903)。S902〜S906のループ処理において、最初にS903を実行するとき(1ループ目)、複製先決定プログラム115は、ストレージ1を複製元とする場合の、データ喪失重み評価列801のデータ喪失重み0.9、0.3、0.6から、最も小さい0.3を、仮決定列802の第1ステップ列に書き込む。次に、ストレージ2を複製元とする場合の、データ喪失重み評価列801のデータ喪失重み1.8、0.6、0.8のうち、最も小さい0.6を、仮決定列802の第1ステップ列に書き込む。以下同様に、ストレージ3に対しては0.3を、ストレージ4に対しては0.4を第1ステップ列に書き込む。以後、S903が複数回呼び出された場合は、その都度、第2ステップ列、第3ステップ列とインクリメンタルに列番号を増やして書き込む。なお、複製元ごとに同じデータ喪失重みの複製先が複数ある場合、それらに対応する、データ喪失重み評価列801にある各列の平均値を計算し、最も平均値の大きい列のデータ喪失重みを第1ステップ列に書き込むものとする。
The replication
複製先決定プログラム115は、仮決定列802から、最もデータ喪失重みの大きい複製元を検索し,その複製元に対する複製先を決定する(S904)。S902〜S906のループ処理において、最初にS904を実行するとき、複製先決定プログラム115は、第1ステップ列にあるデータ喪失重み0.3、0.6、0.3、0.4のうち、最も大きい0.6に対応する、ストレージ2を複製元とし、その複製先をストレージ3にする組み合わせを決定する。なお、仮決定列802に同じ最も大きいデータ喪失重みの、複製元と複製先との組み合わせが複数ある場合、データ喪失重み評価列801にある各行の平均値を計算し、最も平均値の大きい列のデータ喪失重みをもつ組み合わせに決定するものとする。
The replication
複製先決定プログラム115は、決定した複製元を組み合わせ作業テーブルから除外する(S905)。最初にS904を実行したとき、複製先決定プログラム115は、データ喪失重み評価列801と仮決定列802の、ストレージ2を複製元とした場合に相当する行を以後の組み合わせ処理対象から除外する。
The replication
複製先決定プログラム115は、全ての複製元に対して複製先が決定したかをチェックする(S906)。決定した場合は、複製先決定プログラム115は、S907に進む。決定していない場合は、複製先決定プログラム115は、S902に進む。最初にS904を実行したとき、複製先決定プログラム115は、ストレージ2を複製元としてストレージ3を複製先とする組合せを決定するが、他の3つのストレージを複製元とする複製先との組合せを決定していないため、S902に進む。また、最後にS904を実行すると、複製先決定プログラム115は、複製元と複製先の組合せとして、ストレージ1とストレージ4、ストレージ2とストレージ3、ストレージ3とストレージ1、および、ストレージ4とストレージ2の組み合わせを決定する。
The replication
複製先決定プログラム115は、組み合わせ入れ替え処理を実行し(S907)、処理を終了する。
The replication
図10は、仮決定した組み合わせをもとに、より良い組み合わせに入れ替える組み合わせ入れ替え処理が使用する入れ替え作業テーブルの構成例を示す図である。入れ替え作業テーブル1000は、名称列1001、組み合わせ列1002、実行可能列1003、及び、喪失重み合計列1004を有する。
FIG. 10 is a diagram illustrating a configuration example of a replacement work table used by a combination replacement process for switching to a better combination based on the temporarily determined combination. The replacement work table 1000 includes a
名称列1001は、入れ替え作業で作成する一時的な組み合わせの名称を示す。組み合わせ列1002は、入れ替え作業で作成する、ストレージの複製元と複製先との組み合わせの内容を示す。図中、たとえば「1→4」は、複製元がストレージ1で、複製先がストレージ4である組み合わせを意味する。
The
実行可能列1003は、複製元と複製先との組み合わせが許容される(実行可能)かどうかを示す。実行可能列がOKの場合は、その組み合わせが許容されることを示し、NGの場合はその組み合わせが許容されないことを示す。
The
喪失重み合計1004は、実行可能であると判定された複製元と複製先の組み合わせに対するデータ喪失重みを示す。図10の例では、名称が「入替前」である組み合わせ(すなわち、「1→4」、「2→3」、「3→1」、「4→2」)のデータ喪失重みは、図5によれば、それぞれ、0.6、0.6、0.3、0.4である。したがって、その喪失重み合計列は、これらの合計である1.9である。
A
図11は、仮決定した複製元と複製先の組み合わせをもとに、より良い組み合わせに入れ替える組み合わせ入れ替え処理(S907)のフローチャートである。組み合わせ入れ替え処理を開始すると、複製先決定プログラム115は、入れ替え作業テーブル1000を作成する(S1101)。S1101では、複製先決定プログラム115は、メモリ107上に名称1001に「入替前」を、組み合わせ1002に仮決定した組み合わせを、実行可能1003に「OK」を、「喪失重み合計」にその組み合わせのデータ喪失重みの合計値を、それぞれ書き込む。図10に示すように、名称1001の「入替前」に対応させて、組み合わせ1002として「1→4」、「2→3」、「3→1」及び「4→2」を書き込み、実行可能1003に「OK」を書き込み、喪失重み合計1004に「1.9」を書き込む。
FIG. 11 is a flowchart of the combination replacement process (S907) in which the combination is replaced with a better combination based on the temporarily determined combination of the replication source and the replication destination. When the combination replacement process is started, the replication
複製先決定プログラム115は、データ喪失重みが最大の組み合わせをもとに、組み合わせ入れ替え候補を生成する(S1102)。S1102では、複製先決定プログラム115は、仮決定した組み合わせのうち、データ喪失重みが最大の組み合わせを検索する。次に、データ喪失重みが最大の組み合わせにおける複製先と、他のすべての複製元に対する複製先とを、それぞれ入れ替えた候補を生成し、組み合わせ列1002に書き込む。図10に示す例では、図8の仮決定列802を参照して、「入替前」の組み合わせ1002の中から、最も大きいデータ喪失重み0.6の「1→4」と「2→3」の2つの組み合せが検索される。そして、「1→4」の複製先である4を、「2→3」の複製先である3と入れ替えた組み合わせを「候補1」、「3→1」の複製先である1と入れ替えた組み合わせを「候補2」、「4→2」の複製先である2と入れ変えた組み合わせを「候補3」とし、組み合わせ列1002に書き込む。さらに、検索した「2→3」の組み合せについても同様に、その複製先である3を、「3→1」の複製先である1と入れ替えた組み合わせを「候補4」、「4→2」の複製先である2と入れ替えた組み合わせを「候補5」とし、組み合わせ列1002に書き込む。なお、「2→3」の複製先である3を「1→4」の複製先である4と入れ替えた複製先は、「候補1」と同じ組み合わせ「2→4」になるため省略したが、これを書き込んでもよい。
The replication
複製先決定プログラム115は、組み合わせ候補が実行可能か判定する(S1103)。S1103では、組み合わせ列1002に書き込まれた全ての組み合わせ候補に対し、実行可能性をチェックし、チェック結果を実行可能列1003に書き込む。実行可能の条件の1つは、複製元と複製先が異なる組み合わせであることである。複製元と複製先が同じ組み合わせは、複製元と複製先が異なる組み合わせに比べ、データの喪失リスクが明らかに高いため、複製先決定プログラム115は、これを実行不可能と判定する。図10に示す例では、複製元と複製先が同じ組み合わせを持つ、候補2、候補3、候補4、候補5を、このチェックにより実行不可能と判定し、実行可能列1003にNGを書き込む。また、複製先決定プログラム115は、他の実行可能性チェックとして、複製先の空き容量が不足する組み合わせを実行不可能とする。さらに他の実行実行可能性チェックとして、複製数が2以上であって、2回目に組み合わせ入れ替え処理を実行する際に、ある複製元に対して第1複製先と同じ複製先をもつ組み合わせを実行不可能としてもよい。
The copy
複製先決定プログラム115は、実行可能な組み合わせ候補の,データ喪失重み合計を計算する(S1104)。S1104では、データ喪失重み管理テーブル112を参照して、組み合わせ列1002に書き込まれた全ての組み合わせ候補のうち、実行可能なもののデータ喪失重みの合計を計算し、喪失重み合計列1004に結果を書き込む。図10に示す例では、実行可能な候補1に対し、そのデータ喪失重み(0.3、0.8、0.3、0.4)の合計である1.8を喪失重み合計1004に書き込む。
The replication
複製先決定プログラム115は、実行可能な組み合わせ候補に対して、データ喪失重みが減少したかどうか判定する(S1105)。S1105では、複製先決定プログラム115は、入替前の組み合わせと、実行可能な組み合わせ候補のデータ喪失重み合計を比較し、データ喪失重みが減少したかどうかを判定する。減少した候補が1つでもある場合は、複製先決定プログラム115は、S1106に進む。それ以外の場合は、S1107に進む。図10に示す例では、候補1の組み合わせが、入替前の組み合わせに比べて、データ喪失重みが0.1減少しているので、S1106に進む。
The copy
複製先決定プログラム115は、データ喪失重みが最小の組み合わせ候補を組み合わせ入れ替え処理の結果として決定し(S1106)、処理を終了する。図10に示す例では、候補1の組み合わせを組み合わせ入れ替え処理の結果として決定する。
The replication
なお、S1107に進んだ場合、複製先決定プログラム115は、入れ替え前の組み合わせを、組み合わせ入れ替え処理の結果として決定し(S1107)、処理を終了する。
When the processing proceeds to S1107, the replication
図12は、複製構成管理テーブル113の第2複製先602を決定する複製先決定処理のフローチャートである。第2複製先を決定する複製先決定処理を開始すると、複製先決定プログラム115は、データ喪失重み管理テーブル112の更新処理を実行し(S1201)、更新したデータ喪失重み管理テーブル112を読み込む(S1202)。次に、後述する組み合わせ処理を実行し、第2複製先となるストレージを決定する(S1203)。最後に、複製構成管理テーブル113の第2複製先602に、第2複製先として決定したストレージのIDを書き込み(S1204)、第2複製先を決定する複製先決定処理を終了する。
FIG. 12 is a flowchart of a replication destination determination process for determining the
図13は、本実施例における、データ喪失重み管理テーブル112のデータ喪失重みを更新することで得られるデータ喪失重み管理テーブル1300の例を示す図である。更新後のデータ喪失重み管理テーブル1300と、更新前のデータ喪失重み管理テーブル112との違いは、データ喪失重みの値である。データ喪失重み1303のうち「決定済」である組み合わせは、第1複製先を決定する複製先決定処理によって、その組み合わせが既に決定されている(図10の候補1)ので、第2複製先を決定するための組み合わせの対象から外すことを意味する。それ以外の組み合わせのデータ喪失重み1303は、第1複製先に複製した上で、第2複製先を決定した場合の、データ喪失被害の大きさを示す数値である。
FIG. 13 is a diagram illustrating an example of the data loss weight management table 1300 obtained by updating the data loss weight of the data loss weight management table 112 in the present embodiment. The difference between the data loss weight management table 1300 after the update and the data loss weight management table 112 before the update is the value of the data loss weight. Of the
例えば、図13のストレージ1を複製元とした場合のデータ喪失重み1303は、ストレージ1を複製元とした場合の更新前のデータ喪失重み502に、第1複製先として決定したストレージ3とのデータ喪失リスク0.3を掛け算して得られる。たとえば、ストレージ1を複製元とし、ストレージ2を第2複製先とした組合せのデータ喪失重み値1303は、更新前のデータ喪失重み502の値0.9にストレージ3とのデータ喪失リスクの値0.3を掛けた0.27である。
For example, the
図14は、データ喪失重みを更新するデータ喪失重み更新処理のフローチャートである。データ喪失重み更新処理を開始すると、複製先決定プログラム115は、データ喪失重み管理テーブル112と複製構成管理テーブル113を読み込む(S1401)。
FIG. 14 is a flowchart of data loss weight update processing for updating the data loss weight. When the data loss weight update process is started, the replication
複製先決定プログラム115は、複製構成管理テーブル113から、各複製元の第1複製先を読み込み、データ喪失重み管理テーブル112の第1複製先との組み合わせを、次(S1403)の更新重み値の計算対象から除外する(S1402)。
The replication
複製先決定プログラム115は、更新重み値を計算する(S1403)。更新重み値は、図13の説明で述べたように、更新前のデータ喪失管理テーブル112に記録されたデータ喪失重みに、災害リスク402を掛け算することで得る。
The copy
複製先決定プログラム115は、計算した更新重み値を更新後のデータ喪失リスク管理テーブル1300に書き込み(S1404)、処理を終了する。
The replication
データ喪失重みを更新したデータ喪失重み管理テーブル112(図13の1300)を用いて、図7の複製先決定プログラムを再度実行することにより、複製元と第2複製先のストレージの組合せが得られ、複製元600の各ストレージに対応する第2複製先602のストレージを決定する。以上が、複製先決定プログラム115による、本実施例における第2複製先の複製先決定処理である。
By using the data loss weight management table 112 (1300 in FIG. 13) in which the data loss weight has been updated, the replication destination determination program in FIG. 7 is executed again to obtain a combination of the replication source and the second replication destination storage. The storage of the
複製制御プログラム116は、複製構成管理テーブル113を参照し、各ストレージの複製プログラム205に対して複製を指示する。その結果、複製元600の各ストレージの複製プログラム205が、第1複製先601および第2複製先602へデータを複製する。
The
なお、本実施例では、複製数が2の場合(冗長度が3)を例に説明したが、複製数が3以上(冗長度が4以上)の場合も同様の方法を用いることができる。例えば、複製数3の場合、第3複製先を決定する手順として、単に第2複製先を決定する手順を追加で実行すればよい。 In this embodiment, the case where the number of replicas is 2 (redundancy is 3) has been described as an example. However, the same method can be used when the number of replicas is 3 or more (redundancy is 4 or more). For example, when the number of replicas is 3, as a procedure for determining the third replication destination, a procedure for simply determining the second replication destination may be additionally executed.
なお、本実施例では、データ喪失重み502を、災害リスク402と各ストレージ101のデータ量とを掛け算することで得たが、単に災害リスク402としてもよい。また、データ喪失重み502をデータ安全重み(すなわち、値が大きいほどデータが安全であることを示す重み)としてもよい。
In this embodiment, the
図15は、本実施例による効果を示す図である。図15(A)のデータ喪失割合グラフは、本実施例の反復による複製先の決定と一括処理(たとえば、第1複製先の決定に伴い更新したデータ喪失重みを第2複製先の決定に反映しない)をそれぞれ用いた場合に、損壊ストレージ割合の増加に対して、データ喪失割合が増加する様子を示した実験データである。実験では、ストレージ101の数を135とした計算機システム100を用いた。計算機システム100において、複製先を決定しデータを複製した後、地震シミュレータを用いてストレージの損壊をシミュレートし、その結果からデータの喪失と残存を集計することで、データ損失割合を計算した。図15(A)のデータ喪失割合グラフは、本実施例の反復処理と一括処理のデータ喪失割合が、どの損壊ストレージ割合であってもほぼ同じであることを示している。すなわち、本実施例の反復処理による複製先の決定は、一括処理による複製先の決定と同等のデータ保護性能をもつことがわかる。
FIG. 15 is a diagram showing the effect of this embodiment. The data loss ratio graph in FIG. 15A reflects the determination of the replication destination and batch processing (for example, the data loss weight updated with the determination of the first replication destination) in the determination of the second replication destination by repeating this embodiment. This is experimental data showing how the data loss rate increases with respect to the increase in the damaged storage rate when each of the above is used. In the experiment, a
図15(B)の複製先決定にかかる時間グラフは、本実施例の反復処理と一括処理をそれぞれ用いた場合に、計算機システム100を構成するストレージ101の台数増加に対して、複製先決定にかかる時間が増加する様子を示した実験データである。図15(B)の複製先決定にかかる時間グラフは、本実施例の反復処理による複製先決定に要する時間が、一括処理によるそれに比べて、どのストレージ台数であっても小さく、数千分の一以下になる場合すらあることを示している。すなわち、本実施例の反復処理によれば、一括処理に比べて、短時間で複製先を決定できることがわかる。
The time graph for determining the replication destination in FIG. 15B is used to determine the replication destination with respect to the increase in the number of
本実施例によれば、短時間でデータの複製先ストレージを決定することができるため、多くのストレージを地理的に分散した計算機システム(大規模分散システム)を運用する場合に、各ストレージの複製先として、データ保護性能が高いものを、短時間で決定することができる。そのため、利用者は、大規模分散システムの要件変更に合わせて、その都度複製先の変更を迅速に実施することができる。その際、データ保護効果は一括処理を用いた場合とほぼ同等に保たれる。 According to the present embodiment, the data replication destination storage can be determined in a short time. Therefore, when operating a computer system (large-scale distributed system) in which many storages are geographically distributed, replication of each storage is performed. First, it is possible to determine a high data protection performance in a short time. Therefore, the user can quickly change the duplication destination each time the requirements of the large-scale distributed system change. At that time, the data protection effect is kept almost the same as when batch processing is used.
本実施例では、ストレージごとに冗長度が異なる、反復的なデータ複製先の決定について説明する。本実施例では、実施例1と異なる部分を中心に説明する。 In this embodiment, a description will be given of repetitive determination of a data replication destination having a different redundancy for each storage. In the present embodiment, a description will be given centering on differences from the first embodiment.
本実施例は、実施例1と異なり、複製元ストレージごとに異なるデータ冗長度でデータを複製する。本実施例では、計算機システム100は、実施例1で述べた複製元を決定する各段階において、複製元となるストレージごとに、反復的にデータ複製先を決定する過程で、データ喪失重みがあらかじめ与えられた許容データ喪失重み以下であるならば、それ以上のデータ複製先を設けず、複製元となるストレージごとに異なる冗長度で複製する構成を備える。逆に言えば、複製元ストレージと第n複製先ストレージとの組合せにおけるデータ喪失重みが予め与えられた許容データ喪失重みを超えているとき(所定の許容データ喪失重みを満足しないとき)、データ喪失重みを更新し、第n+1複製先ストレージを決定する。この結果、複製元となるストレージごとに異なる冗長度で複製する構成となる。
Unlike the first embodiment, this embodiment replicates data with different data redundancy for each copy source storage. In this embodiment, the
図16は、本実施例における、管理コンソール103に表示するデータ冗長度管理画面の構成例を示す図である。データ冗長度管理画面1600は、計算機システム100の全てのストレージ101に対して、同じ冗長度でデータを複製するための設定を行う固定冗長度ラジオボタン1605、各ストレージに対して異なる冗長度でデータを複製するための設定を行う可変冗長度ラジオボタン1601を表示する。さらにデータ冗長度管理画面1600は、可変冗長度ラジオボタン1601の選択に応答して許容する最大の冗長度を設定する最大冗長度テキストボックス1602、許容するデータ喪失重みテキストボックス1603、及び、管理サーバー102に設定完了を通知するOKボタン1604を備える。なお、許容するデータ喪失重みテキストボックス1603に入力された値を超えるデータ喪失重みの場合に、許容しないものとする。
FIG. 16 is a diagram illustrating a configuration example of a data redundancy management screen displayed on the
システム管理者などの操作者は、管理コンソール103を操作してデータ冗長度管理画面1600を表示し、固定冗長度ラジオボタン1605または可変冗長度ラジオボタン1601を選択する。可変冗長度ラジオボタン1601を選択した場合、許容する最大冗長度1602と許容するデータ喪失重み1603を設定した後、OKボタン1604を押すことで、設定を完了する。管理コンソール103は、設定された内容を管理サーバー102のメモリ107上に保存する。本実施例は、可変冗長度ラジオボタン1601を選択した場合である。
An operator such as a system administrator operates the
図17は、本実施例における、データ喪失重みを更新することで得られるデータ喪失重み管理テーブルの例を示す図である。データ喪失重みを更新することで得られる、データ喪失重み管理テーブル1700と実施例1におけるデータ喪失重み管理テーブル1300との違いは、データ喪失重み値1703に「除外」が格納され得ることである。データ喪失重み1703が「除外」である、複製元1701と複製先1702のストレージの組み合わせは、第1複製先として複製先決定プログラム115によって決定されたストレージのデータ喪失重み値が、許容するデータ喪失重み1603に入力された値以下であるため、複製先決定プログラム115が第2複製先を決定しない(処理を除外する)ことを意味する。
FIG. 17 is a diagram illustrating an example of a data loss weight management table obtained by updating the data loss weight in the present embodiment. A difference between the data loss weight management table 1700 obtained by updating the data loss weight and the data loss weight management table 1300 in the first embodiment is that “exclusion” can be stored in the data
図16に示した例では、許容するデータ喪失重み1603の値は0.3である。ストレージ1とその第1複製先であるストレージ3との間のデータ喪失重み値は0.3(図5参照)であり、許容するデータ喪失重み1603の値以下であるため、ストレージ1は第2複製先を決定する対象から除外される。一方、ストレージ2とその第1複製先であるストレージ4との間のデータ喪失重み値は0.8(図5参照)であり、許容するデータ喪失重み1603の値よりも大きいため、ストレージ2は第2複製先を決定する対象に含められる。同様に、ストレージ3はその対象から除外され、ストレージ4はその対象に含められる。
In the example shown in FIG. 16, the allowable
図18は、本実施例における、データ喪失重みを更新する手順を示すフローチャートである。実施例1との違いは、図18において、図14のS1402とS1403の間にS1803を追加したものである。 FIG. 18 is a flowchart showing the procedure for updating the data loss weight in this embodiment. The difference from the first embodiment is that in FIG. 18, S1803 is added between S1402 and S1403 in FIG.
データ喪失重み更新処理を開始すると、複製先決定プログラム115は、データ喪失重み管理テーブル112と複製構成管理テーブル113を読み込む(S1801)。複製先決定プログラム115は、複製構成管理テーブル113から、各複製元の第1複製先を読み込み、データ喪失重み管理テーブル112から、第1複製先との組み合わせを、S1804の更新重み値の計算対象から除外する(S1802)。
When the data loss weight update process is started, the replication
複製先決定プログラム115は、メモリ107から許容するデータ喪失重みの値(前述した、許容するデータ喪失重み1603に入力され、メモリ107に格納されている値)を読み取り、図17の説明で述べたように、各複製元の第1複製先との組み合わせにおけるデータ喪失重みとこれを比較する。その結果、許容するデータ喪失重み1603以下である組み合わせをもつ複製元を、S1804更新重み値の計算対象から除外する(S1803)。
The replication
複製先決定プログラム115は、更新重み値を計算し(S1804)、計算した更新重み値を更新後のデータ喪失重み管理テーブル1700として書き込み(S1805)、処理を終了する。以上が、複製先決定プログラム115による、本実施例における複製先決定処理である。
The replication
なお、本実施例は、ストレージごとに異なる冗長度でデータを複製する方法を示したが、本実施例と同様の手法で、データ(すなわちファイルやディレクトリ)ごとに異なる冗長度となるように実行してもよい。 In this example, the method of replicating data with different redundancy for each storage is shown. However, the same method as in this example is used so that the data (ie, file or directory) has different redundancy. May be.
本実施例によれば、許容するデータ喪失重み値に基づいて安全と判定された複製元は、それ以上の複製を作成しないため、安全なストレージに効率的にデータを複製でき、複製データを格納するストレージ容量を節約することができる。 According to the present embodiment, the copy source determined to be safe based on the allowable data loss weight value does not create any more copies, so the data can be efficiently copied to the safe storage, and the copy data is stored. Storage capacity can be saved.
100:計算機システム、101:ストレージ、102:管理サーバー、103:管理コンソール、110:ストレージ構成管理テーブル、111:災害リスク管理テーブル、112:データ喪失重み管理テーブル、113:複製構成管理テーブル、114:データ喪失重み計算プログラム、115:複製先決定プログラム、116:複製制御プログラム。 100: Computer system, 101: Storage, 102: Management server, 103: Management console, 110: Storage configuration management table, 111: Disaster risk management table, 112: Data loss weight management table, 113: Replication configuration management table, 114: Data loss weight calculation program, 115: replication destination determination program, 116: replication control program.
Claims (10)
前記管理サーバーは、前記複製元ストレージと前記第1複製先ストレージとの組合せを仮決定して、仮決定した前記組合せの中で、データ喪失重みが最大の組合せについて、仮決定した前記複製元ストレージと仮決定した前記第1複製先ストレージとの組み合わせを入れ替え、前記データのデータ喪失重みを用いて、入れ替えた前記組合せの中から、仮決定した前記第1複製先ストレージを前記第1複製先ストレージとして決定することを特徴とする計算機システム。 Corresponding to each of the plurality of storages and the plurality of storages that are connected to the plurality of storages via a network and storing the data, the data storage weight of the data is used, One of the plurality of storages for storing data replication data is determined as a first replication destination storage, the data loss weight is updated using a given disaster risk, and the updated data loss weight is set. And a management server that determines the other one of the plurality of storages as the second replication destination storage that stores the replication data in correspondence with the replication source storage that stores the data. And
The management server tentatively determines a combination of the replication source storage and the first replication destination storage, and tentatively determines the replication source storage for the combination with the largest data loss weight among the tentatively determined combinations. The combination of the first replication destination storage temporarily determined and the first replication destination storage is replaced, and the first replication destination storage temporarily determined from the replaced combination is replaced with the first replication destination storage using the data loss weight of the data. A computer system characterized by determining as .
前記管理サーバーに、前記複製元ストレージと前記第1複製先ストレージとの組合せを仮決定して、仮決定した前記組合せの中で、データ喪失重みが最大の組合せについて、仮決定した前記複製元ストレージと仮決定した前記第1複製先ストレージとの組み合わせを入れ替え、前記データのデータ喪失重みを用いて、入れ替えた前記組合せの中から、仮決定した前記第1複製先ストレージを前記第1複製先ストレージとして決定する手順を実行させるためのプログラム。 The data replication data using the data loss weight of the data corresponding to the replication source storage of each of the plurality of storages storing data to a management server connected to the plurality of storages via a network One of the plurality of storages is stored as a first replication destination storage, the data loss weight is updated using a given disaster risk, and the updated data loss weight is used to Corresponding to the replication source storage storing the data, the procedure for determining the other one of the plurality of storages for storing the replication data as a second replication destination storage is executed .
The management server temporarily determines a combination of the replication source storage and the first replication destination storage, and temporarily determines the replication source storage for the combination with the largest data loss weight among the provisionally determined combinations. The combination of the first replication destination storage temporarily determined and the first replication destination storage is replaced, and the first replication destination storage temporarily determined from the replaced combination is replaced with the first replication destination storage using the data loss weight of the data. A program for executing the procedure to determine as .
前記管理サーバーは、The management server is
データを格納している前記複数のストレージの各々の複製元ストレージに対応して、複製元ストレージと複製先ストレージとの組み合わせごとに算出した前記データのデータ喪失重みを用いて、前記データの複製データを格納する、前記複数のストレージの中の一つを第1複製先ストレージとして決定し、Data replication data using the data loss weight of the data calculated for each combination of the replication source storage and the replication destination storage corresponding to the replication source storage of each of the plurality of storages storing data And determining one of the plurality of storages as a first replication destination storage,
前記決定した第1複製先ストレージを用いて前記複製元ストレージと複製先ストレージとの組み合わせごとに算出したデータ喪失重みを更新し、更新した前記データ喪失重みを用いて、前記データを格納している前記複製元ストレージに対応して、前記複製データを格納する、前記複数のストレージの中の他の一つを第2複製先ストレージとして決定することを特徴とする計算機システム。The data loss weight calculated for each combination of the replication source storage and the replication destination storage is updated using the determined first replication destination storage, and the data is stored using the updated data loss weight A computer system, wherein another one of the plurality of storages storing the duplicate data is determined as a second duplication destination storage corresponding to the duplication source storage.
データを格納している前記複数のストレージの各々の複製元ストレージに対応して、複製元ストレージと複製先ストレージとの組み合わせごとに算出した前記データのデータ喪失重みを用いて、前記データの複製データを格納する、前記複数のストレージの中の一つを第1複製先ストレージとして決定する手順を実行させ、Data replication data using the data loss weight of the data calculated for each combination of the replication source storage and the replication destination storage corresponding to the replication source storage of each of the plurality of storages storing data And executing a procedure for determining one of the plurality of storages as a first replication destination storage,
前記決定した第1複製先ストレージを用いて前記複製元ストレージと複製先ストレージとの組み合わせごとに算出したデータ喪失重みを更新し、更新した前記データ喪失重みを用いて、前記データを格納している前記複製元ストレージに対応して、前記複製データを格納する、前記複数のストレージの中の他の一つを第2複製先ストレージとして決定する手順を実行させるためのプログラム。The data loss weight calculated for each combination of the replication source storage and the replication destination storage is updated using the determined first replication destination storage, and the data is stored using the updated data loss weight A program for executing a procedure of determining another one of the plurality of storages that stores the replication data as a second replication destination storage corresponding to the replication source storage.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014009394A JP6214089B2 (en) | 2014-01-22 | 2014-01-22 | Computer system and program for determining data replication destination |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014009394A JP6214089B2 (en) | 2014-01-22 | 2014-01-22 | Computer system and program for determining data replication destination |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015138378A JP2015138378A (en) | 2015-07-30 |
JP6214089B2 true JP6214089B2 (en) | 2017-10-18 |
Family
ID=53769339
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014009394A Expired - Fee Related JP6214089B2 (en) | 2014-01-22 | 2014-01-22 | Computer system and program for determining data replication destination |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6214089B2 (en) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015518587A (en) * | 2012-04-25 | 2015-07-02 | 株式会社日立製作所 | Computer and computer control method |
-
2014
- 2014-01-22 JP JP2014009394A patent/JP6214089B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015138378A (en) | 2015-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170109247A1 (en) | Method and apparatus for managing data recovery of distributed storage system | |
JP5940144B2 (en) | Method, system, and computer program for collaborative disaster recovery | |
CN102938784A (en) | Method and system used for data storage and used in distributed storage system | |
US20170235643A1 (en) | Data recovery from multiple data backup technologies | |
US20140108345A1 (en) | Exchanging locations of an out of synchronization indicator and a change recording indicator via pointers | |
JP6211631B2 (en) | Identifying workloads and sizing buffers for volume replication purposes | |
CN107851102A (en) | System and method for key assignments storage | |
CN106605217B (en) | For the method and system for being moved to another website from a website will to be applied | |
KR101652436B1 (en) | Apparatus for data de-duplication in a distributed file system and method thereof | |
JPWO2007099636A1 (en) | File system migration method, file system migration program, and file system migration apparatus | |
US20210397599A1 (en) | Techniques for generating a consistent view of an eventually consistent database | |
US10083121B2 (en) | Storage system and storage method | |
JP2013050836A (en) | Storage system, method for checking data integrity, and program | |
JP6214089B2 (en) | Computer system and program for determining data replication destination | |
JP2010026965A (en) | Archive system and content management method | |
JP6744272B2 (en) | Migration management device and migration management method | |
JP5982826B2 (en) | Environment construction device, environment registration device, environment switching device, environment construction method, environment registration method, environment switching method, environment construction program, environment registration program, and environment switching program | |
AU2021268828B2 (en) | Secure data replication in distributed data storage environments | |
Li et al. | Global reliability evaluation for cloud storage systems with proactive fault tolerance | |
JP6637258B2 (en) | Storage system migration method and program | |
JP6955588B2 (en) | Systems and methods to support data analysis | |
JP6197872B2 (en) | Data processing system, data processing method, and data processing program | |
Miles et al. | Software resilience using kokkos ecosystem | |
JP6291977B2 (en) | Distributed file system, backup file acquisition method, control device, and management device | |
JP5832592B1 (en) | Data management device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6214089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |