JPWO2017081747A1 - 分散ストレージシステム - Google Patents
分散ストレージシステム Download PDFInfo
- Publication number
- JPWO2017081747A1 JPWO2017081747A1 JP2017549899A JP2017549899A JPWO2017081747A1 JP WO2017081747 A1 JPWO2017081747 A1 JP WO2017081747A1 JP 2017549899 A JP2017549899 A JP 2017549899A JP 2017549899 A JP2017549899 A JP 2017549899A JP WO2017081747 A1 JPWO2017081747 A1 JP WO2017081747A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- edge
- core
- distributed storage
- difference data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 30
- 238000007726 management method Methods 0.000 description 29
- 238000013507 mapping Methods 0.000 description 17
- 238000012546 transfer Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000000737 periodic effect Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3034—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a storage system, e.g. DASD based or network based
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Retry When Errors Occur (AREA)
Abstract
Description
<実施形態1>
<実施形態2>
<実施形態3>
Claims (15)
- 分散ストレージシステムであって、
複数のエッジノードを含むエッジシステムと、
前記エッジシステムとネットワークを介して接続され、前記エッジシステムのバックアップデータを保持するコアシステムと、を含み、
前記複数のエッジノードのそれぞれは、
ボリュームをホストに提供し、
前記ボリュームの第1世代のスナップショットと、前記第1世代よりも古い旧世代のスナップショットと、の間のXOR更新差分データを生成し、
前記生成したXOR更新差分データを前記コアシステムに送信し、
前記コアシステムは、
前記バックアップデータとして、前記複数のエッジノードからのXOR更新差分データに基づき生成されたイレージャコードを保持し、
前記複数のエッジノードから受信したXOR更新差分データに基づいて、前記イレージャコードを更新する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記複数のエッジノードのそれぞれは、前記ボリュームへのライト更新と非同期に、前記XOR更新差分データを生成して前記コアシステムに送信する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記コアシステムは、
前記イレージャコードを格納する1以上のボリュームを保持し、
前記1以上のボリュームにおいて、更新中のイレージャコードを格納する領域を排他ロックする、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記コアシステムは、
前記複数のエッジノードにおける第1エッジノードから順次受信した、複数世代のXOR更新差分データを保存する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記複数のエッジノードのそれぞれは、前記第1世代のスナップショットと前記旧世代のスナップショットとの間の全てのXOR更新差分データを前記コアシステムに送信した後、全ライト済み通知を前記コアシステムに送信し、
前記コアシステムは、全ライト済み通知を受信したXOR更新差分データに基づいて、前記イレージャコードを更新する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記複数のエッジノードそれぞれは、
前記旧世代のスナップショットと前記第1世代のスナップショットとの間において更新されたアドレス領域を選択し、
前記選択したアドレス領域のXOR更新差分データを前記コアシステムに送信する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記コアシステムは、
一つのストライプのイレージャコードの更新において、当該ストライプのデータ要素の一部のみのXOR更新差分データを受信している場合、他のデータ要素をゼロデータとして、当該ストライプのイレージャコードを更新する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記複数のエッジノードにおける第1エッジノードの第1ボリュームの復元において、前記コアシステムは、前記第1ボリュームに対応するイレージャコードと、当該イレージャコードに対応する前記第1エッジノードと異なるエッジノードのスナップショットと、を使用する、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記コアシステムは、共通のXOR更新差分データを含む第1ストライプ及び第2ストライプのイレージャコードを生成し、
前記第1ストライプと前記第2ストライプの間において、前記共通のXOR更新差分データ以外のデータ要素は、異なるエッジノードのデータ要素である、分散ストレージシステム。 - 請求項1に記載の分散ストレージシステムであって、
前記複数のエッジノードの数は、ストライプのデータ要素数より多く、
一つのエッジノードからのXOR更新差分データを含む少なくとも2つのイレージャコードのストライプの間において、XOR更新差分データのデータ要素の送付元エッジノードの組み合わせが異なる、分散ストレージシステム。 - 複数のエッジノードを含むエッジシステムと、
前記エッジシステムとネットワークを介して接続され、前記エッジシステムのバックアップデータを保持するコアシステムと、を含む分散ストレージシステムにおけるデータのバックアップ方法であって、
前記方法は、前記コアシステムによって、
前記複数のエッジノードそれぞれから、ボリュームの第1世代のスナップショットと、前記第1世代よりも古い旧世代のスナップショットとのXOR更新差分データを受信し、
前記受信したXOR更新差分データを使用して、前記バックアップデータとして保持するイレージャコードを更新する、ことを含む方法。 - 請求項11に記載のバックアップ方法であって、
前記コアシステムは、
前記複数のエッジノードにおける第1エッジノードから順次受信した、複数世代のXOR更新差分データを保存する、方法。 - 請求項11に記載のバックアップ方法であって、
前記コアシステムによって、一つのストライプのイレージャコードの更新において、当該ストライプのデータ要素の一部のみのXOR更新差分データを受信している場合、他のデータ要素をゼロデータとして、当該ストライプのイレージャコードを更新する、ことを含む、方法。 - 請求項11に記載のバックアップ方法であって、
前記コアシステムによって、前記複数のエッジノードにおける第1エッジノードの第1ボリュームの復元において、前記第1ボリュームに対応するイレージャコードと、当該イレージャコードに対応する前記第1エッジノードと異なるエッジノードのスナップショットと、を使用する、ことを含む、方法。 - 分散ストレージシステムにおいて、複数のエッジノードを含むエッジシステムとネットワークを介して接続され、前記エッジシステムのバックアップデータを保持するコアシステム、に、データバックアップのための処理を実行させる命令を格納する、計算機読み取り可能な非一時的記憶媒体であって、
前記処理は、
前記複数のエッジノードそれぞれから、ボリュームの第1世代のスナップショットと、前記第1世代よりも古い旧世代のスナップショットとのXOR更新差分データを受信し、
前記受信したXOR更新差分データを使用して、前記バックアップデータとして保持するイレージャコードを更新する、ことを含む記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/081606 WO2017081747A1 (ja) | 2015-11-10 | 2015-11-10 | 分散ストレージシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017081747A1 true JPWO2017081747A1 (ja) | 2018-08-09 |
JP6494787B2 JP6494787B2 (ja) | 2019-04-03 |
Family
ID=58694852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017549899A Active JP6494787B2 (ja) | 2015-11-10 | 2015-11-10 | 分散ストレージシステム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10740189B2 (ja) |
JP (1) | JP6494787B2 (ja) |
WO (1) | WO2017081747A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11392541B2 (en) | 2019-03-22 | 2022-07-19 | Hewlett Packard Enterprise Development Lp | Data transfer using snapshot differencing from edge system to core system |
CN111522656A (zh) * | 2020-04-14 | 2020-08-11 | 北京航空航天大学 | 一种边缘计算数据调度与分布方法 |
JP2023001471A (ja) * | 2021-06-21 | 2023-01-06 | 株式会社日立製作所 | ストレージシステム、計算機システム及び制御方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012033169A (ja) * | 2010-07-29 | 2012-02-16 | Ntt Docomo Inc | バックアップシステムにおける符号化を使用して、ライブチェックポインティング、同期、及び/又は復旧をサポートするための方法及び装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4124348B2 (ja) | 2003-06-27 | 2008-07-23 | 株式会社日立製作所 | 記憶システム |
US9519540B2 (en) * | 2007-12-06 | 2016-12-13 | Sandisk Technologies Llc | Apparatus, system, and method for destaging cached data |
US8958292B2 (en) * | 2010-07-06 | 2015-02-17 | Nicira, Inc. | Network control apparatus and method with port security controls |
-
2015
- 2015-11-10 JP JP2017549899A patent/JP6494787B2/ja active Active
- 2015-11-10 US US15/762,416 patent/US10740189B2/en active Active
- 2015-11-10 WO PCT/JP2015/081606 patent/WO2017081747A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012033169A (ja) * | 2010-07-29 | 2012-02-16 | Ntt Docomo Inc | バックアップシステムにおける符号化を使用して、ライブチェックポインティング、同期、及び/又は復旧をサポートするための方法及び装置 |
Non-Patent Citations (1)
Title |
---|
AKUTSU, HIROAKI ET AL.: "Reliability Analysis of Highly Redundant Distributed Storage Systems with Dynamic Refuging", 23RD EUROMICRO INTERNATIONAL CONFERENCE ON PARALLEL, DISTRIBUTED AND NETWORK-BASED PROCESSING, JPN6015050502, 4 March 2015 (2015-03-04), US, pages 261 - 268, XP032767677, ISSN: 0003874378, DOI: 10.1109/PDP.2015.32 * |
Also Published As
Publication number | Publication date |
---|---|
JP6494787B2 (ja) | 2019-04-03 |
US20180293137A1 (en) | 2018-10-11 |
WO2017081747A1 (ja) | 2017-05-18 |
US10740189B2 (en) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10235066B1 (en) | Journal destage relay for online system checkpoint creation | |
US10152381B1 (en) | Using storage defragmentation function to facilitate system checkpoint | |
US10459638B2 (en) | Computer system that generates group information and redundant code based on user data and changes the group information and redundant code based on transmission data, control method for computer system, and recording medium | |
US10372537B2 (en) | Elastic metadata and multiple tray allocation | |
US7975115B2 (en) | Method and apparatus for separating snapshot preserved and write data | |
US9600375B2 (en) | Synchronized flashcopy backup restore of a RAID protected array | |
US8204858B2 (en) | Snapshot reset method and apparatus | |
JP6009095B2 (ja) | ストレージシステム及び記憶制御方法 | |
US8751467B2 (en) | Method and apparatus for quickly accessing backing store metadata | |
US7831565B2 (en) | Deletion of rollback snapshot partition | |
US8396835B2 (en) | Computer system and its data control method | |
US8850145B1 (en) | Managing consistency groups in storage systems | |
US20100205479A1 (en) | Information system, data transfer method and data protection method | |
US20100037023A1 (en) | System and method for transferring data between different raid data storage types for current data and replay data | |
US11003554B2 (en) | RAID schema for providing metadata protection in a data storage system | |
JP6494787B2 (ja) | 分散ストレージシステム | |
US8745343B2 (en) | Data duplication resynchronization with reduced time and processing requirements | |
US11809274B2 (en) | Recovery from partial device error in data storage system | |
WO2018055686A1 (ja) | 情報処理システム | |
US8935488B2 (en) | Storage system and storage control method | |
US10956052B1 (en) | Online address to hash (A2H) metadata scanner | |
JP7457740B2 (ja) | ストレージシステム及びその制御方法 | |
US20230350753A1 (en) | Storage system and failure handling method | |
US11928497B2 (en) | Implementing erasure coding with persistent memory | |
KR102005727B1 (ko) | 파일 시스템의 변경 연산 가로채기 기법을 기반으로 한 다중 스냅샷 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180418 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6494787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |