RU2017107276A - Масштабируемые пулы хранения данных - Google Patents

Масштабируемые пулы хранения данных Download PDF

Info

Publication number
RU2017107276A
RU2017107276A RU2017107276A RU2017107276A RU2017107276A RU 2017107276 A RU2017107276 A RU 2017107276A RU 2017107276 A RU2017107276 A RU 2017107276A RU 2017107276 A RU2017107276 A RU 2017107276A RU 2017107276 A RU2017107276 A RU 2017107276A
Authority
RU
Russia
Prior art keywords
storage
storage pool
devices
data
pool
Prior art date
Application number
RU2017107276A
Other languages
English (en)
Other versions
RU2702268C2 (ru
RU2017107276A3 (ru
Inventor
Эшли П. ВЕНТУРА
Тарун РАМАНИ
Каран МЕХРА
Шив Кумар РАДЖПАЛ
Сарош К. ХАВЕВАЛА
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2017107276A publication Critical patent/RU2017107276A/ru
Publication of RU2017107276A3 publication Critical patent/RU2017107276A3/ru
Application granted granted Critical
Publication of RU2702268C2 publication Critical patent/RU2702268C2/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/202—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where processing functionality is redundant
    • G06F11/2023—Failover techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089—Redundant storage control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2094—Redundant storage or storage space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/85—Active fault masking without idle spares

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Claims (31)

1. Способ управления ресурсами хранения пула хранения данных при помощи вычислительных устройств, чтобы увеличивать эффективность хранения данных в пределах пула хранения данных, причем способ содержит этапы на которых:
получают данные, которые описывают области неисправностей, в иерархии хранения, и имеющиеся в наличии ресурсы хранения в пуле хранения данных;
устанавливают действующие характеристики устройств, взаимодействующих с имеющимися в наличии ресурсами хранения в пределах одного или нескольких уровней иерархии хранения, причем упомянутые действующие характеристики включают в себя степень исправности, тип информационных соединений, тип носителей, типы использования в пределах пула хранения данных, или используются ли устройства в настоящий момент, чтобы сохранять метаданные; и
назначают распределение метаданных на одно или несколько конкретных устройств хранения данных в пределах пула хранения данных, основываясь на описанных областях неисправностей и установленных действующих характеристиках устройств в пределах одного или нескольких уровней иерархии хранения.
2. Способ по п. 1, в котором метаданные являются используемыми, чтобы обнаруживать соответствующие местоположения, в которых данные хранятся в пуле хранения данных.
3. Способ по п. 1, в котором в котором некоторые из действующих характеристик учитываются с большим весом в определенном порядке.
4. Способ по п. 1, в котором количество одного или нескольких конкретных устройств хранения данных в пределах пула хранения данных, которое следует использовать, чтобы принимать назначенные метаданные, основывается, по меньшей мере, частично на одном или нескольких ограничительных условиях способности к восстановлению, задаваемых для пула хранения данных,
причем ограничительные условия способности к восстановлению задают количество выходов из строя устройств, которое можно разрешить при условии, что пул хранения данных все еще остается действующим
5. Способ по п. 1, в котором области неисправностей включают в себя уровни центров обработки данных, стоек, оболочек, устройств хранения данных и единиц хранения в иерархии хранения.
6. Способ, по п. 1, в котором назначение выполняется, чтобы максимально увеличивать использование количества областей неисправностей для задаваемого количества устройств хранения данных в пуле хранения данных, которые должны принимать, по меньшей мере, часть метаданных.
7. Способ по п. 6, в котором задаваемое количество устройств хранения данных основывается, по меньшей мере, частично на одном или нескольких ограничительных условиях способности к восстановлению, задаваемых для пула хранения данных.
8. Способ, по п. 1, дополнительно содержит этапы на которых:
добавляют множество устройств хранения данных к пулу хранения данных с помощью разовой транзакции; и
оперативно реагируя на добавление, назначают распределение метаданных в пределах пула хранения данных, основываясь на действующих характеристиках каждого устройства хранения данных в пределах пула хранения данных.
9. Способ по п. 8, дополнительно содержащий форматирование множества устройств хранения данных, используя совокупность программных потоков одновременно, и при этом добавление выполняется, используя отформатированное множество устройств хранения данных.
10. Способ по п. 8, дополнительно содержащий, обновление метаданных в пуле хранения данных, оперативно реагируя на добавление множества устройств хранения данных к пулу хранения данных.
11. Способ по п. 8, дополнительно содержащий удаление другого множества устройств хранения данных из пула хранения данных, используя множество программных потоков.
12. Способ по п.1, дополнительно содержащий этапы на которых:
принимают указание восстанавливать баланс распределения метаданных в пуле хранения данных;
получают данные, которые описывают ограничительные условия способности к восстановлению, задаваемые для пула хранения данных; и
назначают перераспределение метаданных на одно или несколько конкретных устройств хранения данных в пределах пула хранения данных, основываясь на описанных ограничительных условиях способности к восстановлению.
13. Система управления ресурсами хранения пула хранения данных, чтобы увеличивать эффективность хранения данных в пределах пула хранения данных, причем система содержит:
один или несколько модулей, осуществляемых, по меньшей мере, частично как аппаратное обеспечение вычислительного устройства, причем упомянутые один или несколько модулей выполняются с возможностью выполнять действия, содержащие:
получают данные, которые описывают области неисправностей, в иерархии хранения, и имеющиеся в наличии ресурсы хранения в пуле хранения данных;
устанавливают действующие характеристики устройств, взаимодействующих с имеющимися в наличии ресурсами хранения в пределах одного или нескольких уровней иерархии хранения, эти действующие характеристики включают в себя степень исправности, тип информационных соединений, тип носителей, типы использования в пределах пула хранения данных, или используются ли устройства в настоящий момент, чтобы сохранять метаданные; и
назначают распределение метаданных, которые являются используемыми, чтобы обнаруживать соответствующие местоположения, в которых данные хранятся в пуле хранения данных, на одно или несколько конкретных устройств хранения данных в пределах пула хранения данных, основываясь на описанных областях неисправностей и установленных действующих характеристиках устройств в пределах одного или нескольких уровней иерархии хранения.
14. Компьютерное устройство управления ресурсами хранения пула хранения данных, чтобы увеличивать эффективность хранения данных в пределах пула хранения данных, причем компьютерное устройство содержит:
один или несколько модулей, осуществляемых, по меньшей мере, частично как аппаратное обеспечение вычислительного устройства, упомянутые один или несколько модулей выполняются с возможностью выполнять действия, содержащие:
получение данных, которые описывают области неисправностей, в иерархии хранения, и имеющиеся в наличии ресурсы хранения в пуле хранения данных;
установление действующих характеристик устройств, взаимодействующих с имеющимися в наличии ресурсами хранения в пределах одного или нескольких уровней иерархии хранения, причем действующие характеристики включают в себя степень исправности, тип информационных соединений, тип носителей, типы использования в пределах пула хранения данных, или используются ли устройства в настоящий момент, чтобы сохранять метаданные; и
назначение распределения метаданных, которые являются используемыми, чтобы обнаруживать соответствующие местоположения, в которых данные хранятся в пуле хранения данных, на одном или нескольких конкретных устройств хранения данных в пределах пула хранения данных, основываясь на описанных областях неисправностей и установленных действующих характеристиках устройств в пределах одного или нескольких уровней иерархии хранения.
RU2017107276A 2014-09-12 2015-09-11 Масштабируемые пулы хранения данных RU2702268C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/485,497 US9678839B2 (en) 2014-09-12 2014-09-12 Scalable data storage pools
US14/485,497 2014-09-12
PCT/US2015/049548 WO2016040722A1 (en) 2014-09-12 2015-09-11 Scalable data storage pools

Publications (3)

Publication Number Publication Date
RU2017107276A true RU2017107276A (ru) 2018-09-07
RU2017107276A3 RU2017107276A3 (ru) 2019-04-11
RU2702268C2 RU2702268C2 (ru) 2019-10-07

Family

ID=54251725

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017107276A RU2702268C2 (ru) 2014-09-12 2015-09-11 Масштабируемые пулы хранения данных

Country Status (7)

Country Link
US (2) US9678839B2 (ru)
EP (1) EP3191959B1 (ru)
JP (1) JP6616827B2 (ru)
CN (1) CN106663042B (ru)
BR (1) BR112017003660B1 (ru)
RU (1) RU2702268C2 (ru)
WO (1) WO2016040722A1 (ru)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934389B2 (en) 2015-12-18 2018-04-03 Amazon Technologies, Inc. Provisioning of a shippable storage device and ingesting data from the shippable storage device
US11188564B1 (en) * 2016-06-27 2021-11-30 Amazon Technologies, Inc. Shippable storage devices for bulk data transfer, storage, and remote synchronization
JP7053399B2 (ja) * 2018-07-31 2022-04-12 キオクシア株式会社 情報処理システム
US11442642B2 (en) 2019-01-29 2022-09-13 Dell Products L.P. Method and system for inline deduplication using erasure coding to minimize read and write operations
US20200241781A1 (en) 2019-01-29 2020-07-30 Dell Products L.P. Method and system for inline deduplication using erasure coding
US11023324B2 (en) * 2019-01-31 2021-06-01 EMC IP Holding Company LLC Harmonization of failure domains in a distributed system
US11157482B2 (en) * 2019-02-05 2021-10-26 Seagate Technology Llc Data distribution within a failure domain tree
CN112068976A (zh) * 2019-06-10 2020-12-11 北京京东尚科信息技术有限公司 数据备份存储方法及装置、电子设备和存储介质
US11372730B2 (en) 2019-07-31 2022-06-28 Dell Products L.P. Method and system for offloading a continuous health-check and reconstruction of data in a non-accelerator pool
US11609820B2 (en) 2019-07-31 2023-03-21 Dell Products L.P. Method and system for redundant distribution and reconstruction of storage metadata
US11328071B2 (en) 2019-07-31 2022-05-10 Dell Products L.P. Method and system for identifying actor of a fraudulent action during legal hold and litigation
US11775193B2 (en) 2019-08-01 2023-10-03 Dell Products L.P. System and method for indirect data classification in a storage system operations
US11416357B2 (en) * 2020-03-06 2022-08-16 Dell Products L.P. Method and system for managing a spare fault domain in a multi-fault domain data cluster
US11301327B2 (en) 2020-03-06 2022-04-12 Dell Products L.P. Method and system for managing a spare persistent storage device and a spare node in a multi-node data cluster
US11281535B2 (en) 2020-03-06 2022-03-22 Dell Products L.P. Method and system for performing a checkpoint zone operation for a spare persistent storage
US11418326B2 (en) 2020-05-21 2022-08-16 Dell Products L.P. Method and system for performing secure data transactions in a data cluster
EP4384895A1 (en) * 2021-08-13 2024-06-19 Micron Technology, Inc. Undo capability for memory devices

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7865596B2 (en) 2000-11-02 2011-01-04 Oracle America, Inc. Switching system for managing storage in digital networks
US8671132B2 (en) 2003-03-14 2014-03-11 International Business Machines Corporation System, method, and apparatus for policy-based data management
EP1678645B1 (en) * 2003-10-27 2019-10-02 Hitachi Vantara Corporation Policy-based management of a redundant array of independent nodes
JP4483342B2 (ja) * 2004-02-27 2010-06-16 株式会社日立製作所 システム復旧方法
US7657581B2 (en) * 2004-07-29 2010-02-02 Archivas, Inc. Metadata management for fixed content distributed data storage
US7444360B2 (en) * 2004-11-17 2008-10-28 International Business Machines Corporation Method, system, and program for storing and using metadata in multiple storage locations
US8495010B2 (en) 2005-11-04 2013-07-23 Oracle America, Inc. Method and system for adaptive metadata replication
US7574560B2 (en) * 2006-01-03 2009-08-11 Emc Corporation Methods, systems, and computer program products for dynamic mapping of logical units in a redundant array of inexpensive disks (RAID) environment
US20070214105A1 (en) * 2006-03-08 2007-09-13 Omneon Video Networks Network topology for a scalable data storage system
US7640278B2 (en) * 2006-06-28 2009-12-29 International Business Machines Corporation System and method for implementing a partial-blocking consistency point in a database
US7933875B2 (en) * 2006-08-24 2011-04-26 Sun Microsystems, Inc. File system with distributed components
US7698519B2 (en) 2006-08-31 2010-04-13 International Business Machines Corporation Backup of hierarchically structured storage pools
US8090792B2 (en) * 2007-03-08 2012-01-03 Nec Laboratories America, Inc. Method and system for a self managing and scalable grid storage
US8495111B1 (en) * 2007-09-28 2013-07-23 Symantec Corporation System and method of hierarchical space management for storage systems
JP2009163664A (ja) * 2008-01-10 2009-07-23 Nippon Telegr & Teleph Corp <Ntt> 障害耐性を備えた情報検索装置、障害耐性を備えた情報検索方法、障害耐性を備えた情報検索プログラムおよびそのプログラムを記録した記録媒体
US8583893B2 (en) 2009-05-28 2013-11-12 Marvell World Trade Ltd. Metadata management for virtual volumes
US8589554B2 (en) 2009-12-30 2013-11-19 Bmc Software, Inc. Intelligent and elastic resource pools for heterogeneous datacenter environments
US8793290B1 (en) 2010-02-24 2014-07-29 Toshiba Corporation Metadata management for pools of storage disks
US8595184B2 (en) * 2010-05-19 2013-11-26 Microsoft Corporation Scaleable fault-tolerant metadata service
US9244976B1 (en) * 2010-12-16 2016-01-26 The George Washington University and Board of Regents Just-in-time analytics on large file systems and hidden databases
US8706946B2 (en) 2011-02-11 2014-04-22 International Business Machines Corporation Extender storage pool system
RU108662U1 (ru) * 2011-04-27 2011-09-20 Учреждение Российской академии наук Институт программных систем им. А.К. Айламазяна РАН (ИПС им. А.К. Айламазяна РАН) Система хранения данных с параллельным доступом
US8806154B1 (en) 2011-05-06 2014-08-12 Chelsio Communications, Inc. Thin provisioning row snapshot with reference count map
US20130067346A1 (en) 2011-09-09 2013-03-14 Microsoft Corporation Content User Experience
CN102521063B (zh) * 2011-11-30 2013-12-25 广东电子工业研究院有限公司 一种适用于虚拟机迁移和容错的共享存储方法
US9015411B2 (en) * 2011-12-02 2015-04-21 Compellent Technologies System and method for unbalanced raid management
US20140149663A1 (en) 2012-11-25 2014-05-29 Tonian Inc. Storage pools management and/or presentation
US9152642B2 (en) * 2012-12-21 2015-10-06 Zetta, Inc. Systems and methods for on-demand data storage
US8949655B2 (en) * 2013-01-31 2015-02-03 Alcatel Lucent Preventing extreme coresidency hazards in cloud computing
US10671500B2 (en) * 2014-06-09 2020-06-02 Oracle International Corporation Sequential resilvering of storage devices with reduced restarts

Also Published As

Publication number Publication date
BR112017003660A2 (pt) 2017-12-12
US9678839B2 (en) 2017-06-13
RU2702268C2 (ru) 2019-10-07
EP3191959A1 (en) 2017-07-19
JP6616827B2 (ja) 2019-12-04
CN106663042B (zh) 2019-11-22
WO2016040722A1 (en) 2016-03-17
JP2017527911A (ja) 2017-09-21
US20180067829A1 (en) 2018-03-08
US20160077933A1 (en) 2016-03-17
BR112017003660B1 (pt) 2022-12-20
US10409696B2 (en) 2019-09-10
EP3191959B1 (en) 2018-07-25
RU2017107276A3 (ru) 2019-04-11
CN106663042A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
RU2017107276A (ru) Масштабируемые пулы хранения данных
JP2017527911A5 (ru)
TWI746512B (zh) 實體機器故障分類處理方法、裝置和虛擬機器恢復方法、系統
TWI603266B (zh) 虛擬機器之資源調整方法及系統
JP2017532677A5 (ru)
RU2019101807A (ru) Способы, системы и устройство для динамического обеспечения безграничного администрирования системы с действующей конфигурацией m:n высокой доступности
RU2016137896A (ru) Идентификация вариантов выявления неисправностей для устранения отказов сети
CN104410535A (zh) 一种云资源智能监控告警方法
CN104486445A (zh) 一种基于云平台的分布式可扩展资源监控系统及方法
JP2017532678A5 (ru)
CN105243004A (zh) 一种故障资源检测方法及装置
US10437636B2 (en) System and method for intelligent data center power management and energy market disaster recovery
CN104077199B (zh) 基于共享磁盘的高可用集群的隔离方法和系统
CN103678051B (zh) 一种集群数据处理系统中的在线故障容错方法
CN202565304U (zh) 分布式计算任务调度及执行系统
CN105516325A (zh) 一种根据应用负载进行弹性扩容和流量分发扩展的云负载平衡手段
CN102981945B (zh) 一种可靠性能监控系统及方法
US20140282540A1 (en) Performant host selection for virtualization centers
WO2014020032A3 (de) Hochverfügbares rechnersystem, arbeitsverfahren und dessen verwendung
CN103559124A (zh) 故障快速检测方法及装置
KR102499705B1 (ko) 네트워크 서비스 검출 방법 및 이를 위한 장치
WO2011053002A3 (ko) 씨피유 가상화를 지원할 수 있는 컴퓨터 서버
RU2017102903A (ru) Система и способ для идентификации релевантной информации для предприятия
CN109597736A (zh) 一种监控方法、装置、设备及介质
WO2017105965A3 (en) Automatic system response to external field-replaceable unit (fru) process