RU2018122861A - Method for building high-performance fault-tolerant storage systems based on distributed file systems and NVMe over Fabrics technology - Google Patents

Method for building high-performance fault-tolerant storage systems based on distributed file systems and NVMe over Fabrics technology Download PDF

Info

Publication number
RU2018122861A
RU2018122861A RU2018122861A RU2018122861A RU2018122861A RU 2018122861 A RU2018122861 A RU 2018122861A RU 2018122861 A RU2018122861 A RU 2018122861A RU 2018122861 A RU2018122861 A RU 2018122861A RU 2018122861 A RU2018122861 A RU 2018122861A
Authority
RU
Russia
Prior art keywords
nvme
storage devices
technology
data
servers
Prior art date
Application number
RU2018122861A
Other languages
Russian (ru)
Other versions
RU2716040C2 (en
RU2018122861A3 (en
Inventor
Егор Александрович Дружинин
Антон Владимирович Катенев
Павел Александрович Лавренко
Константин Алексеевич Пономарев
Александр Александрович Московский
Original Assignee
Общество с ограниченной ответственностью "РСК Лабс" (ООО "РСК Лабс")
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "РСК Лабс" (ООО "РСК Лабс") filed Critical Общество с ограниченной ответственностью "РСК Лабс" (ООО "РСК Лабс")
Priority to RU2018122861A priority Critical patent/RU2716040C2/en
Publication of RU2018122861A publication Critical patent/RU2018122861A/en
Publication of RU2018122861A3 publication Critical patent/RU2018122861A3/ru
Application granted granted Critical
Publication of RU2716040C2 publication Critical patent/RU2716040C2/en

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5041Network service management, e.g. ensuring proper service fulfilment according to agreements characterised by the time relationship between creation and deployment of a service
    • H04L41/5051Service on demand, e.g. definition and deployment of services in real time

Claims (7)

1. Метод построения высокопроизводительной отказоустойчивой системы хранения данных на основе распределенной файловой системы и технологии NVMe over Fabrics в гиперконвергентных инфраструктурах (системах) заключающийся в построении системы включающей: вычислительные узлы серверной фермы (серверы), имеющие в своем составе стандартные компоненты, такие как CPU, оперативную память, полнодуплексную сеть передачи данных с поддержкой технологии RDMA, подсистемы питания, охлаждения, управления, устройства хранения данных в виде SSD накопителей, подключенных к вычислительным узлам серверной фермы (серверам) по протоколу NVMe и полнодуплексную сеть передачи данных с поддержкой технологии RDMA, при этом вычислительные узлы серверной фермы (серверы), SSD накопители и полнодуплексная сеть передачи данных с поддержкой технологии RDMA объединены в гиперконвергентную инфраструктуру с помощью программных средств, а управление ими происходит через общую консоль администрирования, отличающийся тем, что1. A method of constructing a high-performance fault-tolerant storage system based on a distributed file system and NVMe over Fabrics technology in hyperconverged infrastructures (systems), which consists in constructing a system including: computing nodes of a server farm (servers), which include standard components, such as CPUs, RAM, full-duplex data network with support for RDMA technology, power, cooling, control subsystems, data storage devices in the form of SSD drives, plug data to the server farm computing nodes (servers) using the NVMe protocol and a full-duplex data transmission network with RDMA technology support, while the server farm computing nodes (servers), SSD drives and a full-duplex data transmission network supporting RDMA technology are combined in a hyperconverged infrastructure using software funds, and their management occurs through a common administration console, characterized in that используются устройства хранения данных, предоставляемых технологией NVMe over Fabrics со всей гиперконвергентной инфраструктуры, объединенные сетью передачи данных с поддержкой технологии RDMA;using storage devices provided by NVMe over Fabrics technology from all hyper-converged infrastructure, connected by a data transmission network with support for RDMA technology; все компоненты сети дублируются;all network components are duplicated; в качестве узлов, предоставляющих доступ ко всей гиперконвергентной инфраструктуре по технологии NMVe over Fabrics, выступают все серверы гиперконвергентной инфраструктуры, а также специализированные полки с NVMe дисками;As nodes providing access to the entire hyperconverged infrastructure using NMVe over Fabrics technology, all servers of the hyperconverged infrastructure, as well as specialized shelves with NVMe disks, are used; часть узлов, содержащих NVMe устройства хранения данных, используемых в системе хранения данных, получают роль Target, и предоставляют удаленный доступ к устройствам хранения данных в своем составе, а остальные узлы, содержащие NVMe устройства хранения данных, используемые в системе хранения данных получают роль Host, к ним подключаются удаленные устройства хранения данных, которые в свою очередь собираются в программные RAID массивы с определенным уровня избыточности данных, эти RAID массивы выступают в роли дискового пространства для данных (OSS), распределенной файловой системы (РФС), также запускаемых на узлах системы хранения, где один RAID массив подключается к одному OSS, работающему на том же узле хранения данных,some nodes containing NVMe storage devices used in the storage system receive the Target role and provide remote access to the storage devices in their composition, and the remaining nodes containing NVMe storage devices used in the storage system receive the Host role, remote storage devices are connected to them, which in turn are assembled into software RAID arrays with a certain level of data redundancy, these RAID arrays act as disk space for data (OSS), Distributed File System (RFU), also run on the nodes of the storage system, where one RAID array is connected to one OSS, running on the same storage node, при этом все устройства хранения данных, включенные в один RAID массив, должны физически располагаться на разных Target, то есть на разных серверах, для каждого активного RAID массива должна существовать как минимум одна неактивная копия, располагающаяся на другом узле хранения данных, для каждого активного OSS должна существовать как минимум одна неактивная копия, располагающаяся на другом узле хранения данных.in this case, all storage devices included in one RAID array must be physically located on different Target, that is, on different servers, for each active RAID array there must be at least one inactive copy located on another storage node, for each active OSS There must be at least one inactive copy located on another data storage node. 2. Метод построения высокопроизводительной отказоустойчивой системы хранения данных по п. 1, отличающийся тем, что система хранения может иметь некоторое количество запасных (spare) NVMe устройства хранения данных, подключенных к тем или иным серверам в роли Target, и не включенных ни в один из RAID массивов.2. The method of constructing a high-performance fault-tolerant data storage system according to claim 1, characterized in that the storage system can have a number of spare NVMe storage devices connected to one or another server in the role of Target and not included in any of RAID arrays.
RU2018122861A 2018-06-22 2018-06-22 METHOD FOR CONSTRUCTING HIGH-PERFORMANCE FAULT-TOLERANT DATA STORAGE SYSTEMS BASED ON DISTRIBUTED FILE SYSTEMS AND NVMe OVER FABRICS RU2716040C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2018122861A RU2716040C2 (en) 2018-06-22 2018-06-22 METHOD FOR CONSTRUCTING HIGH-PERFORMANCE FAULT-TOLERANT DATA STORAGE SYSTEMS BASED ON DISTRIBUTED FILE SYSTEMS AND NVMe OVER FABRICS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018122861A RU2716040C2 (en) 2018-06-22 2018-06-22 METHOD FOR CONSTRUCTING HIGH-PERFORMANCE FAULT-TOLERANT DATA STORAGE SYSTEMS BASED ON DISTRIBUTED FILE SYSTEMS AND NVMe OVER FABRICS

Publications (3)

Publication Number Publication Date
RU2018122861A true RU2018122861A (en) 2019-12-23
RU2018122861A3 RU2018122861A3 (en) 2020-01-30
RU2716040C2 RU2716040C2 (en) 2020-03-05

Family

ID=69022480

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018122861A RU2716040C2 (en) 2018-06-22 2018-06-22 METHOD FOR CONSTRUCTING HIGH-PERFORMANCE FAULT-TOLERANT DATA STORAGE SYSTEMS BASED ON DISTRIBUTED FILE SYSTEMS AND NVMe OVER FABRICS

Country Status (1)

Country Link
RU (1) RU2716040C2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU208828U1 (en) * 2021-06-03 2022-01-17 Общество с ограниченной ответственностью «ЭМЗИОР» NETWORK DEVICE FOR DATA STORAGE, PROCESSING AND TRANSMISSION

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007063483A1 (en) * 2005-11-29 2007-06-07 Koninklijke Philips Electronics N.V. Method of managing a distributed storage system
CN103827723B (en) * 2011-01-10 2016-03-02 斯托尔万有限公司 Large-scale storage systems
US9652182B2 (en) * 2012-01-31 2017-05-16 Pavilion Data Systems, Inc. Shareable virtual non-volatile storage device for a server
JP2015532985A (en) * 2012-09-06 2015-11-16 ピーアイ−コーラル、インク. Large-scale data storage and delivery system
US9483431B2 (en) * 2013-04-17 2016-11-01 Apeiron Data Systems Method and apparatus for accessing multiple storage devices from multiple hosts without use of remote direct memory access (RDMA)

Also Published As

Publication number Publication date
RU2716040C2 (en) 2020-03-05
RU2018122861A3 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
US10664408B1 (en) Systems and methods for intelligently distributing data in a network scalable cluster using a cluster volume table (CVT) identifying owner storage nodes for logical blocks
US10001947B1 (en) Systems, methods and devices for performing efficient patrol read operations in a storage system
US9426218B2 (en) Virtual storage appliance gateway
US10628043B1 (en) Systems and methods for implementing a horizontally federated heterogeneous cluster
US11157457B2 (en) File management in thin provisioning storage environments
US7330996B2 (en) Twin-tailed fail-over for fileservers maintaining full performance in the presence of a failure
US20200371692A1 (en) Memory disaggregation for compute nodes
JP6137313B2 (en) High availability computer system
JP2015532985A (en) Large-scale data storage and delivery system
CN103268318A (en) Distributed key value database system with strong consistency and read-write method thereof
US8281071B1 (en) Systems and methods for managing cluster node connectivity information
US20240037395A1 (en) Asymmetric parallel processing appliance for generation of superior strategies for deployment to real time actual conditions
CN103124299A (en) Distributed block-level storage system in heterogeneous environment
Li et al. A convergence of key‐value storage systems from clouds to supercomputers
CN105872031B (en) Storage system
CN105468296A (en) No-sharing storage management method based on virtualization platform
US10067841B2 (en) Facilitating n-way high availability storage services
RU2018122861A (en) Method for building high-performance fault-tolerant storage systems based on distributed file systems and NVMe over Fabrics technology
US20160011929A1 (en) Methods for facilitating high availability storage services in virtualized cloud environments and devices thereof
US10656862B1 (en) Systems and methods for implementing space consolidation and space expansion in a horizontally federated cluster
US9563687B1 (en) Storage configuration in data warehouses
CN107832005B (en) Distributed data access system and method
Salapura et al. Enabling enterprise-class workloads in the cloud
US10168903B2 (en) Methods for dynamically managing access to logical unit numbers in a distributed storage area network environment and devices thereof
US20120016992A1 (en) Architecture for improved cloud computing