JP2024504171A - オペレーティングシステムベースのストレージ方法およびシステム - Google Patents
オペレーティングシステムベースのストレージ方法およびシステム Download PDFInfo
- Publication number
- JP2024504171A JP2024504171A JP2023544647A JP2023544647A JP2024504171A JP 2024504171 A JP2024504171 A JP 2024504171A JP 2023544647 A JP2023544647 A JP 2023544647A JP 2023544647 A JP2023544647 A JP 2023544647A JP 2024504171 A JP2024504171 A JP 2024504171A
- Authority
- JP
- Japan
- Prior art keywords
- server
- storage
- orchestrator
- data
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 296
- 238000000034 method Methods 0.000 title claims abstract description 80
- 239000003999 initiator Substances 0.000 claims abstract description 76
- 238000013500 data storage Methods 0.000 claims abstract description 65
- 238000007726 management method Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 14
- 238000005192 partition Methods 0.000 claims description 10
- 238000012423 maintenance Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000002085 persistent effect Effects 0.000 claims description 3
- 239000007787 solid Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 47
- 230000008569 process Effects 0.000 description 36
- 230000010076 replication Effects 0.000 description 30
- 238000003491 array Methods 0.000 description 21
- 238000012546 transfer Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000001360 synchronised effect Effects 0.000 description 12
- 238000010367 cloning Methods 0.000 description 10
- 238000011084 recovery Methods 0.000 description 10
- 238000012544 monitoring process Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000013523 data management Methods 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000005641 tunneling Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000011022 opal Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003116 impacting effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 238000013522 software testing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1076—Parity data used in redundant arrays of independent storages, e.g. in RAID systems
- G06F11/1092—Rebuilding, e.g. when physically replacing a failing disk
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1658—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit
- G06F11/1662—Data re-synchronization of a redundant component, or initial sync of replacement, additional or spare unit the resynchronized component or unit being a persistent storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2069—Management of state, configuration or failover
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
- G06F11/2092—Techniques of failing over between control units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/128—Details of file system snapshots on the file-level, e.g. snapshot creation, administration, deletion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1873—Versioning file systems, temporal file systems, e.g. file system supporting different historic versions of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0614—Improving the reliability of storage systems
- G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/062—Securing storage systems
- G06F3/0622—Securing storage systems in relation to access
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0658—Controller construction arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0659—Management of faults, events, alarms or notifications using network fault recovery by isolating or reconfiguring faulty entities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
- H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
- H04L9/0897—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage involving additional devices, e.g. trusted platform module [TPM], smartcard or USB
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
- H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
- H04L9/3226—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using a predetermined code, e.g. password, passphrase or PIN
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/82—Solving problems relating to consistency
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/85—Active fault masking without idle spares
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
利用されていない利用可能なDASを利用することで、信頼性の高いデータストレージ機能と、様々な条件や関心事に適応した柔軟性を提供することによって入手可能である、信頼性の高いデータストレージ機能及び様々な条件及び関心事に適応した柔軟性を提供できる、信頼性が高く、高速で、コスト効率が高く、包括的なソリューションを提供するために、利用されていない利用可能なハードウェアリソースを利用することを可能にする効率的なデータストレージシステム及び方法。前記憶媒体を備え、データプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのターゲットサーバ、データプレーン(DP)ネットワークを通してリモートリソース(複数可)にアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのイニシエータサーバ、及び各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、ターゲットサーバの記憶媒体の指定された部分がDPネットワークに公開されており、オーケストレータは、前記サーバの内部に組み込まれたオペレーティングシステムのストレージスタックコンポーネント(SS)及び標準ストレージスタック(SSS)を調整することによって、記憶媒体の指定された部分を利用するように指定され、イニシエータサーバが、DPネットワークを介してターゲットサーバと対話するように構成されるようにする。【選択図】図6
Description
本発明は、コンピュータデータの記憶方法およびシステムに関し、より詳細には、コンピュータデータ記憶管理効率およびハードウェアの冗長性を高めるための論理的なアーキテクチャの概念の使用および実装に関する。
現在のコンピューティングシステムは、ローカルであっても、リモートであっても、またはクラウドベース(コンテナパッケージ、プライベート/パブリック/マルチクラウドシステムなど)であっても、それらの適切な動作のためにこれまで以上に広範なデータストレージソリューションを必要とするため、データストレージとデータバックアップ機能の提供は重要な懸念事項である。通常、そのようなデータの提供と管理は、指定されたデータセンターによって行われ、提供され、従来、使用中または使用予定のデータストレージの提供は、物理的なデータ記憶コンポーネント、つまりハイブリッドハードディスクドライブ(HHD)、ソリッドステートドライブ(SSD)などをスタックすることによって提供されている。
該データ記憶コンポーネントをスタックすることにより、「ストレージアレイ」(またはディスクアレイ)と呼ばれるものが作成され、ブロックベースのストレージ、ファイルベースのストレージ、オブジェクトストレージなどに使用される。ストレージアレイは、サーバにデータを記憶するのではなく、ローカル/中央制御システムによって制御される、大量のデータを記憶できる複数のドライブを集合で使用する。
従来、ストレージアレイ制御システムは、容量、スペースの割り当て、ボリュームの管理、スナップショット、エラーの識別と追跡、暗号化、圧縮などを追跡するために複数のストレージサービスを提供する。この種のサービスは、大量のコンピューティング容量、メタデータ、データストレージ、アクセラレータなどが必要である。したがって、そのようなサービスには広範なインフラストラクチャの指定、予算枠、およびリソースが必要である。
一般に、ストレージアレイはシステムサーバの動作性から分離されており、専用のハードウェアでシステムとアプリケーションの動作を実装するように構成されている。例えば、一般的なストレージアレイのハードウェアアーキテクチャには、サーバスタック、ストレージアレイスタック、メディアI/Oデバイスが含まれる場合がある。I/Oデバイスは、ストレージスタックを介してサーバと通信するように構成されている。
従来のストレージアレイによって提供されるサービスの1つは、システム障害の場合にデータを保護するために、複数のHDDまたはSSDの異なる場所に同じデータを保存する方法として、独立ディスクの冗長アレイ(RAID)を提供することである。RAIDレベルは様々で、全体的なパフォーマンスの向上とストレージ容量の増加を目的としている場合があるが、すべてが冗長性を提供することを目的としているわけではない。
RAID構成は通常、ストライピング、ミラーリング、またはパリティの技術を使用して、複数の汎用コンピュータHDDから大規模で信頼性の高いデータストアを作成する。例えば、RAID5は、分散型パリティを備えたブロックレベルのストライピングからなる。単一のドライブに障害が発生した場合、データが失われないように、分散型パリティから後続の読み取りを計算できる。RAID6は、別のパリティブロックを追加することでRAID5を拡張する。したがって、それはすべてのメンバーディスクに分散された2つのパリティブロックによるブロックレベルのストライピングを使用する。通常、RAID5/6は、パリティの計算に関連するオーバーヘッドにより、書き込み動作のパフォーマンスにペナルティが課される。現在のRAID5/6は、RAIDアレイごとに1つのコアでのみ実行される。すべてのパリティの計算は単一のコアによって実行される。マルチコアでRAIDを使用するには、同じストリップへの並列書き込みを防ぐのにI/Oごとにロックする必要があるため、パフォーマンスが大幅に低下する。高帯域幅の新しいSSDドライブは、システムにある1つのコアがパリティの計算を実行し、フル活用されているため、現在のRAID5/6で使用するとき書き込みパフォーマンスが制限される。マルチコアプロセッサは、あたかもコンピュータが複数のプロセッサを備えているかのように、それぞれがプログラム命令を読み取って実行する、コアと呼ばれる2つ以上の別個の処理ユニットを備えたコンピュータプロセッサ集積回路であることに留意されたい。最新のサーバには、サーバごとに100を超えるコアが含まれる場合がある。一方、RAIDは一般に、データの冗長性、パフォーマンスの向上、またはその両方を目的として、複数の物理ディスクドライブコンポーネントを1つ以上の論理ユニットに結合するデータストレージ仮想化テクノロジーと呼ばれる。
RAID1は、パリティまたはストライピングのないデータミラーリングからなる。RAID1アーキテクチャでは、データは2つのドライブに同一に書き込まれるため、ドライブの「ミラーリングされたセット」が作成される。少なくとも1つのドライブが機能している限り、アレイは動作し続ける。
論理ボリュームマネージャ(LVM)は、ボリュームのスナップショットの提供、つまり、特定の時点でのデータのコピーの作成を可能にする。
リモートレプリケーションは、データの保護または災害復旧を目的として、生産データを遠隔地にあるデバイスにコピーするプロセスである。
リモートレプリケーションは同期または非同期のいずれかであり得る。同期レプリケーションは、プライマリサイトとセカンダリサイトに同時にデータを書き込む。特徴として、非同期レプリケーションは、セカンダリサイトへのデータの書き込みが遅くなりながら遅延が発生する。非同期レプリケーションは相対的に長い距離でも動作するように設計されており、必要な帯域幅が少ないため、これは、多くの場合、災害復旧により適しているオプションとなる。ただし、非同期レプリケーションでは、ターゲットデバイスのデータがソースデータと同期していないため、システム停止時にデータが失われるリスクがある。最近のほとんどのエンタープライズデータストレージベンダーは、ハイエンドおよびミッドレンジのストレージアレイにレプリケーションソフトウェアを搭載している。共通のハードウェアの動作の共通性を可能にするために、データ管理へのアプローチとしてソフトウェアデファインドストレージ(SDS)の実践が確立され、それにおいて、データストレージリソースが基礎となる物理ストレージハードウェアから抽象化され、それによって利用可能なハードウェアおよびデータストレージリソースの柔軟な活用を提供することが可能になる。
SDSはまた、当技術分野ではハイパーコンバージドインフラストラクチャ(HCI)とも呼ばれ、通常は商用の既製のサーバで実行される。従来のインフラストラクチャとHCIの主な違いは、HCIでは、ストレージエリアネットワークと基盤となるストレージ抽象化の両方が、ハードウェアにおいて物理的ではなく仮想的にソフトウェアで実装されることである。ストレージアレイとSDSソリューションは通常、データストレージとそのトラフィックを管理および制御するための統合ストレージソフトウェアスタックを含む。
該統合ソフトウェアスタックは、データの保護(例えば、バックアップ、冗長性、リカバリなど)、高可用性、スペースの割り当て、データの削減、データのバックアップ、データのリカバリなどのストレージ保守サービスを提供する。実際には、統合ソフトウェアスタックは、その制御、管理、施行、および保守用に専用のストレージアレイリソースを必要とする。このようなリソースでは、ストレージスタックコード、制御プロトコル、ノード相互接続プロトコル、障害ドメイン、パフォーマンス、スタックモデル、およびクラスタ内のノード数などの問題に対処する必要がある。これらのサービスと要件は従来、ストレージアレイごとにローカルに提供されており、更新、管理、全体的な管理が必要である。
上で開示した統合ソフトウェアの構築と保守は、とりわけ、数多くのクライアントに(メディア側とサーバ側の両方で)様々なサービスを提供する必要があるため、非常にコストがかかる可能性がある。統合ソフトウェアはまた高い信頼性を備えているべきであり、コードは効率的である必要がある。それにもかかわらず、現在のストレージアレイは、信頼性、品質、パフォーマンスにおいて課題に直面する傾向がある。
一般的な中央ストレージアレイは多数のクライアントにサービスを提供するように構成されているため、たとえ大きな計算能力がそれに割り当てられるとしても、その能力は該多数のクライアント間で分割される。その中心性により、ストレージアレイまたはスタッククラスタで発生するエラーや誤動作は、システム全体のパフォーマンスに直ちに影響を与える。現在のコンピューティングシステムでは、データストレージ専用のストレージアレイやスタッククラスタの数は、サーバシステム専用のリソースに比べて大幅に少なく、利用可能性も低く、その結果、業界は、データストレージのサービスではなくサーバのサービスで遥かに多くの「実績」を獲得している(例えば、サーバ関連のコードがより頻繁にデバッグされ、より効率的になり、そのため、エラーが少なくなる傾向にある)。
さらに、このような統合ソフトウェアの保守は、技術の進歩(複数可)に合わせた継続的な維持と更新が必要である。したがって、統合ソフトウェアスタック動作の現在の品質とパフォーマンスが常に最適であるとは限らない。
LinuxやWindows Serverなどの最新のオペレーティングシステムは、堅牢な内部ストレージコンポーネントの集合[(直接接続ストレージ-(DAS))]を含み、それは、設計要件のため、あるいはストレージアレイまたはデータスタッククラスタに起因する欠点のため、中央ストレージシステムが必要でない、または望ましくないときに、直接ローカルサービス(暗号化、圧縮、RAIDなど)を可能にする。
ストレージコンポーネントはカーネル層に実装されており、即時アクセスが保証されるため、OSおよび/またはアプリケーションの高いパフォーマンスが保証される。DASは、DASに記憶されているデータへのアクセスを直接妨げるサーバ通信障害の直接的な悪影響による、固有の欠点があるため、ほとんどの場合、重要ではないアプリケーションに限定される。したがって、原則として、企業は重要なアプリケーションにDASを使用しない。それにもかかわらず、現在の最新のサーバおよびオペレーティングシステムは、DAS機能をサポートするために必要なサービスを組み込むように設計されている。
オペレーティングシステムの成熟度により、企業での使用を目的とした安定したコンポーネントが提供されるが、DASの信頼性の制限により、ストレージアレイへの依存が依然として高い優先度の検討事項となっている。
該直接ローカルサービス(暗号化、圧縮、RAIDなど)を容易にするためにOSサーバシステムに含まれる原コンポーネントは、現在、基本的なオペレーティングシステムDASのアプリケーションにのみ使用されている。それにも関わらず、サービスを可能にするこのようなコンポーネントの多くがOSサーバに存在するが、今日では、それらは従来のストレージアレイシステムで利用できるデータ管理および制御サービスの完全なスイートを可能にしていない。
ストレージアレイとSDSソリューションは通常、統合ストレージソフトウェアスタックを使用して構築される。また、それらはコントローラ間のリモートリソースを接続するために独自のプロトコルを一般的に使用する。
LinuxやWindows Serverなどの最新のオペレーティングシステムは、堅牢なストレージコンポーネントの集合を含んでいる。ストレージコンポーネントは通常、カーネル層に実装されるため、高いパフォーマンスが得られる。
同じサーバ内でローカルオペレーティングシステムコンポーネントをスタックすることは一般に実現可能である。ただし、他のサーバ位置するリモートリソースをスタックすることは、現時点では不可能である。
RAIDは、データの冗長性、パフォーマンスの向上、またはその両方を目的として、複数の物理ディスクドライブコンポーネントを1つ以上の論理ユニットに結合するデータストレージ仮想化テクノロジーである。
従来、ホットスペアは、データを含まない完全に機能するドライブであるRAID1、RAID5、またはRAID6ボリュームグループのスタンバイドライブとして機能する。現在のストレージシステムでは、ボリュームグループのドライブに障害が発生すると、コントローラは障害が発生したドライブからホットスペアにデータを自動的に再構築する。
ストレージアレイのドライブに障害が発生した場合、物理的なスワップを必要とせずに、ホットスペアドライブが、障害が発生したドライブと自動的に置き換えられる。ドライブに障害が発生したときにホットスペアドライブが使用可能な場合、コントローラは冗長データを使用して、障害が発生したドライブからホットスペアドライブにデータを再構築する。
ボリュームスナップショットは、特定の時点でのボリュームの内容を表すために使用される。スナップショットは通常、データの保護のために作成されるが、それらはアプリケーションソフトウェアのテストやデータマイニングにも使用できる。ストレージスナップショットは、人的ミスやデータの破損により情報が失われた場合の災害復旧にも使用できる。
整合性グループは、特定のストレージアレイのベースボリュームの集合である。スナップショットイメージのソースであるこれらのベースボリュームは、通常、整合性グループのメンバーボリュームと呼ばれる。整合性グループの目的は、複数のボリュームの同時スナップショットイメージを取得し、それにより特定の時点でのボリュームの集合のコピーを取得することである。
ほとんどのミッドレンジおよびハイエンドのストレージアレイは、ストレージアレイ内のボリューム内にスナップショット整合性グループを作成する。
ローカルスナップショットの取得は、単一ボリュームのローカルスナップショットを取得できる論理ボリュームマネージャ(LVM)を含むサーバオペレーティングシステムによって可能になる。分散型ストレージシステムでは、ボリュームが複数のサーバおよび複数のLVMに分散されているため、通常、整合性グループの取得または作成は不可能またはサポートされていない。
サービス品質(QoS)は、マルチテナントまたはエンタープライズインフラストラクチャでビジネスにとって重要なアプリケーションに対して一貫したプライマリストレージパフォーマンスを提供したいと望んでいる企業やサービスプロバイダーにとって、重要な実現テクノロジーである。
複数の作業負荷が限られたリソースを共有する場合、QoSはそのリソースの共有方法を制御するよう補助し、最もノイズの多い近隣(アプリケーション)が同じシステムの他のすべてのアプリケーションのパフォーマンスを中断させるのを防ぐ。
ストレージアレイでは、帯域幅と1秒あたりの入出力操作(IOPS)を制限して、ボリュームごとにQoSを設定できる。通常、分散型サーバを備えた共有ドライブストレージスタックでは、ストレージアレイのようにQoSを実施できる単一のポイントはない。
ディスクのクローン作成は、パーティションまたはハードドライブ全体のイメージを作成するプロセスである。これは、ドライブを他のコンピュータにコピーすること、およびバックアップや復旧の目的で有用であり得る。
通常、コピーは、ホストがデータにアクセスし続けるときの特定の時点で行われる。ほとんどのミッドレンジおよびハイエンドのストレージアレイは、ストレージアレイ内のボリュームのクローンを作成する機能を含んでいる。ストレージアレイではなくサーバで管理されているボリュームには、ソースとターゲットが異なるエンティティに存在する可能性があるため、クローンを作成する機能がない。
論理ボリューム管理(LVM)はストレージ仮想化の一種で、システム管理者に従来のパーティショニングよりも柔軟なディスクストレージ領域の管理方法を提供する。このタイプの仮想化ツールは、オペレーティングシステムのデバイスドライバスタック内にある。これは、物理ボリューム(PV)を物理エクステント(PE)に分割することによって機能する。PEは論理エクステント(LE)にマッピングされ、その後論理エクステント(LE)はボリュームグループ(VG)にプールされる。これらのグループは、仮想ディスクパーティションとして機能する論理ボリューム(LV)に共にリンクされており、LVMを使用してそのように管理できる。
シックプロビジョニングは、一般的に行われているタイプのストレージ事前割り当てである。シックプロビジョニングでは、仮想ディスクの作成時に、仮想ディスクストレージ容量の全量が物理ストレージに事前に割り当てられる。シックプロビジョニングされた仮想ディスクは、データストアでそれに割り当てられたすべてのスペースを最初から消費するため、そのスペースを他のボリュームが使用することはできない。
シンプロビジョニングは、もう1つの一般的に行われているタイプのストレージ事前割り当てである。シンプロビジョニングされた仮想ディスクは、最初に必要なスペースのみを消費し、需要の増加に応じて時間の経過と共に大きくなる。シンプロビジョニングは、比較的小さなチャンクで割り当てられるシン割り当てのメタデータを保持するために、遥かに多くのRAMを消費する。シンプロビジョニングは、bツリーデータ構造を経由する必要があるため、集中的なランダムアクセスを促進して論理アドレスを物理アドレスに変換するために必要なI/Oで遥かに多くのCPUを消費する。共有ストレージは、複数のサーバによって共有またはアクセスされるストレージリソースの一種である。
Linuxのクラスタ化論理ボリュームマネージャ(CLVM)は、LVMに対するクラスタリング拡張機能のセットである。これらの拡張機能により、コンピュータのクラスタがLVMを使用して共有ストレージ(SAN上など)を管理できるようになる。CLVMは、論理ボリュームの構成中に物理ストレージへのアクセスをロックし、クラスタ化されたロックサービスを使用して共有ストレージを管理することで、ユーザが共有ストレージに論理ボリュームを構成できるようにする。
通常、クラスタの構成と保守は複雑なタスクである。さらに、単一ノードの誤動作がクラスタ全体の健全性に影響を与える可能性がある。また、一般にOSディストリビューションでは、クラスタリング用のライセンス料金が別途必要になる。
スモールコンピュータシステムインターフェース(SCSI)は、コンピュータと周辺機器の間で物理的に接続してデータを転送するための一連の標準である。iSCSIはInternet Small Computer Systems Interfaceの略である。iSCSIは、トランスポートコントロールプロトコル(TCP)の上位で動作するトランスポート層プロトコルである。これにより、TCP/IPネットワークを介したiSCSIイニシエータとストレージターゲットとの間のブロックレベルのSCSIデータ転送が可能になる。
論理ユニット番号(LUN)は、ファイバーチャネル(FC)やiSCSIなど、SCSIプロトコルまたはSCSIをカプセル化するストレージエリアネットワークプロトコルによってアドレス指定されるデバイスである論理ユニットを識別するために使用される番号である。
新しいデバイスを追加する場合、バスで新しいデバイスを見つけるために再スキャンプロセスが必要である。再スキャンプロセスは、すべてのホストバスアダプタ(HBA)を調べる必要がある。各HBAでは、すべてのSCSIターゲットを調べる必要がある。各ターゲットで、すべてのLUN番号を調べて、新しいデバイスが存在するかどうか確認を試みる必要がある。それぞれのLUNの確認は、タイムアウトになるまで待ってから続行する必要がある。
再スキャンプロセスはまた、デバイスを取り外した時にも実行される。HBA、ターゲット、LUNの数に応じて、通常、再スキャンプロセスには最大10分かかることがある。
NVMe(不揮発性メモリエクスプレス)は、エンタープライズシステムおよびクライアントシステムとソリッドステートドライブ(SSD)間のデータ転送を高速化するために作成されたホストコントローラインターフェースおよびストレージプロトコルである。
NVMe over Fabrics(NVMe-oF)は、ホストコンピュータとターゲットのソリッドステートストレージデバイスまたはシステムの間で、イーサネット、ファイバチャネル(FC)、またはInfiniBandなどのネットワークを介して、データを転送するための不揮発性メモリのエクスプレスメッセージベースのコマンドを可能にするために設計されたテクノロジー仕様である。NVMeバスには、SCSIバスに関して実行されるのと同様の再スキャンプロセスが必要であり、同様に長いスキャン時間がかかる。
サーバは通常、NVMeおよびSCSI標準プロトコルを使用して、様々なHBAおよびプロトコルテクノロジーを使用してネットワーク経由でリモートデバイスを接続し、一方で、リソースを公開するサーバは一般にターゲットと呼ばれ、リソースを消費するサーバはイニシエータと呼ばれる。
「自己暗号化ドライブ」(SED)という用語は通常、フルディスク暗号化が組み込まれたHDD、SSDなどの記憶媒体のテクノロジーを指すときに使用される。「OPAL」という用語は、Trusted Computing Groupによって開発された自己暗号化ドライブの一連の仕様を表すために一般的に使用されている。
現在入手可能な自己暗号化SSD/HDDの多くは、Trusted Computing Group(TCG)によって開発された「OPAL 2.0」暗号化とエンタープライズ規格を実装している。TCG規格のEnterprise SASバージョンは、「TCG Enterprise」ドライブと呼ばれる。規格に従って製造されたハードウェアは、相応にラベル付けがされている。
ドライブのロック解除は、オペレーティングシステムの実行中に、ソフトウェアユーティリティを使用して、起動前の認証環境で、または電源投入時にBIOSベースのATAパスワードを使用して実行できる。キーの管理はディスクコントローラ内で行われ、暗号化キーは通常128ビットまたは256ビットのAdvanced Encryption Standard(AES)である。
TCG「OPAL2.0」標準仕様に準拠した自己暗号化ドライブ(最新の自己暗号化ドライブのほぼすべて)は、認証キーと第2レベルのデータ暗号化キーによるキーの管理を実装している。データ暗号化キーは、データが実際に暗号化/復号されるキーである。認証キーは、データ暗号化キーを復号する(次にデータを復号する)ユーザ向けの第1レベルのパスワード/パスフレーズである。このアプローチには次のような特有の利点がある。
● これにより、ユーザはディスクの既存の暗号化データを失うことなくパスフレーズを変更できる。
● セキュリティの脅威に迅速かつ簡単に対応し、侵害されたパスフレーズを取り消すことができ、それにより、セキュリティが向上する。それはまた、ほぼ瞬時の、暗号的に安全なディスク全体の消去を容易にする。
● これにより、ユーザはディスクの既存の暗号化データを失うことなくパスフレーズを変更できる。
● セキュリティの脅威に迅速かつ簡単に対応し、侵害されたパスフレーズを取り消すことができ、それにより、セキュリティが向上する。それはまた、ほぼ瞬時の、暗号的に安全なディスク全体の消去を容易にする。
ハードウェアセキュリティモジュール(HSM)は、強力な認証のためにデジタルキーを保護および管理し、暗号化処理を提供する物理コンピューティングデバイスである。これらのモジュールは従来、プラグインカード、またはコンピュータまたはネットワークサーバに直接的に接続される外部デバイスの形式で提供される。
サーバでキー用の特別なストレージを使用している場合でも、一度キーがサーバのメインメモリ内に存在しなければならないため、サーバでキーインメモリのエクスプロイトが実行される可能性がある。
トンネリングプロトコルは、あるネットワークから別のネットワークへのデータの移動を可能にする通信プロトコルである。これには、カプセル化と呼ばれるプロセスを通じて、プライベートネットワーク通信をパブリックネットワーク経由で送信できるようにすることが含まれる。
トンネリングでは、おそらく標準として暗号化と共に、トラフィックデータを別の形式に再パッケージ化することが関与するため、トンネルを通過するトラフィックの性質を隠すことができる。
通常、ストレージコントローラは、ストレージソフトウェアを実行するストレージアレイのコンピューティング部分である。ストレージコントローラに障害が発生すると、ストレージソフトウェアが実行できなくなり、アレイがオフラインになる。その結果、データのアクセス性を維持するために冗長ストレージコントローラは重要である。一般的なアクティブ/アクティブアプローチでは、LUNとボリュームをサポートするために両方のコントローラが利用できる。どちらのストレージコントローラにもLUNを割り当てることができる。コントローラに障害が発生した場合、残っているコントローラはそれ自身と障害が発生したコントローラのLUNをサポートできる。
ターゲットポートグループサポート(TPGS)とも呼ばれる非対称論理ユニットアクセス(ALUA)は、SCSIデバイスのパスの優先順位付けを定めるSCSIの概念とコマンドのセットである。非対称名前空間アクセス(ANA)は、ホストオペレーティングシステムのマルチパスI/O(MPIO)またはマルチパススタックへのパス状態を監視および通信するためのNVMeプロトコル機能であり、ANA経由で通信される情報を使用して、イニシエータとターゲット間の複数のパスを選択および管理する。
通常、エンタープライズのハイエンドおよびミッドレンジのストレージアレイは、デュアルコントローラのグループで構築される。一方のコントローラは特定のボリュームに対してストレージスタック動作を実行でき、他方はIOを転送するだけである。IO転送はインターコネクトを使用して行われる。コントローラ間の専用リンクまたはネットワーク経由のいずれかによるものである。ホストは両方のコントローラに接続されている。コントローラは、ALUAまたはANAを使用して、そのボリュームのサービングコントローラの優先パスについてホストを更新する。ストレージアレイは、デュアルコントローラ、相互接続、およびフェイルオーバーのサポートを含む統合ストレージスタックで構築されている。オペレーティングシステムには、このようなホストサービス用に設計および使用される、堅牢かつ複雑で高価なストレージスタックコンポーネントのセットが含まれている。
したがって、現在利用可能なストレージシステムの提示された欠点と機能制限/要件には、信頼性の高いデータストレージ機能と様々な条件や懸念事項に適応した柔軟性を提供し、したがってユーザの様々なニーズや利用可能なインフラストラクチャに合わせたリアルタイムの動作を提供することができる、信頼性が高く、高速で、コスト効率が高く、包括的なソリューションを提供する、より優れた、より効率的なデータストレージシステムおよび方法を提供する余地が残されている。
本発明は、信頼性の高いデータストレージ機能および様々な条件および懸念事項に適応した柔軟性を提供できる、信頼性が高く、高速で、コスト効率が高く、包括的なソリューションを提供するために、利用されていない利用可能なハードウェアリソースを利用することを可能にする効率的なデータストレージシステムおよび方法を提供する。
本発明の一態様によれば、そのようなシステムおよび方法は、信頼性の高いデータストレージ機能および様々な条件および懸念事項に適応した柔軟性を提供できる、信頼性が高く、高速で、コスト効率が高く、包括的なソリューションを提供するために、利用されていない利用可能なDASを活用することにより取得される。
以下の実施形態およびその態様は、範囲を限定するものではなく、例示および説明を意図するシステム、デバイス、および方法と関連して説明および図示される。様々な実施形態では、上述の問題のうちの1つまたは複数が軽減または解消されているが、他の実施形態は他の利点または改善を目的としている。
本発明の一態様によれば、データストレージが提供され、記憶媒体を備え、データプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのターゲットサーバ、データプレーン(DP)ネットワークを通してリモートリソース(複数可)にアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのイニシエータサーバ、および各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、ターゲットサーバの記憶媒体の指定された部分がDPネットワークに公開されており、オーケストレータは、イニシエータサーバが、DPネットワークを介してターゲットサーバと対話するように構成されるように、前記サーバの内部に組み込まれたオペレーティングシステムのストレージスタックコンポーネント(SS)および標準ストレージスタック(SSS)を調整することによって、記憶媒体の指定された部分を利用するように指定される。
本発明の別の態様によれば、データストレージが提供され、記憶媒体を備え、データプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのターゲットサーバ、データプレーン(DP)ネットワークを通してリモートリソース(複数可)にアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのイニシエータサーバ、および各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、オーケストレータは、記憶媒体の内部に記憶されたブロックデバイスをマッピングおよび認識するためにCPを利用するように構成され、ブロックデバイスは、オーケストレータによってDPネットワークに公開されるように構成され、オーケストレータは、DPネットワークを介してブロックデバイスをイニシエータサーバに転送するように構成されている。
本発明のさらに別の態様によれば、データストレージが提供され、記憶媒体を備え、データプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのターゲットサーバ、記憶媒体を備え、データプレーン(DP)ネットワークを通してリモートリソース(複数可)にアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのイニシエータサーバ、および各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、結合された記憶媒体は、共有のドライブストレージスタックを形成し、オーケストレータは、共有ドライブストレージスタックの動作性と状態を監視および検査するためにCPを利用するように構成され、さらに、前記共有ドライブストレージスタックの内部に記憶されているブロックデバイス(複数可)の適切な動作を監視、記録および検査するように構成され、オーケストレータは、共有のドライブストレージスタックに影響を与える誤動作を特定するように構成され、オーケストレータは、共有ドライブストレージスタックを形成する少なくとも1つの動作可能なリモート記憶媒体の同時かつ調整された使用を管理することによる、非集中型の再構築手順を実行するように構成されている。
本発明のさらに別の態様によれば、データストレージが提供され、ストレージボリュームを備え、データプレーン(DP)ネットワークを通してアクセス可能で公開可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも2つのサーバ、各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、各サーバは、それ自身のDPコンポーネントを管理するように構成され、オーケストレータは、少なくとも1つの整合性グループスナップショットを取得するためにCPを利用するように構成され、特定の時点でボリュームの一貫するスナップショットを提供するために、IOの一時停止と再開を管理するようにさらに構成されている。
本発明のさらに別の態様によれば、データストレージが提供され、ストレージボリュームを備え、データプレーン(DP)ネットワークを通してアクセス可能で公開可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも2つのサーバ、各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、少なくとも2つのストレージボリュームが分散型ストレージスタックを作成し、各サーバが独自のボリュームに由来するローカルQoS DPを管理および実施するように構成され、オーケストレータは、分散型ストレージスタックの内部でQoS CP制限を集中的に調整および実施するように構成されている。
本発明の別の態様によれば、データストレージが提供され、記憶媒体ボリュームを備え、少なくとも1つのターゲットコンポーネントを使用してデータプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのターゲットサーバ、記憶媒体ボリュームを備え、少なくとも1つのオーケストレータコンポーネントを使用してデータプレーン(DP)ネットワークを通して記憶されたデータにアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのイニシエータサーバ、および各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、オーケストレータは、ターゲットサーバに記憶されたボリュームのデータスナップショットを作成するように構成され、データスナップショットは、イニシエータコンポーネントを通じてターゲットサーバに公開されるよう構成され、ターゲットサーバのボリュームのクローンがイニシエータサーバのボリュームに作成されるように構成される。
本発明のさらに別の態様によれば、データストレージが提供され、LVMストレージボリュームを備え、データプレーン(DP)ネットワークを通してアクセス可能で公開可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも2つのサーバ、各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、サーバ間の同期が、クラスタリングを必要とせずに、オーケストレータを使用して実行され、オーケストレータは、並列動作をキューに入れ、1つのサーバに属するストレージボリュームのみが所定の時間に動作を実行するように構成されている。
本発明のさらに別の態様によれば、データストレージが提供され、記憶媒体ボリュームを備え、少なくとも1つのターゲットコンポーネントを使用してデータプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのターゲットサーバ、少なくとも1つのイニシエータコンポーネントを使用してデータプレーン(DP)ネットワークを通して記憶されたデータにアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された少なくとも1つのイニシエータサーバ、および各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、オーケストレータは、ターゲットサーバ側およびイニシエータサーバ側を調整し、リモートデバイスのアタッチメントを再スキャン/バススキャンを必要とせずに実行するように構成されている。
本発明のさらに別の態様によれば、データストレージが提供され、ストレージボリュームを備え、データプレーン(DP)ネットワークを通してアクセス可能で公開可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つの暗号化サーバ、各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータ、を含み、オーケストレータは、キーがサーバとは別に記憶されるように、そのデータベースに少なくとも1つのキーを記憶することによって暗号化を管理するように構成され、オーケストレータは、キーをサーバに公開することなく、トンネルを使用してサーバにキーを配信するように構成されている。
本発明のさらに別の態様によれば、データストレージが提供され、RAID1ストレージボリュームを備え、データプレーン(DP)ネットワークを通してアクセス可能で公開可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも2つのサーバを含み、サーバは互いに遠隔に配置され、RAID1は、少なくとも2つのサーバの2つのボリュームを接続した状態で、リモートレプリケーション手順に利用されるように構成される。
いくつかの実施形態によれば、少なくとも1つのイニシエータサーバは、マルチパス接続を使用して少なくとも2つのターゲットサーバと対話するように構成され、イニシエータサーバとターゲットサーバとの間の調整は、各サーバにインストールされたCPオーケストレータを使用して実行でき、DPネットワーク経由でアクセス可能なターゲットサーバまたはイニシエータサーバとオーケストレータの間の通信は、各前記サーバにインストールされた指定されたソフトウェアコンポーネントを使用して実行され、イニシエータサーバは、複数のターゲットサーバで記憶媒体の複数の指定された部分に由来するデータ冗長性を提供するように構成された独立ディスク冗長アレイ(RAID)ストレージスタックコンポーネント(SSC)を利用するように構成され、RAID SSCは、少なくとも2つのターゲットサーバの記憶媒体の指定された部分に由来する組み合わされた複数のイニシエータパスに由来するデータ冗長性を提供するように構成でき、ターゲットサーバは異なる場所に配置され得て、オーケストレーションは異なるレジリエンスドメイン全体に割り当てられ、異なるレジリエンスドメインを考慮しながら割り当てられたオーケストレーションはまた、システムバランスの維持を考慮し、オーケストレータは、管理プロトコルを使用してサーバと対話するように構成でき、記憶媒体の指定された部分は、論理ボリュームマネージャ(LVM)SSCを使用して割り当てられ、記憶媒体は、ソリッドステートドライブ(SSD)ベース、ストレージクラスメモリ(SCM)ベース、ランダムアクセスメモリ(RAM)ベース、ハードディスクドライブ(HHD)ベース、物理コントローラまたはクラウドベースのサービス(SaaS)であることができる一方、各サーバの動作は、全体または部分的に、データ処理ユニット(DPU)によって実装され得る。
本発明のいくつかの実施形態が、本明細書において、添付の図面を参照しながら説明される。この説明は、図面と共に、当業者に対して、いくつかの実施形態がどのように実施され得るかを明白にするものである。図面は例示的な説明を目的としており、本発明の基本的な理解に必要な以上に実施形態の構造の細部を詳細に示そうとしていない。
図面において、
従来のストレージアレイシステムの概略図となる。
従来のストレージアレイシステムの概略図となる。
従来のクラウドベースのデータ管理システムとなる。
いくつかの実施形態による、従来のストレージアレイシステムと本発明の主題であるデータストレージシステムとの間の一般的な比較の概略図となる。
および
本発明のいくつかの実施形態による、データストレージシステムの概略図となる。
本発明のいくつかの実施形態による、データストレージシステムの概略図となる。
本発明のいくつかの実施形態による、ストレージシステムの一般的なアーキテクチャの概略図となる。
本発明のいくつかの実施形態による、マルチパス接続をさらに備える従来のストレージアレイターゲットおよびイニシエータサーバの概略図となる。
本発明のいくつかの実施形態による、ストレージアレイ接続の概略図となる。
本発明のいくつかの実施形態による、図8および図9に示したストレージシステムによって実行されるサーバ間のリモートブロックデバイス接続のオーケストレーション手順の概略図となる。
ホットスペアを有する従来のRAID5の概略図となる。
RAIDホットスペア再構築の概略図となる。
従来のホットスペアロジックアレイの交換手順の概略図となる。
本発明のいくつかの実施形態による、共有ドライブの監視および復旧動作、または非集中型再構築システムおよびプロセスの概要の概略図となる。
従来の整合性グループスナップショットシステムの概略図となる。
本発明のいくつかの実施形態による、分散型スナップショット整合性グループシステムの概略図となる。
ストレージアレイにおける従来のストレージQoSの概略図となる。
ボリューム間の従来のストレージQoSの概略図となる。
本発明のいくつかの実施形態による、共有のドライブストレージスタックの分散型QoSの概略図となる。
クローンを備えた従来のエンタープライズストレージアレイシステムの概略図となる。
未割り当てデータによるボリューム全体のクローン作成システムの概略図となる。
本発明のいくつかの実施形態による、リモートオンラインボリュームのクローンの分散型システムの概略図となる。
ボリューム部分を割り当てるように構成された従来の論理ボリュームマネージャLVMの概略図となる。
ボリューム部分を割り当てるように構成された従来の論理ボリュームマネージャLVMの別の概略図となる。
従来の論理ボリュームエクステントおよびメタデータシステムの概略図となる。
サーバ間の従来の共有ストレージの概略図となる。
従来のクラスタ化された論理ボリュームマネージャの概略図となる。
本発明のいくつかの実施形態による、クラスタのない分散型論理ボリュームマネージャの概略図となる。
SCSIバスシステムの従来のレイアウトの概要の概略図となる。
従来の複数チャネルの論理ユニットシステムの概略図となる。
従来のIPネットワーク上のiSCSIバスの概略図となる。
本発明のいくつかの実施形態による、再スキャンを伴わない調整されたリモートデバイスアタッチメントシステム/プロセスの概略図となる。
従来の自己暗号化ドライブ(SED)ロジックの概略図となる。
従来のプロトコルトンネルの概略図となる。
2つのサーバ間のトンネルを使用する従来のペイロードカプセル化の別の表現の概略図となる。
本発明のいくつかの実施形態による、トンネルによるリモート自己暗号化ドライブ制御の概略図となる。
従来のRAID1-データミラーリングシステムの概略図となる。
従来の非同期レプリケーションシステムの概略図となる。
従来の同期レプリケーションシステムの概略図となる。
本発明のいくつかの実施形態による、RAID1システムを使用する同期レプリケーションの概略図となる。
本発明のいくつかの実施形態による、LVMスナップショットおよびRAID1システムを使用する非同期レプリケーションの概略図となる。
本発明のいくつかの実施形態による、データストレージシステムの概略図となる。
マルチコアのスケーラブルなRAIDパリティの概略図となる。
サーバ間のボリュームのフェイルオーバーの概略図となる。
以下の詳細な説明では、本発明の完全な理解を提供するために、多くの具体的な詳細が述べられている。しかし、本発明がこれらの具体的な詳細を用いずに実施され得ることが、当業者により理解される。他の例では、周知の方法、手順、および構成要素、モジュール、ユニット、および/または回路は、本発明を曖昧にしないように、詳細には説明されていない。一実施形態に関して説明したいくつかの特徴または要素は、他の実施形態に関して説明した特徴または要素と組み合わせることができる。明確にするために、同じまたは類似の特徴または要素についての説明を繰り返さない場合がある。
本発明の実施形態はこの点に限定されないが、例えば、「処理する」、「計算する(computingおよびcalculating)」、「判定する」、「確立する」、「分析する」、「確認する」、「設定する」、「受信する」など用語を用いる記述は、コンピュータのレジスタおよび/またはメモリの内部で物理(例えば、電子)量として表されるデータを、コンピュータのレジスタおよび/またはメモリ、あるいは動作および/またはプロセスを実行する命令を記憶できる他の情報の非一時的記憶媒体内部の物理量として同様に表される他のデータに操作および/または変換する、コントローラ、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、または他の電子コンピューティングデバイスの動作(複数可)および/またはプロセス(複数可)を指し得る。
明示的に述べられていない限り、本明細書に記載される方法の実施形態は、特定の順番または順序に制約されない。さらに、記載された方法の実施形態またはその要素のいくつかは、同時に、同じ時点で、または並行して発生または実行され得る。
本明細書で使用される場合、「コントローラ」という用語は、中央処理装置(CPU)またはマイクロプロセッサを備え、またいくつかの入出力(I/O)ポートを備えることができる任意のタイプのコンピューティングプラットフォームまたはコンポーネントを指す。
これより図1を参照すると、これは従来のストレージアレイシステム10を概略的に示す。図示のように、ストレージアレイ102(例えば、Dell EMCデータストレージおよびバックアップアレイ、または他のいずれかの市販のデータストレージシステムであってもよい)は、データを記憶し、複数のサーバ100へのデータアクセスを提供するように構成された複数の記憶媒体104を含む。いくつかの実施形態によれば、ストレージアレイ102は、ストレージアレイ102およびその中に組み込まれた記憶媒体104の動作を制御および管理するように指定された様々なストレージ/制御コンポーネントを含むオペレーティングシステムによって動作可能であり得る。
いくつかの実施形態によれば、該従来のストレージアレイシステム10は、ストレージアレイ102の標準コントロールプレーン(CP)を使用して、サーバ100にいずれかの追加のCPソフトウェアをインストールすることを回避するように構成され得る。いくつかの実施形態によれば、ストレージアレイ102にインストールされ、ストレージおよび制御コンポーネントを含むオペレーティングシステムは、例として、RedHat、SuSEなどLinuxベースのディストリビューション、またはMicrosoft Windowsサーバであってもよい。
これより図2を参照すると、これは従来のストレージアレイシステム10を概略的に示す。図示のように、ストレージアレイ102は、データを記憶し、複数のサーバ100へのデータアクセスを提供するように構成された複数の記憶媒体スタック104を含む。いくつかの実施形態によれば、ストレージアレイ102は、データプレーンDP106およびコントロールプレーンCP108のコンポーネントおよびプロトコルを含み、CP108のコンポーネントおよびプロトコルは、DP106のコンポーネントおよびプロトコルの様々な動作を制御するように構成される。通常、ストレージソリューションのDPとCPは共に結合されるが、統合されたストレージソフトウェアが、データサービス、例えばデータの保護、高い可用性、スペースの割り当て、および/またはデータの削減を監視するだけでなく、ボリュームの作成、ドライブの障害の処理、スナップショットのロールバックなどの制御サービスも監視するこのような結合は、非効率性と欠点をもたらす。
これより図3を参照すると、これは従来のクラウドベースのデータ管理システム20を概略的に示す。図示のように、様々なタスクを実行し、信頼性の高いデータの割り当てと記憶を確実にするために、様々なコンポーネントおよびプロトコルが指定されている。該コンポーネントおよびプロトコルは、技術の進歩に合わせて更新するだけでなく、恒常的なデバッグと保守を必要とする。したがって、統合されたクラウドベースのデータ管理システム20の現在の質および性能は、大量なリソースの犠牲のもとで実現される。いくつかの実施形態によれば、クラウドベースのデータ管理システム20は、ソリッドステートドライブ(SSD)データセンターのソリューションであってもよく、これは、そのメディアストレージがクラウドベースのストレージアレイの一部を形成するSSDスタッキングであることを意味する。
これより図4を参照すると、これは、いくつかの実施形態による、従来のストレージアレイシステム10と、本発明の一態様であるデータストレージシステム30との間の一般的な比較を概略的に示す。図示のように、また前に開示したように、従来のストレージアレイシステム10は、複数のサーバ100にデータを記憶し、データアクセスを提供するように構成された複数の記憶媒体スタック104を含むストレージアレイ102を備える。
いくつかの実施形態によれば、データストレージシステム30は、サーバ200の集合を指定し、それらの記憶媒体スタック204を利用して(OSの機能性に悪影響を与えることなく、または実質的に影響を与えずに)エンタープライズストレージアレイとして動作するように構成され得、そのためデータストレージシステム30は、従来ストレージアレイ102を使用して一般的なストレージアレイシステム10によって提供されていたサービスを、該サーバ200で直接提供することができる。
いくつかの実施形態によれば、データストレージシステム30はまた、共通のストレージアレイではこれまで利用できなかったさらなる機能を追加するように構成されている。例えば、ストレージスタック204は、指定されたパーティションに分割することができ、各記憶媒体204が、様々なサーバ200から生成されたデータを記憶し、そのデータへのアクセスを提供する専用の複数の指定領域を提供できるようにすることができ、記憶媒体スタック204は、サーバ200の内部に組み込まれているため、ストレージアレイ102の必要性を排除し、結合されたDPネットワークがデータストレージシステム30によって作成され、実装され、利用される。
これより図5Aおよび図5Bを参照するが、これらは、いくつかの実施形態によるデータストレージシステム30を概略的に示す。図示のように、また前に開示したように、データストレージシステム30はサーバ200の集合を備え、それらの記憶媒体スタック204を利用してエンタープライズストレージアレイとして動作するように構成される。
いくつかの実施形態によれば、データストレージシステム30は、いずれかのサードパーティのソフトウェアコンポーネントまたはスクリプトをインストールすることなく、そのような目的を達成するように構成され得る。当該の取り組みは、専用のストレージアレイユニットの代わりにサーバ(複数可)200のストレージスタック204を使用することによって得ることができる。
いくつかの実施形態によれば、少なくとも1つのオーケストレータ206が、該サーバ200のそれぞれと対話するように構成され、DP208ネットワークのCP210を制御するように指定される。いくつかの実施形態によれば、DP208は、各サーバ200の内部に組み込まれた記憶媒体204に記憶される。
いくつかの実施形態によれば、Linuxベースのオペレーティングシステムなどの様々なオペレーティングシステムがサーバ(複数可)200にインストールされ、DP208またはCP210に関連する様々なコンポーネントおよびプロトコルを含むことができる。オーケストレータ206は、サーバ(複数可)200内にすでに組み込まれているコンポーネントおよびプロトコルを使用して、指定された外部ストレージアレイユニットなしに、データストレージおよびデータバックアップ機能を提供するために、これらのすでにインストールされているコンポーネントを調整するように構成され得る。
いくつかの実施形態によれば、サーバのストレージスタック204の制御インターフェース(複数可)は、標準インターフェース(複数可)、例えば、Linux用のセキュアシェルプロトコル(SSH)、Windowsサーバ用のPowerShell Remoting Protocol(PSRP)などを介して動作可能であってもよい。
いくつかの実施形態によれば、ストレージデータ転送のためのサーバ(複数可)200間の通信は、オペレーティングシステムの標準的なコンポーネントを利用する、iSCSI、ファイバチャネル、NVMeOF、FC-NVMeなどの標準プロトコルを使用して実行され得るが、これらに限定されない一方、オーケストレータ206は、そのようなプロトコルおよび他の標準的な利用可能なコンポーネントおよび機能を使用して、強化された動作性を提供するように構成されている。
いくつかの実施形態によれば、集中型または複数のオーケストレータ(複数可)206は、標準管理インターフェースを介して様々な異なるサーバ200に接続するように構成され得る。いくつかの実施形態によれば、1つの集中型オーケストレータまたは複数のオーケストレータ206が、様々なストレージオーケストレーションタスクを実行するように特に適応され得る。
いくつかの実施形態によれば、オーケストレータ206の数は、データストレージシステム30(例えば、大規模なデータセンターであってもよい)の一部を形成するサーバ200の全体的な可能性に応じて、また該サーバ200の必要な可用性の割合に応じて、決定され得る。
いくつかの実施形態によれば、オーケストレータ206は、様々な手段によって実装されてもよく、例えば、これは(1つ以上のサーバ200の)サーバにインストールされたソフトウェアとして、仮想マシンとして、コンテナなどとして、実装され得る。
いくつかの実施形態によれば、オーケストレータ206は、ストレージオーケストレーションタスクの外部からの開始のために、公開されたアプリケーションプログラミングインターフェース(API)を有し得、各記憶媒体204の健全性を定期的に監視し、ハードウェアの問題の特定などをするように構成され得る。いくつかの実施形態によれば、オーケストレータ206はまた、標準制御インターフェースを介して各記憶媒体204からのデータを表すカウンタによってパフォーマンスデータ(負荷、待ち時間、変動、関係など)を収集するように構成することもできる。
いくつかの実施形態によれば、サーバ(複数可)200の各コンポーネントからの収集されたパフォーマンスカウンタは、将来の動作改善にフィードバックされるパフォーマンススナップショット(複数可)を提供するために集約される。オーケストレータ206の動作と集約されたパフォーマンスカウンタを組み合わせることで、独自のタスク管理、健全性の監視、およびシステムメンテナンスが可能になる。
これより図6を参照するが、これは、いくつかの実施形態によるデータストレージシステム40を概略的に示す。図示のように、データストレージシステム40は、記憶媒体304をさらに備え、オペレーティングシステム(例えば、Red Hat、SuseなどのLinuxベースのオペレーティングシステム)を実行するように構成され得る少なくとも1つのターゲットサーバ300を含み得、該オペレーティングシステムは、DPネットワークを介してアクセス可能なデータをホストするように指定されている。
いくつかの実施形態によれば、少なくとも1つのイニシエータサーバ302は、オペレーティングシステム(例えば、Red Hat、SuseなどのLinuxベースのオペレーティングシステム)を実行するように構成され得、それにおいて、該オペレーティングシステムは、DPネットワーク経由でリモートリソース(複数可)にアクセスして公開されるように指定される。
いくつかの実施形態によれば、少なくとも1つのオーケストレータ306は、該DPネットワークのCPを制御するために、該ターゲットサーバ(複数可)300および/またはイニシエータサーバ(複数可)302のそれぞれと対話するように構成され得る。いくつかの実施形態によれば、ターゲットサーバ300の一部を形成する記憶媒体304の指定された部分は、DPネットワークに公開されてもよい、換言すれば、指定された物理空間は、DPネットワークが使用する記憶空間に寄与するためにリザーブおよび指定される。
いくつかの実施形態によれば、オーケストレータ306は、該ターゲット/イニシエータサーバ(複数可)300/302の内部に組み込まれたオペレーティングシステムのストレージスタック(SS)コンポーネントおよび標準ストレージスタック(SSS)を調整することによって、記憶媒体の指定された部分を利用するように構成され、これにより、イニシエータサーバ302は、DPネットワークを介してターゲットサーバ300と対話するように構成される。
いくつかの実施形態によれば、データストレージシステム40は、以下のステップを実行するように指定されてもよい。
● ターゲットサーバ300の一部を形成するターゲットの記憶媒体304にインストールされ、DPネットワークを介してアクセス可能なデータをホストするように指定されたオペレーティングシステムを使用し、該記憶媒体304が永続的な記憶媒質を利用するために使用される、
● 記憶媒体304を複数のパーティションに分割するためにオペレーティングシステムの論理ボリュームマネージャ(LVM)を使用する、
● 少なくとも1つのイニシエータサーバ302にインストールされたオペレーティングシステムを使用して、DPネットワークを介して記憶媒体304のパーティション(複数可)にアクセスして消費し、リモートメディアの容量およびパフォーマンスを利用する、
● 該ターゲットサーバ(複数可)300およびイニシエータサーバ(複数可)302のそれぞれと対話するように構成されたオーケストレータ306を使用し、該オーケストレータ306が、該DPネットワークのCPを制御するように指定される、
● オペレーティングシステムを使用して少なくとも2つのネットワークパスを結合し、マルチパスコンポーネントを作成することで単一の記憶媒体パーティションを単一のネットワークデバイスとして利用し、このように、冗長性と効率性の強化を可能にする。
● 記憶媒体304を複数のパーティションに分割するためにオペレーティングシステムの論理ボリュームマネージャ(LVM)を使用する、
● 少なくとも1つのイニシエータサーバ302にインストールされたオペレーティングシステムを使用して、DPネットワークを介して記憶媒体304のパーティション(複数可)にアクセスして消費し、リモートメディアの容量およびパフォーマンスを利用する、
● 該ターゲットサーバ(複数可)300およびイニシエータサーバ(複数可)302のそれぞれと対話するように構成されたオーケストレータ306を使用し、該オーケストレータ306が、該DPネットワークのCPを制御するように指定される、
● オペレーティングシステムを使用して少なくとも2つのネットワークパスを結合し、マルチパスコンポーネントを作成することで単一の記憶媒体パーティションを単一のネットワークデバイスとして利用し、このように、冗長性と効率性の強化を可能にする。
いくつかの実施形態によれば、上で開示されたステップは、オペレーティングシステムによって実行され、例えばプロセッサコアおよび/またはメモリページ、および様々な種類の帯域幅などのリソースに関して競合する計算に影響を与えるように構成された動的割り当ておよび割り当て解除の機能を提供するために、リソース管理コンポーネント(複数可)を使用することをさらに含んでもよい。いくつかの実施形態によれば、上で開示したステップの目的は、利用可能な有限のリソースに従って応答性を最適化するようにリソースを割り当てることである。
いくつかの実施形態によれば、また上で開示したように、少なくとも1つのイニシエータサーバ302は、マルチパス接続を使用して少なくとも2つのターゲットサーバ300と対話するように構成される。いくつかの実施形態によれば、マルチパス接続を使用して、接続の信頼性を向上および強化し、より広い帯域幅を提供することができる。
いくつかの実施形態によれば、イニシエータサーバ(複数可)302とターゲットサーバ(複数可)300との間の調整、またはその逆は、CPを管理するように構成され、さらに各サーバに物理的にインストールされるように構成されたローカルオーケストレータ307のコンポーネントを使用して実行され得る。いくつかの実施形態によれば、ローカルオーケストレータ307を各サーバにインストールすることは、データストレージシステム40を利用する柔軟な方法を提供することができ、また、データストレージシステム40にクライアントのサーバの内部ソフトウェアおよびプロセスへのアクセスを提供する必要性を排除することができる。いくつかの実施形態によれば、オーケストレータ306に関して本明細書で開示されている動作および機能はまた、ローカルオーケストレータ307に適用することができ、またその逆も同様である。
いくつかの実施形態によれば、オーケストレータ306と、ターゲットサーバ300またはイニシエータサーバ302との間の通信は、該サーバの各々にインストールされた指定のソフトウェアコンポーネントを利用することによって、DPネットワークを介して実行され得る。
いくつかの実施形態によれば、イニシエータサーバ302は、複数のターゲットサーバ300の内部に組み込まれた記憶媒体304の複数の指定された部分に由来するデータの冗長性を提供するように構成された独立ディスク冗長アレイ(RAID)ストレージスタックコンポーネント(SSC)を利用するように構成されている。
いくつかの実施形態によれば、RAID SSCは、少なくとも2つのターゲットサーバ300の記憶媒体304の指定された部分に由来する複数のイニシエータパスの結合に由来するデータの冗長性を提供するようにさらに構成される。
いくつかの実施形態によれば、ターゲットサーバ300は、異なる部屋、建物、さらには国などの異なる場所に配置されてもよい。この場合、オーケストレータ306によって実行されるオーケストレーション手順は、異なるレジリエンスドメインに亘って割り当てられる。例えば、オーケストレータ306は、サイバーセキュリティ、自然災害、財務予測などに関する様々なパラメータを考慮し、適宜データフローを迂回させることができる。いくつかの実施形態によれば、オーケストレータ306によって実行され、サーバの割り当てを利用するように構成された該オーケストレーション手順は、許容可能なシステムバランスパラメータを維持することを考慮して実行される。
いくつかの実施形態によれば、オーケストレータ306は、施行プロトコルを使用してサーバ(複数可)300/302と対話するように構成され得る。いくつかの実施形態によれば、記憶媒体304の指定された部分は、論理ボリュームマネージャ(LVM)SSCを使用して割り当てられ得る。いくつかの実施形態によれば、記憶媒体304は、ソリッドステートドライブ(SSD)ベース、ストレージクラスメモリ(SCM)ベース、ランダムアクセスメモリ(RAM)ベース、ハードディスクドライブ(HHD)ベースなどであってもよい。
いくつかの実施形態によれば、オーケストレータ306は、物理コントローラデバイスであってもよく、またはクラウドベースのサービス(SaaS)であってもよく、オーケストレータ306が物理デバイスであるか否かに関係なく、データストレージおよびトラフィックを相互接続されたサーバにおいて命令および配置するように構成され得る。
いくつかの実施形態によれば、各サーバ(複数可)300/302の動作は、全体的または部分的に、データ処理装置(DPU)によって実装されてもよく、該DPUは、加速カードなどの加速ハードウェアであってもよく、ハードウェア加速は、汎用の中央処理装置(CPU)で実行されるソフトウェアと比較して、特定の機能をより効率的に実行するために使用され得るため、汎用CPUで実行されるソフトウェアで計算できるデータのいずれかの変換はまた、カスタムメイドのハードウェア、または何らかの両方の組み合わせで計算できる。
いくつかの実施形態によれば、データストレージシステム30は、物理サーバと仮想サーバの両方で動作可能であるだけでなく、従来のITシステム(サーバおよびデータセンターなど)、プライベートクラウド、パブリッククラウド、マルチクラウド環境、コンテナ、仮想マシン、ベアメタルシステム、およびそれらのいずれかの組み合わせで使用することができる。
いくつかの実施形態によれば、従来のSDSの下では、ストレージスタックコードは独自のソフトウェアに依存し、別個の独立したインストールおよびメンテナンスを必要とするが、データストレージシステム30/40は、前述のオーケストレータ206/306を使用することと組み合わされる、既にインストールされているオペレーティングシステムの機能に依存するように構成される。
いくつかの実施形態によれば、従来のSDSの下では、コントロールプロトコルは独自のソフトウェアに依存し、別個の独立したインストールおよびメンテナンスを必要とするが、データストレージシステム30/40は、前述のオーケストレータ206/306を使用するオペレーティングシステムの機能に依存するように構成される。
従来のSDSの下では、ノード相互接続は独自のソフトウェアに依存することになるが、いくつかの実施形態によれば、データストレージシステム30/40は、上で論じたオーケストレータ206/306を使用して標準ストレージプロトコルに依存するように構成される。
従来のSDSの下では、ストレージアレイシステム10を制御するスタックモデルは単一の独自のコードを使用し、DPとCPの両方をインターリーブするコンポーネントを有するが、いくつかの実施形態によれば、データストレージシステム30/40は、CPをエミュレートし、(とりわけ)DP上でその実際の操作を実行するために、上で開示したオーケストレータ206/306を使用しながらダミーデータプレーンを実行するために、オペレーティングシステムを利用するように構成される。
上で開示された様々な実施形態のいくつかの利点は、例えば、データストレージシステム30/40の下では無制限であると予想されるクラスタ内のノードの数に関して、従来のSDS動作と比較した場合に、超高性能を促進することができる。
述べたように、SDNを含む従来のネットワークに実装する場合、DPとCPをストレージと互いに結合することは、特定の欠点と非効率性がある。いくつかの実施形態によれば、SDNは、DPをストレージから切り離し、CPをストレージから切り離すように構成され得る。いくつかの実施形態によれば、ストレージシステムは、ネットワークのCPからデータを転送および保存するためのダミーデバイスを用いて構築され得、これはネットワークを介してトラフィックがどのように流れるかを制御する一方、SDNが、他のデカップリング手段よりも、はるかに安価な機器、機敏性および無制限のパフォーマンスを可能にするものと考えられる。さらなるデータプレーンリソースを柔軟に追加できるため、SDNを使用したこのようなデカップリングは、制限のないスケーラビリティと、処理されるクラスタへの限定的な影響に起因する生存率の向上を実現する。いくつかの実施形態によれば、データ容量、帯域幅、およびIOPSがCPサービスの使用率に影響しないため、単一のオーケストレータを提供して、巨大なクラスタにストレージサービスを提供することができる。このように分離されたDPは、プロトコル、RAID、暗号化、QoS制限、スペースの割り当て、データの削減などの様々なデータサービスに利用できる。一方、このように分離されたCPは、ボリュームのライフサイクル(作成、削除、サイズ変更など)、ストレージプール管理、スナップショット調整-整合性グループ、障害の監視、パフォーマンス監視、障害の処理などの様々なストレージサービスや調整に利用できる。
いくつかの実施形態によれば、データストレージシステム40は、SDNベースのCPおよびCD、ならびにストレージデカップリングを取得するために以下のステップを実行するように指定され得る。
サーバ300のうちの1つのストレージCP304を使用して、ストレージDPを作成する。サーバ302のストレージCPを使用して、ストレージDPを作成し、該サーバ300に接続し、公開されたドライブチャンクを消費する。
● 別のサーバ300のストレージCPを使用してストレージDPを作成する。
● サーバ302のストレージCPを使用して、ストレージDPeを作成し、該別のサーバ300に接続し、公開されたドライブチャンクを消費する。サーバ302のストレージcCPを使用して、マルチパス、RAID、暗号化、圧縮、重複排除、LVM、およびレプリケーションサービスを含むストレージDPを作成する。
● 別のサーバ300のストレージCPを使用してストレージDPを作成する。
● サーバ302のストレージCPを使用して、ストレージDPeを作成し、該別のサーバ300に接続し、公開されたドライブチャンクを消費する。サーバ302のストレージcCPを使用して、マルチパス、RAID、暗号化、圧縮、重複排除、LVM、およびレプリケーションサービスを含むストレージDPを作成する。
これより図7を参照すると、これは本発明のいくつかの実施形態によるストレージシステム30/40の一般的なアーキテクチャを概略的に示す。図示のように、様々なコンポーネントが対話し、DPネットワーク上で分散型ストレージとバックアップ機能を提供するように構成されている。例えば、オーケストレーションのジョブは様々なスタックコンポーネントに影響を与える可能性があり、これらは次第に、SSH、PSRP、Amazon AWS、Microsoft Azure、またはGoogle Cloudなどの様々なクラウドコンピューティングプラットフォーム/暗号化ネットワークプロトコル/アプリケーションプログラミングインターフェースを通じて変換され、利用される。
これより図8を参照すると、これは、ストレージアレイ50を概略的に示し、図示のように、ターゲットサーバおよびイニシエータサーバ(図10に示す)が、シングルパスまたはマルチパス接続を通じて通信するように構成される。いくつかの実施形態によれば、論理接続(垂直のチューブ状の線として示される)により、ターゲットサーバとイニシエータサーバは通信し、データストレージから論理ユニット番号(LUN)を消費できるようになる。いくつかの実施形態によれば、イニシエータサーバは、ネットワークインターフェースカード(NIC)または任意の適切なコンポーネント/プロトコルを使用してターゲットサーバからLUNを消費するように構成される。いくつかの実施形態によれば、LUNの消費/転送に使用されるプロトコルは、iSCSI、NVMeなどといった標準的な通信プロトコルである。いくつかの実施形態によれば、ストレージアレイ50は、両方のデータ方向を制御しながら、自動化されたオーケストレーション手順を使用することによって、このデータ転送を制御することを可能にする。いくつかの実施形態によれば、ブロックデバイス(複数可)/LUNを公開および消費する手順は、オーケストレータ702(図10に示す)によって実行されるように指定される。
これより図9を参照すると、これは、ストレージアレイ50の一部を形成することができるマルチパスストレージアレイ60の様々な接続の概略図となる。図示のように、マルチパスストレージアレイ60は、ホストバスアダプタ(HBA)(または同等のNIC)を使用して転送ブロックデバイスを構成する様々なスイッチおよびアダプタを備える。いくつかの実施形態によれば、これは、複数のネットワーク接続を提供する2つのパスを形成することによって実行され得る。いくつかの実施形態によれば、両方のスイッチは互いに接続されてもよい(図示せず)。
これより図10を参照すると、これは、ストレージシステム50によって実行されるサーバ間の接続を介したリモートブロックデバイスのオーケストレーション手順70となる。図示のように、1つのソースサーバ700からのリモートブロックデバイス(複数可)は、別の宛先サーバ704に接続され、例えばスタッキング目的のために指定され得る一方、集中型オーケストレータ702は、リモートブロックデバイスの接続を調整するように構成される。
いくつかの実施形態によれば、リモートブロックデバイスは、マルチパス接続を使用してサーバ704に公開され、転送されるように構成される。いくつかの実施形態によれば、オーケストレータ702はまた、アラートを提供し、様々な障害を処理するように構成される。いくつかの実施形態によれば、コントローラ702は、RAIDなどのスタッキングを可能にするために、サーバ700または704のいずれかにおけるリモートブロックデバイスの特定のブロックデバイス名を識別するように構成される。
いくつかの実施形態によれば、サーバ700は、サーバ700が様々なプロトコルを使用して他のサーバに接続できるようにする通信プロトコルである、ネットワークのルールおよび接続性のルールデータベースを有するように構成される。いくつかの実施形態によれば、オーケストレーション手順70は、使用しているオーケストレーション手順70を形成するコンポーネントをオーケストレータ702にマッピングすることによって、特定のブロックデバイスをサーバ704に送信することを可能にする。いくつかの実施形態によれば、オーケストレータ702は、例えばNVMe、Iscsiなど、サーバ700と704の間での通信を行う際に最も効率的である通信プロトコルを判定するために、該ネットワークのルールおよび接続性のルールを検討するように構成される。
いくつかの実施形態によれば、ネットワークのルールのセットは、データトラフィックに使用されるIPネットワークを識別するように指定される。いくつかの実施形態によれば、接続性のルールのセットは、サーバ700と704の間の好ましいプロトコルを識別するように指定される。いくつかの実施形態によれば、オーケストレータ702は、各サーバの異なるネットワークのルールおよびそのアドレスを列挙するように構成されている。いくつかの実施形態によれば、オーケストレータ702は、列挙の情報、ネットワークのルール、および接続性のルールを使用して、各サーバでどのネットワークカードを使用するか、各サーバでどのアドレスを使用するか、およびどのストレージプロトコルを使用するかを決定するように構成される。
いくつかの実施形態によれば、ソースサーバ700に記憶されたブロックデバイスは、ソースサーバ700のDPネットワークへのストレージターゲットを有していながら、最初に公開されるように指定される。いくつかの実施形態によれば、宛先サーバ704のネットワークパスごとに複数のイニシエータが作成されるように構成される。いくつかの実施形態によれば、マルチパス接続は、宛先サーバ704のイニシエータを通して利用されるように構成される。
いくつかの実施形態によれば、オーケストレータ702は、宛先サーバ704のイニシエータおよびマルチパスコンポーネントのエラーを定期的に確認するように構成され、エラーが識別された場合、アラートがトリガされ、ユーザまたはアプリケーションによって処理される。
いくつかの実施形態によれば、宛先サーバ704のブロックデバイス名は、例えばHBAアドレス、LUNなど、ソースターゲットアドレスからの情報を使用して識別されるように指定される。
いくつかの実施形態によれば、ストレージアレイ50/60/70は、リモートサーバ間のリモート通信および識別を提供するように構成され、さらに、マルチパスの使用中にネットワークエラーを識別し、オーケストレータ702を利用しながらこの手順を実行するように構成されている。いくつかの実施形態によれば、ストレージアレイ50は、シングルパス接続を使用することによって動作可能であり得る。
いくつかの実施形態によれば、オーケストレーション手順70の監視は、監視の中央プロセスによって実行される。例えば、オーケストレータ702は、ストレージアレイ50全体に関する誤動作を認識することができ、これにより、例えば、利用可能な二次データパス、冗長性の決定、バックアップの検討などが提供され得る。
いくつかの実施形態によれば、オーケストレーション手順70は、システムを構成する様々なブロックデバイスの識別プロセスを可能にするように構成される。この手順は、ターゲットサーバ700とイニシエータサーバ704の両方によって利用されるように構成されている。従来の方法は、再スキャン手順を実行することによってシステムに接続された新しいハードウェアを識別するために、長い認識プロセスを必要としているが、いくつかの実施形態によれば、オーケストレーション手順70は、例えばオーケストレータ702に公開される様々なIPアドレスにより、デバイスを認識することを可能にする、迅速な再スキャン手順などを可能にする。いくつかの実施形態によれば、オーケストレーション手順70は、ストレージシステム50を制御および管理するために、様々な範囲または「ホワイトリスト」または「ブラックリスト」を提供するように構成される。いくつかの実施形態によれば、RAIDフォルダなどのリモートドライブは、データの冗長性とバックアップサービスを提供するように構成されている。いくつかの実施形態によれば、RAIDが分散化/非集中化されているため、いくつかのバックアップおよび冗長性のスキームが適用され得る。いくつかの実施形態によれば、オーケストレーション手順は、障害が生じたストレージの再構築を担う。
いくつかの実施形態によれば、ドライブの分散的な使用は、障害の検出、ホットスペアの割り当て、各RAIDの再構築のプロセス、および各RAIDからの不良なドライブのフェイルの際に、特別な調整を必要とする。
これより図11を参照すると、これは、ホットスペア80を有する従来のRAID5となる。図示のように、RAID5にはパリティ(ストレージシステムのエラーを検出する一般的な方法)があり、影響を受けていない残りのディスクを結合することで、特定のストレージディスクを再構築できる。パリティは、様々な理由で失われた欠損データを再構築できる複数のディスク間の組み合わせであり、このようにデータ再構築機能を提供する。該システムは、スペアの空のデータを提供するように構成されたスペアディスクを含むこともできる。
これより図12を参照すると、これは、従来のRAID5/RAID1+0ホットスペア再構築81となる。図示のように、再構築プロセスは、RAIDの全フォルダからのパリティを利用して実行される相互の読み取りを使用して再実行でき、RAID1+0では、データは二重に保存され、そのため、パリティは必要ではなく、読み取りが、関連データを保存するドライブを利用することにより実行される。
これより図13を参照すると、これは、RAIDシステム82における従来の交換プロセスとなり、図示のように、ホットスペアディスクは、スペアディスクと交換するように構成されている。このプロセスには、交換用の空きのスペアディスクが必要である。
これより図14を参照すると、これは、共有ドライブの監視および復旧動作または非集中型再構築システムおよびプロセス83の概要となっており、図示のように、サーバ800は、ディスク1およびスペアディスク2を備え、サーバ802は、ディスク3を備え、サーバ806は、RAID(ボリューム)1を備え、サーバ808は、RAID(ボリューム)2を構え、すべてが結合されて共有ドライブのストレージスタックを形成する。いくつかの実施形態によれば、オーケストレータ804は、故障の場合にディスク1およびディスク3を再構築するように指定される。例えば、ディスク1が故障した場合、ディスク2は、RAIDに記憶されたデータを使用して再構築されるべきであり、この場合、サーバ806および808は、組み合わせられた調整動作を適用することによって、故障したディスク2を共にかつ同時に再構築するように構成される。
いくつかの実施形態によれば、サーバ806は、例えば「スポット」のデータ部分を構築し、サーバ808は「ストライプ」のデータ部分を構築する。いくつかの実施形態によれば、このプロセスは複雑であり、とりわけ他のステップがある中でも、故障したディスクを外し、スペアディスクを接続することを含む。
いくつかの実施形態によれば、システムおよびプロセス83は、共有ドライブを使用する分散型ストレージが、組み合わせて調整された方法で故障したドライブを処理できるように構成されている。
いくつかの実施形態によれば、ドライブに亘り単一のRAIDコントローラを有するストレージアレイとは異なり、システムおよびプロセス83は、異なるサーバで同じドライブを共有する複数のRAIDコンポーネントを有する分散型ストレージスタックを表す。
いくつかの実施形態によれば、該共有されたドライバのストレージスタックの分散された使用は、障害の検出、ホットスペアディスクの割り当て、各RAIDの再構築のプロセス、および各RAIDからの不良なドライブの故障などの際に、特別な調整を必要とし得る。
いくつかの実施形態によれば、共有ドライブのストレージスタックは、システムおよび動作83によって提供され、ディスクの通常の動作を維持するように指定された集中型オーケストレータ804によって監視される。
いくつかの実施形態によれば、共有ドライブのストレージスタックが提供され、集中型オーケストレータ804は、故障したディスクを使用するように指定されたすべてのサーバ800~808によって使用されるホットスペアディスクを割り当てるように構成される。
いくつかの実施形態によれば、共有ドライブのストレージスタックは、故障したディスクが検出されたときに、集中型オーケストレータ804を利用することによって、復旧アクションを実行するように構成される。
いくつかの実施形態によれば、ドライブの障害は、完全な障害である場合もあれば、特定の論理ブロックの範囲の障害である場合もある。システムおよび動作83のように、複数のサーバ間でドライブを共有するように構成された分散型ストレージスタックでは、一部のサーバのみがエラーに遭遇し得、対して他のサーバはドライブを十分に機能しているものとみなす。
いくつかの実施形態によれば、システムおよび動作83は、集中型オーケストレータ804によるサーバのイニシエータおよびRAIDレベルのそれぞれの監視を可能にし、ドライブが障害に遭遇した場合に単一の集中決定を下す能力を提供する。
いくつかの実施形態によれば、ストレージプールからのホットスペアディスクの割り当ては、集中型オーケストレータ804で、またはそれによって動作されるため、故障したドライブを使用するすべての異なるサーバ(800~808)は、同じ新しいスペアディスクを使用することになる。
いくつかの実施形態によれば、例として、システムおよび動作83によって利用されるように構成された再構築プロセスは、以下のステップを使用して実行され得る。
● 各サーバ(800~808)のイニシエータ層は、ブロックデバイスの健全性(I/Oエラーや応答時間など)について監視される。
● オーケストレータ804は、全サーバのドライブの健全性の情報を蓄積するように構成されている。
● オーケストレータ804は、ドライブの障害を認識するように構成されている。
● オーケストレータ804は、ストレージプールから新しいホットスペアディスクを割り当てるように構成されている。
● オーケストレータ804は、選択されたスペアディスクを各RAIDコンポーネントに追加するように各サーバ(800~808)に指示するように構成されている。
● オーケストレータ804は、各サーバ(800~808)に、各RAIDコンポーネントの障害が発生したディスクをフェイルさせるように指示するように構成されている。
● 各サーバ(800~808)のRAIDは、ドライブフェイルプロセスを実行し、有効なデータで新しいスペアドライブチャンクを再構築するように構成されている。有効なデータは、可能であればフェイルされたドライブから、またはRAIDミラー/パリティから使用されるように構成されている。
● オーケストレータ804は、各サーバRAIDコンポーネントの再構築プロセスを監視するように構成されている。
● 各サーバ(800~808)のすべてのRAIDがフェイルされたドライブチャンク(複数可)の再構築を完了すると、フェイルされたドライブはオフラインになり、ユーザはそれを交換するように指示される。
● 各サーバ(800~808)のイニシエータ層は、ブロックデバイスの健全性(I/Oエラーや応答時間など)について監視される。
● オーケストレータ804は、全サーバのドライブの健全性の情報を蓄積するように構成されている。
● オーケストレータ804は、ドライブの障害を認識するように構成されている。
● オーケストレータ804は、ストレージプールから新しいホットスペアディスクを割り当てるように構成されている。
● オーケストレータ804は、選択されたスペアディスクを各RAIDコンポーネントに追加するように各サーバ(800~808)に指示するように構成されている。
● オーケストレータ804は、各サーバ(800~808)に、各RAIDコンポーネントの障害が発生したディスクをフェイルさせるように指示するように構成されている。
● 各サーバ(800~808)のRAIDは、ドライブフェイルプロセスを実行し、有効なデータで新しいスペアドライブチャンクを再構築するように構成されている。有効なデータは、可能であればフェイルされたドライブから、またはRAIDミラー/パリティから使用されるように構成されている。
● オーケストレータ804は、各サーバRAIDコンポーネントの再構築プロセスを監視するように構成されている。
● 各サーバ(800~808)のすべてのRAIDがフェイルされたドライブチャンク(複数可)の再構築を完了すると、フェイルされたドライブはオフラインになり、ユーザはそれを交換するように指示される。
整合性グループは、アプリケーションを表すボリュームのグループである。ウイルスによって引き起こされる可能性のある障害のインスタンスでは、整合性グループのスナップショットは、整合性グループのすべてのボリュームと一致する、障害が発生する前の正確な瞬間をキャプチャするように構成される。
これより図15を参照すると、これは、従来の整合性グループスナップショットシステム84の概要となる。図示のように、3つのボリュームv1、v2、およびv3がグループ「cg1」を作成し、1つ以上のアプリケーションを表し得る1つの整合性グループに属する。特定の時点でスナップショットが取得され、すべてのボリュームグループのスナップショットである「sg2」が作成される。すべてのボリュームが同じ場所に配置されているため、スナップショットは集中型コントローラを使用して取得される。
これより図16を参照すると、これは、本発明のいくつかの実施形態による、分散型スナップショット整合性グループシステム85の概要となる。図示のように、各サーバ900、902、および906は、それ自体のDPを管理するように構成され、それ自体のLVNおよびメディアストレージを備える。言い換えれば、CPは集中型であるが、DPは集中型ではない。
前に開示したように、システム85は、複数のサーバにおけるボリュームのディストリビューションが整合性グループでスナップショットを形成し、特定の時点でのボリュームの集合のコピーを確保することを可能にする。
いくつかの実施形態によれば、オーケストレータ904は、スナップショットの取得を調整するように構成され、CPを使用して整合性グループのスナップショットの取得を調整することができる。いくつかの実施形態によれば、I/Oの一時停止および機能性の再開が、整合性のあるスナップショットを実施するために使用され得る。
いくつかの実施形態によれば、図16に示す整合性グループ85では、サーバ900はボリューム1を備え、902はボリューム2を備え、906はボリューム3を備える。例えば、オーケストレータ904は、ボリューム1とファイルシステム間のI/Oの動作を停止するように構成され得る。
いくつかの実施形態によれば、そのような例示されたコンステレーションにおける整合性グループのスナップショットを取得することは、以下のステップを含むことになる。
● オーケストレータ904は、ボリューム1へのI/Oを一時停止するようにサーバ900に指示することができる。
● オーケストレータ904は、ボリューム2へのI/Oを一時停止するようにサーバ902に指示することができる。
● オーケストレータ904は、ボリューム3へのI/Oを一時停止するようにサーバ906に指示することができる。
● オーケストレータ904は、すべてのサーバが一時停止を確認するまで待機するように構成されており、短いタイムアウト後にサーバが応答しなかった場合、スナップショットはキャンセルされ、I/Oは再開される。
● オーケストレータ904は、サーバ900のLVMにボリューム1のスナップショットを作成するように指示することができる。
● オーケストレータ904は、サーバ902のLVMにボリューム2のスナップショットを作成するよう指示することができる。
● オーケストレータ904は、サーバ906のLVMにボリューム3のスナップショットを作成するよう指示することができる。
● オーケストレータ904は、すべてのサーバがスナップショットを確認するまで待機し得、短いタイムアウト後にサーバが応答しなかった場合、スナップショットはキャンセルされ、スナップショットは削除され、I/Oは再開される。
● オーケストレータ904は、サーバ900のボリュームに、ボリューム1へのI/Oを再開するように指示する。
● オーケストレータ904は、サーバ902のボリュームに、ボリューム2へのI/Oを再開するように指示する。
● オーケストレータ904は、サーバ906のボリュームに、ボリューム3へのI/Oを再開するように指示する。
● オーケストレータ904は、ボリューム1へのI/Oを一時停止するようにサーバ900に指示することができる。
● オーケストレータ904は、ボリューム2へのI/Oを一時停止するようにサーバ902に指示することができる。
● オーケストレータ904は、ボリューム3へのI/Oを一時停止するようにサーバ906に指示することができる。
● オーケストレータ904は、すべてのサーバが一時停止を確認するまで待機するように構成されており、短いタイムアウト後にサーバが応答しなかった場合、スナップショットはキャンセルされ、I/Oは再開される。
● オーケストレータ904は、サーバ900のLVMにボリューム1のスナップショットを作成するように指示することができる。
● オーケストレータ904は、サーバ902のLVMにボリューム2のスナップショットを作成するよう指示することができる。
● オーケストレータ904は、サーバ906のLVMにボリューム3のスナップショットを作成するよう指示することができる。
● オーケストレータ904は、すべてのサーバがスナップショットを確認するまで待機し得、短いタイムアウト後にサーバが応答しなかった場合、スナップショットはキャンセルされ、スナップショットは削除され、I/Oは再開される。
● オーケストレータ904は、サーバ900のボリュームに、ボリューム1へのI/Oを再開するように指示する。
● オーケストレータ904は、サーバ902のボリュームに、ボリューム2へのI/Oを再開するように指示する。
● オーケストレータ904は、サーバ906のボリュームに、ボリューム3へのI/Oを再開するように指示する。
いくつかの実施形態によれば、いくつかの該動作は、スナップショットの時間を短縮するために並行して実行され得る。
いくつかの実施形態によれば、すべてのボリューム(図16のボリューム1、2、および3)でI/Oが一時停止され、その後にのみスナップショットが取得されるため、整合した時点を有するスナップショットが生成される。これは、従来のシステムでは集中型アレイのみにリザーブされていた分散型ボリュームの機能性を作成することによって実現される。
いくつかの実施形態によれば、オーケストレータ904は、サーバの1つが誤動作するかタイムアウトした場合に、整合性グループスナップショットからバックオフすることができる。
いくつかの実施形態によれば、オーケストレータ904は、分散型ボリュームの整合性グループのスナップショットを削除する、分散型ボリュームの整合性グループのスナップショットをロールバックする、整合性グループを有する分散型ボリュームのスナップショットをスケジュールするなどを行うように構成される。
これより次に図17を参照すると、これは、ストレージアレイシステム86における従来のストレージQoSの概要となる。図示のように、図面の右側には3つのボリュームが表示されており、それぞれがストレージオブジェクト/ボリュームを制御するQoSを提供する異なるIOPSレート管理を有し、その結果、すべてのアプリケーション/ボリュームは、システムのパフォーマンスの向上につながる可能性のあるシステムリソースの管理対象部分を受け取る。図面の左側には、QoSのないシステムが表示され、このシステムでは、すべてのアプリケーション/ボリュームが一般的な管理を行わずに共通のリソースを消費するため、システム全体のパフォーマンスに悪影響を与える可能性がある。
これより図18を参照すると、これは、ボリューム間の従来のストレージQoSシステム87の概要となる。図示のように、QoSがないと、すべてのアプリケーション/ボリュームが一般的な管理を行わずに共通リソースを消費するため、システム全体のパフォーマンスに悪影響を与える可能性がある。QoSを使用すると、すべてのアプリケーション/ボリュームがシステムリソースの管理対象部分を受け取り、システムのパフォーマンスの向上につながる可能性がある。
これより図19を参照すると、これは、共有ドライブを備えた分散型ストレージスタックにおいてQoSを強化するための設計を提供する共有のドライブストレージスタックの分散型QoSシステム88の概要となる。図示のように、共有ボリュームは、様々なボリュームまたはサーバ1000、1002、および1006から構築される。いくつかの実施形態によれば、各サーバは、分散型QoS制限(ターゲットとLVMとの間にインストールされる)を備え、集中型オーケストレータ1004は、各サーバのQoSによって適用される数学的制限を制御するように構成される。
いくつかの実施形態によれば、書き込み手順が実行されると、QoSの制限には複雑な計算が必要であり、オーケストレータ1004は、例えば、RAIDスキームに従って該計算を実行することによって、このタスクを提供するように適合される。
いくつかの実施形態によれば、オーケストレータ1004は、QoS CPを調整するように構成され、一方、各サーバはローカルQoS DPを実施する。いくつかの実施形態によれば、共有のドライブストレージスタックが提供され、従来の集中型ストレージアレイと同等のQoS機能性を可能にする。
いくつかの実施形態によれば、共有のドライブストレージスタックは、オーケストレータ1004が各ジャンクションにおけるQoS制限を調整するように構成される設計で提供される。
いくつかの実施形態によれば、特定のボリュームに対してQoSを実施することが要求されると、オーケストレータ1004は、そのボリュームに使用されるRAIDスキームに基づいて、各バックエンドドライブの必要なQoSを計算するように構成され、その後、オーケストレータ1004は、使用されるCPに、各サーバ1000、1002、および/または1006の各ドライブ/ボリュームのQoS制限を分散させる。
いくつかの実施形態によれば、RAID0、RAID1、およびRAID5は、異なるQoSの計算を必要とする。以下の例は、RAIDスキームに基づいた計算を表している。
● RAID0では、IOPSと帯域幅はアレイのドライブ要素の数で除算される。
● RAID1では、要求に応じて各ドライブに対してIOPSと帯域幅が設定される。
● RAID10では、IOPSと帯域幅はアレイのドライブ要素の数で除算され、レジリエンスセットで除算される。
● RAID5では、帯域幅はドライブ数で除算して1を減算した値になる。IOPSはドライブ数で除算して3を乗算する。
● RAID0では、IOPSと帯域幅はアレイのドライブ要素の数で除算される。
● RAID1では、要求に応じて各ドライブに対してIOPSと帯域幅が設定される。
● RAID10では、IOPSと帯域幅はアレイのドライブ要素の数で除算され、レジリエンスセットで除算される。
● RAID5では、帯域幅はドライブ数で除算して1を減算した値になる。IOPSはドライブ数で除算して3を乗算する。
いくつかの実施形態によれば、サーバ1000、1002、および1006のボリュームが共有ボリュームグループの一部である場合、オーケストレータ1004は、グループの各ボリューム要素のIOPSおよび帯域幅制限を合計するように構成される。いくつかの実施形態によれば、結合された数は、バックエンドドライブ/ボリュームに適用されるように構成される。いくつかの実施形態によれば、ボリューム制限を実施するために、別のQoS層をローカルサーバに追加することができる。
いくつかの実施形態によれば、ボリュームが共有されたボリュームグループに追加されると、オーケストレータ1004は、制限を再計算し、各QoS要素を更新するように構成される。いくつかの実施形態によれば、ボリュームが共有されたボリュームグループから削除されると、オーケストレータ1004は、制限、および各QoS要素の更新を再計算するように構成される。
いくつかの実施形態によれば、複数のイニシエータが、各サーバ1000、1002、および1006へのネットワークパスごとに作成されるように構成される。
これより図20を参照すると、これは、従来のクローンシステムを備えたエンタープライズストレージアレイ89の概要となる。図示のように、サーバ1007は、スナップショットのクローン作成を実行し、クローンサーバ1008に記憶されるスナップショットバージョンを作成するようにさらに構成されたアプリケーションデータを使用してデータのクローンを作成するように構成された生産サーバである。ディスクのクローン作成は、パーティションまたはハードドライブ全体のイメージを作成するプロセスである。これは、ドライブを他のコンピュータにコピーすること、およびバックアップや復旧の目的で有用であり得る。
これより図21を参照すると、これは、未割り当てデータによるボリューム全体のクローン作成システム90の概要となる。図示のように、左から右にクローン作成されるボリュームは部分的に空になり、クローンが作成されると、クローンのボリュームの一部も空のままである。
これより図22を参照すると、これは、本発明のいくつかの実施形態による、リモートオンラインボリュームのクローンの分散型システム91の概要となる。図示のように、システム91は、ネットワークを通して、あるソースサーバ1009から別の宛先サーバ1011へのボリュームのクローン作成を可能にするが、一方で、ボリュームがオンラインであり、オーケストレータ1010が両方のサーバにCPを通してクローンプロセスを調整するように構成され、ソースボリューム(サーバ1009に属する)の割り当てられたブロックのみがコピーされている。
いくつかの実施形態によれば、オーケストレータ1010は、データ割り当てをクエリし、それをコピービットマップとして宛先サーバ1011に渡すように構成される。いくつかの実施形態によれば、オーケストレータ1010は、CPを介してサーバ間のボリュームクローン作成を調整するように構成される。いくつかの実施形態によれば、オーケストレータ1010は、サーバ1009のソースボリューム上の割り当てられたブロックをクエリし、コピーするブロックを宛先サーバ1011に指示するように構成されている。
いくつかの実施形態によれば、サーバ1009のソースボリューム内の割り当てられたブロックのみがコピーされる。オーケストレータ1010は、割り当てデータをクエリし、それをコピービットマップとして宛先サーバ1011に渡すように構成されている。いくつかの実施形態によれば、オンラインボリュームのクローンを作成するために、ソースサーバ1009の論理ボリュームマネージャ(LVM)を使用して、ソースボリュームのある時点のスナップショットを作成する。
いくつかの実施形態によれば、RAID1は、ゼロコピーで変換された変更ビットマップを使用して、ボリュームのカーネル内コピーに使用することができる。いくつかの実施形態によれば、ユーザ空間コマンドはまた、コピーに使用することができる
いくつかの実施形態によれば、例として、図22に示されるシステム91は、以下のステップを使用してリモートクローンを実行および実証するように構成され得る。
● オーケストレータ1010は、サーバ1009のLVMコンポーネントにソースボリュームのある時点のスナップショットを作成するよう要求する。
● オーケストレータ1010は、サーバ1009のターゲットコンポーネントにソースボリュームのスナップショットをネットワーク経由で公開するよう要求する。
● オーケストレータ1010は、サーバ1011のイニシエータコンポーネントに対して、ネットワーク経由で第1のアダプタを介して公開されたボリュームに接続するように要求する。
● オーケストレータ1010は、サーバ1011のイニシエータコンポーネントに対して、ネットワーク経由で第2のアダプタを介して公開されたボリュームに接続するように要求する。
● オーケストレータ1010はサーバ1011のマルチパスコンポーネントに、2つのイニシエータを介してソースボリュームスナップショットへの信頼できる接続を作成するよう要求する。
● オーケストレータ1010はサーバ1011に、空の宛先ボリュームの作成を要求する。
● オーケストレータ1010は、カーネル内でのレプリケート用のRAID1の作成をサーバ1011に要求する。リモートソースボリュームスナップショットとローカル宛先はRAID1メンバーとして追加できる。
● オーケストレータ1010は、ソースボリュームのスナップショットの割り当てチャンクをサーバ1009にクエリする。
● オーケストレータ1010は、ソースボリュームのスナップショットの割り当てチャンクを、RAID1レプリケーションへのビットマップとしてサーバ1011に渡す。
● オーケストレータ1010は、サーバ1011のRAID1コンポーネントの進行状況を監視する。
● オーケストレータ1010は、サーバ1011のRAID1のコピーが完了するのを待機する。
● オーケストレータ1010はサーバ1011にRAID1コンポーネントの削除を要求する。
● オーケストレータ1010はサーバ1011にマルチパスコンポーネントの削除を要求する。
● オーケストレータ1010はサーバ1011にアダプタ1のイニシエータを削除するよう要求する。
● オーケストレータ1010はサーバ1011にアダプタ2のイニシエータを削除するよう要求する。
● オーケストレータ1010は、サーバ1009に対して、公開されたソースボリュームのスナップショットのターゲットを削除するように要求する。
● オーケストレータ1010は、サーバ1009に、LVMボリューム1のスナップショットの削除を要求する。
● オーケストレータ1010は、サーバ1009のLVMコンポーネントにソースボリュームのある時点のスナップショットを作成するよう要求する。
● オーケストレータ1010は、サーバ1009のターゲットコンポーネントにソースボリュームのスナップショットをネットワーク経由で公開するよう要求する。
● オーケストレータ1010は、サーバ1011のイニシエータコンポーネントに対して、ネットワーク経由で第1のアダプタを介して公開されたボリュームに接続するように要求する。
● オーケストレータ1010は、サーバ1011のイニシエータコンポーネントに対して、ネットワーク経由で第2のアダプタを介して公開されたボリュームに接続するように要求する。
● オーケストレータ1010はサーバ1011のマルチパスコンポーネントに、2つのイニシエータを介してソースボリュームスナップショットへの信頼できる接続を作成するよう要求する。
● オーケストレータ1010はサーバ1011に、空の宛先ボリュームの作成を要求する。
● オーケストレータ1010は、カーネル内でのレプリケート用のRAID1の作成をサーバ1011に要求する。リモートソースボリュームスナップショットとローカル宛先はRAID1メンバーとして追加できる。
● オーケストレータ1010は、ソースボリュームのスナップショットの割り当てチャンクをサーバ1009にクエリする。
● オーケストレータ1010は、ソースボリュームのスナップショットの割り当てチャンクを、RAID1レプリケーションへのビットマップとしてサーバ1011に渡す。
● オーケストレータ1010は、サーバ1011のRAID1コンポーネントの進行状況を監視する。
● オーケストレータ1010は、サーバ1011のRAID1のコピーが完了するのを待機する。
● オーケストレータ1010はサーバ1011にRAID1コンポーネントの削除を要求する。
● オーケストレータ1010はサーバ1011にマルチパスコンポーネントの削除を要求する。
● オーケストレータ1010はサーバ1011にアダプタ1のイニシエータを削除するよう要求する。
● オーケストレータ1010はサーバ1011にアダプタ2のイニシエータを削除するよう要求する。
● オーケストレータ1010は、サーバ1009に対して、公開されたソースボリュームのスナップショットのターゲットを削除するように要求する。
● オーケストレータ1010は、サーバ1009に、LVMボリューム1のスナップショットの削除を要求する。
これより図23を参照すると、これは、ボリューム部分を割り当てるように構成された従来の論理ボリュームマネージャ(LVM)92を概略的に示す。図示のように、論理ボリュームから物理ボリュームへの変換中に割り当てとデータ転送が実行され、同じサーバで接続および使用されるLVMを作成する。
これより図24を参照すると、これは、ボリューム部分を割り当てるように構成された従来のLVM92の別の図(93として記されている)を概略的に示す。図示のように、論理ボリュームから物理ボリュームへの変換中に割り当ておよびデータ転送が実行され、同じサーバで接続および使用されるLVMを作成する。
これより図25を参照すると、これは、従来の論理ボリュームエクステントおよびメタデータシステム94を概略的に示す。図示のように、I/Oは物理エクステントをLEからPEにマッピングし、論理チャンクと物理チャンクの間の内部マッピングを担うように構成されている。
これより図26を参照すると、これは、システムサーバ95間の従来の共有ストレージを概略的に示す。
これより図27を参照すると、これは、従来のクラスタ化された論理ボリュームマネージャ96を概略的に示す。図示のように、同じ共有ストレージを共有するサーバのバッチ、それらの間の同期は、クラスタシステムを使用して実行される。
これより図28を参照すると、これは、いくつかの実施形態による、クラスタのない分散型論理ボリュームマネージャシステム97を概略的に示す。図示のように、分散型LVMは、クラスタリングの動作を必要としない共有ストレージに提供される。
いくつかの実施形態によれば、集中型オーケストレータ1017は、共有ストレージの分散型論理ボリュームマネージャに亘るエクステントの割り当てを制御するように構成される。
いくつかの実施形態によれば、システム97は、クラスタを使用せずに共有バックエンドストレージでLVM1018などを適用し、実行する間に、該サーバ間でメタデータの整合性を維持するように構成される。
いくつかの実施形態によれば、集中型オーケストレータ1017は、分散型LVMを管理する唯一のリソースとなるように構成される。オーケストレータ1017はさらに、分散型LVMの並列動作をキューに入れ、一度に1つの動作のみが実行されるのを確実にするように構成される。
いくつかの実施形態によれば、オーケストレータ1017は、バックエンドストレージおよびLVMを共有するすべてのサーバ1015、1016、1018などにLVMエクステント割り当てコマンドを送信し、RAMのキャッシュされたメタデータがすべてのサーバに亘って整合性があることを保証するように構成される。
いくつかの実施形態によれば、オーケストレータ1017は、LVMエクステントの割り当て/割り当て解除を必要とするすべての動作を次のように調整するように構成される。
● ボリュームの作成
● ボリュームの削除
● ボリュームのサイズ変更
● ボリュームの作成
● ボリュームの削除
● ボリュームのサイズ変更
システム97は、すべてのサーバのLVMを制御する集中型コントローラを示している。一方、ボリューム2のサイズがどのように変更されるかは、次のように示され得る。
● ボリューム2のサイズを変更する要求が、サーバ1016に送信される。
● オーケストレータ1017は、他のLVMエクステント動作がオーケストレータ1017で応答を待機しているかどうかを確認する。
● LVMで実行されている待機中の要求がある場合、オーケストレータ1017は要求をキューに入れる。
● オーケストレータ1017は、ボリューム2のサイズを変更する要求をサーバ1016に送信する。
● オーケストレータ1017は、キャッシュされたメタデータが整合性があることを確実にするために、ボリューム2のサイズを変更する要求をサーバ1015に送信する。
● オーケストレータ1017は、他のLVMエクステント動作がオーケストレータ1017で応答を待機しているかどうかを確認する。
● LVMで実行されている待機中の要求がある場合、オーケストレータ1017は要求をキューに入れる。
● オーケストレータ1017は、ボリューム2のサイズを変更する要求をサーバ1016に送信する。
● オーケストレータ1017は、キャッシュされたメタデータが整合性があることを確実にするために、ボリューム2のサイズを変更する要求をサーバ1015に送信する。
いくつかの実施形態によれば、オーケストレータ1017は、キャッシュされたメタデータが整合性があることを確実にするために、ボリューム2のサイズを変更する要求をサーバ1018に送信するように構成される。
これより図29を参照すると、これは、SCSIバスシステム98の従来のレイアウトの概要を概略的に示す。図示のように、論理バスはスキャンされるように構成されている。従来、これは時間のかかるプロセスである。
これより図30を参照すると、これは、従来の複数チャネルの論理ユニットシステム99を概略的に示す。図示のように、すべてのバスをスキャンする必要性を強調する別のバスシステムが示されている。この遅いプロセスは、新たな最新の分散型システムには適合しない。
これより図31を参照すると、これは、IPネットワーク100に亘る従来のiSCSIバスを概略的に示す。図示のように、ネットワークバスでは、すべてのバスをスキャンするために多くの遅いプロセスを実行する必要がある。
これより図32を参照すると、これは、本発明のいくつかの実施形態による、再スキャンを伴わない調整されたリモートデバイスアタッチメントシステム/プロセス101を概略的に示す。図示のように、分散型システム101では、作業負荷がサーバからサーバに移動し得て、ボリュームもそれに伴って移動するはずである。オーケストレータ1021がシステムの両側、つまり公開側と消費側を制御するため、システム101は異なって実行することができる。例えば、オーケストレータ1021はサーバ1019に接続されており、そのバスパラメータを備えており、それが全サーバに接続されているため、再スキャンの必要なく、システムのすべてのサーバ(1019、1020、1022など)からバスの位置情報を特定して渡すことができる。
いくつかの実施形態によれば、システム101は、バススキャンを全く行わずに、リモートストレージデバイスを、別のサーバに、迅速に接続できるようにする。
いくつかの実施形態によれば、オーケストレータ1021は、デバイスのアタッチメントを調整し、特定のバスIDのターゲットをセットアップし、イニシエータに必要なバスIDを提供するように指定される。イニシエータはバスIDを使用してデバイスをオペレーティングシステムに接続する。いくつかの実施形態によれば、すべての情報がオーケストレータ1021から、またはこれによって保持され、提供されるため、スキャンは必要ない。
いくつかの実施形態によれば、デバイスが公開されていない場合、オーケストレータ1021は、特定のバスIDを有するターゲットからそれを削除するように構成され、特定のバスIDのデバイスをオペレーティングシステムから削除するようにイニシエータに指示する。
いくつかの実施形態によれば、リモートボリュームは、オーケストレータ1021によって調整されるイニシエータバススキャンなしで、ターゲットサーバ(1019、1020)によって公開され、イニシエータサーバ1022によって消費され得る。
いくつかの実施形態によれば、リモートボリュームは、オーケストレータ1021によって調整されるイニシエータバススキャンなしで、それぞれターゲットサーバ(1019、1020)およびイニシエータサーバ1022の内部に存在するターゲットおよびイニシエータによって削除され得る。
いくつかの実施形態によれば、オーケストレータ1021は、デバイスのアタッチメントを調整し、特定のバスIDのターゲットをセットアップし、イニシエータに必要なバスIDを提供するように構成される。いくつかの実施形態によれば、イニシエータはバスIDを使用してデバイスをオペレーティングシステムに接続する。すべての情報は既知であり、オーケストレータ1021から渡されるため、スキャンは必要ない。
いくつかの実施形態によれば、デバイスが公開されていない場合、オーケストレータ1021は、特定のバスIDを有するターゲットからそれを削除し、特定のバスIDのデバイスをオペレーティングシステムから削除するようにイニシエータに指示する。
いくつかの実施形態によれば、イニシエータサーバ1022のデバイス名は、例えば、その上に他のストレージコンポーネントをスタックすることを可能にするために、バスIDも使用して検出されるように構成される。
いくつかの実施形態によれば、システム101は、例えば、新しいリモートデバイスを接続するように構成されている。
● オーケストレータ1021はサーバ1019に接続し、そのターゲット構成を読み取る。
● オーケストレータ1021は、サーバ1019の構成でサーバ1022の空きの論理ユニット番号(LUN)を見つける。
● オーケストレータ1021は、LUN IDを使用してサーバ1022に新しいターゲットを設定する。
● オーケストレータ1021はサーバ1019のHBAのアドレスを確認する。
● オーケストレータ1021は、サーバ1022でサーバ1019のHBAのアドレスのターゲットIDを見つける。
● オーケストレータ1021は、オペレーティングシステムで使用するために、LUN IDとターゲットIDを使用してサーバ1022に新しいデバイスをセットアップする。
● オーケストレータ1021は、LUN IDとターゲットIDを使用して、オペレーティングシステムによって使用されるブロックデバイス名を見つける。
● オーケストレータ1021はサーバ1019に接続し、そのターゲット構成を読み取る。
● オーケストレータ1021は、サーバ1019の構成でサーバ1022の空きの論理ユニット番号(LUN)を見つける。
● オーケストレータ1021は、LUN IDを使用してサーバ1022に新しいターゲットを設定する。
● オーケストレータ1021はサーバ1019のHBAのアドレスを確認する。
● オーケストレータ1021は、サーバ1022でサーバ1019のHBAのアドレスのターゲットIDを見つける。
● オーケストレータ1021は、オペレーティングシステムで使用するために、LUN IDとターゲットIDを使用してサーバ1022に新しいデバイスをセットアップする。
● オーケストレータ1021は、LUN IDとターゲットIDを使用して、オペレーティングシステムによって使用されるブロックデバイス名を見つける。
いくつかの実施形態によれば、リモートボリュームは、イニシエータバススキャンを必要とせずに、オーケストレータ1021によって行われる調整により、ターゲットおよびイニシエータによって削除され得る。
いくつかの実施形態によれば、オーケストレータ1021は、ターゲット情報を使用して、イニシエータオペレーティングシステムによって使用されるブロックデバイス名を特定するように構成され得る。
これより図33を参照すると、これは、従来の自己暗号化ドライブ(SED)ロジック102を概略的に示す。図示のように、従来のSEDコンポーネントは、正しいパスワードが挿入されたときにドライブがキーを提供できるように構成されている。このように、従来のアーキテクチャでは、キーとパスワードはデータと共にドライブ内に記憶される。
これより図34を参照すると、これは、従来のプロトコルトンネル103を概略的に示す。図示のように、暗号化されていないシステムでデータを安全に配信するために、暗号化されたトンネルは特定のポイントから別のポイントに開かれるように構成されている。
これより図35を参照すると、これは、システム内の2つのポイントから暗号化されたデータを配信するように構成された、2つのサーバ間のトンネルを使用する従来のペイロードカプセル化の別の表現を概略的に示す。
これより図36を参照すると、これは、本発明のいくつかの実施形態による、トンネルによるリモート自己暗号化ドライブ制御を概略的に示す。図示のように、開示されている分散型システムは、キーをドライブとは別に記憶するように構成されている。いくつかの実施形態によれば、データはサーバ1023に記憶され得て、キー/パスワードはオーケストレータ1024に記憶され得て、システムは、トンネルを開き、ドライブ(例えば、ドライブのRAMなど)に記憶する必要なくトンネルを介してキーを配信することによって、暗号化されない。いくつかの実施形態によれば、該分散型システムは、複数のキーを記憶し、複数のドライブに亘って構成されることができる。いくつかの実施形態によれば、通信はSEDプロトコルを使用して行われてもよい。
いくつかの実施形態によれば、前に開示したように、該システムおよび方法は、リモートサーバからネットワークを介してトンネリング自己暗号化ドライブ(SED)プロトコルを利用することを可能にし、この目標は、オーケストレータ1024の集中型の保護されたデータベースにキーを記憶することによって達成され得る一方で、SEDプロトコルは、暗号化トンネリングを使用してネットワーク上でカプセル化される。
いくつかの実施形態によれば、自己暗号化ドライブ(SED)は、ローカルサーバの制御ユーティリティを必要とせずに、SED動作用のトンネルを介して、リモートサーバにより制御される。いくつかの実施形態によれば、自己暗号化ドライブ(SED)のキーは、集中型キーデータベースに記憶され、提供される。
いくつかの実施形態によれば、自己暗号化ドライブ(SED)のキーは、サーバのキーインメモリのエクスプロイトに公開されることなく、トンネルを介してドライブに直接通過するように構成される。
いくつかの実施形態によれば、SEDプロトコルは、暗号化されたトンネリングを使用してネットワーク上でカプセル化される。例えば、Linux Secured Shell(SSH)プロトコル、Windows PowerShell Remoting Protocol(PSRP)を使用する。
いくつかの実施形態によれば、SED通信は、特別なツールを必要とせずに、ドライブと直接行われる。例えば、ドライブとのRAW通信にはSCSIドライブ用のLinuxsg_rawユーティリティを使用し、NVMeドライブにはadmin-passthruコマンドでLinux NVMeユーティリティを使用し、Windows IOCTL_ATA_PASS_THROUGH_DIRECTを使用する。
いくつかの実施形態によれば、この新しいアプローチは、例えば、現在サーバによって使用されているローカルのSEDプロトコルに比べて多くの利点を有する可能性がある。例えば、
● SEDユーティリティ(オペレーティングシステムには標準としては存在しない)をインストールして保守する必要はない。
● ローカルサーバにハードウェアセキュリティモジュール(HSM)は必要ない。
● キーはいかなる時点でもローカルサーバに公開されることはなく、攻撃者に漏洩する、または盗まれることはない。
● キーは、論理的および物理的に遥かに簡単に保護可能な集中データベースに保存される。
● SEDユーティリティ(オペレーティングシステムには標準としては存在しない)をインストールして保守する必要はない。
● ローカルサーバにハードウェアセキュリティモジュール(HSM)は必要ない。
● キーはいかなる時点でもローカルサーバに公開されることはなく、攻撃者に漏洩する、または盗まれることはない。
● キーは、論理的および物理的に遥かに簡単に保護可能な集中データベースに保存される。
いくつかの実施形態によれば、該システムは、以下のステップを使用してリモート自己暗号化ドライブ制御を提供するように構成されている。
● オーケストレータ1024は、キーデータベースに新しいキーを生成する。
● オーケストレータ1024とサーバ1023との間にトンネルが作成される。
● 証明書がオーケストレータ1024に記憶される。
● オーケストレータ1024とドライブの間にトンネルが作成される。
● 証明書がオーケストレータ1024に記憶される。
● オーケストレータ1024の自己暗号化ドライブプロトコルハンドラは、トンネルを介してドライブSEDプロトコルコンポーネントとリモート通信する。
● SEDプロトコルハンドラは、安全な暗号化チャネルを介してキーをドライブに渡す。
● SEDプロトコルハンドラはドライブのロックを有効にする。
● オーケストレータ1024は、キーデータベースに新しいキーを生成する。
● オーケストレータ1024とサーバ1023との間にトンネルが作成される。
● 証明書がオーケストレータ1024に記憶される。
● オーケストレータ1024とドライブの間にトンネルが作成される。
● 証明書がオーケストレータ1024に記憶される。
● オーケストレータ1024の自己暗号化ドライブプロトコルハンドラは、トンネルを介してドライブSEDプロトコルコンポーネントとリモート通信する。
● SEDプロトコルハンドラは、安全な暗号化チャネルを介してキーをドライブに渡す。
● SEDプロトコルハンドラはドライブのロックを有効にする。
いくつかの実施形態によれば、該システムは、以下のステップを使用してサーバ再起動プロセス後のリモート自己暗号化ドライブ制御を提供するように構成されている。
● オーケストレータ1024がサーバの再起動を検出する
● オーケストレータ1024は、キーデータベースからサーバドライブキーをフェッチする。
● オーケストレータ1024とリモートサーバの間にトンネルが作成される。
● 記憶されている証明書が検証される。
● オーケストレータ1024とドライブの間にトンネルが作成される。
● 記憶されている証明書が検証される。
● オーケストレータ1024の自己暗号化ドライブプロトコルハンドラが、トンネルを介してドライブSEDプロトコルコンポーネントとリモート通信する。
● SEDプロトコルハンドラが、安全な暗号化チャネルを介してキーをドライブに渡す。
● SEDプロトコルハンドラがドライブのロックを解除する。
● オーケストレータ1024がサーバの再起動を検出する
● オーケストレータ1024は、キーデータベースからサーバドライブキーをフェッチする。
● オーケストレータ1024とリモートサーバの間にトンネルが作成される。
● 記憶されている証明書が検証される。
● オーケストレータ1024とドライブの間にトンネルが作成される。
● 記憶されている証明書が検証される。
● オーケストレータ1024の自己暗号化ドライブプロトコルハンドラが、トンネルを介してドライブSEDプロトコルコンポーネントとリモート通信する。
● SEDプロトコルハンドラが、安全な暗号化チャネルを介してキーをドライブに渡す。
● SEDプロトコルハンドラがドライブのロックを解除する。
これより図37を参照すると、これは、従来のRAID1-データミラーリングシステムを概略的に示す。図示のように、バックアップRAID1は、データの二重バックアップを複製して保存するように構成されている。
これより図38を参照すると、これは、従来の非同期レプリケーションシステムを概略的に示す。図示のように、バックアップのプロセス中にデータが失われない。
これより図39を参照すると、これは、従来の同期レプリケーションシステムを概略的に示す。図示のように、レプリケーションは過去の特定の時点に制限されているが、依然として一定期間が失われる可能性があり、それでも、レプリケーションは整合性があるはずである。
いくつかの実施形態によれば、標準的なRAID1コンポーネントを使用して、少なくとも1つのリモートサイトにデータを複製する。一般的なRAID1コンポーネントは、2つのドライブ間でデータをミラーリングするために設計、構築、および使用されるが、本発明は、コンポーネントにいずれかの実質的な変更を加えることなく、RAID1を使用してデータをリモートサイトに複製することを提案する。いくつかの実施形態によれば、同期レプリケーションと非同期レプリケーションの両方を使用して、RAID1コンポーネントに本発明を容易にさせることができる。
いくつかの実施形態によれば、標準のRAID1コンポーネントを使用してリモートサイトに複製されるストレージボリュームは、同期モードで動作する。
これより図40を参照すると、これは、本発明のいくつかの実施形態による、RAID1システムを使用する同期レプリケーションを概略的に示す。図示のように、オペレーティングシステムのコンポーネントは、すべての書き込みを2つに分割し、サーバ1025および1026に記憶するために利用される。このようにして、同期レプリケーションを実現できる。いくつかの実施形態によれば、オーケストレータ(図示せず)がこの動作を管理することができる。いくつかの実施形態によれば、該サーバは互いに実質的に遠隔に配置され得る。
いくつかの実施形態によれば、ストレージスタックは、RAID1コンポーネントとの同期レプリケーションに使用され、RAID1が元々設計されていたサーバ1026、1027の2つのドライブを接続する代わりに、1つの物理ドライブだけがRAID1に接続され、一方で、少なくとも別のドライブは、マルチパス、イニシエータ、およびターゲットコンポーネントにより例示されるようなストレージコンポーネントを介してリモートディスクに接続される。
いくつかの実施形態によれば、サーバのボリュームから発生する各書き込み動作は、図39に示すスタックを介してローカルディスクとリモートディスクの両方に書き込まれる。RAID1ロジックは、通常、ディスク間でデータをミラーリングするように設計されているのに対し、本発明による変更は、2番目のディスクがリモートターゲットとしてローカルに設定されるため、このような動作によく適している。
いくつかの実施形態によれば、ネットワークの切断の場合、RAID1ビットマップは、同期していなかった変更を追跡し、リモートサーバが接続されたときにそれらを同期し直す。このような動作は、事実上、ミラードライブの引き抜きに対して動作するRAID1と同じになる。
本発明の別の実施形態では、リモートサイトに複製されるストレージボリュームは、非同期モードで、RAID1コンポーネントと結合されたLVMスナップショットを使用する。
これより図41を参照すると、これは、本発明のいくつかの実施形態による、LVMスナップショットおよびRAID1を使用するサーバ1027と1028との間の非同期レプリケーション手順を概略的に示す。
いくつかの実施形態によれば、非同期レプリケーションに使用されるストレージスタックはRAID1コンポーネントである。スナップショットには論理ボリュームマネージャ(LVM)が使用される。スナップショットは、特定の時点での変更をグループとして同期するために必要である。いくつかの実施形態によれば、以前の同期からの変更は、LVMスナップショットの差分によって、またはストレージスタック追跡層、例えば、Linuxにおけるdm-eraなどによって追跡される。
いくつかの実施形態によれば、以前の同期からの変更はRAID1ビットマップに変換され、RAID1コンポーネントに送信される。
いくつかの実施形態によれば、同期レプリケーションと同様に、RAID1の1つのレッグはローカルLVMスナップショットに接続され、少なくとも別のドライブは、マルチパス、イニシエータ、およびターゲットコンポーネントによって例示されるようなストレージコンポーネントを介してLVMスナップショットを削除するために接続される。
いくつかの実施形態によれば、RAID-1が再同期を試みるとき、ビットマップ情報により、RAID1はローカルスナップショットから変更されたデータを読み取り、それをサーバ2のリモートスナップショットに書き込むことができる。非同期レプリケーションネットワークが切断された場合、ビットマップがRAID1のコンポーネントによって更新され続けるので、再開することができる。いくつかの実施形態によれば、リモートサイトのスナップショットにより、完了しなかった部分的なレプリケーションのロールバックが可能になる。いくつかの実施形態によれば、RAID1およびLVMコンポーネントのカーネル実装は、コピーゼロ、高い帯域幅、低いCPU使用率、およびコンテキストスイッチがなく、ネットワークを介して1つのローカルボリュームスナップショットとリモートボリュームスナップショットを接続することを保証する。
いくつかの実施形態によれば、非同期レプリケーション手順は、LVMスナップショットデルタメタデータまたは変更追跡情報を使用して、最後の非同期レプリケーションからの変更を追跡するように構成される。変更リストをRAID1ビットマップに変換し、最後の非同期動作からの変更のみを複製する。
本発明の別の態様によれば、LVMにおけるスペースの割り当ては、シック割り当てエクステントグループが割り当てられながら、一般に実施されるシンプロビジョニングと同様の漸進的な方法で実行されるように構成される。このような構成では、シック割り当てに一般的に起因する低いRAM使用量と低いCPUリソースの利点を享受すると同時に、シン割り当てを使用したプログレッシブな割り当てに一般的に関連する利点も享受する。
いくつかの実施形態によれば、2層のLVMスタックが提案される。1つは物理ドライブの上位に位置するシック割り当てを有する。もう1つは、ボリュームの下位にあるシン割り当ての下位の論理ボリュームマネージャである。いくつかの実施形態によれば、LVMの下位層の空きスペースを監視するコントローラが提供され、これにより、オーケストレータが上位層(複数可)により多くのエクステントを自動的に割り当てることができるようになる。一般にクラウドLVMはシック動作でのみデータを割り当てるが、提案された構成の使用はクラウド管理ストレージにも適用でき、そのため、パブリッククラウドで使用された容量のみの支払いが可能になることが理解されよう。このような2層のLVMスタックにより、下層のボリュームはすべてのスペースを参照できるようになるが、上層のLVMは容量の一部のみを割り当てる。
本発明の別の態様によれば、RAIDパリティ動作に複数のプロセッサコアを使用し、新しいSSDドライブを最大帯域幅まで利用することができ、それにより関連するRAIDをロックや同期なしにコア間でスケール変更できる。いくつかの実施形態によれば、コアおよびRAID構成により、すべてのコアを並列に使用できるだけでなく、標準的なパリティRAIDが実行されるため、RAIDのサイズを変更する機能も可能になる。マルチコアのスケーラブルなRAIDパリティはまた、故障したドライブの特別な処理、スペアの交換、および健全性の監視も必要とするが、いくつかの実施形態によれば、そのような構成はコアインスタンスに亘って集約される。いくつかの実施形態によれば、ロックなしで複数のコアでスケール変更および実行するパリティRAIDが提供される。いくつかの実施形態によれば、オンラインでサイズ変更できるマルチコアパリティRAIDが提供される。
マルチコアのスケーラブルなRAIDパリティの例を示す図43を参照する。LVMは、各ドライブをサブドライブのボリュームに分割するために使用される。各ドライブが分割されるサブドライブボリュームの数は、RAIDロジックに並行して使用されるコアの数である。図43に例示のように、RAIDには3つのコアが使用されるため、各ドライブは3つの論理ボリュームに分割される。レベル5または6の個別のパリティRAIDが各コアに作成される。図43に例示のように、3つのコアは3つの個別のRAID5のインスタンスを作成する。各インスタンスは、各物理ボリュームから1つずつ、サブドライブボリュームで実行される。コアのパリティRAIDは、ホストが別のLVMを使用して使用できるように、単一のボリュームにマージされる。このような例示的な設計および構成により、すべてのコアを並行して使用できるだけでなく、標準パリティRAIDと同様にRAIDのサイズを変更する機能も可能になる。
RAIDのサイズを変更するために、次の手順を実行できる。
● LVMの下位層が、物理ボリュームを拡張する。
● LVMの下位層では、追加のサイズをコア数で除算した分だけ、各サブドライブボリュームを拡張する。
● 各コアのRAID5が拡張される。
● LVMの上位層が、各コアの各物理ボリュームを拡張する。
● LVMの上位層が、ボリュームサイズを拡張する。
● LVMの下位層が、物理ボリュームを拡張する。
● LVMの下位層では、追加のサイズをコア数で除算した分だけ、各サブドライブボリュームを拡張する。
● 各コアのRAID5が拡張される。
● LVMの上位層が、各コアの各物理ボリュームを拡張する。
● LVMの上位層が、ボリュームサイズを拡張する。
本発明の別の態様によれば、標準的なオペレーティングシステムを実行する2つのサーバのセットがデュアルストレージコントローラとして設定され、標準的なオペレーティングシステムコンポーネントを使用して相互接続転送チャネルが2つのサーバ間に作成される。いくつかの実施形態によれば、ボリュームサービングノードの優先順位は、オペレーティングシステムターゲットを使用してホストに公開される。いくつかの実施形態によれば、オペレーティングシステムのNVMeイニシエータコンポーネントのコンポーネントを使用して、ボリュームサービスサーバからボリューム転送サーバへのフェイルオーバーが実行される。オペレーティングシステムのストレージターゲットコンポーネントは1つのサーバで使用され、別のサーバのストレージイニシエータコンポーネントと組み合わせて相互接続を作成する。相互接続は、エンタープライズストレージアレイで実行されるのと同様のトラフィックを転送するために使用されるが、いくつかの実施形態によれば、オペレーティングシステムのマルチパスドライバは、別のノードにフェイルオーバーしながらトラフィックをキューイングするという異なる目的に対して再利用される。マルチパスドライバは、パス障害のサポート用に設計されたキューを含む。
例として、オペレーティングシステムのデバイスマッパー「リニア」は、ボリュームストレージスタックとインターコネクト転送の間の切り替えという別の目的に対して再利用される。「リニア」デバイスマッパーを適用することは有利である、なぜならスタッキングコンポーネントはそれらすべてを削除しないといずれの変更もできないからである。「リニア」デバイスマッパーを使用すると、その上位のコンポーネントを変更せずにスタックコンポーネントを変更できる。ボリュームサービングサーバが変更された場合、またはサーバ障害が発生した場合に、フェイルオーバーが発生する可能性がある。
図44を参照すると、次のステップを使用したサーバ1からサーバ2へのボリュームのフェイルオーバーを示している。
● マルチパスドライバを使用してサーバ1でIOをキューに入れる。
● マルチパスドライバを使用してサーバ2でIOをキューに入れる。
● サーバ1の共有ドライブからボリュームスタックを削除する。
● サーバ2の共有ドライブからボリュームスタックを作成する。
● サーバ1のスイッチを変更して、デバイスマッパーリニアを使用してインターコネクト経由で転送を実行する。
● サーバ2のスイッチを変更して、デバイスマッパーリニアを使用してボリュームスタックを実行する。
● サーバ1のターゲットを変更して、非優先パスを公開する。
● サーバ2のターゲットを変更して、優先パスを公開する。
● サーバ1のキューを解放する。
● サーバ2のキューを解放する。
● マルチパスドライバを使用してサーバ1でIOをキューに入れる。
● マルチパスドライバを使用してサーバ2でIOをキューに入れる。
● サーバ1の共有ドライブからボリュームスタックを削除する。
● サーバ2の共有ドライブからボリュームスタックを作成する。
● サーバ1のスイッチを変更して、デバイスマッパーリニアを使用してインターコネクト経由で転送を実行する。
● サーバ2のスイッチを変更して、デバイスマッパーリニアを使用してボリュームスタックを実行する。
● サーバ1のターゲットを変更して、非優先パスを公開する。
● サーバ2のターゲットを変更して、優先パスを公開する。
● サーバ1のキューを解放する。
● サーバ2のキューを解放する。
本発明を特定の実施形態を参照して説明してきたが、この説明は限定的な意味で解釈されることを意図したものではない。開示された実施形態の様々な変更、および本発明の代替実施形態は、本発明の説明を参照すると、当業者には明白である。したがって、付属の請求項は、本発明の範囲に入るそのような変更を網羅することが企図される。
Claims (20)
- データストレージシステムであって、
(i)記憶媒体を備え、データプレーン(DP)ネットワークを通してアクセス可能なデータをホストするように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのターゲットサーバと、
(ii)前記データプレーン(DP)ネットワークを通してリモートリソース(複数可)にアクセスして公開するように指定されたオペレーティングシステムを実行するように構成された、少なくとも1つのイニシエータサーバと、
(iii)各前記サーバと対話するように構成され、前記DPネットワークのコントロールプレーン(CP)を制御するように指定された、少なくとも1つのオーケストレータと、を含み、
前記ターゲットサーバの前記記憶媒体の指定された部分が、前記DPネットワークに公開されており、
前記オーケストレータが、前記イニシエータサーバが前記DPネットワークを介して前記ターゲットサーバと対話するように構成されるように、前記サーバの内部に組み込まれた前記オペレーティングシステムのストレージスタックコンポーネント(SS)及び標準ストレージスタック(SSS)を調整することによって、前記記憶媒体の前記指定された部分を利用するように指定される、前記システム。 - 少なくとも1つのイニシエータサーバが、マルチパス接続を使用して少なくとも2つのターゲットサーバと対話するように構成されている、請求項1に記載のシステム。
- 前記イニシエータサーバと前記ターゲットサーバとの間の前記調整が、各サーバにインストールされたCPオーケストレータを使用して実行される、請求項1に記載のシステム。
- 前記DPネットワークを介してアクセス可能なターゲットサーバまたはイニシエータサーバと、前記オーケストレータとの間の通信が、各前記サーバにインストールされた指定のソフトウェアコンポーネントを使用して行われる、請求項1に記載のシステム。
- 前記イニシエータサーバが、複数のターゲットサーバの前記記憶媒体の複数の指定された部分に由来するデータの冗長性を提供するように構成された独立ディスク冗長アレイ(RAID)ストレージスタックコンポーネント(SSC)を利用するように構成されている、請求項1に記載のシステム。
- 前記RAID SSCが、少なくとも2つのターゲットサーバの前記記憶媒体の前記指定された部分に由来する複数のイニシエータパスの結合に由来するデータの冗長性を提供するように構成されている、請求項5に記載のシステム。
- 前記ターゲットサーバが異なる場所に配置され、前記オーケストレーションが異なるレジリエンスドメインに亘って割り当てられる、請求項6に記載のシステム。
- 異なるレジリエンスドメインを考慮しながら割り当てられる前記オーケストレーションがまた、システムバランスの維持を考慮する、請求項7に記載のシステム。
- 前記オーケストレータが、管理プロトコルを使用して前記サーバと対話するように構成されている、請求項1に記載のシステム。
- 前記記憶媒体の前記指定された部分が、論理ボリュームマネージャ(LVM)SSCを使用して割り当てられる、請求項1に記載のシステム。
- 前記記憶媒体が、ソリッドステートドライブ(SSD)ベースである、請求項1に記載のシステム。
- 前記記憶媒体が、ストレージクラスメモリ(SCM)ベースである、請求項1に記載のシステム。
- 前記記憶媒体が、ランダムアクセスメモリ(RAM)ベースである、請求項1に記載のシステム。
- 前記記憶媒体が、ハードディスクドライブ(HHD)ベースである、請求項1に記載のシステム。
- 前記オーケストレータが、物理コントローラである、請求項1に記載のシステム。
- 前記オーケストレータが、クラウドベースのサービス(SaaS)である、請求項1に記載のシステム。
- 各サーバの前記動作が、全体的または部分的に、データ処理ユニット(DPU)によって実装され得る、請求項1に記載のシステム。
- データストレージシステムを動作させる方法であって、
(i) 少なくとも1つのイニシエータサーバ及び少なくとも1つのターゲットサーバと対話するように構成された少なくとも1つのオーケストレータを使用するステップであって、前記オーケストレータがコントロールプレーン(CP)ネットワークを制御するように指定されている、前記ステップと、
(ii)前記オーケストレータの内部に組み込まれ、様々なシステムの動作パラメータの前記選択を最適化するように構成されたリソース管理計算を使用するステップと、
(iii)前記オーケストレータを使用して、データプレーン(DP)ネットワークを介してアクセス可能なデータをホストする前記ターゲットサーバにインストールされたオペレーティングシステムを制御するステップであって、前記ターゲットサーバが永続的な記憶媒質を利用するために記憶媒体を備える、前記ステップと、
(iv)前記オペレーティングシステムのLVMを使用し、前記記憶媒体を複数のパーティションに分割するステップと、
(v)前記DPネットワークを介して前記記憶媒体のパーティション(複数可)にアクセスして消費するよう指定された少なくとも1つのイニシエータサーバにインストールされたオペレーティングシステムを使用して、リモートメディアの容量及びパフォーマンスを利用するステップとを含む、前記方法。 - 前記記憶媒体が、永続的な記憶媒質を利用するように構成されている、請求項18に記載の方法。
- 前記オペレーティングシステムが、マルチパスコンポーネントを利用することによって単一の記憶媒体パーティションを単一のネットワークデバイスとして利用するために、少なくとも2つのネットワークパスをマージするように構成されている、請求項18に記載の方法。
Applications Claiming Priority (31)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163141213P | 2021-01-25 | 2021-01-25 | |
US202163141194P | 2021-01-25 | 2021-01-25 | |
US202163141155P | 2021-01-25 | 2021-01-25 | |
US202163141151P | 2021-01-25 | 2021-01-25 | |
US202163141257P | 2021-01-25 | 2021-01-25 | |
US202163141139P | 2021-01-25 | 2021-01-25 | |
US202163141205P | 2021-01-25 | 2021-01-25 | |
US202163141133P | 2021-01-25 | 2021-01-25 | |
US202163141179P | 2021-01-25 | 2021-01-25 | |
US202163141245P | 2021-01-25 | 2021-01-25 | |
US202163141236P | 2021-01-25 | 2021-01-25 | |
US202163141267P | 2021-01-25 | 2021-01-25 | |
US202163141227P | 2021-01-25 | 2021-01-25 | |
US202163141263P | 2021-01-25 | 2021-01-25 | |
US202163141162P | 2021-01-25 | 2021-01-25 | |
US63/141,227 | 2021-01-25 | ||
US63/141,267 | 2021-01-25 | ||
US63/141,151 | 2021-01-25 | ||
US63/141,155 | 2021-01-25 | ||
US63/141,257 | 2021-01-25 | ||
US63/141,245 | 2021-01-25 | ||
US63/141,194 | 2021-01-25 | ||
US63/141,263 | 2021-01-25 | ||
US63/141,133 | 2021-01-25 | ||
US63/141,205 | 2021-01-25 | ||
US63/141,179 | 2021-01-25 | ||
US63/141,236 | 2021-01-25 | ||
US63/141,162 | 2021-01-25 | ||
US63/141,139 | 2021-01-25 | ||
US63/141,213 | 2021-01-25 | ||
PCT/IL2022/050104 WO2022157784A1 (en) | 2021-01-25 | 2022-01-25 | Operating system based storage method and system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024504171A true JP2024504171A (ja) | 2024-01-30 |
Family
ID=82549363
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023544647A Pending JP2024504171A (ja) | 2021-01-25 | 2022-01-25 | オペレーティングシステムベースのストレージ方法およびシステム |
JP2023544651A Pending JP2024506524A (ja) | 2021-01-25 | 2022-01-25 | 公表ファイルシステム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023544651A Pending JP2024506524A (ja) | 2021-01-25 | 2022-01-25 | 公表ファイルシステム及び方法 |
Country Status (6)
Country | Link |
---|---|
US (11) | US20240111418A1 (ja) |
EP (11) | EP4281879A1 (ja) |
JP (2) | JP2024504171A (ja) |
KR (2) | KR20230131486A (ja) |
IL (11) | IL304424A (ja) |
WO (11) | WO2022157792A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115309538A (zh) * | 2021-05-08 | 2022-11-08 | 戴尔产品有限公司 | 存储资源之间的基于多指标的工作负荷平衡 |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0793219A (ja) * | 1993-09-20 | 1995-04-07 | Olympus Optical Co Ltd | 情報処理装置 |
US9489150B2 (en) * | 2003-08-14 | 2016-11-08 | Dell International L.L.C. | System and method for transferring data between different raid data storage types for current data and replay data |
JP4383132B2 (ja) * | 2003-09-02 | 2009-12-16 | 株式会社日立製作所 | 仮想化制御装置及び計算機システム |
US20050114595A1 (en) * | 2003-11-26 | 2005-05-26 | Veritas Operating Corporation | System and method for emulating operating system metadata to provide cross-platform access to storage volumes |
US7633955B1 (en) * | 2004-02-13 | 2009-12-15 | Habanero Holdings, Inc. | SCSI transport for fabric-backplane enterprise servers |
US7843906B1 (en) * | 2004-02-13 | 2010-11-30 | Habanero Holdings, Inc. | Storage gateway initiator for fabric-backplane enterprise servers |
US7549048B2 (en) * | 2004-03-19 | 2009-06-16 | Microsoft Corporation | Efficient and secure authentication of computing systems |
US7350046B2 (en) * | 2004-04-02 | 2008-03-25 | Seagate Technology Llc | Managed reliability storage system and method monitoring storage conditions |
JP4568574B2 (ja) * | 2004-10-15 | 2010-10-27 | 株式会社日立製作所 | ストレージ装置の導入方法、プログラム並びに管理計算機 |
JP4836533B2 (ja) * | 2005-09-27 | 2011-12-14 | 株式会社日立製作所 | ストレージシステムにおけるファイルシステムマイグレーション方法、ストレージシステム及び管理計算機 |
US9032164B2 (en) * | 2006-02-17 | 2015-05-12 | Emulex Corporation | Apparatus for performing storage virtualization |
US8103825B2 (en) * | 2008-09-30 | 2012-01-24 | Netapp, Inc. | System and method for providing performance-enhanced rebuild of a solid-state drive (SSD) in a solid-state drive hard disk drive (SSD HDD) redundant array of inexpensive disks 1 (RAID 1) pair |
JP5452615B2 (ja) * | 2008-12-18 | 2014-03-26 | エルエスアイ コーポレーション | 書込待ち行列機構を用いて、マルチアレイの整合性グループを実施するための方法 |
US8762642B2 (en) * | 2009-01-30 | 2014-06-24 | Twinstrata Inc | System and method for secure and reliable multi-cloud data replication |
US9207984B2 (en) * | 2009-03-31 | 2015-12-08 | Amazon Technologies, Inc. | Monitoring and automatic scaling of data volumes |
US11277598B2 (en) * | 2009-07-14 | 2022-03-15 | Cable Television Laboratories, Inc. | Systems and methods for network-based media processing |
US8751533B1 (en) * | 2009-11-25 | 2014-06-10 | Netapp, Inc. | Method and system for transparently migrating storage objects between nodes in a clustered storage system |
US8667218B2 (en) * | 2010-03-08 | 2014-03-04 | Hitachi, Ltd. | Storage apparatus comprising RAID groups of RAID 1 series and control method of writing to RAID group of RAID 1 series |
US8775868B2 (en) * | 2010-09-28 | 2014-07-08 | Pure Storage, Inc. | Adaptive RAID for an SSD environment |
US8782238B2 (en) * | 2010-11-05 | 2014-07-15 | Verizon Patent And Licensing Inc. | Server clustering in a computing-on-demand system |
US9172587B2 (en) * | 2012-10-22 | 2015-10-27 | International Business Machines Corporation | Providing automated quality-of-service (‘QoS’) for virtual machine migration across a shared data center network |
US20140215147A1 (en) * | 2013-01-25 | 2014-07-31 | Hewlett-Packard Development Company, L.P. | Raid storage rebuild processing |
US9569139B1 (en) * | 2013-09-26 | 2017-02-14 | EMC IP Holding Company LLC | Methods and apparatus for shared service provisioning |
US9201735B1 (en) * | 2014-06-25 | 2015-12-01 | Igneous Systems, Inc. | Distributed storage data repair air via partial data rebuild within an execution path |
US9112890B1 (en) * | 2014-08-20 | 2015-08-18 | E8 Storage Systems Ltd. | Distributed storage over shared multi-queued storage device |
US11144397B2 (en) * | 2014-09-12 | 2021-10-12 | Microsoft Technology Licensing, Llc | Data recovery using bitmap data structure |
JP6450598B2 (ja) * | 2015-01-19 | 2019-01-09 | 東芝メモリ株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9740440B2 (en) * | 2015-05-21 | 2017-08-22 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Separating a hybrid asymmetric mix of a RAID 1 mirror and a parity-based RAID array |
US9465548B1 (en) * | 2015-07-22 | 2016-10-11 | Netapp, Inc. | Methods and systems using model based techniques for determining performance capacity of a resource of a networked storage environment |
US9880903B2 (en) * | 2015-11-22 | 2018-01-30 | International Business Machines Corporation | Intelligent stress testing and raid rebuild to prevent data loss |
US9613046B1 (en) * | 2015-12-14 | 2017-04-04 | Netapp, Inc. | Parallel optimized remote synchronization of active block storage |
US10884622B2 (en) * | 2016-10-17 | 2021-01-05 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd | Storage area network having fabric-attached storage drives, SAN agent-executing client devices, and SAN manager that manages logical volume without handling data transfer between client computing device and storage drive that provides drive volume of the logical volume |
US10210048B2 (en) * | 2016-10-25 | 2019-02-19 | Commvault Systems, Inc. | Selective snapshot and backup copy operations for individual virtual machines in a shared storage |
US10241877B2 (en) * | 2016-12-12 | 2019-03-26 | International Business Machines Corporation | Data storage system employing a hot spare to proactively store array data in absence of a failure or pre-failure event |
US10509601B2 (en) * | 2016-12-28 | 2019-12-17 | Amazon Technologies, Inc. | Data storage system with multi-tier control plane |
US20190044809A1 (en) * | 2017-08-30 | 2019-02-07 | Intel Corporation | Technologies for managing a flexible host interface of a network interface controller |
US10782997B1 (en) * | 2017-10-31 | 2020-09-22 | EMC IP Holding Company, LLC | Storage management system and method |
US20190163374A1 (en) * | 2017-11-28 | 2019-05-30 | Entit Software Llc | Storing data objects using different redundancy schemes |
US10642779B2 (en) * | 2018-03-26 | 2020-05-05 | Microsoft Technology Licensing, Llc | Group-based data replication in multi-tenant storage systems |
US11599479B2 (en) * | 2018-05-09 | 2023-03-07 | Intel Corporation | Technology for fine-grain encryption and secure key injection on self-encrypting drives |
US11218446B2 (en) * | 2018-06-15 | 2022-01-04 | Orock Technologies, Inc. | Secure on-premise to cloud communication |
US11182258B2 (en) * | 2019-01-04 | 2021-11-23 | Western Digital Technologies, Inc. | Data rebuild using dynamic peer work allocation |
US11288286B2 (en) * | 2019-01-22 | 2022-03-29 | EMC IP Holding Company LLC | Storage system with data consistency checking in synchronous replication using active snapshot set |
JP6764175B2 (ja) * | 2019-02-15 | 2020-09-30 | 株式会社日立製作所 | データベース管理システム、及び、データベース管理方法 |
US11971861B2 (en) * | 2019-03-15 | 2024-04-30 | Microsoft Technology Licensing, Llc | Providing scalable and concurrent file systems |
US11073996B2 (en) * | 2019-04-30 | 2021-07-27 | EMC IP Holding Company LLC | Host rescan for logical volume migration |
US11853104B2 (en) * | 2019-06-27 | 2023-12-26 | Netapp, Inc. | Virtual machine backup from computing environment to storage environment |
-
2022
- 2022-01-25 US US18/273,240 patent/US20240111418A1/en active Pending
- 2022-01-25 US US18/273,148 patent/US20240103986A1/en active Pending
- 2022-01-25 US US18/273,174 patent/US20240086080A1/en active Pending
- 2022-01-25 US US18/273,141 patent/US20240106894A1/en active Pending
- 2022-01-25 EP EP22742393.6A patent/EP4281879A1/en active Pending
- 2022-01-25 WO PCT/IL2022/050112 patent/WO2022157792A1/en unknown
- 2022-01-25 EP EP22742391.0A patent/EP4281873A1/en active Pending
- 2022-01-25 KR KR1020237027605A patent/KR20230131486A/ko unknown
- 2022-01-25 WO PCT/IL2022/050109 patent/WO2022157789A1/en unknown
- 2022-01-25 JP JP2023544647A patent/JP2024504171A/ja active Pending
- 2022-01-25 KR KR1020237027562A patent/KR20230132529A/ko unknown
- 2022-01-25 WO PCT/IL2022/050110 patent/WO2022157790A1/en unknown
- 2022-01-25 WO PCT/IL2022/050108 patent/WO2022157788A1/en unknown
- 2022-01-25 US US18/273,162 patent/US20240086084A1/en active Pending
- 2022-01-25 WO PCT/IL2022/050099 patent/WO2022157782A1/en active Application Filing
- 2022-01-25 EP EP22742397.7A patent/EP4281853A1/en active Pending
- 2022-01-25 EP EP22742395.1A patent/EP4281852A1/en active Pending
- 2022-01-25 EP EP22742388.6A patent/EP4281849A1/en active Pending
- 2022-01-25 EP EP22742392.8A patent/EP4281866A1/en active Pending
- 2022-01-25 US US18/273,215 patent/US20240095129A1/en active Pending
- 2022-01-25 WO PCT/IL2022/050104 patent/WO2022157784A1/en active Application Filing
- 2022-01-25 WO PCT/IL2022/050107 patent/WO2022157787A1/en unknown
- 2022-01-25 EP EP22742390.2A patent/EP4281870A1/en active Pending
- 2022-01-25 EP EP22742386.0A patent/EP4281872A1/en active Pending
- 2022-01-25 US US18/273,137 patent/US20240106892A1/en active Pending
- 2022-01-25 US US18/273,188 patent/US20240106895A1/en active Pending
- 2022-01-25 WO PCT/IL2022/050111 patent/WO2022157791A1/en unknown
- 2022-01-25 US US18/273,230 patent/US20240143209A1/en active Pending
- 2022-01-25 WO PCT/IL2022/050105 patent/WO2022157785A1/en unknown
- 2022-01-25 WO PCT/IL2022/050113 patent/WO2022157793A1/en unknown
- 2022-01-25 EP EP22742389.4A patent/EP4281850A1/en active Pending
- 2022-01-25 US US18/273,194 patent/US20240095211A1/en active Pending
- 2022-01-25 WO PCT/IL2022/050106 patent/WO2022157786A1/en active Application Filing
- 2022-01-25 EP EP22742394.4A patent/EP4281851A1/en active Pending
- 2022-01-25 EP EP22742396.9A patent/EP4281871A1/en active Pending
- 2022-01-25 JP JP2023544651A patent/JP2024506524A/ja active Pending
-
2023
- 2023-07-11 IL IL304424A patent/IL304424A/en unknown
- 2023-07-11 IL IL304418A patent/IL304418A/en unknown
- 2023-07-11 IL IL304388A patent/IL304388A/en unknown
- 2023-07-11 IL IL304396A patent/IL304396A/en unknown
- 2023-07-11 IL IL304422A patent/IL304422A/en unknown
- 2023-07-11 IL IL304425A patent/IL304425A/en unknown
- 2023-07-11 IL IL304387A patent/IL304387A/en unknown
- 2023-07-11 IL IL304420A patent/IL304420A/en unknown
- 2023-07-11 IL IL304389A patent/IL304389A/en unknown
- 2023-07-11 IL IL304395A patent/IL304395A/en unknown
- 2023-07-11 IL IL304397A patent/IL304397A/en unknown
- 2023-07-19 US US18/223,863 patent/US11853557B2/en active Active
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220091771A1 (en) | Moving Data Between Tiers In A Multi-Tiered, Cloud-Based Storage System | |
US10740005B1 (en) | Distributed file system deployment on a data storage system | |
US11636223B2 (en) | Data encryption for directly connected host | |
US11288196B2 (en) | Efficient data read operation | |
US11853557B2 (en) | Shared drive storage stack distributed QoS method and system | |
US11733874B2 (en) | Managing replication journal in a distributed replication system | |
US20190332293A1 (en) | Methods for managing group objects with different service level objectives for an application and devices thereof | |
US11704042B2 (en) | Dynamically adaptive technique for reference snapshot selection | |
US20240143462A1 (en) | Monitoring input/output and persistent reservation activity patterns to detect degraded performance of a high availability and fault tolerant application | |
US11294570B2 (en) | Data compression for having one direct connection between host and port of storage system via internal fabric interface | |
US11481138B2 (en) | Creating indentical snapshots | |
WO2012074354A1 (en) | System architecture with cluster file for virtualization hosting environment | |
JP2010033379A (ja) | 仮想化システム及び仮想化の復旧方法 |