WO2014101070A1 - 一种分区扩展方法及装置 - Google Patents

一种分区扩展方法及装置 Download PDF

Info

Publication number
WO2014101070A1
WO2014101070A1 PCT/CN2012/087743 CN2012087743W WO2014101070A1 WO 2014101070 A1 WO2014101070 A1 WO 2014101070A1 CN 2012087743 W CN2012087743 W CN 2012087743W WO 2014101070 A1 WO2014101070 A1 WO 2014101070A1
Authority
WO
WIPO (PCT)
Prior art keywords
partitions
partition
data
physical node
storage system
Prior art date
Application number
PCT/CN2012/087743
Other languages
English (en)
French (fr)
Inventor
张烽
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to CA2894623A priority Critical patent/CA2894623C/en
Priority to CN201280002874.XA priority patent/CN103229151B/zh
Priority to AU2012398262A priority patent/AU2012398262C1/en
Priority to PCT/CN2012/087743 priority patent/WO2014101070A1/zh
Priority to KR1020157017725A priority patent/KR101677946B1/ko
Priority to EP12890935.5A priority patent/EP2921964B8/en
Priority to JP2015549922A priority patent/JP6020867B2/ja
Priority to EP17195364.9A priority patent/EP3376395A1/en
Priority to ES12890935.5T priority patent/ES2658188T3/es
Publication of WO2014101070A1 publication Critical patent/WO2014101070A1/zh
Priority to US14/752,068 priority patent/US9665284B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0632—Configuration or reconfiguration of storage systems by initialisation or re-initialisation of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1048—Scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/152—Virtualized environment, e.g. logically partitioned system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/15—Use in a specific computing environment
    • G06F2212/154—Networked environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/25—Using a specific main memory architecture
    • G06F2212/254—Distributed memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/26—Using a specific storage system architecture
    • G06F2212/261—Storage comprising a plurality of storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/26—Using a specific storage system architecture
    • G06F2212/263—Network storage, e.g. SAN or NAS

Definitions

  • the present invention relates to the field of storage technologies, and in particular, to a partition expansion method and apparatus. Background technique
  • DHT Distributed Hash Table
  • the Hash space is an end-to-end circular space, and the Hash ring can be divided into several equal parts, each of which is called a partition, and then The partitions are evenly distributed to each physical node, and at the same time, data to partitions and partitions to physical nodes are mapped and stored in the DHT.
  • the reading and writing of data, the expansion of distributed clusters, and fault handling all depend on the changes of DHT. Therefore, DHT needs to achieve uniform load, good reliability, and data storage on the node, which is conducive to data migration and good scalability (that is, the system can perform multiple expansions).
  • a new physical node is added to the distributed storage system, that is, the number of physical nodes is increased to implement system expansion.
  • the specific expansion method may include: adding a new physical node in the system, and moving the partition on the original physical node to the new physical node, thereby expanding the distributed storage system.
  • the number of partitions on the physical node is roughly the same.
  • the inventor found that at least the following problems exist in the prior art: If the distributed storage system is expanded multiple times, the number of partitions on the physical node will be less and less, which will affect system expansion (for example, When there are only 4 partitions on each physical node, the system can only be expanded to a maximum of 4 times the original capacity, which leads to poor scalability of the distributed storage system.
  • Embodiments of the present invention provide a partition expansion method and apparatus, which can be distributed When the storage system is expanded, the number of partitions on the physical node is increased to ensure the scalability of the distributed storage system.
  • the first aspect of the embodiment of the present invention provides a partition expansion method, including: obtaining an average value of the number of partitions in all physical nodes in the distributed storage system; If the average value of the number of partitions is less than a preset threshold, multiplying the number of partitions in each physical node;
  • mapping relationship between the newly added partition and the physical node where the newly added partition is located is added in the pre-stored distributed hash table DHT.
  • the method further includes:
  • the multiplying the number of partitions in each physical node includes:
  • the obtaining an average value of the number of partitions in all the physical nodes in the distributed storage system includes:
  • An average of the number of partitions in all physical nodes in the distributed storage system is obtained in response to a user's triggering instruction.
  • a second aspect of the embodiment of the present invention further provides a partition expansion apparatus, including: a first acquiring unit, configured to acquire an average value of the number of partitions in all physical nodes in the distributed storage system;
  • a first multiplication unit configured to multiply the number of partitions in each physical node if an average value of the number of partitions is less than a preset threshold
  • a mapping unit configured to add, in the pre-stored distributed hash table DHT, a mapping relationship between the newly added partition and the physical node where the newly added partition is located.
  • the zoning expansion apparatus further includes:
  • a second acquiring unit configured to acquire a hash value of data in each of the physical nodes after the first multiplication unit multiplies the number of partitions in the physical nodes;
  • a third obtaining unit configured to obtain a modulus value obtained by modulating a hash value of the data and a number of partitions obtained by expanding the physical node where the data is located;
  • a migration unit configured to determine, according to the modulus value of the data, a destination partition of the data migration, and if the destination partition is different from a partition where the data is currently located, migrate the data to the destination partition.
  • the first multiplication unit is further configured to multiply the number of partitions in the each physical node to at least 2 Times.
  • the zoning expansion apparatus further includes: a fourth obtaining unit, configured to acquire the distributed storage system after the mapping unit adds a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT The average of the number of extents in all physical nodes in the middle;
  • a second multiplication unit configured to: if the average value of the expanded number of partitions is smaller than the preset threshold, multiply the number of partitions in each physical node; wherein, the multiple of each multiplication is the same.
  • the first acquiring unit is further configured to periodically acquire an average value of the number of partitions in all physical nodes in the distributed storage system.
  • An average of the number of partitions in all physical nodes in the distributed storage system is obtained in response to a user's triggering instruction.
  • a third aspect of the embodiments of the present invention further provides a partition expansion apparatus, including: a processor, configured to obtain an average value of the number of partitions in all physical nodes in the distributed storage system; Setting a threshold value, multiplying the number of partitions in each physical node; adding a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT;
  • a storage configured to store a mapping relationship between the newly added partition added by the processor and the physical node where the newly added partition is located.
  • the processor is further configured to acquire a hash value of data in each of the physical nodes, and obtain a hash value of the data.
  • a modulus value obtained by modulating the number of partitions obtained by expanding the physical node where the data is located; determining a destination partition of the data migration according to the modulus value of the data, if the destination partition and the current partition of the data are located Different, the data is migrated to the destination partition.
  • the processor is further configured to multiply the number of partitions in the each physical node to at least twice the number of the partitions.
  • the processor is further configured to: after adding a mapping relationship between a new partition corresponding to the partition and a physical node where the partition is located in the DHT, obtain an extension in all physical nodes in the distributed storage system. An average of the number of partitions after the partition; if the average of the number of expanded partitions is less than the preset threshold, the number of partitions in each physical node is multiplied again; wherein, the multiple of each multiplication is the same .
  • the processor is further configured to periodically acquire an average value of the number of partitions in all physical nodes in the distributed storage system; or ,
  • An average of the number of partitions in all physical nodes in the distributed storage system is obtained in response to a user's triggering instruction.
  • the method and device for partition expansion provided by the embodiment of the present invention can obtain an average value of the number of partitions in all physical nodes in the distributed storage system. If the average value of the number of partitions is less than a preset threshold, the number of partitions in each physical node. Multiply, and add the mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT. Compared with the prior art, the scalability of the distributed storage system is poor due to the small number of partitions in the physical node. When the distributed storage system is expanded, if the number of partitions is less than the preset value, the number of partitions is multiplied. Therefore, the scalability of the distributed storage system can be guaranteed.
  • FIG. 1 is a flowchart of a method for partition expansion according to Embodiment 1 of the present invention
  • FIG. 2 is a flowchart of a method for partition expansion according to Embodiment 2 of the present invention
  • FIG. 3 is a partition extension according to Embodiment 3 of the present invention
  • FIG. 4 is a schematic structural diagram of another partition expansion apparatus according to Embodiment 3 of the present invention
  • FIG. 5 is a schematic diagram of a configuration of a partition expansion apparatus according to Embodiment 4 of the present invention.
  • the embodiment of the present invention provides a partition expansion method, as shown in FIG. 1 , including:
  • the partition expansion device obtains an average of the number of partitions in all physical nodes in the distributed storage system.
  • the hash value Hash of the data corresponding to the data identifier can be calculated by using a hash function according to the data identifier of the different data. According to the hash value, the data is mapped to a hash space.
  • the hash space is an end-to-end circular space.
  • the hash ring can be divided into several equal parts, each part is called a partition, and then the partition is evenly distributed to each physical.
  • the physical node may be a physical address in a distributed storage system, and the distributed storage system may divide the physical address into multiple address segments, and each physical address is a physical node.
  • the method for the partition extension device to obtain an average value of the number of partitions in the physical node in the distributed storage system may include: the partition extension device periodically acquires an average value of the number of partitions in all physical nodes in the distributed storage system; or, the partition extension device responds Obtain an average of the number of partitions in all physical nodes in the distributed storage system for the user's trigger instruction.
  • the zoning extension device may preset an acquisition period, and acquire an average value of the number of partitions in all physical nodes in the distributed storage system according to the period; or, when performing distributed system expansion, the zoning extension device receives the user.
  • the triggering instruction is responsive to the triggering instruction to obtain an average of the number of partitions in all physical nodes in the distributed storage system.
  • the partition expansion device multiplies the number of partitions in each physical node.
  • the preset threshold may be an average value of the number of partitions in all physical nodes in the distributed storage system when the distributed storage system is expanded at least once.
  • the method of the embodiment of the present invention further includes: the partition expansion apparatus acquires a hash value of data in each partition in each physical node; the partition extension apparatus acquires, after the partition expansion apparatus multiplies the number of partitions in each physical node The hash value of the data is compared with the modulus obtained by expanding the number of partitions in the physical node where the data is located; the partition extension device determines the destination partition of the data migration according to the modulus value of the data, and if the destination partition is different from the current partition of the data, The partition expansion device migrates the data to the destination partition.
  • the partition expansion device adds a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored DHT.
  • DHT can be used to determine the data storage location in the distributed storage system. That is, the DHT can store the mapping relationship between the data identifier and the partition, and the mapping relationship between the partition and the physical node. Therefore, after the partition expansion device multiplies the number of partitions in each physical node, the newly added partition needs to be added to the pre-stored DHT. The mapping relationship with the physical node where the newly added partition is located.
  • the partition expansion method provided by the embodiment of the present invention can obtain an average value of the number of partitions in all physical nodes in the distributed storage system, and if the average number of partitions is less than a preset threshold, multiply the number of partitions in each physical node. And adding a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT.
  • the scalability of the distributed storage system is poor due to the small number of partitions in the physical node.
  • the distributed storage system is expanded, if the number of partitions is less than the preset value, the number of partitions is multiplied. Therefore, the scalability of the distributed storage system can be guaranteed.
  • the embodiment of the present invention provides a partition expansion method. As shown in FIG. 2, the method includes: 201.
  • a partition expansion apparatus obtains an average value of the number of partitions in all physical nodes in the distributed storage system.
  • the partition expansion device acquires all physical nodes in the distributed storage system.
  • the method of averaging the number of partitions may specifically be:
  • the partition expansion device is pre-stored
  • the DHT queries the number of physical nodes in the distributed storage system and the total number of partitions in all physical nodes; the partition expansion device calculates the number of partitions in the physical node according to the number of physical nodes and the total number of partitions in all physical nodes. average value.
  • the number of physical nodes is the total number of physical nodes in the distributed storage system.
  • the method for the partition expansion device to calculate the average value of the number of partitions of the physical node according to the number of physical nodes and the total number of partitions of all physical nodes may specifically be:
  • the partition extension device divides the total number of partitions of all physical nodes by the physical number.
  • the quotient obtained from the number of nodes is the average of the number of partitions in the physical node.
  • the number of physical nodes is A
  • the total number of partitions of all physical nodes is B
  • the average number of partitions of physical nodes is C
  • the distributed storage system uses the DHT for data storage, and the number of partitions on the physical node is substantially the same. Therefore, the partition expansion device may also query the distribution in the pre-stored DHT. The number of partitions in any physical node in the storage system, and the number of partitions in the physical node is taken as the average of the number of partitions in all physical nodes in the distributed storage system.
  • the partition expansion device determines whether the average value of the number of partitions is lower than a preset threshold. If the average value of the number of partitions is lower than a preset threshold, step 203 is performed; if the average number of partitions is not lower than a preset threshold Then, step 21 1 is performed.
  • the partition expansion device multiplies the number of partitions in each physical node. Among them, the partition expansion device multiplies the number of partitions in each physical node to include: The partition expansion device doubles the number of partitions in each physical node to at least twice the number of partitions.
  • the partition expansion apparatus may modify the number of partitions in each physical node in the pre-stored DHT to at least 2 times the number of partitions in each physical node.
  • partition expansion device multiplies the number of partitions in each physical node
  • the multiple of the number of partitions is 2.
  • partition expansion The device can also extend the number of partitions in each physical node by a factor of three or even multiples.
  • the partition expansion device double-extends the number of partitions in each physical node as an example, but does not limit the number multiplication of the number of partitions in which the partition expansion device multiplies the number of partitions in each physical node.
  • the partition expansion apparatus acquires a hash value of data in each partition in each physical node.
  • the partition expansion apparatus may query the hash value of the data in each of the physical nodes in the pre-stored DHT according to the identifier of the data in each partition.
  • the hash values of different data in one partition are different.
  • Partition A contains Data 1, Data 2, and Data 3.
  • Data 1 has the data identifier a and the hash value is Hashl;
  • data 2 has the data identifier b and the hash value is Hash2;
  • data 3 has the data identifier c and the hash value is Hash3.
  • the partitioning extension device obtains a hash value of the data and a modulus value obtained by modulating the number of partitions obtained by expanding the physical node where the data is located.
  • the number of partitions obtained by expanding the physical node where the data is located is the product of the number of partitions before the extension of the physical node where the data is located and the multiple of the number of partitions of the physical extension node by the partition extension device.
  • the partition expansion device multiplies the number of partitions in each physical node by n times, then the physical node where the data K is located
  • the number of partitions obtained after expansion is nx N
  • the partition expansion device determines a destination partition of the data migration according to the modulus value of the data, and if the destination partition is different from the current partition of the data, the data is migrated to the destination partition.
  • the hash value Hash of the data to be stored may be calculated according to a hash function, and then the data to be stored is allocated according to the hash value of each data to be stored and the total number of partitions in the distributed storage system.
  • the storage is performed in each partition, and then the partitions in the distributed storage system are relatively uniformly allocated to the respective physical nodes.
  • the hash value Hash of some data is 45, 46, 47, 47...75, and the number of partitions is N
  • the hash value of each data is the same as the number of partitions.
  • Partition 1 (the remainder is 0): 45, 48, 51, 54, 57, 60, 63, 66, 69, 72, 75.
  • Partition 2 (the remainder is 1): 46, 49, 52, 55, 58, 61, 64, 67, 70,
  • Partition 3 (the remainder is 2): 47, 50, 53, 56, 59, 62, 65, 68, 71,
  • partitioning is performed by taking the above partition 1 as an example.
  • the number of partitions N is 3.
  • the partition extension can migrate data with a modulus of 3 to the data.
  • the partition extension device can migrate data with a modulus value of 0 to the newly added physical node of the data.
  • the corresponding data is kept in the original partition.
  • the partition expansion device can migrate the data corresponding to the modulus according to the modulus values 0, 3, and 6 of the data. Among them, the method and the number of partitions for the distributed expansion device to migrate data to the destination partition 2 The method of multiplying is similar, and will not be described in detail in this embodiment.
  • the partition expansion device adds a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored DHT.
  • the partition expansion device obtains an average value of the number of extended partitions among all physical nodes in the distributed storage system.
  • the partition expansion device multiplies the number of partitions on all the physical nodes in the distributed storage system, and after completing the migration of the corresponding data in the partition, the average number of the expanded partitions in all the physical nodes in the distributed storage system can be obtained.
  • the method for obtaining the average of the number of extended partitions among all physical nodes in the distributed storage system by the partition expansion apparatus and the partition expansion apparatus in the embodiment obtain the average number of partitions in all physical nodes in the distributed storage system.
  • the method of the value is similar, and the embodiment is not described herein again.
  • the partition expansion apparatus determines whether an average value of the expanded number of partitions is less than a preset threshold; if the average value of the expanded number of partitions is less than a preset threshold, step 210 is performed; if the average number of partitions after expansion is averaged If it is not less than the preset threshold, step 21 1 is performed.
  • the partition expansion device doubles the number of partitions in each physical node; wherein, the multiple of each multiplication is the same.
  • the partition expansion device may multiply the number of partitions in each physical node again.
  • the multiplication factor of the partition expansion device when multiplying the number of partitions in each physical node again
  • the partition expansion device has the same multiplication factor when the number of partitions is first multiplied.
  • the method of the present implementation may further include: the partitioning device adds a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored DHT. .
  • the partition expansion apparatus may multiply the number of partitions in the physical node at least once, the multiple of each multiplication is the same, and the multiple of the multiplication is greater than or equal to 2.
  • the partition expansion apparatus may extend the partition of the physical node in the distributed storage system at least once according to the average of the number of partitions of the physical nodes in the distributed storage system.
  • the embodiment of the present invention does not limit the number of times of the partition expansion.
  • the method for the second extension or the extension of the partition of the physical node in the distributed storage system by the partition expansion apparatus is similar to the partition expansion method in this embodiment. This embodiment will not be described again here.
  • the multiplication method provided in this embodiment can be applied not only to the partition expansion process of the distributed storage system, but also to the multiplication process of the storage node in other storage systems, and the method of the present invention.
  • the scope of application, this embodiment is not limited herein.
  • the partition expansion method provided by the embodiment of the present invention can obtain an average value of the number of partitions in all physical nodes in the distributed storage system, and if the average number of partitions is less than a preset threshold, multiply the number of partitions in each physical node. And adding a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT.
  • the scalability of the distributed storage system is poor due to the small number of partitions in the physical node.
  • the distributed storage system is expanded, if the number of partitions is less than the preset value, the number of partitions is multiplied. Therefore, the scalability of the distributed storage system can be guaranteed.
  • the embodiment of the present invention provides a partition expansion apparatus. As shown in FIG. 3, the apparatus includes: a first obtaining unit 3 1 , a first multiplication unit 32 , and a mapping unit 33 .
  • the first obtaining unit 3 1 is configured to acquire all physical nodes in the distributed storage system. The average number of partitions.
  • the first multiplication unit 32 is configured to multiply the number of partitions in each physical node if the average value of the number of partitions is less than a preset threshold.
  • the mapping unit 33 is configured to add a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT.
  • the partition expansion apparatus may further include: a second obtaining unit 34, a third obtaining unit 35, and a migration unit 36.
  • the second obtaining unit 34 is configured to obtain, after the first multiplication unit 32 multiplies the number of partitions in the physical nodes, a hash value of data in each of the physical nodes.
  • the third obtaining unit 35 is configured to obtain a modulus value obtained by modulating a hash value of the data and a number of partitions obtained by expanding the physical node where the data is located.
  • the migration unit 36 is configured to determine, according to the modulus value of the data, a destination partition of the data migration, and if the destination partition is different from a partition where the data is currently located, migrate the data to the destination partition.
  • the first multiplication unit 32 is further configured to multiply the number of partitions in each of the physical nodes to at least twice the number of the partitions.
  • the partition expansion device may further include: a fourth obtaining unit 37 and a second multiplying unit 38.
  • a fourth obtaining unit 37 configured to acquire the distributed relationship after the mapping unit 33 adds a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT. The average of the number of extents in all physical nodes in the storage system.
  • a second multiplication unit 38 configured to: if the average value of the expanded number of partitions is smaller than the preset threshold, multiply the number of partitions in each physical node; wherein, the multiple of each multiplication is the same .
  • the first obtaining unit 3 1 is further configured to periodically acquire an average value of the number of partitions in all the physical nodes in the distributed storage system; or, obtain the distributed storage in response to a trigger instruction of the user. Number of partitions in all physical nodes in the system The average of the quantities.
  • the zoning extension device provided by the embodiment of the present invention can obtain an average value of the number of partitions in all physical nodes in the distributed storage system. If the average value of the number of partitions is less than a preset threshold, the number of partitions in each physical node is multiplied. And adding a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT. Compared with the prior art, the scalability of the distributed storage system is poor due to the small number of partitions in the physical node. When the distributed storage system is expanded, if the number of partitions is less than the preset value, the number of partitions is multiplied. Therefore, the scalability of the distributed storage system can be guaranteed.
  • the embodiment of the present invention provides a partition expansion apparatus, as shown in FIG. 5, which may include: a processor 41 and a memory 42.
  • the processor 41 is configured to obtain an average value of the number of partitions in all physical nodes in the distributed storage system; if the average value of the number of partitions is less than a preset threshold, multiply the number of partitions in each physical node; a distributed hash table DHT is added with a mapping relationship between the newly added partition and the physical node where the newly added partition is located; a memory 42 for storing the newly added partition added by the processor 41 and the newly added The mapping relationship of the physical nodes where the partition is located.
  • the processor 41 is further configured to acquire a hash value of data in each partition of each physical node, obtain a hash value of the data, and obtain an extension of the physical node where the data is located.
  • the number of partitions is obtained by modulating the obtained modulus value; determining a destination partition of the data migration according to the modulus value of the data, and if the destination partition is different from the current partition of the data, moving the data to the location Describe the destination partition.
  • the processor 41 is further configured to multiply the number of partitions in each physical node to at least twice the number of the partitions. Further, the processor 41 is further configured to: after adding, in the DHT, a mapping relationship between a new partition corresponding to the partition and a physical node where the partition is located, acquiring all physical nodes in the distributed storage system An average of the number of expanded partitions; if the average of the expanded number of partitions is less than the predetermined threshold, the number of partitions in each physical node is multiplied again; wherein, the multiple of each multiplication the same.
  • the processor 41 is further configured to periodically acquire an average value of the number of partitions in all physical nodes in the distributed storage system; or, in response to a trigger instruction of the user, acquire all the distributed storage systems. The average of the number of partitions in the physical node.
  • the zoning extension device provided by the embodiment of the present invention can obtain an average value of the number of partitions in all physical nodes in the distributed storage system. If the average value of the number of partitions is less than a preset threshold, the number of partitions in each physical node is multiplied. And adding a mapping relationship between the newly added partition and the physical node where the newly added partition is located in the pre-stored distributed hash table DHT. Compared with the prior art, the scalability of the distributed storage system is poor due to the small number of partitions in the physical node. When the distributed storage system is expanded, if the number of partitions is less than the preset value, the number of partitions is multiplied. Therefore, the scalability of the distributed storage system can be guaranteed.
  • the present invention can be implemented by means of software plus necessary general hardware, and of course, by hardware, but in many cases, the former is a better implementation. .
  • the technical solution of the present invention which is essential or contributes to the prior art, may be embodied in the form of a software product stored in a readable storage medium, such as a floppy disk of a computer.
  • a hard disk or optical disk or the like includes instructions for causing a computer device (which may be a personal computer, a server, or a network device, etc.) to perform the methods described in various embodiments of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种分区扩展方法及装置，涉及存储技术领域，可以在分布式存储系统扩容时，增加物理节点上的分区数量，从而保证分布式存储系统的扩展性。具体方案为：获取分布式存储系统中所有物理节点中分区数量的平均值（101）；若分区数量的平均值小于预设阈值，则对各个物理节点中的分区数量进行倍增（102）；在预存的分布式哈希表DHT中添加新增加的分区与新增加的分区所在的物理节点的映射关系（103）。本方案用于分布式存储系统扩容的过程中。

Description

一种分区扩展方法及装置
技术领域
本发明涉及存储技术领域， 尤其涉及一种分区扩展方法及装 置。 背景技术
分布式存储系统中， 一般使用 DHT ( Distributed Hash Table , 分布式哈希表）来决定数据存放位置。 即通过一个哈希 Hash函数计 算 Hash值， 根据 Hash值将数据映射到一个 Hash空间， Hash空间 是一个首尾相连的环状空间， Hash环可分成若干等份， 每份称为一 个分区， 再将分区平均分配到各个物理节点上， 同时， 建立数据到 分区以及分区到物理节点的映射关系并存储在 DHT中。 其中， 数据 的读写、 分布式集群的扩容、 故障处理等都依赖于 DHT的变动。 因 此， DHT需要达到负载均匀、 可靠性良好、 节点上的数据存储方式 有利于数据迁移、 扩展性良好（ 即系统可以进行多次扩容）的目标。
现有技术中， 在分布式存储系统中增设新的物理节点， 即增大 物理节点的数量可以实现系统的扩容。 具体的扩容方法可以包括： 在系统中增设新的物理节点， 并移动原有物理节点上的分区至新的 物理节点， 从而进行分布式存储系统的扩容。 其中， 物理节点上的 分区数量大致相同。
在实现上述系统扩容的过程中， 发明人发现现有技术中至少存 在如下问题： 如果分布式存储系统经过多次扩容， 物理节点上的分 区数量会越来越少， 则会影响系统扩容 （例如， 当每个物理节点上 仅有 4个分区时， 系统最大只能扩容到原容量的 4倍） ， 导致分布 式存储系统的扩展性较差。
发明内容
本发明的实施例提供一种分区扩展方法及装置， 可以在分布式 存储系统扩容时， 增加物理节点上中的分区数量， 从而保证分布式 存储系统的扩展性。
为达到上述目 的， 本发明的实施例釆用如下技术方案： 本发明实施例的第一方面， 提供一种分区扩展方法， 包括： 获取分布式存储系统中所有物理节点中分区数量的平均值； 若所述分区数量的平均值小于预设阔值， 则对各个物理节点中 的分区数量进行倍增；
在预存的分布式哈希表 DHT 中添加新增加的分区与所述新增 加的分区所在的物理节点的映射关系。
结合第一方面， 在一种可能的实现方式中， 在所述对各个物理 节点中的分区数量进行倍增后， 所述方法还包括：
获取所述各个物理节点中的各个分区中的数据的哈希值； 获取所述数据的哈希值与所述数据所在的物理节点中扩展后得 到的分区数量取模所得的模值；
根据所述数据的所述模值确定所述数据迁移的目 的分区， 若所 述目 的分区和所述数据当前所在分区不同， 则将所述数据迁移到所 述目 的分区。
结合第一方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述对各个物理节点中的分区数量进行倍增， 包括：
将所述各个物理节点中的分区数量至少倍增至所述分区数量的
2倍。
结合第一方面和上述可能的实现方式， 在另一种可能的实现方 式中， 在所述在预存的分布式哈希表 DHT中增设所述分区对应的新 分区与所述分区所在的物理节点的映射关系后， 所述方法还包括： 获取所述分布式存储系统中所有物理节点中扩展后的分区数量 的平均值；
若所述扩展后的分区数量的平均值小于所述预设阔值， 则对所 述各个物理节点中的分区数量进行再次倍增； 其中， 每次倍增的倍 数相同。 结合第一方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述获取分布式存储系统中所有物理节点中分区数量的平均 值， 包括：
周期性获取所述分布式存储系统中所有物理节点中分区数量的 平均值； 或者，
响应于用户的触发指令， 获取所述分布式存储系统中所有物理 节点中分区数量的平均值。
本发明实施例的第二方面， 还提供一种分区扩展装置， 包括： 第一获取单元， 用于获取分布式存储系统中所有物理节点中分 区数量的平均值；
第一倍增单元， 用于若所述分区数量的平均值小于预设阔值， 则对各个物理节点中的分区数量进行倍增；
映射单元，用于在预存的分布式哈希表 DHT中添加新增加的分 区与所述新增加的分区所在的物理节点的映射关系。
结合第二方面， 在一种可能的实现方式中， 所述分区扩展装 置， 还包括：
第二获取单元， 用于在所述第一倍增单元对所述各个物理节点 中的分区数量进行倍增后， 获取所述各个物理节点中的各个分区中 的数据的哈希值；
第三获取单元， 用于获取所述数据的哈希值与所述数据所在的 物理节点中扩展后得到的分区数量取模所得的模值；
迁移单元， 用于根据所述数据的所述模值确定所述数据迁移的 目 的分区， 若所述目 的分区和所述数据当前所在分区不同， 则将所 述数据迁移到所述目的分区。
结合第二方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述第一倍增单元， 还用于将所述各个物理节点中的分区数 量至少倍增至所述分区数量的 2倍。
结合第二方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述分区扩展装置， 还包括： 第四获取单元， 用于在所述映射单元在预存的分布式哈希表 D H T中添加新增加的分区与所述新增加的分区所在的物理节点的映 射关系后， 获取所述分布式存储系统中所有物理节点中扩展后的分 区数量的平均值；
第二倍增单元， 用于若所述扩展后的分区数量的平均值小于所 述预设阔值， 则对所述各个物理节点中的分区数量进行再次倍增； 其中， 每次倍增的倍数相同。
结合第二方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述第一获取单元， 还用于周期性获取所述分布式存储系统 中所有物理节点中分区数量的平均值； 或者，
响应于用户的触发指令， 获取所述分布式存储系统中所有物理 节点中分区数量的平均值。
本发明实施例的第三方面， 还提供一种分区扩展装置， 包括： 处理器， 用于获取分布式存储系统中所有物理节点中分区数量 的平均值； 若所述分区数量的平均值小于预设阔值， 则对各个物理 节点中的分区数量进行倍增； 在预存的分布式哈希表 DHT中添加新 增加的分区与所述新增加的分区所在的物理节点的映射关系；
存储器， 用于存储所述处理器添加的新增加的分区与所述新增 加的分区所在的物理节点的映射关系。
结合第二方面， 在一种可能的实现方式中， 所述处理器， 还用 于获取所述各个物理节点中的各个分区中的数据的哈希值； 获取所 述数据的哈希值与所述数据所在的物理节点中扩展后得到的分区数 量取模所得的模值； 根据所述数据的所述模值确定所述数据迁移的 目 的分区， 若所述目 的分区和所述数据当前所在分区不同， 则将所 述数据迁移到所述目的分区。
结合第二方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述处理器， 还用于将所述各个物理节点中的分区数量至少 倍增至所述分区数量的 2倍。
结合第二方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述处理器， 还用于在所述 DHT中增设所述分区对应的新分 区与所述分区所在的物理节点的映射关系后， 获取所述分布式存储 系统中所有物理节点中扩展后的分区数量的平均值； 若所述扩展后 的分区数量的平均值小于所述预设阔值， 则对所述各个物理节点中 的分区数量进行再次倍增； 其中， 每次倍增的倍数相同。
结合第二方面和上述可能的实现方式， 在另一种可能的实现方 式中， 所述处理器， 还用于周期性获取所述分布式存储系统中所有 物理节点中分区数量的平均值； 或者，
响应于用户的触发指令， 获取所述分布式存储系统中所有物理 节点中分区数量的平均值。
本发明实施例提供的分区扩展方法及装置， 可以获取分布式存 储系统中所有物理节点中分区数量的平均值， 若分区数量的平均值 小于预设阔值， 则对各个物理节点中的分区数量进行倍增， 并在预 存的分布式哈希表 DHT中添加新增加的分区与新增加的分区所在的 物理节点的映射关系。 与现有技术中， 由于物理节点中分区数量较 少导致分布式存储系统的扩展性较差相比， 可以在分布式存储系统 扩容时， 若分区数量小于预设值， 则执行分区数量的倍增， 从而可 以保证分布式存储系统的扩展性。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案， 下 面将对实施例或现有技术描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本发明的一些实施例， 对于 本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可 以根据这些附图获得其他的附图。
图 1 为本发明实施例 1 中的一种分区扩展方法流程图； 图 2为本发明实施例 2 中的一种分区扩展方法流程图； 图 3为本发明实施例 3 中的一种分区扩展装置组成示意图； 图 4为本发明实施例 3 中的另一种分区扩展装置组成示意图； 图 5为本发明实施例 4 中的一种分区扩展装置组成示意图。 具体实施方式
下面将结合本发明实施例中的附图， 对本发明实施例中的技术 方案进行清楚、 完整地描述， 显然， 所描述的实施例仅仅是本发明 一部分实施例， 而不是全部的实施例。 基于本发明中的实施例， 本 领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例， 都属于本发明保护的范围。
实施例 1
本发明实施例提供一种分区扩展方法， 如图 1 所示， 包括：
101、 分区扩展装置获取分布式存储系统中所有物理节点中分 区数量的平均值。
其中， 分布式存储系统在使用分布式哈希表 ( Distributed Hash Table , DHT ) 存储数据时， 可以根据不同数据的数据标识通过一个 哈希函数计算出该数据标识对应的数据的哈希值 Hash , 根据该哈希 值将数据映射到一个哈希空间， 哈希空间是一个首尾相连的环状空 间， 哈希环可分成若干等份， 每份称为一个分区， 然后将分区平均 分配到各个物理节点上。 其中， 物理节点可以是分布式存储系统中 的物理地址， 分布式存储系统可以将其物理地址划分成多个地址 段， 每一段物理地址为一个物理节点。
分区扩展装置获取分布式存储系统中的物理节点中分区数量的 平均值的方法可以包括： 分区扩展装置周期性获取分布式存储系统 中所有物理节点中分区数量的平均值； 或者， 分区扩展装置响应于 用户的触发指令， 获取分布式存储系统中所有物理节点中分区数量 的平均值。 具体的， 分区扩展装置可以预先设置一个获取周期， 并 根据该周期自发的获取分布式存储系统中所有物理节点中分区数量 的平均值； 或者， 在进行分布式系统扩容时， 分区扩展装置接收用 户的触发指令， 响应于该触发指令， 以获取分布式存储系统中所有 物理节点中分区数量的平均值。
102、 若分区数量的平均值小于预设阔值， 分区扩展装置则对 各个物理节点中的分区数量进行倍增。 其中， 预设阔值可以为满足分布式存储系统进行至少一次扩容 时， 分布式存储系统中的所有物理节点中的分区数量的平均值。
其中， 在分区扩展装置对各个物理节点中的分区数量进行倍增 后， 本发明实施例的方法还包括： 分区扩展装置获取各个物理节点 中的各个分区中的数据的哈希值； 分区扩展装置获取数据的哈希值 与数据所在的物理节点中扩展后得到的分区数量取模所得的模值； 分区扩展装置根据数据的模值确定数据迁移的目 的分区， 若目 的分 区和数据当前所在分区不同， 分区扩展装置则将数据迁移到所述目 的分区。
103、 分区扩展装置在预存的 DHT 中添加新增加的分区与新增 加的分区所在的物理节点的映射关系。
其中， 分布式存储系统中可以使用 DHT 决定数据存放位置。 即 DHT可以存储数据标识到分区的映射关系， 以及分区到物理节点 的映射关系， 因此， 分区扩展装置对各个物理节点中的分区数量进 行倍增后， 还需要在预存的 DHT中添加新增加的分区与新增加的分 区所在的物理节点的映射关系。
本发明实施例提供的分区扩展方法， 可以获取分布式存储系统 中所有物理节点中分区数量的平均值， 若分区数量的平均值小于预 设阔值， 则对各个物理节点中的分区数量进行倍增， 并在预存的分 布式哈希表 DHT中添加新增加的分区与新增加的分区所在的物理节 点的映射关系。 与现有技术中， 由于物理节点中分区数量较少导致 分布式存储系统的扩展性较差相比， 可以在分布式存储系统扩容 时， 若分区数量小于预设值， 则执行分区数量的倍增， 从而可以保 证分布式存储系统的扩展性。
实施例 2
本发明实施例提供一种分区扩展方法， 如图 2所示， 包括： 201、 分区扩展装置获取分布式存储系统中所有物理节点中分 区数量的平均值。
示例性的， 分区扩展装置获取分布式存储系统中所有物理节点 中分区数量的平均值的方法具体可以是： 分区扩展装置在预存的
DHT中查询分布式存储系统中的物理节点的数量和所有的物理节点 中的分区的总数； 分区扩展装置根据物理节点的数量和所有的物理 节点中的分区的总数， 计算物理节点中的分区数量的平均值。
其中， 物理节点的数量即分布式存储系统中的物理节点的总 数。 分区扩展装置根据物理节点的数量和所有的物理节点的分区的 总数， 计算物理节点的分区的数量的平均值的方法具体可以是： 分 区扩展装置釆用所有的物理节点的分区的总数除以物理节点的数量 所得的商值作为物理节点中的分区数量的平均值。 例如， 若物理节 点的数量为 A, 所有的物理节点的分区的总数为 B , 物理节点的分 区的数量的平均值为 C , 则物理节点的数量、 所有的物理节点的分 区的总数以及物理节点的分区的数量的平均值应该满足公式： C = A/B。
进一步的， 在本实施例的一种应用场景中， 由于分布式存储系 统在使用 DHT进行数据存储时， 物理节点上的分区数量大致相同， 因此， 分区扩展装置也可以在预存的 DHT中查询分布式存储系统中 任意一个物理节点中的分区数量， 将该物理节点中分区的数量作为 分布式存储系统中所有物理节点中分区数量的平均值。
202、 分区扩展装置判断分区数量的平均值是否低于预设阔 值， 若分区数量的平均值低于预设阔值， 则执行步骤 203 ; 若分区 数量的平均值不低于预设阔值， 则执行步骤 21 1。
203、 分区扩展装置对各个物理节点中的分区数量进行倍增。 其中， 分区扩展装置对各个物理节点中的分区数量进行倍增苦 于包括： 分区扩展装置将各个物理节点中的分区数量至少倍增至分 区数量的 2倍。
具体的，分区扩展装置可以将预存的 DHT中的各个物理节点中 的分区数量修改为各个物理节点中的分区数量的至少 2倍。
需要说明的是， 一般情况下， 分区扩展装置对各个物理节点中 的分区数量进行倍增时， 分区数量的倍数都为 2。 当然， 分区扩展 装置也可以对各个物理节点中的分区数量 3 倍， 甚至更多倍数的扩 展。 本发明实施例中以分区扩展装置对各个物理节点中的分区数量 进行 2 倍扩展为例， 但并不限制分区扩展装置对各个物理节点中的 分区数量进行倍增的分区数量倍增倍数。
204、分区扩展装置获取各个物理节点中的各个分区中的数据的 哈希值。
具体的， 分区扩展装置可以根据各个分区中的数据的标识在预 存的 DHT中查询各个物理节点中的各个分区中的数据的哈希值。 一 个分区中不同的数据的哈希值不同。 例如， 分区 A 中包含数据 1、 数据 2和数据 3。 数据 1 的数据标识为 a , 哈希值为 Hashl ; 数据 2 的数据标识为 b , 哈希值为 Hash2 ; 数据 3的数据标识为 c , 哈希值 为 Hash3。
205、分区扩展装置获取数据的哈希值与数据所在的物理节点中 扩展后得到的分区数量取模所得的模值。
其中， 数据所在的物理节点中扩展后得到的分区数量为该数据 所在物理节点中扩展前的分区数量与分区扩展装置对各个物理节点 中的分区数量进行倍增的倍数的乘积。
示例性的， 若数据 K的哈希值为 Has ,数据 K所在的物理节点 中的分区数量为 N , 分区扩展装置对各个物理节点中的分区数量进 行 n倍倍增， 则数据 K所在的物理节点中扩展后得到的分区数量为 n x N , 则数据 K的哈希值与数据 K所在的物理节点中扩展后得到的 分区数量取模所得的模值 xk可以根据公式： xk = Hashk %(" x 计算得到。
206、分区扩展装置根据数据的模值确定数据迁移的目的分区， 若目 的分区和数据当前所在分区不同， 则将数据迁移到目 的分区。
其中， 分布式存储系统存储数据时， 可以根据一个哈希函数计 算待存储数据的哈希值 Hash , 然后根据各个待存储数据的哈希值和 分布式存储系统中的分区总数将待存储数据分配至各个分区中进行 存储， 然后将分布式存储系统中的分区相对均勾的分配到各个物理 节点中。 示例性的， 若一些数据的哈希值 Hash 分别为 45、 46、 47、 47......75, 分区数量为 N, 则将各个数据的哈希值与分区数量取余 所得结果相同的数据分配到一个分区中， 如公 ^ Hash%N。 当 N=3 时， 这些数据的哈希值与分区数量取余所得余数分别为 0、 1、 2、
0、 1、 2、 0、 1、 2、 0、 1、 2 0、 1、 2、 0。 根据其取余所得余 数可以将这些数据分配至三个分区中。
分区 1 (余数为 0 )： 45、 48、 51、 54、 57、 60、 63、 66、 69、 72、 75。
分区 2 (余数为 1 ) :46、 49、 52、 55、 58、 61、 64、 67、 70、
73。
分区 3 (余数为 2 ) : 47、 50、 53、 56、 59、 62、 65、 68、 71、
74。
示例性的， 以上述分区 1 为例， 进行分区扩展。 此时， 分区数 量 N为 3, 当分区数量倍增的倍数" =2时， 分区 1所在的物理节点中 扩展后得到的分区数量为 2x3, 分区 1 中的各个数据的模值分别为： x45 = 45%(2x3) = 3 x48 = 48%(2x3) = 0 x51 =51%(2x3) = 3 x54 = 54%(2x3) = 0 x57 = 57%(2 x3) = 3 x72 = 72%(2 x3) = 0 x75 = 75%(2 x3) = 3 具体的， 若分区数量倍增的倍数《 = 2, 则分区扩展装置可以将 模值为 3 的数据迁移至该数据所在物理节点中新增加的分区中， 将 模值为 0 的数据保留在原分区中； 例如， 分区扩展装置可以将 x45 = 45%(2x3) = 3 x51 = 51%(2x3) = 3 x57 = 57%(2x3) = 3 x75 = 75%(2 x 3) = 3对 应的数据迁移至该数据所在物理节点 中新增加的分区 中 ， 将 x48 = 48%(2x3) = 0、 x54 = 54%(2x3) = 0 =？2^2 ) = 0对应的数据保留在 原分区中。 或者， 分区扩展装置可以将模值为 0 的数据迁移至该数 据所在物理节点中新增加的分区中， 将模值为 3 的数据保留在原分 区中； 例如， 分区扩展装置可以将 =48%(2X3) = 0、 ¾=54%(2x3) = 0… … x72 = 72%(2x3) = G对应的数据迁移至该数据所在物理节点中新增加的分 区 中 ， 将 45 = 45%(2x3) = 3 、 x51 =51%(2x3) = 3 、 x57 = 57%(2x3) = 3 x"=75°/( 2x3) = 3对应的数据保留在原分区中。 需要说明的是， 以上述分区 1 为例， 当分区数量倍增的倍数" = 3 时 ， 分 区 1 中 的各个数据的模值分别 为 ： ¾ = 45%(3 <3) = 0 、 48 = 48%(3x3) = 3 x51 = 51%(3x3) = 6 x54 = 54%(3 x3) = 0 x57 = 57%(3 x3) = 3 x72 = 72%(3x3) = 0、 x75 = 75%(3x3) = 3。 分区扩展装置可 以根据数据的模值 0、 3、 6 , 迁移模值对应的数据。 其中， 分布式 扩展装置迁移数据到目 的分区的方法与分区数量 2 倍倍增的方法类 似， 本实施例不再赘述。
207、 分区扩展装置在预存的 DHT 中添加新增加的分区与新增 加的分区所在的物理节点的映射关系。
208、分区扩展装置获取分布式存储系统中所有物理节点中扩展 后的分区数量的平均值。
其中， 分区扩展装置在对分布式存储系统中所有物理节点上分 区数量进行倍增， 并完成将分区中对应数据的迁移后， 可以获取分 布式存储系统中所有物理节点中扩展后的分区数量的平均值， 并根 据判断分布式存储系统中的分区数量是否满足分布式存储系统进行 至少一次扩容所需要的分区数量。
需要说明的是， 分区扩展装置获取分布式存储系统中所有物理 节点中扩展后的分区数量的平均值的方法与本实施例中分区扩展装 置获取分布式存储系统中所有物理节点中分区数量的平均值的方法 类似， 本实施例这里不再赘述。
209、分区扩展装置判断扩展后的分区数量的平均值是否小于预 设阔值； 若扩展后的分区数量的平均值小于预设阔值， 则执行步骤 210 ; 若扩展后的分区数量的平均值不小于预设阔值， 则执行步骤 21 1。
210、 分区扩展装置对各个物理节点中的分区数量进行再次倍 增； 其中， 每次倍增的倍数相同。
其中， 当扩展后的分区数量的平均值小于预设阔值时， 分区扩 展装置则可以对各个物理节点中的分区数量进行再次倍增。 分区扩 展装置对各个物理节点中的分区数量进行再次倍增时的倍增倍数与 分区扩展装置对分区数量进行第一次倍增时的倍增倍数相同。
在分区扩展装置对各个物理节点中的分区数量进行再次倍增 后， 本实施的方法还可以包括： 分区扩展装置在预存的 DHT中添加 新增加的分区与新增加的分区所在的物理节点的映射关系。
需要说明的是， 分区扩展装置可以对物理节点中的分区数量进 行至少一次倍增， 每次倍增的倍数相同， 且倍增的倍数大于等于 2。
21 1、 结束分区扩展流程。
需要说明的是， 分区扩展装置可以根据分布式存储系统中的物 理节点的分区的数量的平均值对分布式存储系统中的物理节点的分 区进行至少一次扩展。 本发明实施例对分区扩展的次数不做限制， 分区扩展装置对分布式存储系统中的物理节点的分区进行二次扩展 或者更多次数的扩展的方法与本实施例中的分区扩展方法类似， 本 实施例这里不再赘述。
进一步， 需要说明的是， 本实施例提供的倍增方法， 不仅可以 应用于分布式存储系统的分区扩展过程中， 也可以应用于其他存储 系统中存储节点的倍增过程中， 对于本发明的方法的应用范围， 本 实施例这里不作限制。
本发明实施例提供的分区扩展方法， 可以获取分布式存储系统 中所有物理节点中分区数量的平均值， 若分区数量的平均值小于预 设阔值， 则对各个物理节点中的分区数量进行倍增， 并在预存的分 布式哈希表 DHT中添加新增加的分区与新增加的分区所在的物理节 点的映射关系。 与现有技术中， 由于物理节点中分区数量较少导致 分布式存储系统的扩展性较差相比， 可以在分布式存储系统扩容 时， 若分区数量小于预设值， 则执行分区数量的倍增， 从而可以保 证分布式存储系统的扩展性。
实施例 3
本发明实施例提供一种分区扩展装置， 如图 3 所示， 包括： 第 一获取单元 3 1、 第一倍增单元 32、 映射单元 33。
第一获取单元 3 1 , 用于获取分布式存储系统中所有物理节点中 分区数量的平均值。
第一倍增单元 32 , 用于若所述分区数量的平均值小于预设阔 值， 则对各个物理节点中的分区数量进行倍增。
映射单元 33 , 用于在预存的分布式哈希表 DHT 中添加新增加 的分区与所述新增加的分区所在的物理节点的映射关系。
进一步的， 如图 4所示， 所述分区扩展装置， 还可以包括： 第 二获取单元 34、 第三获取单元 35、 迁移单元 36。
第二获取单元 34 , 用于在所述第一倍增单元 32 对所述各个物 理节点中的分区数量进行倍增后， 获取所述各个物理节点中的各个 分区中的数据的哈希值。
第三获取单元 35 , 用于获取所述数据的哈希值与所述数据所在 的物理节点中扩展后得到的分区数量取模所得的模值。
迁移单元 36 , 用于根据所述数据的所述模值确定所述数据迁移 的目 的分区， 若所述目 的分区和所述数据当前所在分区不同， 则将 所述数据迁移到所述目 的分区。
进一步的， 所述第一倍增单元 32 , 还用于将所述各个物理节点 中的分区数量至少倍增至所述分区数量的 2倍。
进一步的， 所述分区扩展装置， 还可以包括： 第四获取单元 37、 第二倍增单元 38。
第四获取单元 37 , 用于在所述映射单元 33 在预存的分布式哈 希表 DHT中添加新增加的分区与所述新增加的分区所在的物理节点 的映射关系后， 获取所述分布式存储系统中所有物理节点中扩展后 的分区数量的平均值。
第二倍增单元 38 , 用于若所述扩展后的分区数量的平均值小于 所述预设阔值， 则对所述各个物理节点中的分区数量进行再次倍 增； 其中， 每次倍增的倍数相同。
进一步的， 所述第一获取单元 3 1 , 还用于周期性获取所述分布 式存储系统中所有物理节点中分区数量的平均值； 或者， 响应于用 户的触发指令， 获取所述分布式存储系统中所有物理节点中分区数 量的平均值。
需要说明的是， 本发明实施例提供的分区扩展装置中部分功能 模块的具体描述可以参考方法实施例中的对应内容， 本实施例这里 不再详细赘述。
本发明实施例提供的分区扩展装置， 可以获取分布式存储系统 中所有物理节点中分区数量的平均值， 若分区数量的平均值小于预 设阔值， 则对各个物理节点中的分区数量进行倍增， 并在预存的分 布式哈希表 DHT中添加新增加的分区与新增加的分区所在的物理节 点的映射关系。 与现有技术中， 由于物理节点中分区数量较少导致 分布式存储系统的扩展性较差相比， 可以在分布式存储系统扩容 时， 若分区数量小于预设值， 则执行分区数量的倍增， 从而可以保 证分布式存储系统的扩展性。
实施例 4
本发明实施例提供一种分区扩展装置， 如图 5 所示， 可以包 括： 处理器 41、 存储器 42。
处理器 41 , 用于获取分布式存储系统中所有物理节点中分区数 量的平均值； 若所述分区数量的平均值小于预设阔值， 则对各个物 理节点中的分区数量进行倍增； 在预存的分布式哈希表 DHT中添加 新增加的分区与所述新增加的分区所在的物理节点的映射关系； 存储器 42 , 用于存储所述处理器 41 添加的新增加的分区与所 述新增加的分区所在的物理节点的映射关系。
进一步的， 所述处理器 41 , 还用于获取所述各个物理节点中 的各个分区中的数据的哈希值； 获取所述数据的哈希值与所述数据 所在的物理节点中扩展后得到的分区数量取模所得的模值； 根据所 述数据的所述模值确定所述数据迁移的目 的分区， 若所述目 的分区 和所述数据当前所在分区不同， 则将所述数据迁移到所述目 的分 区。
进一步的， 所述处理器 41 , 还用于将所述各个物理节点中的 分区数量至少倍增至所述分区数量的 2倍。 进一步的， 所述处理器 41 , 还用于在所述 DHT 中增设所述分 区对应的新分区与所述分区所在的物理节点的映射关系后， 获取所 述分布式存储系统中所有物理节点中扩展后的分区数量的平均值； 若所述扩展后的分区数量的平均值小于所述预设阔值， 则对所述各 个物理节点中的分区数量进行再次倍增； 其中， 每次倍增的倍数相 同。
进一步的， 所述处理器 41 , 还用于周期性获取所述分布式存 储系统中所有物理节点中分区数量的平均值； 或者， 响应于用户的 触发指令， 获取所述分布式存储系统中所有物理节点中分区数量的 平均值。
需要说明的是， 本发明实施例提供的分区扩展装置中部分功能 模块的具体描述可以参考方法实施例中的对应内容， 本实施例这里 不再详细赘述。
本发明实施例提供的分区扩展装置， 可以获取分布式存储系统 中所有物理节点中分区数量的平均值， 若分区数量的平均值小于预 设阔值， 则对各个物理节点中的分区数量进行倍增， 并在预存的分 布式哈希表 DHT中添加新增加的分区与新增加的分区所在的物理节 点的映射关系。 与现有技术中， 由于物理节点中分区数量较少导致 分布式存储系统的扩展性较差相比， 可以在分布式存储系统扩容 时， 若分区数量小于预设值， 则执行分区数量的倍增， 从而可以保 证分布式存储系统的扩展性。
通过以上的实施方式的描述， 所属领域的技术人员可以清楚地 了解到本发明可借助软件加必需的通用硬件的方式来实现， 当然也 可以通过硬件， 但很多情况下前者是更佳的实施方式。 基于这样的 理解， 本发明的技术方案本质上或者说对现有技术做出贡献的部分 可以以软件产品的形式体现出来， 该计算机软件产品存储在可读取 的存储介质中， 如计算机的软盘， 硬盘或光盘等， 包括若干指令用 以使得一台计算机设备 （可以是个人计算机， 服务器， 或者网络设 备等） 执行本发明各个实施例所述的方法。 以上所述， 仅为本发明的具体实施方式， 但本发明的保护范围 并不局限于此， 任何熟悉本技术领域的技术人员在本发明揭露的技 术范围内， 可轻易想到的变化或替换， 都应涵盖在本发明的保护范 围之内。 因此， 本发明的保护范围应以所述权利要求的保护范围为

Claims

权 利 要 求 书
1、 一种分区扩展方法， 其特征在于， 包括：
获取分布式存储系统中所有物理节点中分区数量的平均值； 若所述分区数量的平均值小于预设阔值， 则对各个物理节点中 的分区数量进行倍增；
在预存的分布式哈希表 DHT 中添加新增加的分区与所述新增加 的分区所在的物理节点的映射关系。
2、 根据权利要求 1 所述的分区扩展方法， 其特征在于， 在所述 对各个物理节点中的分区数量进行倍增后， 所述方法还包括：
获取所述各个物理节点中的各个分区中的数据的哈希值； 获取所述数据的哈希值与所述数据所在的物理节点中扩展后得 到的分区数量取模所得的模值；
根据所述数据的所述模值确定所述数据迁移的目 的分区， 若所 述目的分区和所述数据当前所在分区不同， 则将所述数据迁移到所述 目的分区。
3、 根据权利要求 1或 2所述的分区扩展方法， 其特征在于， 所 述对各个物理节点中的分区数量进行倍增， 包括：
将所述各个物理节点中的分区数量至少倍增至所述分区数量的
2倍。
4、 根据权利要求 1 所述的分区扩展方法， 其特征在于， 在所述 在预存的分布式哈希表 DHT 中增设所述分区对应的新分区与所述分 区所在的物理节点的映射关系后， 所述方法还包括：
获取所述分布式存储系统中所有物理节点中扩展后的分区数量 的平均值；
若所述扩展后的分区数量的平均值小于所述预设阔值， 则对所 述各个物理节点中的分区数量进行再次倍增； 其中， 每次倍增的倍 数相同。
5、 根据权利要求 1 所述的分区扩展方法， 其特征在于， 所述获 取分布式存储系统中所有物理节点中分区数量的平均值， 包括： 周期性获取所述分布式存储系统中所有物理节点中分区数量的 平均值； 或者，
响应于用户的触发指令， 获取所述分布式存储系统中所有物理 节点中分区数量的平均值。
6、 一种分区扩展装置， 其特征在于， 包括：
第一获取单元，用于获取分布式存储系统中所有物理节点中分区 数量的平均值；
第一倍增单元，用于若所述分区数量的平均值小于预设阔值， 则 对各个物理节点中的分区数量进行倍增；
映射单元， 用于在预存的分布式哈希表 DHT 中添加新增加的分 区与所述新增加的分区所在的物理节点的映射关系。
7、 根据权利要求 6所述的分区扩展装置， 其特征在于， 还包括： 第二获取单元，用于在所述第一倍增单元对所述各个物理节点中 的分区数量进行倍增后， 获取所述各个物理节点中的各个分区中的数 据的哈希值；
第三获取单元，用于获取所述数据的哈希值与所述数据所在的物 理节点中扩展后得到的分区数量取模所得的模值；
迁移单元，用于根据所述数据的所述模值确定所述数据迁移的目 的分区， 若所述目的分区和所述数据当前所在分区不同， 则将所述数 据迁移到所述目的分区。
8、 根据权利要求 6或 7所述的分区扩展装置， 其特征在于， 所 述第一倍增单元， 还用于将所述各个物理节点中的分区数量至少倍增 至所述分区数量的 2倍。
9、 根据权利要求 1所述的分区扩展装置， 其特征在于， 还包括： 第四获取单元， 用于在所述映射单元在预存的分布式哈希表
DHT 中添加新增加的分区与所述新增加的分区所在的物理节点的映 射关系后， 获取所述分布式存储系统中所有物理节点中扩展后的分区 数量的平均值；
第二倍增单元，用于若所述扩展后的分区数量的平均值小于所述 预设阔值， 则对所述各个物理节点中的分区数量进行再次倍增； 其 中， 每次倍增的倍数相同。
10、 根据权力要求 6所述的分区扩展装置， 其特征在于， 所述第 一获取单元， 还用于周期性获取所述分布式存储系统中所有物理节点 中分区数量的平均值； 或者，
响应于用户的触发指令， 获取所述分布式存储系统中所有物理 节点中分区数量的平均值。
11、 一种分区扩展装置， 其特征在于， 包括：
处理器，用于获取分布式存储系统中所有物理节点中分区数量的 平均值； 若所述分区数量的平均值小于预设阔值， 则对各个物理节 点中的分区数量进行倍增； 在预存的分布式哈希表 DHT 中添加新增 加的分区与所述新增加的分区所在的物理节点的映射关系；
存储器，用于存储所述处理器添加的新增加的分区与所述新增加 的分区所在的物理节点的映射关系。
12、 根据权利要求 11 所述的分区扩展装置， 其特征在于， 所述 处理器， 还用于获取所述各个物理节点中的各个分区中的数据的哈希 值； 获取所述数据的哈希值与所述数据所在的物理节点中扩展后得 到的分区数量取模所得的模值； 根据所述数据的所述模值确定所述 数据迁移的目 的分区， 若所述目 的分区和所述数据当前所在分区不 同， 则将所述数据迁移到所述目的分区。
13、 根据权利要求 11或 12所述的分区扩展装置， 其特征在于， 所述处理器， 还用于将所述各个物理节点中的分区数量至少倍增至所 述分区数量的 2倍。
14、 根据权利要求 11 所述的分区扩展装置， 其特征在于， 所述 处理器， 还用于在所述 DHT 中增设所述分区对应的新分区与所述分 区所在的物理节点的映射关系后， 获取所述分布式存储系统中所有物 理节点中扩展后的分区数量的平均值； 若所述扩展后的分区数量的 平均值小于所述预设阔值， 则对所述各个物理节点中的分区数量进 行再次倍增； 其中， 每次倍增的倍数相同。
15、 根据权利要求 11 所述的分区扩展装置， 其特征在于， 所述 处理器， 还用于周期性获取所述分布式存储系统中所有物理节点中分 区数量的平均值； 或者，
响应于用户的触发指令， 获取所述分布式存储系统中所有物理 节点中分区数量的平均值。
PCT/CN2012/087743 2012-12-27 2012-12-27 一种分区扩展方法及装置 WO2014101070A1 (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CA2894623A CA2894623C (en) 2012-12-27 2012-12-27 Partition extension method and apparatus
CN201280002874.XA CN103229151B (zh) 2012-12-27 2012-12-27 一种分区扩展方法及装置
AU2012398262A AU2012398262C1 (en) 2012-12-27 2012-12-27 Partition extension method and apparatus
PCT/CN2012/087743 WO2014101070A1 (zh) 2012-12-27 2012-12-27 一种分区扩展方法及装置
KR1020157017725A KR101677946B1 (ko) 2012-12-27 2012-12-27 파티션 확장 방법 및 장치
EP12890935.5A EP2921964B8 (en) 2012-12-27 2012-12-27 Partition expansion method and device
JP2015549922A JP6020867B2 (ja) 2012-12-27 2012-12-27 パーティション拡張方法および装置
EP17195364.9A EP3376395A1 (en) 2012-12-27 2012-12-27 Partition extension method and apparatus
ES12890935.5T ES2658188T3 (es) 2012-12-27 2012-12-27 Método y aparato de extensión de particiones
US14/752,068 US9665284B2 (en) 2012-12-27 2015-06-26 Partition extension method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2012/087743 WO2014101070A1 (zh) 2012-12-27 2012-12-27 一种分区扩展方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/752,068 Continuation US9665284B2 (en) 2012-12-27 2015-06-26 Partition extension method and apparatus

Publications (1)

Publication Number Publication Date
WO2014101070A1 true WO2014101070A1 (zh) 2014-07-03

Family

ID=48838330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/087743 WO2014101070A1 (zh) 2012-12-27 2012-12-27 一种分区扩展方法及装置

Country Status (9)

Country Link
US (1) US9665284B2 (zh)
EP (2) EP3376395A1 (zh)
JP (1) JP6020867B2 (zh)
KR (1) KR101677946B1 (zh)
CN (1) CN103229151B (zh)
AU (1) AU2012398262C1 (zh)
CA (1) CA2894623C (zh)
ES (1) ES2658188T3 (zh)
WO (1) WO2014101070A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104462124B (zh) * 2013-09-22 2018-04-06 中国电信股份有限公司 基于线性哈希表的数据存储平台组织方法和数据存储平台
CN103634401B (zh) * 2013-12-03 2015-11-25 北京京东尚科信息技术有限公司 一种存储数据副本的方法和终端装置以及服务器装置
CN103810244B (zh) * 2013-12-09 2017-10-27 北京理工大学 一种基于数据分布的分布式数据存储系统的扩容方法
CN103929500A (zh) * 2014-05-06 2014-07-16 刘跃 一种分布式存储系统的数据分片方法
EP3128716B1 (en) * 2014-11-05 2019-09-04 Huawei Technologies Co., Ltd. Data processing method and apparatus
CN106843745A (zh) * 2015-12-03 2017-06-13 南京中兴新软件有限责任公司 容量扩展方法及装置
CN105630419B (zh) * 2015-12-25 2018-09-21 华为技术有限公司 一种资源池的分区视图发送方法及管理节点
US10157193B2 (en) 2016-03-03 2018-12-18 International Business Machines Corporation Switching between a non-partitioned hash join and a partitioned hash join based on an amount of available memory
CN107943412B (zh) * 2016-10-12 2021-10-22 阿里巴巴集团控股有限公司 一种分区分裂、删除分区中数据文件的方法、装置及系统
US10430706B2 (en) * 2016-12-01 2019-10-01 Via Alliance Semiconductor Co., Ltd. Processor with memory array operable as either last level cache slice or neural network unit memory
CN108804018A (zh) * 2017-04-26 2018-11-13 华为技术有限公司 一种数据分区的方法及装置
CN108932256A (zh) * 2017-05-25 2018-12-04 中兴通讯股份有限公司 分布式数据重分布控制方法、装置及数据管理服务器
CN107329692B (zh) * 2017-06-07 2020-02-28 杭州宏杉科技股份有限公司 一种数据重删的方法及存储设备
CN109995813B (zh) * 2017-12-29 2021-02-26 华为技术有限公司 一种分区扩展方法、数据存储方法及装置
KR102093145B1 (ko) * 2018-06-07 2020-03-25 한밭대학교 산학협력단 생체정보 인식 기반의 데이터 최적화를 위한 오브젝트 스토리지 클라우드 시스템
WO2020010502A1 (zh) * 2018-07-10 2020-01-16 深圳花儿数据技术有限公司 一种基于一致性哈希算法的分布式数据冗余存储方法
CN111694693A (zh) * 2019-03-12 2020-09-22 上海晶赞融宣科技有限公司 数据流存储方法、装置以及计算机存储介质
CN110083312B (zh) * 2019-04-28 2021-01-15 联想(北京)有限公司 磁盘扩容方法、装置及计算机设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374087A (zh) * 2007-08-20 2009-02-25 华为技术有限公司 一种移动自组网络、节点及其区域划分方法
CN102043726A (zh) * 2010-12-29 2011-05-04 北京播思软件技术有限公司 一种大规模时序数据的存储管理方法
CN102591970A (zh) * 2011-12-31 2012-07-18 北京奇虎科技有限公司 一种分布式键-值查询方法和查询引擎系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2167790A1 (en) * 1995-01-23 1996-07-24 Donald S. Maier Relational database system and method with high data availability during table data restructuring
US7469253B2 (en) * 2003-04-01 2008-12-23 Microsoft Corporation Associative hash partitioning using pseudo-random number generator
JP2009295127A (ja) * 2008-06-09 2009-12-17 Nippon Telegr & Teleph Corp <Ntt> アクセス方法、アクセス装置及び分散データ管理システム
US8074049B2 (en) * 2008-08-26 2011-12-06 Nine Technology, Llc Online backup system with global two staged deduplication without using an indexing database
US9996572B2 (en) * 2008-10-24 2018-06-12 Microsoft Technology Licensing, Llc Partition management in a partitioned, scalable, and available structured storage
US8078825B2 (en) * 2009-03-11 2011-12-13 Oracle America, Inc. Composite hash and list partitioning of database tables
EP2485150A1 (en) 2009-05-18 2012-08-08 Shuhei Nishiyama Meta-information sharing distributed database system in virtual single memory storage
JP4362839B1 (ja) * 2009-05-18 2009-11-11 修平 西山 仮想単一メモリストレージ上におけるメタ情報共有型分散データベース・システム
US20100312749A1 (en) * 2009-06-04 2010-12-09 Microsoft Corporation Scalable lookup service for distributed database
US8996803B2 (en) * 2010-07-02 2015-03-31 Futurewei Technologies, Inc. Method and apparatus for providing highly-scalable network storage for well-gridded objects
US9684702B2 (en) * 2010-12-07 2017-06-20 International Business Machines Corporation Database redistribution utilizing virtual partitions
WO2012164735A1 (ja) * 2011-06-03 2012-12-06 富士通株式会社 情報処理装置、データ管理方法およびデータ管理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101374087A (zh) * 2007-08-20 2009-02-25 华为技术有限公司 一种移动自组网络、节点及其区域划分方法
CN102043726A (zh) * 2010-12-29 2011-05-04 北京播思软件技术有限公司 一种大规模时序数据的存储管理方法
CN102591970A (zh) * 2011-12-31 2012-07-18 北京奇虎科技有限公司 一种分布式键-值查询方法和查询引擎系统

Also Published As

Publication number Publication date
US20150293707A1 (en) 2015-10-15
AU2012398262A1 (en) 2015-07-02
JP6020867B2 (ja) 2016-11-02
CN103229151B (zh) 2016-08-10
CN103229151A (zh) 2013-07-31
EP2921964A1 (en) 2015-09-23
US9665284B2 (en) 2017-05-30
JP2016507813A (ja) 2016-03-10
AU2012398262C1 (en) 2016-10-13
EP2921964B8 (en) 2018-02-07
CA2894623A1 (en) 2014-07-03
ES2658188T3 (es) 2018-03-08
CA2894623C (en) 2019-09-10
EP2921964B1 (en) 2017-12-20
EP3376395A1 (en) 2018-09-19
AU2012398262B2 (en) 2016-04-14
KR20150091161A (ko) 2015-08-07
EP2921964A4 (en) 2015-12-09
KR101677946B1 (ko) 2016-11-21

Similar Documents

Publication Publication Date Title
WO2014101070A1 (zh) 一种分区扩展方法及装置
JP6302951B2 (ja) コンシステントハッシュ法を用いたグローバルネームスペースのための方法およびシステム
EP4220395B1 (en) Method and apparatus for determining virtual machine migration
US10218618B2 (en) Method and apparatus for processing operation request in storage system
JP4068473B2 (ja) ストレージ装置、分担範囲決定方法及びプログラム
US9633040B2 (en) Distributed processing system including a name node and a plurality of data nodes, and method of operating the same
US8762534B1 (en) Server load balancing using a fair weighted hashing technique
WO2017124933A1 (zh) 一种信息处理方法、装置和系统
WO2015142969A1 (en) Switch-based load balancer
WO2014101044A1 (zh) 分布式存储系统中的分区平衡方法、装置及服务器
US8924513B2 (en) Storage system
CA2941163C (en) Data processing method and apparatus
CN106164898A (zh) 数据处理方法和装置
JP2019016042A (ja) データ取得プログラム、装置、及び方法
US20150095494A1 (en) Server Selection
CN106412075A (zh) 一种基于云计算的资源配置方法及装置
JPWO2014132966A1 (ja) ストレージシステム、ストレージ装置、ストレージ装置の制御方法及び制御プログラム、管理装置、管理装置の制御方法及び制御プログラム
US20130226867A1 (en) Apparatus and method for converting replication-based file into parity-based file in asymmetric clustering file system
WO2013106993A1 (zh) 扩容的方法和设备、以及访问数据的方法和设备
US20230015979A1 (en) Storage System, Data Processing Method, Apparatus, Node, and Storage Medium
WO2021098268A1 (zh) 一种mon服务迁移方法、装置、设备及可读存储介质
WO2016065613A1 (zh) 访问文件的方法、分布式存储系统和网络设备
CN111404820A (zh) 一种路由查询方法、装置、设备及可读存储介质
WO2016065612A1 (zh) 访问文件的方法、系统和主机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12890935

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2894623

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2012890935

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015549922

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2012398262

Country of ref document: AU

Date of ref document: 20121227

Kind code of ref document: A

Ref document number: 20157017725

Country of ref document: KR

Kind code of ref document: A