WO2012106923A1 - 对象调整方法、迁移控制设备、节点设备及存储系统 - Google Patents
对象调整方法、迁移控制设备、节点设备及存储系统 Download PDFInfo
- Publication number
- WO2012106923A1 WO2012106923A1 PCT/CN2011/077564 CN2011077564W WO2012106923A1 WO 2012106923 A1 WO2012106923 A1 WO 2012106923A1 CN 2011077564 W CN2011077564 W CN 2011077564W WO 2012106923 A1 WO2012106923 A1 WO 2012106923A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- node
- location
- storage medium
- information
- storage
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Definitions
- the embodiments of the present invention relate to the field of data storage technologies, and in particular, to an object adjustment method, a migration control device, a node device, and a storage system. Background technique
- the object may be a data unit stored in the storage system, for example, may be a data block.
- Embodiments of the present invention provide an object adjustment method, a migration control device, a node device, and a storage system to maximize storage system performance.
- An embodiment of the present invention provides an object adjustment method, including: Receiving at least one object information of the at least one object sent by the at least one node, and receiving at least one object information; the object information includes an object identifier, an object size, a first location of the object, and an access heat of the object; Refers to the number of times the object was visited during the previous week;
- the adjustment information includes: the object identifier and the second location after the object corresponding to the object identifier is adjusted, and the second location of the at least one object can ensure the at least one
- the sum of the read/write rate of the object at the corresponding second position and the product of the access heat is the largest;
- the ratio of the storage medium refers to the objects stored on the storage medium during the previous week.
- An embodiment of the present invention further provides an object adjustment method, including:
- first object information of the first object Transmitting first object information of the first object to the migration control device, so that the migration control device processes the read/write rate and the storage of the objects of each level according to each storage medium in each of the at least one node stored in advance
- the first object information, the first object identifier, the first object identifier, the first object identifier, the first object identifier, the first object identifier, and the second object information sent by the other node The first location and the access popularity of the first object; the access heat of the object refers to the number of times the object is accessed during the previous week;
- the adjustment information includes the first object identifier and the first a second position after the object is adjusted, wherein the second position of the first object and the object corresponding to the second object information are adjusted by the migration control device to ensure that the first object is in the Second position And the sum of the read/write rate and the access heat product of the object corresponding to the second object information at the adjusted position is the largest;
- the other node includes a node
- An embodiment of the present invention provides a migration control device, including:
- a receiving module configured to receive object information of at least one object sent by at least one node, and receive at least one object information;
- the object information includes an object identifier, an object size, a first location of the object, and an access heat of the object;
- the access heat of the object refers to the number of times the object was accessed during the previous week;
- an obtaining module configured to process, according to each storage medium in each of the nodes, the read/write rate and the storage capacity of the objects of each level and the at least one object information, where the proportion of each of the storage media is less than 1 Obtaining the adjustment information of the at least one object; the adjustment information includes the object identifier and the second position after the object corresponding to the object identifier is adjusted, and the second location of the at least one object can Assuring that the sum of the read/write rate of the at least one object at the corresponding second location and the product of the access heat is the largest; the proportion of the storage medium refers to the storage medium on the previous week Accumulating the product of the stored heat of the stored object on the storage medium and the size of the object divided by the maximum throughput of the storage medium;
- a sending module configured to send, to the at least one node, adjustment information of the at least one object, where the at least one node migrates the at least one object according to the adjustment information of the at least one object.
- the embodiment of the invention provides a node device, including:
- a sending module configured to send first object information of the first object to the migration control device, where the migration control device processes the objects of each level according to each storage medium in each of the at least one node stored in advance Read and write rate and storage capacity, the first object information And the second object information sent by the other node, acquiring the adjustment information of the first object;
- the first object information includes the first object identifier, the first object size, the first location of the first object, and the first object Access heat;
- the access heat of the object refers to the number of times the object is accessed in the previous week;
- the adjustment information includes the first object identifier and the second position after the first object is adjusted
- the position of the second location of the first object and the object corresponding to the second object information adjusted by the migration control device can ensure that the first object is in the second location and the first
- the sum of the read/write rate and the access heat product of the object corresponding to the two object information at the adjusted position is the largest;
- the other node includes a node other than the current no
- An embodiment of the present invention further provides a storage system, including a migration control device and at least one node device;
- the at least one node device is configured to separately send the object information to the migration control device, where the migration control device is configured to separately receive the object information sent by the at least one node device, and receive at least one object information in total;
- the object information includes an object identifier, an object size, a first location of the object, and an access heat of the object; the access heat of the object refers to the number of times the object is accessed in the previous week; according to the at least pre-stored
- Each storage medium of each node device of a node device processes a read/write rate and a storage capacity of the objects of each level and the at least one object information, and under the condition that the proportion of each of the storage media is less than one, Acquiring the adjustment information of the at least one object;
- the adjustment information includes a second location of the object identifier and the object corresponding to the object identifier being adjusted, and the second location of the at least one object can ensure the at least The read/write rate of an object at the corresponding second position is multiplied
- the object adjustment method, the migration control device, the node device, and the storage system of the embodiment of the present invention can achieve the object corresponding to each object identifier in the adjusted second position by using the above technical solution of the embodiment of the present invention.
- the sum of the read/write rate and the access heat product is the largest, thereby effectively ensuring that the storage performance of the storage system including each node is maximized.
- FIG. 1 is a flowchart of an object adjustment method according to an embodiment of the present invention.
- FIG. 2 is a flowchart of an object adjustment method according to another embodiment of the present invention.
- FIG. 3 is a flowchart of an object adjustment method according to still another embodiment of the present invention.
- FIG. 4 is a schematic structural diagram of a migration control device according to an embodiment of the present invention.
- FIG. 5 is a schematic structural diagram of a migration control device according to another embodiment of the present invention.
- FIG. 6 is a schematic structural diagram of a node device according to an embodiment of the present invention.
- FIG. 7 is a schematic structural diagram of a node device according to another embodiment of the present invention.
- FIG. 8 is a schematic structural diagram of a storage system according to an embodiment of the present invention. detailed description
- FIG. 1 is a flowchart of an object adjustment method according to an embodiment of the present invention.
- the execution subject of the object adjustment method of this embodiment is a migration control device.
- the method for adjusting an object in this embodiment may specifically include the following:
- the migration control device receives object information of at least one object sent by at least one node, and receives at least one object information.
- Each of the object information includes an object identifier, an object size, a first position of the object, and an access heat of the object.
- the object in this embodiment may be, for example, a data block or the like for storing data.
- At least one of the nodes in this embodiment is a storage device for storing an object.
- the at least one node includes at least one storage medium, and specifically includes several storage media in each node without limitation.
- one of the nodes may have only one storage medium; and may also include multiple storage media.
- At least one storage medium in this embodiment may include various storage media having different storage performances, such as a solid state disk (SSD), a tape library, and a physical hard disk.
- SSD solid state disk
- the application scenario of this embodiment is that, after the end of a certain period, the migration control device receives the object information of the object stored on the node in the period reported by the at least one node, for example, the object information includes the object identifier, the object size, and the object.
- the object information includes the object identifier, the object size, and the object.
- the access heat of the object is the number of times the object was accessed in the previous cycle.
- the first location of the object is a location where the object corresponding to the object is stored in the corresponding node, and the storage location on the storage medium of the node may be determined according to the first location.
- the migration control device processes, according to each storage medium in each node stored in advance, a read/write rate and a storage capacity of the objects of each level and at least one object information, and obtains at least a condition that the proportion of each storage medium is less than one. Adjustment information of an object;
- the adjustment information includes an object identifier and an object corresponding to the object identifier are adjusted.
- the second position, the second position of the at least one object can ensure that at least one object makes the read/write rate and the access heat of the at least one object in the corresponding second position under the constraint of the capacity of each storage medium and the ratio less than 1.
- the sum of the products is the largest.
- At least one object herein refers to all objects reported by at least one node, and can be understood as all objects of the storage system composed of at least one node.
- P represents the proportion of the storage medium
- i represents the object accessed on the storage medium in the previous cycle
- S ⁇ represents the size of the object i
- L represents the access heat of the object i in the previous cycle
- the above ratio can also be understood as the ratio of the time taken by the storage medium to meet the access time of all objects on the storage medium in a period (for example, in a unit period), to reflect the busyness of the storage medium.
- the migration control device sends the adjustment information of the at least one object to the at least one node, so that the at least one node migrates the at least one object according to the adjustment information of the at least one object.
- the migration control device can determine which node the object is stored based on the first location of each object.
- the node's adjustment information is then sent to the node for the node to migrate the object based on the adjustment information.
- the object adjustment method of the embodiment by adopting the above technical solution of the embodiment, it is possible to realize that the object corresponding to each object identifier has the largest sum of the read/write rate and the access heat product of each object in the adjusted second position, thereby It effectively ensures that the storage performance of the storage system including each node is maximized.
- the 101" migration control device in the technical solution of the foregoing embodiment processes the read/write rate and the storage capacity of the objects of each level and the at least one object information according to each storage medium in each node stored in advance, and satisfies each storage. Obtaining a ratio of media less than 1,
- the adjustment information of the at least one object may specifically include the following:
- the migration control device processes the read/write rate and the storage capacity of the objects of each level and the at least one object information according to each storage medium in each node of the at least one node, and obtains the condition that the proportion of the storage medium is less than one.
- the storage capacity of the storage medium in this step can be understood essentially as an optimized constraint.
- the migration control device acquires adjustment information of the at least one object according to the first location and the second location of the at least one object.
- step (1) can be specifically implemented by the following steps:
- the migration control device classifies at least one object information according to the object size and the object access heat to obtain at least one object group;
- step (b) By classifying at least one object to obtain an object group, the computational complexity of the following step (b) can be further reduced. Otherwise, if the read/write rate of the objects of each level is directly processed according to each storage medium in each node, the read/write rate of at least one object and the access heat are multiplied under the constraint of the capacity of each storage medium and the ratio less than 1. The sum of the maximum is the target, and obtaining the adjusted second position of each image will greatly increase the computational complexity.
- the migration control device processes the read/write rate of the objects of each level according to each storage medium in each node, and reads and writes the rate and access of at least one object under the constraint of the capacity of each storage medium and the ratio less than one.
- the sum of the heat products is the largest target, and at least one object group is allocated on each storage medium;
- the step can be implemented by software.
- the sum of the read/write rate and the access heat product of at least one object is the largest target, that is, the sum of the read/write rate and the access heat product of all objects in the system is the largest target.
- the migration control device acquires the second position at which the at least one object is adjusted according to the allocation ratio of the at least one object group on each storage medium.
- the object group is allocated on each storage medium
- the object is When the information of each object in the group is allocated to the corresponding storage medium according to the allocation ratio, there may be multiple allocation manners, which is not limited herein, as long as the allocation ratio of the object group on the storage medium can be satisfied.
- the migration control device in (C) may also need to consider the first position corresponding to each object, that is, the position when the object is not adjusted, that is, according to the first position of the at least one object and the at least one object group in each storage.
- the ratio is allocated on the medium, and the second position at which one object is adjusted is obtained according to the principle of proximity, which can improve the subsequent migration efficiency.
- the migration control device obtains the adjustment information of the at least one object according to the first location and the second location of the at least one object, and sends the adjustment information of the at least one object to the corresponding node, where each node can The first location in the node migrates to the second location in the node or other node.
- the method further includes: the migration control device collecting, by each storage medium in each node of the at least one node, a read/write rate and a storage capacity of the objects of each level.
- FIG. 2 is a flowchart of an object adjustment method according to another embodiment of the present invention.
- the execution subject of the object adjustment method of this embodiment is a node, and the node can be located in the storage system.
- the object adjustment method in this embodiment may specifically include the following:
- the node sends the first object information of the first object to the migration control device, so that the migration control device processes the read/write rate and the storage capacity of the objects of each level according to each storage medium in each node of the at least one node stored in advance,
- the first object information and the second object information sent by the other nodes acquire the adjustment information of the first object under the condition that the proportion of each storage medium is less than 1.
- the first object information includes the first object identifier, and the first The object size, the first location of the first object, and the access popularity of the first object.
- the access heat of an object refers to the number of times the object was accessed during the previous week.
- the adjustment information includes a first object identifier and a second position after the first object is adjusted, and the second location of the first object and the object corresponding to the second object information are migrated and controlled.
- the adjusted position can ensure that the sum of the read/write rate and the access heat product of the object corresponding to the second object information in the second position at the second position is the largest.
- the proportion of the storage medium refers to the accumulation of the product of the access heat of each object stored on the storage medium on the storage medium and the size of the object divided by the maximum throughput rate of the storage medium during the previous week.
- the node that executes the subject in this embodiment may be referred to as a current node, and the other nodes include nodes other than the current node of at least one node.
- the first location and the second location of the first object in this embodiment may reflect on which node the first object is stored and on which storage medium of the node.
- the node receives the adjustment information of the first object sent by the migration control device.
- the node migrates the first object according to the adjustment information of the first object.
- a technical solution of an embodiment of the present invention is described by taking a node to report an object information as an example.
- a period may be set in advance, and after each period ends, the node sends the object information of each object in the period to the migration controller, so that the migration controller receives the object reported by the node according to the receiving.
- the information and the object information reported by other nodes are considered, and the adjusted second is assigned to each object under the principle that the sum of the read/write rate and the access heat of all the objects in the adjusted position is satisfied.
- the position information is obtained, and the adjustment information of each object is obtained.
- the migration control device can obtain the adjustment information of the first object, and send the adjustment information of the first object to the node. After receiving the adjustment information of the first object, the node may migrate the first object according to the adjustment information of the first object.
- the object adjustment method of the embodiment by adopting the above technical solution of the embodiment, it is possible to realize that the object corresponding to each object identifier has the largest sum of the read/write rate of each object and the access heat of the object in the adjusted second position. Therefore, the storage performance of the storage system including each node is effectively ensured to the maximum.
- the method further includes: counting the access heat of the first object, and generating the first object information.
- 200 of the technical solutions in the foregoing embodiments may specifically include the following: (1) the node acquires the second location from the adjustment information of the first object;
- the node determines whether the second location is outside the node or outside the node. When the second location is within the node, perform (3); otherwise, when the second location is outside the node, perform (4);
- the node sends a migration object request to the node where the second location is located, where the migration object request includes the second location and the first object, so that the node where the second location is located stores the first object at the second location.
- the method further includes:
- the node receives the acknowledgement message sent by the node where the second location is located; the acknowledgement message includes the first object identifier;
- the node deletes the first object corresponding to the first object identifier in the confirmation message, so as to store the new object.
- the node may further update the index information corresponding to the first object identifier after deleting the first object corresponding to the first object identifier in the confirmation message. .
- FIG. 3 is a flowchart of an object adjustment method according to still another embodiment of the present invention. As shown in FIG. 3, the object adjustment method in this embodiment may specifically include the following:
- each node when the cycle ends, each node counts the heat of all objects in the cycle, generates object information of all objects, and executes 301;
- the object information includes the object identifier, the object size, the first location of the object, and the access popularity of the object.
- the first position of the object is the position before the object is adjusted.
- each node reports the object information of all the objects to the migration control device, and executes 302;
- the migration control device receives object information of all objects, classifies object information of all objects according to object size and object access heat, and obtains multiple object groups, and executes 303; that is, object information of an object whose object size is equivalent to the access heat. Divided into one category, classified as an object group. 303.
- the migration control device processes the read/write rate of the objects of each level according to each storage medium in each node, and reads and writes the at least one object under the constraint condition of the capacity of each storage medium and the ratio less than 1.
- the sum of the heat products is the largest target, and the ratio of the plurality of object groups is allocated on each storage medium;
- the migration control device according to the first location of all objects and a plurality of object groups on each storage medium distribution ratio, according to the principle of proximity to obtain the second position of each object is adjusted, perform 305;
- the migration control device obtains adjustment information of each object according to the first location and the second location of each object, and executes 306;
- the migration control device sends the adjustment information of the object to the corresponding node according to the first location of each object, and executes 307;
- the first location of each object can reflect the node information of the object. According to this step, the migration control device can send the adjustment information of each object to the corresponding node.
- the node receives the adjustment information of the object sent by the migration control device, and executes 308. 308. In each node, the node determines whether the adjustment information of the received object is an adjustment in the node, such as executing 309, otherwise executing 3 10 ;
- the node migrates the object from the current first location to the second location; and executes 313;
- the node sends a migration object request to the node corresponding to the second location, where the migration object request includes the second location and the object to be migrated; performing 31 1 ;
- the node corresponding to the second location receives the migration object request, and stores the object to be migrated at the second location, and sends a confirmation message to the node where the first location is located;
- the node where the first location is located receives the confirmation message, and deletes the successfully migrated object stored in the first location, so as to store the new object;
- the node updates the index information in the node.
- the object adjustment method of the embodiment by adopting the above technical solution of the embodiment, it is possible to realize that the objects corresponding to the object identifiers are adjusted so that the reading and writing rates of the objects are accessed.
- the sum of the heat product is the largest, which effectively ensures that the storage performance of the storage system including each node is maximized.
- FIG. 4 is a schematic structural diagram of a migration control device according to an embodiment of the present invention. As shown in FIG. 4, the migration control device of this embodiment may specifically include: a receiving module 10, an obtaining module 1 1 and a sending module 12.
- the receiving module 10 is configured to receive object information of at least one object sent by the at least one node, and receive at least one object information; the object information includes an object identifier, an object size, a first location of the object, and an access heat of the object;
- the access heat of an object refers to the number of times the object was accessed during the previous week.
- the obtaining module 11 is connected to the receiving module 10, and the acquiring module 1 1 is configured to process the read/write rate and the storage capacity of the objects of each level and the at least one object information received by the receiving module 10 according to each storage medium in each node stored in advance.
- the adjustment information includes a second position of the object corresponding to the object identifier and the object identifier, and a second position of the at least one object
- the proportion of the storage medium refers to the storage medium on the storage medium during the last week period. The product of the access heat on the object and the size of the object divided by the maximum throughput of the storage medium.
- the sending module 12 is connected to the obtaining module 11, and the sending module 12 is configured to send, to the at least one node, the adjusting information of the at least one object acquired by the acquiring module 11, so that the at least one node migrates the at least one object according to the adjusting information of the at least one object.
- the migration control device of the embodiment implements the object adjustment by adopting the above module
- the system is the same as the implementation mechanism of the foregoing related method embodiments.
- the migration control device of the present embodiment can achieve the maximum sum of the read/write rate and the access heat product of each object in the adjusted second position by using the technical solution of the foregoing module in this embodiment. Therefore, the storage performance of the storage system including each node is effectively ensured to the maximum.
- FIG. 5 is a schematic structural diagram of a migration control device according to another embodiment of the present invention.
- the migration control device of the present embodiment is based on the foregoing embodiment shown in FIG. 4, and the acquisition module 1 is specifically configured to process the read/write rate of objects of various levels according to each storage medium in each node.
- the storage capacity and the at least one object information received by the receiving module 10 acquire the second position at which the at least one object is adjusted under the condition that the proportion of the storage medium is less than one; the first position and the second position according to the at least one object , get adjustment information of at least one object.
- the obtaining module 11 in the migration control device of the embodiment includes: a classification unit 1 11 , a first obtaining unit 112, and a second obtaining unit 113.
- the classification unit 11 is connected to the receiving module 10, and the classification unit 111 is configured to classify at least one object information received by the receiving module 10 according to the object size and the object access heat, to obtain at least one object group.
- the first obtaining unit 1 12 is connected to the classification unit 111.
- the first obtaining unit 112 is configured to process the read/write rate of the objects of each level according to each storage medium in each node, and the capacity of each storage medium and the constraint that the ratio is less than 1. Under the condition that at least one of the read/write rate and the access heat product of the at least one object is the largest, the at least one object group obtained by the classification unit 111 is allocated on each storage medium.
- the second obtaining unit 113 is connected to the first obtaining unit 112, and the second obtaining unit 113 is configured to allocate a proportion on the storage medium according to the at least one object group processed by the first obtaining unit 112, and acquire the second adjusted object at least one object. position.
- the second obtaining unit 113 may be configured to allocate a ratio of the first location of the at least one object and the at least one object group after processing by the first obtaining unit 112, and acquire at least one object according to the principle of proximity of the object. The second position.
- the sending module 12 is configured to send, to the at least one node, the adjustment information of the at least one object acquired by the second acquiring unit 1 13, so that the at least one node performs the at least one object according to the adjustment information of the at least one object. migrate.
- the migration control device in this embodiment further includes: a collection module 13.
- the collection module 13 is configured to collect read and write rates and storage capacities of objects of various sizes in each storage medium in each node.
- the first obtaining unit 1 12 is connected to the collecting module 13
- the first obtaining unit 112 is configured to process the read and write rates of the objects of various levels according to the storage mediums of the nodes collected by the collecting module 13 , and the storages collected by the collecting module 13 .
- the capacity of the medium and the ratio is less than 1
- the maximum sum of the read/write rate of the at least one object and the product of the access heat is targeted, and the at least one object group obtained by the classification unit 111 is allocated on each storage medium.
- the migration control device of the embodiment can realize that the object corresponding to each object identifier has the largest sum of the read/write rate and the access heat product of each object in the adjusted second position by using the above module, thereby effectively ensuring the inclusion of each The storage performance of the node's storage system is maximized.
- FIG. 6 is a schematic structural diagram of a node device according to an embodiment of the present invention.
- the node device of this embodiment includes: a sending module 20, a receiving module 21, and an adjusting module 22.
- the sending module 20 is configured to send the first object information of the first object to the migration control device, so that the migration control device processes the read/write rate of the object of each level according to each storage medium in each node of the at least one node stored in advance.
- the storage capacity, the first object information, and the second object information sent by the other nodes acquire the adjustment information of the first object under the condition that the proportion of each storage medium is less than one;
- the first object information includes the first object identifier The first object size, the first location of the first object, and the access popularity of the first object;
- the access heat of the object refers to the number of times the object is accessed during the previous week;
- the adjustment information includes the first object identifier and First a second position in which the object is adjusted, the second position of the first object and the object corresponding to the second object information being adjusted by the migration control device can ensure that the first object corresponds to the second object information in the second position
- the sum of the read/write rate and the access heat product of the object at the adjusted position is the largest;
- the proportion of the storage medium refers to the access heat of each object stored on the storage medium on the storage medium during the previous week and The product of the size of the object divided by the maximum throughput of the storage medium.
- the receiving module 21 is configured to receive adjustment information of the first object sent by the migration control device.
- the adjustment module 22 is connected to the receiving module 21, and the adjustment module 22 is configured to migrate the first object according to the adjustment information of the first object received by the receiving module 21.
- the node device may be referred to as a current node, and the other nodes include nodes other than the current node in at least one node.
- the node device of this embodiment can achieve the maximum of the sum of the read/write rate and the access heat product of each object in the adjusted second position by using the technical solution of the foregoing module in the embodiment. Thereby effectively ensuring that the storage performance of the storage system including each node is maximized.
- FIG. 7 is a schematic structural diagram of a node device according to another embodiment of the present invention.
- the node device of this embodiment further includes: a processing module 23, based on the foregoing embodiment shown in FIG.
- the processing module 23 is configured to count the access heat of the first object; generate first object information.
- the sending module 20 is connected to the processing module 23, and the sending module 20 is configured to send the first object information of the first object generated by the processing module 23 to the migration control device.
- the adjusting module 22 in the node device of the embodiment may further include: an acquiring unit 221 and a processing unit 222.
- the obtaining unit 221 is configured to acquire the second location from the adjustment information of the first object received by the receiving module 21.
- the processing unit 222 is connected to the obtaining unit 221, and the processing unit 222 is configured to determine whether the second location acquired by the acquiring unit 221 is outside the node or outside the node, and when the second location is in the node, the first object is migrated from the first location to the node Second position; when the second position is outside the node, Sending a migration object request to the node where the second location is located, the migration object request includes a second location and the first object, so that the node where the second location is located stores the first object at the second location.
- the receiving module 21 is further configured to: when the second location is outside the node, receive an acknowledgment message sent by the node where the second location is located; and the acknowledgment message includes the object identifier.
- the processing module 23 is also connected to the receiving module 21, and the processing module 23 is configured to delete the object corresponding to the object identifier in the confirmation message according to the confirmation message received by the receiving module 21.
- the processing module 23 is further configured to update the index information corresponding to the object identifier after deleting the object corresponding to the object identifier in the confirmation message.
- the object corresponding to each object identifier can be realized in the adjusted second position, so that the sum of the read/write rate and the access heat product of each object is the largest, thereby effectively ensuring the inclusion of each node.
- the storage system has the highest storage performance.
- FIG. 8 is a schematic structural diagram of a storage system according to an embodiment of the present invention. As shown in FIG. 8, the storage system of this embodiment includes: a migration control device 30 and at least one node device 40.
- At least one of the node devices 40 is connected to the migration control device 30, and at least one of the node devices 40 is configured to send the object information to the migration control device 30, respectively.
- the migration control device 30 is configured to receive object information of the object sent by the at least one node device 40, and receive at least one object information; the object information includes an object identifier, an object size, a first location of the object, and an access heat of the object; The access heat of an object refers to the number of times the object was accessed during the previous week. At least one of the node devices 40 includes at least one storage medium.
- the migration control device 30 processes the read/write rate and the storage capacity of the objects of each level and the received at least one object information according to the respective storage media in each of the node devices 40 of the at least one node device 40 stored in advance, and the respective storage media are satisfied. Obtain adjustment information of at least one object under the condition that the ratio is less than 1.
- the adjustment information includes a second position in which the object identifier and the object corresponding to the object identifier are adjusted, and the second position of the at least one object can guarantee at least one
- the sum of the read/write rate and the access heat product of at least one object in the corresponding second position is the largest;
- the proportion of the storage medium refers to each object stored on the storage medium in the storage medium in the previous week
- the product of the access heat and the size of the object divided by the maximum throughput of the storage medium is accumulated; the migration control device 30 transmits the adjustment information of the at least one object to the at least one node device 40.
- the at least one node device 40 is further configured to receive adjustment information of the object sent by the migration control device 30; and migrate the object according to the adjustment information of the object.
- the node device 40 in the storage system of this embodiment may employ the node device shown in Fig. 6 or 7 above.
- the migration control device 30 can employ the migration control device of the embodiment shown in Fig. 4 or 5 above.
- the implementation mechanism of the object to be adjusted by the migration control device of the present embodiment is the same as that of the related embodiment. For details, refer to the description of the related method embodiments, and details are not described herein.
- the storage system of the embodiment by using the migration control device and the at least one node device, can realize that the object corresponding to each object identifier has the largest sum of the read/write rate and the access heat of each object in the adjusted second position, thereby It effectively ensures that the storage performance of the storage system including each node is maximized.
- the device embodiments described above are merely illustrative, wherein the units illustrated as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, ie may be located in one place. , or it can be distributed to at least two network elements. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment. Those of ordinary skill in the art can understand and implement without deliberate labor.
Description
对象调整方法、 迁移控制设备、 节点设备及存储系统 技术领域
本发明实施例涉及数据存储技术领域, 尤其涉及一种对象调整方法、 迁移控制设备、 节点设备及存储系统。 背景技术
随着计算机网络技术的发展, 用于存储计算机网络中数据的存储系统 的使用越来越广泛。
在很多存储服务的场景 (如视频点播、 Web Cache等) 下, 用户访问 存储对象的频度是有很大差异的, 根据统计, 对象分发的热度分布符合齐 普夫定律(Zipfs Law ) , 热点对象的访问往往是冷门对象访问的数十倍, 同时热点对象的规模远小于热度一般及冷门对象的规模, 因此, 提高热点 对象的访问速度是提升存储系统整体性能的关键。 为了有效地提高存储系 统的整体性能, 现有技术中通常采用增加热点对象的副本数, 例如从存储 系统中的多个节点上同时向访问的用户提供热点对象的存储服务。 该种方 式在业界通常称为协作 Cache。 其中对象可以为在存储系统中存储的数据 单元, 例如可以为一个数据块。
在实现本发明过程中, 发明人发现现有技术中至少存在如下问题: 现 有的协作 cache的方法, 同时存在多个对象副本, 在对多个对象进行更新 时会导致多个对象副本不一致的问题, 影响存储系统的性能。 发明内容
本发明实施例提供一种对象调整方法、 迁移控制设备、 节点设备及存 储系统, 以实现存储系统性能的最大化。
本发明实施例提供一种对象调整方法, 包括:
接收至少一个节点发送的至少一个对象的对象信息, 共接收到至少一 个对象信息; 所述对象信息中包括对象标识、 对象大小、 对象的第一位置 和对象的访问热度; 所述对象的访问热度指的是所述对象在上一周期内被 访问的次数;
根据预先存储的各所述节点中各个存储介质处理各级大小的对象的 读写速率和存储容量以及所述至少一个对象信息, 在满足各所述存储介质 的占比小于 1的条件下, 获取所述至少一个对象的调整信息; 所述调整信 息中包括所述对象标识和所述对象标识对应的对象被调整后的第二位置, 所述至少一个对象的第二位置能够保证所述至少一个对象在对应的所述 第二位置上的读写速率与所述访问热度乘积之和最大; 所述存储介质的占 比指的是在上一周期内, 所述存储介质上存储的各对象在所述存储介质上 的访问热度和所述对象的大小的乘积除以所述存储介质的最大吞吐率之 后的累加;
向所述至少一个节点发送所述至少一个对象的调整信息, 以供所述至 少一个节点根据所述至少一个对象的调整信息对所述至少一个对象进行 迁移。
本发明实施例还提供一种对象调整方法, 包括:
向迁移控制设备发送第一对象的第一对象信息, 以供所述迁移控制设 备根据预先存储的至少一个节点中各所述节点中的各个存储介质处理各 级大小的对象的读写速率和存储容量、 所述第一对象信息以及其他节点发 送的第二对象信息, 获取所述第一对象的调整信息; 所述第一对象信息中 包括第一对象标识、 第一对象大小、 第一对象的第一位置和第一对象的访 问热度; 所述对象的访问热度指的是所述对象在上一周期内被访问的次 数; 所述调整信息中包括所述第一对象标识和所述第一对象被调整后的第 二位置, 所述第一对象的所述第二位置和所述第二对象信息对应的对象被 所述迁移控制设备调整后的位置能够保证所述第一对象在所述第二位置
上和所述第二对象信息对应的对象在所述被调整后的位置上的读写速率 与访问热度乘积之和最大; 所述其他节点包括所述至少一个节点中当前节 点之外的节点;
接收所述迁移控制设备发送的所述第一对象的调整信息;
根据所述第一对象的调整信息对所述第一对象进行迁移。
本发明实施例提供一种迁移控制设备, 包括:
接收模块, 用于接收至少一个节点发送的至少一个对象的对象信息, 共接收到至少一个对象信息; 所述对象信息中包括对象标识、 对象大小、 对象的第一位置和对象的访问热度; 所述对象的访问热度指的是所述对象 在上一周期内被访问的次数;
获取模块, 用于根据预先存储的各所述节点中各个存储介质处理各级 大小的对象的读写速率和存储容量以及所述至少一个对象信息, 在满足各 所述存储介质的占比小于 1的条件下,获取所述至少一个对象的调整信息; 所述调整信息中包括所述对象标识和所述对象标识对应的对象被调整后 的第二位置, 所述至少一个对象的第二位置能够保证所述至少一个对象在 对应的所述第二位置上的读写速率与所述访问热度乘积之和最大; 所述存 储介质的占比指的是在上一周期内, 所述存储介质上存储的各对象在所述 存储介质上的访问热度和所述对象的大小的乘积除以所述存储介质的最 大吞吐率之后的累加;
发送模块, 用于向所述至少一个节点发送所述至少一个对象的调整信 息, 以供所述至少一个节点根据所述至少一个对象的调整信息对所述至少 一个对象进行迁移。
本发明实施例提供一种节点设备, 包括:
发送模块, 用于向迁移控制设备发送第一对象的第一对象信息, 以供 所述迁移控制设备根据预先存储的至少一个节点中各所述节点中的各个 存储介质处理各级大小的对象的读写速率和存储容量、 所述第一对象信息
以及其他节点发送的第二对象信息, 获取所述第一对象的调整信息; 所述 第一对象信息中包括第一对象标识、 第一对象大小、 第一对象的第一位置 和第一对象的访问热度; 所述对象的访问热度指的是所述对象在上一周期 内被访问的次数; 所述调整信息中包括所述第一对象标识和所述第一对象 被调整后的第二位置, 所述第一对象的所述第二位置和所述第二对象信息 对应的对象被所述迁移控制设备调整后的位置能够保证所述第一对象在 所述第二位置上和所述第二对象信息对应的对象在所述被调整后的位置 上的读写速率与访问热度乘积之和最大; 所述其他节点包括所述至少一个 节点中当前节点之外的节点;
接收模块,用于接收所述迁移控制设备发送的所述第一对象的调整信息; 调整模块,用于根据所述第一对象的调整信息对所述第一对象进行迁移。 本发明实施例还提供一种存储系统, 包括迁移控制设备和至少一个节 点设备;
所述至少一个节点设备, 用于分别向迁移控制设备发送对象信息; 所述迁移控制设备, 用于分别接收所述至少一个节点设备发送的对象 信息, 共接收到至少一个对象信息; 各所述对象信息中包括对象标识、 对 象大小、 对象的第一位置和对象的访问热度; 所述对象的访问热度指的是 所述对象在上一周期内被访问的次数; 根据预先存储的所述至少一个节点 设备的各所述节点设备中各个存储介质处理各级大小的对象的读写速率 和存储容量以及所述至少一个对象信息, 在满足各所述存储介质的占比小 于 1的条件下, 获取所述至少一个对象的调整信息; 所述调整信息中包括 所述对象标识和所述对象标识对应的对象被调整后的第二位置, 所述至少 一个对象的第二位置能够保证所述至少一个对象在对应的所述第二位置 上的读写速率与所述访问热度乘积之和最大; 所述存储介质的占比指的是 在上一周期内, 所述存储介质上存储的各对象在所述存储介质上的访问热 度和所述对象的大小的乘积除以所述存储介质的最大吞吐率之后的累加;
向所述至少一个节点设备发送所述至少一个对象的调整信息; 所述至少一个节点设备, 还用于接收所述迁移控制设备发送的所述对 象的调整信息; 根据所述对象的调整信息对所述对象进行迁移。
本发明实施例的对象调整方法、迁移控制设备、节点设备及存储系统, 通过采用本发明实施例的上述技术方案, 能够实现各对象标识对应的对象 在调整后的第二位置上使得各对象的读写速率与访问热度乘积之和最大, 从而有效地保证了包括各节点的存储系统的存储性能达到最大。 附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案, 下面将对实 施例描述中所需要使用的附图作一简单地介绍, 显而易见地, 下面描述中的 附图是本发明的一些实施例, 对于本领域普通技术人员来讲, 在不付出创造 性劳动性的前提下, 还可以根据这些附图获得其他的附图。
图 1为本发明一实施例提供的对象调整方法的流程图。
图 2为本发明另一实施例提供的对象调整方法的流程图。
图 3为本发明再一实施例提供的对象调整方法的流程图。
图 4为本发明一实施例提供的迁移控制设备的结构示意图。
图 5为本发明另一实施例提供的迁移控制设备的结构示意图。
图 6为本发明一实施例提供的节点设备的结构示意图。
图 7为本发明另一实施例提供的节点设备的结构示意图。
图 8为本发明实施例提供的存储系统的结构示意图。 具体实施方式
为使本发明实施例的目的、 技术方案和优点更加清楚, 下面将结合本 发明实施例中的附图, 对本发明实施例中的技术方案进行清楚、 完整地描 述, 显然, 所描述的实施例是本发明一部分实施例, 而不是全部的实施例。
基于本发明中的实施例, 本领域普通技术人员在没有作出创造性劳动前提 下所获得的所有其他实施例, 都属于本发明保护的范围。
图 1为本发明一实施例提供的对象调整方法的流程图。 本实施例的对 象调整方法的执行主体为一个迁移控制设备。 如图 1所示, 本实施例的对 象调整方法, 具体可以包括如下:
100、 迁移控制设备接收至少一个节点发送的至少一个对象的对象信 息, 共接收到至少一个对象信息;
其中每一个对象信息中包括对象标识、 对象大小、 对象的第一位置和 对象的访问热度。
本实施例中的对象例如可以为用以存储数据的数据块等。 本实施例中 的至少一个节点均为用于存储对象的存储设备。 该至少一个节点中共包括 至少一个存储介质, 具体地在每一个节点中包括几个存储介质不做限制, 例如其中某一个节点中可以只有一个存储介质; 也可以包括多个存储介 质。 而且在某一个节点中也可以包括两个以上存储介质类型相同的存储介 质。本实施例中的至少一个存储介质中可以包括固态硬盘( Solid state disk; 以下简称 SSD ) 、 磁带库、 物理硬盘等各种存储性能不相同的存储介质。
本实施例的应用场景为在某一个周期结束之后, 迁移控制设备接收至 少一个节点上报的该周期内该节点上存储的对象的对象信息, 例如对象信 息中包括对象标识、 对象大小、 对象的第一位置和对象的访问热度。 其中 对象的访问热度即为该上一周期中该对象被访问的次数。 对象的第一位置 为该对象标识对应的对象在对应节点中存储的位置, 可以根据该第一位置 确定该对象在该节点中的哪一个存储介质上存储。
101、 迁移控制设备根据预先存储的各节点中各个存储介质处理各级 大小的对象的读写速率和存储容量以及至少一个对象信息, 在满足各存储 介质的占比小于 1的条件下, 获取至少一个对象的调整信息;
其中调整信息中包括对象标识和对象标识对应的对象被调整后的第
二位置, 至少一个对象的第二位置能够保证在各存储介质的容量以及占比 小于 1的约束条件下, 至少一个对象在对应的第二位置上使得至少一个对 象的读写速率与访问热度的乘积之和最大。 这里的至少一个对象即指的是 至少一个节点上报的所有对象, 可以理解为至少一个节点组成的存储系统 的所有对象。 存储介质的占比指的是在上一周期内, 该存储介质上存储的 各对象在该存储介质上的访问热度和该对象大小的乘积除以该存储介质 的最大吞吐率之后的累加; 即可以采用如下公式表示: P=∑ ^。 其中 P 表示存储介质的占比, i 表示上一周期该存储介质上被访问的对象, S<表 示对象 i的大小, L表示对象 i在上一周期的访问热度, 表示对象 i 的最大吞吐率。 换个角度, 上述的占比也可以理解为一个周期内 (例如可 以为单位周期内)存储介质满足其上所有对象存取所花费的时间与单位时 间的比值, 用以体现存储介质的繁忙程度。
102、 迁移控制设备向至少一个节点发送至少一个对象的调整信息, 以供至少一个节点根据至少一个对象的调整信息对至少一个对象进行迁 移。
例如, 该迁移控制设备可以根据各对象的第一位置确定该对象存储在 哪个节点。 然后向该节点发送该对象的调整信息, 以供该节点根据该调整 信息对该对象进行迁移。
本实施例的对象调整方法, 通过采用本实施例的上述技术方案, 能够 实现各对象标识对应的对象在调整后的第二位置上使得各对象的读写速 率与访问热度乘积之和最大, 从而有效地保证了包括各节点的存储系统的 存储性能达到最大。
可选地, 上述实施例的技术方案中的 101 "迁移控制设备根据预先存 储的各节点中各个存储介质处理各级大小的对象的读写速率和存储容量 以及至少一个对象信息, 在满足各存储介质的占比小于 1的条件下, 获取
至少一个对象的调整信息, 具体可以包括如下:
( 1 ) 迁移控制设备根据至少一个节点的各节点中各个存储介质处理 各级大小的对象的读写速率和存储容量以及至少一个对象信息, 在满足存 储介质的占比小于 1的条件下, 获取至少一个对象被调整后的所述第二位 置;
该步骤中存储介质的存储容量实质上可以理解为优化的约束条件。 ( 2 ) 迁移控制设备根据至少一个对象的第一位置和第二位置, 获取 至少一个对象的调整信息。
例如上述步骤 ( 1 ) 具体可以通过以下步骤实现:
( a ) 迁移控制设备将至少一个对象信息按照对象大小和对象访问热 度进行分类, 得到至少一个对象组;
通过将至少一个对象分类得到对象组, 能够进一步减少下述步骤(b ) 的计算复杂度。 否则, 若直接根据各节点中各个存储介质处理各级大小的 对象的读写速率, 在各存储介质的容量以及占比小于 1的约束条件下, 以 至少一个对象的读写速率与访问热度乘积之和最大为目标, 获取至各象被 调整后的第二位置, 将会大大增加计算的复杂度。
( b ) 迁移控制设备根据各节点中各个存储介质处理各级大小的对象 的读写速率, 在各存储介质的容量以及占比小于 1的约束条件下, 以至少 一个对象的读写速率与访问热度乘积之和最大为目标, 获取至少一个对象 组在各存储介质上分配比例;
本实施例中, 该步骤可以通过软件来实现。 这里的至少一个对象的读 写速率与访问热度乘积之和最大为目标, 即指的是系统中所有对象的读写 速率与访问热度乘积之和最大为目标。
( c ) 迁移控制设备根据至少一个对象组在各存储介质上分配比例, 获取至少一个对象被调整后的所述第二位置。
需要说明的是, 当按照对象组在各存储介质上的分配比例, 将该对象
组中的各个对象信息按照分配比例分配至对应的存储介质上时, 可以有多 种分配方式, 此处不做限制, 只要能够满足该对象组在该存储介质上的分 配比例即可。
优选地, (C ) 中迁移控制设备可以这里还需要考虑各对象对应的第 —位置, 即该对象未被调整时的位置, 即根据至少一个对象的第一位置以 及至少一个对象组在各存储介质上分配比例, 按照位置就近原则获取至少 一个对象被调整后的所述第二位置, 这样可以提高后续迁移效率。
之后, 迁移控制设备根据至少一个对象的第一位置和第二位置, 可以 获取到至少一个对象的调整信息, 并将至少一个对象的调整信息发给对应 的节点, 各个节点可以将该对象从该节点中的第一位置迁移到该节点或者 其他节点中的第二位置。
可选地, 上述实施例中的步骤 100之前, 还包括: 迁移控制设备收集 至少一个节点中各节点中各个存储介质处理各级大小的对象的读写速率 和存储容量。
图 2为本发明另一实施例提供的对象调整方法的流程图。 本实施例的 对象调整方法的执行主体为一个节点, 该节点可以位于存储系统中。 如图 2所示, 本实施例的对象调整方法, 具体可以包括如下:
200、 节点向迁移控制设备发送第一对象的第一对象信息, 以供迁移 控制设备根据预先存储的至少一个节点的各节点中各个存储介质处理各 级大小的对象的读写速率和存储容量、 第一对象信息以及其他节点发送的 第二对象信息, 在满足各存储介质的占比小于 1的条件下, 获取第一对象 的调整信息; 其中第一对象信息中包括第一对象标识、 第一对象大小、 第一对象的 第一位置和第一对象的访问热度。 对象的访问热度指的是对象在上一周期 内被访问的次数。 该调整信息中包括第一对象标识和第一对象被调整后的 第二位置, 第一对象的第二位置和第二对象信息对应的对象被迁移控制设
备调整后的位置能够保证第一对象在第二位置上和第二对象信息对应的 对象在被调整后的位置上的读写速率与访问热度乘积之和最大。存储介质 的占比指的是在上一周期内, 该存储介质上存储的各对象在该存储介质上 的访问热度和该对象的大小的乘积除以该存储介质的最大吞吐率之后的 累加。 本实施例中执行主体的节点可以称为当前节点, 其他节点包括至少 一个节点中除当前节点之外的节点。
本实施例中该第一对象的第一位置和第二位置可以反映出该第一对 象存储在哪个节点上以及在该节点的哪个存储介质上。
201、 节点接收迁移控制设备发送的第一对象的调整信息;
202、 节点根据第一对象的调整信息对第一对象进行迁移。
本实施例中是以一个节点上报一个对象信息为例来说明本发明实施 例的技术方案。 在该节点对应的存储系统中, 可以预先设置一个周期, 每 一周期结束之后, 节点都向迁移控制器发送该周期内各个对象的对象信 息, 以供迁移控制器根据接收到该节点上报的对象信息以及其他节点上报 的对象信息, 统筹考考虑, 在满足所有对象在被调整后的位置上的读写速 率与访问热度的乘积之和最大的原则下, 为各个对象分配被调整后的第二 位置, 从而得到各个对象的调整信息, 例如本实施例中迁移控制设备可以 获取到第一对象的调整信息, 并将第一对象的调整信息发送给该节点。 该 节点接收到该第一对象的调整信息之后, 可以根据该第一对象的调整信息 对第一对象进行迁移。
本实施例的对象调整方法, 通过采用本实施例的上述技术方案, 能够 实现各对象标识对应的对象在调整后的第二位置上使得各对象的读写速 率与对象的访问热度乘积之和最大, 从而有效地保证了包括各节点的存储 系统的存储性能达到最大。
可选地, 在上述实施例的技术方案中的 200之前, 还包括统计第一对 象的访问热度, 生成第一对象信息。
可选地, 上述实施例的技术方案中的 200具体可以包括如下:
( 1 ) 节点从第一对象的调整信息中获取第二位置;
(2) 节点判断第二位置为节点内的还是节点外的, 当第二位置为节 点内, 执行(3 ) ; 否则当第二位置为节点外时, 执行(4) ;
(3 ) 节点将第一对象由第一位置迁移至第二位置;
(4) 节点向第二位置所在的节点发送迁移对象请求, 迁移对象请求 中包括第二位置和第一对象, 以供第二位置所在的节点将第一对象存储在 第二位置处。
可选地, 当第二位置为节点外时, 还包括:
( a) 节点接收第二位置所在节点发送的确认消息; 该确认消息中包 括第一对象标识;
( b ) 节点删除确认消息中的第一对象标识对应的第一对象, 以备存 储新的对象。
需要说明的是, 当节点中存储有该节点中的对象的索引信息的时候, 节点还可以在删除确认消息中的第一对象标识对应的第一对象后, 更新第 一对象标识对应的索引信息。
图 3为本发明再一实施例提供的对象调整方法的流程图。如图 3所示, 本实施例的对象调整方法, 具体可以包括如下:
300、 当周期结束, 各个节点统计该周期中所有对象的热度, 生成所 有对象的对象信息, 执行 301;
其中对象信息包括对象标识、 对象大小、 对象的第一位置和对象的访 问热度。 对象的第一位置即为对象被调整前的位置。
301、各个节点将所有对象的对象信息上报给迁移控制设备,执行 302;
302、 迁移控制设备接收所有对象的对象信息, 将所有对象的对象信 息按照对象大小和对象访问热度进行分类, 得到多个对象组, 执行 303; 即将对象大小相当和访问热度相当的对象的对象信息分为一类, 归为 一个对象组。
303、 迁移控制设备根据各节点中各个存储介质处理各级大小的的对 象的读写速率, 在各存储介质的容量以及占比小于 1的约束条件下, 以至 少一个对象的读写速率与访问热度乘积之和最大为目标, 获取多个对象组 在各存储介质上分配比例; 执行 304;
304、 迁移控制设备根据所有对象的第一位置以及多个对象组在各存 储介质上分配比例, 按照位置就近的原则获取各个对象被调整后的第二位 置, 执行 305 ;
305、 迁移控制设备根据各个对象的第一位置和第二位置, 获取各个 对象的调整信息, 执行 306;
306、 迁移控制设备根据各个对象的第一位置向对应的节点发送该对 象的调整信息, 执行 307;
各个对象的第一位置能够反映出该对象的节点信息。 按照此步骤, 迁 移控制设备可以将每一个对象的调整信息发送至对应的节点。
307、 各个节点接收迁移控制设备发送的对象的调整信息, 执行 308; 308、 在每一个节点中, 节点判断接收到的对象的调整信息是否为节 点内的调整, 如是执行 309 , 否则执行 3 10;
309、 节点将对象从当前的第一位置迁移至第二位置; 执行 313 ;
310、 节点向第二位置对应的节点发送迁移对象请求, 该迁移对象请 求中包括第二位置和要迁移的对象; 执行 31 1 ;
31 1、 第二位置对应的节点接收迁移对象请求, 并将要迁移的对象存 储在第二位置处, 并向第一位置所在的节点发送确认消息; 执行 3 12;
312、 第一位置所在的节点接收确认消息, 删除第一位置处存储的已 经迁移成功的对象, 以备存储新的对象; 执行 3 13 ;
313、 各个节点在迁移对象成功之后, 更新节点中的索引信息。
本实施例的对象调整方法, 通过采用本实施例的上述技术方案, 能够 实现各对象标识对应的对象在调整后的置上使得各对象的读写速率与访
问热度乘积之和最大, 从而有效地保证了包括各节点的存储系统的存储性 能达到最大。
本领域普通技术人员可以理解: 实现上述方法实施例的全部或部分步 骤可以通过程序指令相关的硬件来完成, 前述的程序可以存储于一计算机 可读取存储介质中, 该程序在执行时, 执行包括上述方法实施例的步骤; 而前述的存储介质包括: ROM、 RAM, 磁碟或者光盘等各种可以存储程 序代码的介质。
图 4为本发明一实施例提供的迁移控制设备的结构示意图。 如图 4所 示, 本实施例的迁移控制设备, 具体可以包括: 接收模块 10、 获取模块 1 1和发送模块 12。
其中接收模块 10用于接收至少一个节点发送的至少一个对象的对象 信息, 共接收到至少一个对象信息; 该对象信息中包括对象标识、 对象大 小、 对象的第一位置和对象的访问热度; 该对象的访问热度指的是该对象 在上一周期内被访问的次数。 获取模块 11与接收模块 10连接, 获取模块 1 1 用于根据预先存储的各节点中各个存储介质处理各级大小的对象的读 写速率和存储容量以及接收模块 10接收的至少一个对象信息, 在满足各 存储介质的占比小于 1的条件下, 获取至少一个对象的调整信息; 该调整 信息中包括对象标识和对象标识对应的对象被调整后的第二位置, 该至少 一个对象的第二位置能够保证至少一个对象在对应的第二位置上的读写 速率与访问热度乘积之和最大; 该存储介质的占比指的是在上一周期内, 该存储介质上存储的各对象在存储介质上的访问热度和对象的大小的乘 积除以存储介质的最大吞吐率之后的累加。 发送模块 12与获取模块 11连 接, 发送模块 12用于向至少一个节点发送获取模块 11获取的至少一个对 象的调整信息, 以供至少一个节点根据至少一个对象的调整信息对至少一 个对象进行迁移。
本实施例的迁移控制设备, 通过采用上述模块实现对象调整的实现机
制与上述相关方法实施例的实现机制相同, 详细可以参考上述相关方法实 施例的记载, 在此不再赘述。
本实施例的迁移控制设备, 通过采用本实施例的上述模块的技术方 案, 能够实现各对象标识对应的对象在调整后的第二位置上使得各对象的 读写速率与访问热度乘积之和最大, 从而有效地保证了包括各节点的存储 系统的存储性能达到最大。
图 5为本发明另一实施例提供的迁移控制设备的结构示意图。 如图 5 所示, 本实施例的迁移控制设备在上述图 4所示实施例的基础上, 获取模 块 1 1 具体用于根据各节点中各个存储介质处理各级大小的对象的读写速 率和存储容量以及接收模块 10接收的至少一个对象信息, 在满足存储介 质的占比小于 1的条件下, 获取至少一个对象被调整后的第二位置; 根据 至少一个对象的第一位置和第二位置, 获取至少一个对象的调整信息。
可选地, 本实施例的迁移控制设备中的获取模块 11 , 包括: 分类单元 1 11、 第一获取单元 112和第二获取单元 113。
其中分类单元 1 11与接收模块 10连接, 分类单元 111用于将接收模 块 10接收的至少一个对象信息按照对象大小和对象访问热度进行分类, 得到至少一个对象组。 第一获取单元 1 12与分类单元 111连接, 第一获取 单元 112用于根据各节点中各存储介质处理各级大小的对象的读写速率, 在各存储介质的容量以及占比小于 1的约束条件下, 以至少一个对象的读 写速率与访问热度乘积之和最大为目标, 获取分类单元 111分类得到的至 少一个对象组在各存储介质上分配比例。 第二获取单元 113与第一获取单 元 112连接, 第二获取单元 113用于根据第一获取单元 112处理后至少一 个对象组在各存储介质上分配比例, 获取至少一个对象被调整后的第二位 置。 优选地, 第二获取单元 113可以用于至少一个对象的第一位置以及第 一获取单元 112处理后至少一个对象组在各存储介质上分配比例, 按照位 置就近的原则获取至少一个对象被调整后的第二位置。 此时, 发送模块 12
与第二获取单元 113连接, 发送模块 12用于向至少一个节点发送第二获 取单元 1 13获取的至少一个对象的调整信息, 以供至少一个节点根据至少 一个对象的调整信息对至少一个对象进行迁移。
可选地, 本实施例的迁移控制设备中还包括: 收集模块 13。 该收集模 块 13 用于收集各节点中各个存储介质处理各级大小的对象的读写速率和 存储容量。 第一获取单元 1 12与收集模块 13连接, 第一获取单元 112用 于根据收集模块 13 收集的各节点中各存储介质处理各级大小的对象的读 写速率, 在收集模块 13收集的各存储介质的容量以及占比小于 1 的约束 条件下, 以至少一个对象的读写速率与访问热度乘积之和最大为目标, 获 取分类单元 111分类得到的至少一个对象组在各存储介质上分配比例。
本实施例的迁移控制设备, 通过采用上述模块实现对象调整的实现机 制与上述相关方法实施例的实现机制相同, 详细可以参考上述相关方法实 施例的记载, 在此不再赘述。
本实施例的迁移控制设备, 通过采用上述模块能够实现各对象标识对 应的对象在调整后的第二位置上使得各对象的读写速率与访问热度乘积 之和最大, 从而有效地保证了包括各节点的存储系统的存储性能达到最 大。
图 6为本发明一实施例提供的节点设备的结构示意图。 如图 6所示, 本实施例的节点设备, 包括: 发送模块 20、 接收模块 21和调整模块 22。 其中发送模块 20用于向迁移控制设备发送第一对象的第一对象信息 , 以供迁移控制设备根据预先存储的至少一个节点的各节点中各个存储介 质处理各级大小的对象的读写速率和存储容量、 第一对象信息以及其他节 点发送的第二对象信息, 在满足各存储介质的占比小于 1的条件下, 获取 第一对象的调整信息; 该第一对象信息中包括第一对象标识、 第一对象大 小、 第一对象的第一位置和第一对象的访问热度; 对象的访问热度指的是 该对象在上一周期内被访问的次数; 该调整信息中包括第一对象标识和第
一对象被调整后的第二位置, 第一对象的第二位置和第二对象信息对应的 对象被迁移控制设备调整后的位置能够保证第一对象在第二位置上和第二 对象信息对应的对象在被调整后的位置上的读写速率与访问热度乘积之和 最大; 存储介质的占比指的是在上一周期内, 该存储介质上存储的各对象 在存储介质上的访问热度和对象的大小的乘积除以存储介质的最大吞吐率 之后的累加。接收模块 21用于接收迁移控制设备发送的第一对象的调整信 息。 调整模块 22与接收模块 21连接, 调整模块 22用于根据接收模块 21 接收的第一对象的调整信息对第一对象进行迁移。 本实施例中节点设备可 以称为当前节点, 其他节点包括至少一个节点中当前节点之外的节点。
本实施例的节点设备, 通过采用上述模块实现对象调整的实现机制与 上述相关方法实施例的实现机制相同, 详细可以参考上述相关方法实施例 的记载, 在此不再赘述。
本实施例的节点设备, 通过采用本实施例的上述模块的技术方案, 能 够实现各对象标识对应的对象在调整后的第二位置上使得各对象的读写 速率与访问热度乘积之和最大, 从而有效地保证了包括各节点的存储系统 的存储性能达到最大。
图 7为本发明另一实施例提供的节点设备的结构示意图。如图 7所示, 本实施例的节点设备在上述图 6所示实施例的基础上, 还包括: 处理模块 23。该处理模块 23用于统计第一对象的访问热度;生成第一对象信息。 此 时发送模块 20与处理模块 23连接, 发送模块 20用于向迁移控制设备发 送处理模块 23生成的第一对象的第一对象信息。
可选地, 本实施例的节点设备中的调整模块 22 还可以包括: 获取单 元 221和处理单元 222。
其中获取单元 221用于从接收模块 21接收的第一对象的调整信息中 获取第二位置。 处理单元 222与获取单元 221连接, 处理单元 222用于判 断获取单元 221获取的第二位置为节点内的还是节点外的, 当第二位置为 节点内,将第一对象由第一位置迁移至第二位置; 当第二位置为节点外时,
向第二位置所在的节点发送迁移对象请求, 迁移对象请求中包括第二位置 和第一对象, 以供第二位置所在的节点将第一对象存储在第二位置处。
可选地, 本实施例的节点设备中, 接收模块 21 还用于当第二位置为 节点外时, 接收第二位置所在节点发送的确认消息; 该确认消息中包括对 象标识。 处理模块 23还与接收模块 21连接, 处理模块 23用于根据接收 模块 21接收的确认消息, 删除确认消息中的对象标识对应的对象。 处理 模块 23还用于在删除确认消息中的对象标识对应的对象之后, 更新对象 标识对应的索引信息。
本实施例的节点设备, 通过采用上述模块实现对象调整的实现机制与 上述相关方法实施例的实现机制相同, 详细可以参考上述相关方法实施例 的记载, 在此不再赘述。
本实施例的节点设备, 通过采用上述模块能够实现各对象标识对应的 对象在调整后的第二位置上使得各对象的读写速率与访问热度乘积之和 最大, 从而有效地保证了包括各节点的存储系统的存储性能达到最大。
图 8为本发明实施例提供的存储系统的结构示意图。 如图 8所示, 本 实施例的存储系统包括: 迁移控制设备 30和至少一个节点设备 40。
其中至少一个节点设备 40分别与迁移控制设备 30连接, 至少一个节 点设备 40用于分别向迁移控制设备 30发送对象信息。
迁移控制设备 30用于分别接收至少一个节点设备 40发送的对象的对 象信息, 共接收到至少一个对象信息; 该对象信息中包括对象标识、 对象 大小、 对象的第一位置和对象的访问热度; 对象的访问热度指的是对象在 上一周期内被访问的次数。 至少一个节点设备 40 中包括有至少一种存储 介质。 迁移控制设备 30根据预先存储的至少一个节点设备 40的各节点设 备 40 中的各个存储介质处理各级大小的对象的读写速率和存储容量以及 接收的至少一个对象信息, 在满足各个存储介质的占比小于 1的条件下, 获取至少一个对象的调整信息。 该调整信息中包括对象标识和对象标识对 应的对象被调整后的第二位置, 至少一个对象的第二位置能够保证至少一
个对象在对应的第二位置上至少一个对象的读写速率与访问热度乘积之 和最大; 存储介质的占比指的是在上一周期内, 该存储介质上存储的各对 象在该存储介质上的访问热度和对象的大小的乘积除以该存储介质的最 大吞吐率之后的累加; 迁移控制设备 30向至少一个节点设备 40发送至少 一个对象的调整信息。
至少一个节点设备 40还用于接收迁移控制设备 30发送的对象的调整 信息; 并根据对象的调整信息对对象进行迁移。
本实施例的存储系统中节点设备 40可以采用上述图 6或者 7所示的 节点设备。 迁移控制设备 30可以采用上述图 4或者 5所示实施例的迁移 控制设备。 本实施例的迁移控制设备实现对象调整的实现机制与上述相关 实施例的实现机制相同, 详细可以参考上述相关方法实施例的记载, 在此 不再赘述。
本实施例的存储系统, 通过采用上述迁移控制设备和至少一个节点设 备, 能够实现各对象标识对应的对象在调整后的第二位置上使得各对象的 读写速率与访问热度之和最大, 从而有效地保证了包括各节点的存储系统 的存储性能达到最大。
以上所描述的装置实施例仅仅是示意性的, 其中作为分离部件说明的 单元可以是或者也可以不是物理上分开的, 作为单元显示的部件可以是或 者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到至少两 个网络单元上。 可以根据实际的需要选择其中的部分或者全部模块来实现 本实施例方案的目的。 本领域普通技术人员在不付出创造性的劳动的情况 下, 即可以理解并实施。
最后应说明的是: 以上实施例仅用以说明本发明的技术方案, 而非对 其限制; 尽管参照前述实施例对本发明进行了详细的说明, 本领域的普通 技术人员应当理解: 其依然可以对前述各实施例所记载的技术方案进行修 改, 或者对其中部分技术特征进行等同替换; 而这些修改或者替换, 并不 使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims
1、 一种对象调整方法, 其特征在于, 包括:
接收至少一个节点发送的至少一个对象的对象信息, 共接收到至少一 个对象信息; 所述对象信息中包括对象标识、 对象大小、 对象的第一位置 和对象的访问热度; 所述对象的访问热度指的是所述对象在上一周期内被 访问的次数;
根据预先存储的各所述节点中各个存储介质处理各级大小的对象的 读写速率和存储容量以及所述至少一个对象信息, 在满足各所述存储介质 的占比小于 1的条件下, 获取所述至少一个对象的调整信息; 所述调整信 息中包括所述对象标识和所述对象标识对应的对象被调整后的第二位置, 所述至少一个对象的第二位置能够保证所述至少一个对象在对应的所述 第二位置上的读写速率与所述访问热度乘积之和最大; 所述存储介质的占 比指的是在上一周期内, 所述存储介质上存储的各对象在所述存储介质上 的访问热度和所述对象的大小的乘积除以所述存储介质的最大吞吐率之 后的累加;
向所述至少一个节点发送所述至少一个对象的调整信息, 以供所述至 少一个节点根据所述至少一个对象的调整信息对所述至少一个对象进行 迁移。
2、 根据权利要求 1所述的方法, 其特征在于, 根据预先存储的各所 述节点中各个存储介质处理各级大小的对象的读写速率和存储容量以及 所述至少一个对象信息, 在满足所述存储介质的占比小于 1的条件下, 获 取所述至少一个对象的调整信息, 包括:
根据各所述节点中各个存储介质处理各级大小的对象的读写速率和 存储容量以及所述至少一个对象信息, 在满足所述存储介质的占比小于 1 的条件下, 获取所述至少一个对象被调整后的所述第二位置;
根据所述至少一个对象的所述第一位置和所述第二位置, 获取所述至 少一个对象的调整信息。
3、 根据权利要求 2所述的方法, 其特征在于, 根据各所述节点中各 个存储介质处理各级大小的对象的读写速率和存储容量以及所述至少一 个对象信息, 在满足所述存储介质的占比小于 1的条件下, 获取所述至少 —个对象被调整后的所述第二位置, 具体包括:
将所述至少一个对象信息按照对象大小和访问热度进行分类, 得到至 少一个对象组;
根据各所述节点中各所述存储介质处理各级大小的对象的读写速率, 在各所述存储介质的容量以及所述占比小于 1的约束条件下, 以所述至少 一个对象的读写速率与所述访问热度乘积之和最大为目标, 获取所述至少 一个对象组在各所述存储介质上分配比例;
根据所述至少一个对象组在各所述存储介质上分配比例, 获取所述至 少一个对象被调整后的所述第二位置。
4、 根据权利要求 3所述的方法, 其特征在于, 根据所述至少一个对 象组在各存储介质上分配比例, 获取所述至少一个对象被调整后的所述第 二位置, 具体包括: 根据所述至少一个对象的第一位置以及所述至少一个 对象组在各存储介质上分配比例, 按照位置就近的原则获取所述至少一个 对象被调整后的所述第二位置。
5、 根据权利要求 1-4任一所述的方法, 其特征在于, 还包括: 收集各所述节点中各个所述存储介质处理各级大小的对象的读写速 率和存储容量。
6、 一种对象调整方法, 其特征在于, 包括:
向迁移控制设备发送第一对象的第一对象信息, 以供所述迁移控制设 备根据预先存储的至少一个节点中各所述节点中的各个存储介质处理各 级大小的对象的读写速率和存储容量、 所述第一对象信息以及其他节点发 送的第二对象信息, 在满足各所述存储介质的占比小于 1的条件下, 获取 所述第一对象的调整信息; 所述第一对象信息中包括第一对象标识、 第一 对象大小、 第一对象的第一位置和第一对象的访问热度; 所述对象的访问 热度指的是所述对象在上一周期内被访问的次数; 所述调整信息中包括所 述第一对象标识和所述第一对象被调整后的第二位置, 所述第一对象的所 述第二位置和所述第二对象信息对应的对象被所述迁移控制设备调整后 的位置能够保证所述第一对象在所述第二位置上和所述第二对象信息对 应的对象在所述被调整后的位置上的读写速率与访问热度乘积之和最大; 所述存储介质的占比指的是在上一周期内, 所述存储介质上存储的各对象 在所述存储介质上的访问热度和所述对象的大小的乘积除以所述存储介 质的最大吞吐率之后的累加; 所述其他节点包括所述至少一个节点中当前 节点之外的节点;
接收所述迁移控制设备发送的所述第一对象的调整信息;
根据所述第一对象的调整信息对所述第一对象进行迁移。
7、 根据权利要求 6所述的方法, 其特征在于, 还包括:
统计所述第一对象的访问热度; 生成所述第一对象信息。
8、 根据权利要求 6所述的方法, 其特征在于, 根据所述第一对象的 调整信息对所述第一对象进行迁移, 具体包括:
从所述第一对象的调整信息中获取所述第二位置;
判断所述第二位置为节点内的还是节点外的, 当所述第二位置为节点 内, 将所述第一对象由所述第一位置迁移至所述第二位置; 当所述第二位 置为节点外时, 向所述第二位置所在的节点发送迁移对象请求, 所述迁移 对象请求中包括所述第二位置和所述第一对象, 以供所述第二位置所在的 节点将所述第一对象存储在所述第二位置处。
9、 根据权利要求 8所述的方法, 其特征在于, 当所述第二位置为节 点外时, 还包括:
接收所述第二位置所在节点发送的确认消息; 所述确认消息中包括所 述第一对象标识;
删除所述确认消息中的所述第一对象标识对应的第一对象。
10、 根据权利要求 9所述的方法, 其特征在于, 还包括:
删除所述确认消息中的所述第一对象标识对应的第一对象之后, 更新 所述第一对象标识对应的索引信息。
11、 一种迁移控制设备, 其特征在于, 包括:
接收模块, 用于接收至少一个节点发送的至少一个对象的对象信息, 共接收到至少一个对象信息; 所述对象信息中包括对象标识、 对象大小、 对象的第一位置和对象的访问热度; 所述对象的访问热度指的是所述对象 在上一周期内被访问的次数;
获取模块, 用于根据预先存储的各所述节点中各个存储介质处理各级 大小的对象的读写速率和存储容量以及所述至少一个对象信息, 在满足各 所述存储介质的占比小于 1的条件下,获取所述至少一个对象的调整信息; 所述调整信息中包括所述对象标识和所述对象标识对应的对象被调整后 的第二位置, 所述至少一个对象的第二位置能够保证所述至少一个对象在 对应的所述第二位置上的读写速率与所述访问热度乘积之和最大; 所述存 储介质的占比指的是在上一周期内, 所述存储介质上存储的各对象在所述 存储介质上的访问热度和所述对象的大小的乘积除以所述存储介质的最 大吞吐率之后的累加;
发送模块, 用于向所述至少一个节点发送所述至少一个对象的调整信 息, 以供所述至少一个节点根据所述至少一个对象的调整信息对所述至少 一个对象进行迁移。
12、 根据权利要求 11所述的设备, 其特征在于:
所述获取模块, 具体用于根据各所述节点中各个存储介质处理各级大 小的对象的读写速率和存储容量以及所述至少一个对象信息, 在满足所述 存储介质的占比小于 1的条件下, 获取所述至少一个对象被调整后的所述 第二位置; 根据所述至少一个对象的所述第一位置和所述第二位置, 获取 所述至少一个对象的调整信息。
13、 根据权利要求 12所述的设备, 其特征在于, 所述获取模块, 包 括:
分类单元, 用于将所述至少一个对象信息按照对象大小和访问热度进 行分类, 得到至少一个对象组;
第一获取单元, 用于根据各所述节点中各所述存储介质处理各级大小 的对象的读写速率, 在各所述存储介质的容量以及所述占比小于 1的约束 条件下, 以所述至少一个对象的读写速率与所述访问热度乘积之和最大为 目标, 获取所述至少一个对象组在各所述存储介质上分配比例;
第二获取单元, 用于根据所述至少一个对象组在各所述存储介质上分 配比例, 获取所述至少一个对象被调整后的所述第二位置。
14、 根据权利要求 13所述的设备, 其特征在于, 还包括: 所述第二 获取单元, 具体用于根据所述至少一个对象的第一位置以及所述至少一个 对象组在各存储介质上分配比例, 按照位置就近的原则获取所述至少一个 对象被调整后的所述第二位置。
15、 根据权利要求 1 1 -14任一所述的设备, 其特征在于, 还包括: 收集模块, 用于收集各所述节点中各个所述存储介质处理各级大小的 对象的读写速率和存储容量。
16、 一种节点设备, 其特征在于, 包括:
发送模块, 用于向迁移控制设备发送第一对象的第一对象信息, 以供 所述迁移控制设备根据预先存储的至少一个节点中各所述节点中的各个 存储介质处理各级大小的对象的读写速率和存储容量、 所述第一对象信息 以及其他节点发送的第二对象信息, 在满足各所述存储介质的占比小于 1 的条件下, 获取所述第一对象的调整信息; 所述第一对象信息中包括第一 对象标识、 第一对象大小、 第一对象的第一位置和第一对象的访问热度; 所述对象的访问热度指的是所述对象在上一周期内被访问的次数; 所述调 整信息中包括所述第一对象标识和所述第一对象被调整后的第二位置, 所 述第一对象的所述第二位置和所述第二对象信息对应的对象被所述迁移 控制设备调整后的位置能够保证所述第一对象在所述第二位置上和所述 第二对象信息对应的对象在所述被调整后的位置上的读写速率与访问热 度乘积之和最大; 所述存储介质的占比指的是在上一周期内, 所述存储介 质上存储的各对象在所述存储介质上的访问热度和所述对象的大小的乘 积除以所述存储介质的最大吞吐率之后的累加; 所述其他节点包括所述至 少一个节点中当前节点之外的节点;
接收模块, 用于接收所述迁移控制设备发送的所述第一对象的调整信 自 · 调整模块,用于根据所述第一对象的调整信息对所述第一对象进行迁移。
17、 根据权利要求 16所述的设备, 其特征在于, 还包括:
处理模块, 用于统计所述第一对象的访问热度; 生成所述第一对象信息。
18、 根据权利要求 17所述的设备, 其特征在于, 所述调整模块, 包 括:
获取单元, 用于从所述第一对象的调整信息中获取所述第二位置; 处理单元, 用于判断所述第二位置为节点内的还是节点外的, 当所述 第二位置为节点内, 将所述第一对象由所述第一位置迁移至所述第二位 置; 当所述第二位置为节点外时, 向所述第二位置所在的节点发送迁移对 象请求, 所述迁移对象请求中包括所述第二位置和所述第一对象, 以供所 述第二位置所在的节点将所述第一对象存储在所述第二位置处。
19、 根据权利要求 18所述的设备, 其特征在于:
所述接收模块, 用于当所述第二位置为节点外时, 接收所述第二位置 所在节点发送的确认消息; 所述确认消息中包括所述对象标识;
所述处理模块, 还用于删除所述确认消息中的所述对象标识对应的对 象。
20、 根据权利要求 19所述的设备, 其特征在于:
所述处理模块, 还用于删除所述确认消息中的所述第一对象标识对应 的第一对象之后, 更新所述第一对象标识对应的索引信息。
21、 一种存储系统, 其特征在于, 包括迁移控制设备和至少一个节点 设备;
所述至少一个节点设备, 用于分别向迁移控制设备发送对象信息; 所述迁移控制设备, 用于分别接收所述至少一个节点设备发送的对象 信息, 共接收到至少一个对象信息; 各所述对象信息中包括对象标识、 对 象大小、 对象的第一位置和对象的访问热度; 所述对象的访问热度指的是 所述对象在上一周期内被访问的次数; 根据预先存储的所述至少一个节点 设备的各所述节点设备中各个存储介质处理各级大小的对象的读写速率 和存储容量以及所述至少一个对象信息, 在满足各所述存储介质的占比小 于 1的条件下, 获取所述至少一个对象的调整信息; 所述调整信息中包括 所述对象标识和所述对象标识对应的对象被调整后的第二位置, 所述至少 一个对象的第二位置能够保证所述至少一个对象在对应的所述第二位置 上的读写速率与所述访问热度乘积之和最大; 所述存储介质的占比指的是 在上一周期内, 所述存储介质上存储的各对象在所述存储介质上的访问热 度和所述对象的大小的乘积除以所述存储介质的最大吞吐率之后的累加; 向所述至少一个节点设备发送所述至少一个对象的调整信息;
所述至少一个节点设备, 还用于接收所述迁移控制设备发送的所述对 象的调整信息; 根据所述对象的调整信息对所述对象进行迁移。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/077564 WO2012106923A1 (zh) | 2011-07-25 | 2011-07-25 | 对象调整方法、迁移控制设备、节点设备及存储系统 |
CN201180001199.4A CN102317901B (zh) | 2011-07-25 | 2011-07-25 | 对象调整方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2011/077564 WO2012106923A1 (zh) | 2011-07-25 | 2011-07-25 | 对象调整方法、迁移控制设备、节点设备及存储系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2012106923A1 true WO2012106923A1 (zh) | 2012-08-16 |
Family
ID=45429411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2011/077564 WO2012106923A1 (zh) | 2011-07-25 | 2011-07-25 | 对象调整方法、迁移控制设备、节点设备及存储系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN102317901B (zh) |
WO (1) | WO2012106923A1 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103856912B (zh) * | 2012-11-30 | 2017-09-29 | 中国移动通信集团河南有限公司 | 一种彩铃平台系统、彩铃铃音资源分配方法和装置 |
CN103106047A (zh) * | 2013-01-29 | 2013-05-15 | 浪潮(北京)电子信息产业有限公司 | 一种基于对象的存储系统及其存储方法 |
CN104462240A (zh) * | 2014-11-18 | 2015-03-25 | 浪潮(北京)电子信息产业有限公司 | 云存储中实现分级存储管理的方法和系统 |
CN105739911B (zh) | 2014-12-12 | 2018-11-06 | 华为技术有限公司 | 存储数据的分配方法、装置以及存储系统 |
CN104580447B (zh) * | 2014-12-29 | 2019-04-09 | 中国科学院计算机网络信息中心 | 一种基于访问热度的时空数据服务调度方法 |
CN107122126B (zh) * | 2016-12-22 | 2020-09-08 | 华为技术有限公司 | 数据的迁移方法、装置和系统 |
CN106604043A (zh) * | 2016-12-30 | 2017-04-26 | Ut斯达康(深圳)技术有限公司 | 一种互联网直播方法及直播服务器 |
US11151053B2 (en) * | 2019-08-07 | 2021-10-19 | International Business Machines Corporation | Increasing data read and/or write heat tracking resolution in storage devices having cache architecture |
CN110825908B (zh) * | 2019-11-04 | 2023-04-25 | 安超云软件有限公司 | 一种对象的迁移方法、装置、电子设备及存储介质 |
CN114629960B (zh) * | 2022-03-14 | 2023-09-19 | 抖音视界有限公司 | 资源调度方法、装置、系统、设备、介质和程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040172501A1 (en) * | 2003-02-28 | 2004-09-02 | Hitachi, Ltd. | Metadata allocation method in a storage system |
US20040186861A1 (en) * | 2003-01-17 | 2004-09-23 | Phatak Shirish Hemant | Method and system for use of storage caching with a distributed file system |
CN1758604A (zh) * | 2004-10-10 | 2006-04-12 | 中兴通讯股份有限公司 | 分布式系统中保持多个数据副本一致性的方法 |
CN101184021A (zh) * | 2007-12-14 | 2008-05-21 | 华为技术有限公司 | 一种实现流媒体缓存置换的方法、设备及系统 |
CN101552799A (zh) * | 2008-04-04 | 2009-10-07 | 华为技术有限公司 | 媒体节点容错方法和装置 |
-
2011
- 2011-07-25 CN CN201180001199.4A patent/CN102317901B/zh active Active
- 2011-07-25 WO PCT/CN2011/077564 patent/WO2012106923A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040186861A1 (en) * | 2003-01-17 | 2004-09-23 | Phatak Shirish Hemant | Method and system for use of storage caching with a distributed file system |
US20040172501A1 (en) * | 2003-02-28 | 2004-09-02 | Hitachi, Ltd. | Metadata allocation method in a storage system |
CN1758604A (zh) * | 2004-10-10 | 2006-04-12 | 中兴通讯股份有限公司 | 分布式系统中保持多个数据副本一致性的方法 |
CN101184021A (zh) * | 2007-12-14 | 2008-05-21 | 华为技术有限公司 | 一种实现流媒体缓存置换的方法、设备及系统 |
CN101552799A (zh) * | 2008-04-04 | 2009-10-07 | 华为技术有限公司 | 媒体节点容错方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102317901B (zh) | 2013-09-11 |
CN102317901A (zh) | 2012-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012106923A1 (zh) | 对象调整方法、迁移控制设备、节点设备及存储系统 | |
US10705974B2 (en) | Data processing method and NVME storage device | |
US9830101B2 (en) | Managing data storage in a set of storage systems using usage counters | |
KR20210042161A (ko) | 분산 시스템을 위한 데이터 동기화 방법 및 장치, 매체, 및 전자 디바이스 | |
CN105339929B (zh) | 选择用于取消重复数据的存储 | |
JP6301318B2 (ja) | 分散ストレージシステムのためのキャッシュ処理方法、ノード及びコンピュータ可読媒体 | |
CN106533723B (zh) | 虚拟资源调度方法、装置及系统 | |
US10387380B2 (en) | Apparatus and method for information processing | |
CN107851122B (zh) | 大规模存储和检索具有良有界生命的数据 | |
CN105549905A (zh) | 一种多虚拟机访问分布式对象存储系统的方法 | |
CN106446159B (zh) | 一种存储文件的方法、第一虚拟机及名称节点 | |
CN104598495A (zh) | 基于分布式文件系统的分级存储方法及系统 | |
CN113168404B (zh) | 用于在分布式数据库系统中复制数据的系统和方法 | |
WO2014023000A1 (zh) | 分布式数据处理方法及装置 | |
CN106027595A (zh) | 用于cdn节点的访问日志处理方法及系统 | |
CN105324765A (zh) | 选择用于去重复数据的存储区 | |
WO2017101576A1 (zh) | 一种数据资源存储方法及装置 | |
US20160081003A1 (en) | Relay device and communication system | |
US11507277B2 (en) | Key value store using progress verification | |
CN104424118A (zh) | 热点文件自适应拷贝方法及系统 | |
CN105488108A (zh) | 一种多个视频文件高速并行存储的方法及装置 | |
CN104205730A (zh) | 网元数据访问方法、装置以及网络管理系统 | |
CN105207993A (zh) | 一种cdn中数据的访问、调度方法和系统 | |
JP6368659B2 (ja) | 基地局輻輳管理システム、及び基地局輻輳管理方法 | |
CN105610921A (zh) | 一种集群下基于数据缓存的纠删码归档方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201180001199.4 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 11858445 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 11858445 Country of ref document: EP Kind code of ref document: A1 |