WO2018000825A1 - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
WO2018000825A1
WO2018000825A1 PCT/CN2017/073570 CN2017073570W WO2018000825A1 WO 2018000825 A1 WO2018000825 A1 WO 2018000825A1 CN 2017073570 W CN2017073570 W CN 2017073570W WO 2018000825 A1 WO2018000825 A1 WO 2018000825A1
Authority
WO
WIPO (PCT)
Prior art keywords
identifier
storage unit
hard disk
strip
storage
Prior art date
Application number
PCT/CN2017/073570
Other languages
English (en)
French (fr)
Inventor
曹力
Original Assignee
杭州海康威视数字技术股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 杭州海康威视数字技术股份有限公司 filed Critical 杭州海康威视数字技术股份有限公司
Publication of WO2018000825A1 publication Critical patent/WO2018000825A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Definitions

  • the present application relates to the field of computer technologies, and in particular, to a data processing method and apparatus.
  • the object data is stored in the network hard disk (IP (Internet Protocol) hard disk) of the storage server, saving the storage space of the local client while avoiding the object. Loss of data.
  • IP Internet Protocol
  • the storage server includes at least one IP hard disk, one IP hard disk corresponds to multiple storage units; one strip corresponds to multiple storage units, and the strip corresponds to multiple IP hard disks; in addition, only one object data is stored in one storage unit And an object data can be stored in multiple storage units.
  • the IP hard disk 1 of the storage server cannot read the stored data, that is, the IP hard disk fails.
  • the object data in the IP hard disk 1 needs to be read. Migrate to other valid IP hard disks, that is, reconstruct the object data stored in the IP hard disk 1.
  • the storage server When the object data stored in the IP hard disk 1 is reconstructed, if one storage unit 1 exists in one strip, and the storage unit 1 corresponds to the IP hard disk 1, the storage server stores objects according to other storage units in the strip. The data is subjected to erasure code calculation (EC calculation) to obtain object data stored in the storage unit 1.
  • EC calculation erasure code calculation
  • the storage server does not actually delete the object data.
  • the object data deleted by these users will not be read by the user, so if the reconstructed object data contains the object data deleted by the user, the speed of data reconstruction will be reduced.
  • the embodiment of the present application discloses a data processing method and device to improve the speed of data reconstruction.
  • the embodiment of the present application discloses a data processing method, which is applied to a metadata server, and the method includes:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • the obtaining the identifier of the first storage unit corresponding to the first network hard disk in the first strip includes:
  • the method further includes:
  • the method further includes:
  • the storage state of the second storage unit is set to a deleted state.
  • the sending the identifier of the first storage unit to the storage server includes:
  • Obtaining, by the number of storage units, M, M in the first strip for storing check data is a positive integer
  • the identifier of the first storage unit is sent to the storage server.
  • each storage unit in one strip of the storage server corresponds to a different network hard disk.
  • the embodiment of the present application further discloses a data processing apparatus, which is applied to a metadata server, and the apparatus includes:
  • a first message receiving unit configured to receive a first notification message that is sent by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, where the first network hard disk is Lost network hard drive;
  • a first identifier obtaining unit configured to obtain, according to a first correspondence between the identifier of the network hard disk and the identifier of the strip, the identifier of the first strip corresponding to the first identifier, where the a strip is: a strip to which the object data stored in the first network hard disk belongs;
  • a second identifier obtaining unit configured to obtain an identifier of the first storage unit corresponding to the first network hard disk in the first stripe
  • a state determining unit configured to determine whether a storage state of the first storage unit is a deleted state
  • Reconstructing the rejecting unit configured to refuse to reconstruct the object data stored in the first storage unit if the state determining unit determines that the result is yes;
  • An identifier sending unit configured to send an identifier of the first storage unit to the storage server, so that the storage server reconstructs the first storage unit, if the status determination unit determines that the result is negative Object data in .
  • the second identifier obtaining unit is specifically configured to:
  • the device further includes:
  • a second message receiving unit configured to receive, after the identifier sending unit sends the identifier of the first storage unit to the storage server, a second network hard disk corresponding to the first storage unit that is sent by the storage server Identification
  • the relationship update unit is configured to update the first correspondence and the second correspondence according to the identifier of the second network hard disk.
  • the device further includes:
  • the information determining unit is configured to obtain, after receiving the deletion instruction for the first object data, the third correspondence between the identifier of the object data, the identifier of the strip, the identifier of the network hard disk, and the identifier of the storage unit, which are stored in advance Determining an identifier of the second strip corresponding to the identifier of the first object data, and determining an identifier of the second storage unit storing the first object data in the second stripe;
  • a relationship deleting unit configured to delete a third correspondence relationship for the first object data
  • a state setting unit configured to set a storage state of the second storage unit to a deleted state.
  • the identifier sending unit includes:
  • a quantity determining subunit configured to determine, according to the identifier of the first storage unit, the number of the first storage units in the first stripe
  • a quantity obtaining subunit configured to acquire the number M, M of the storage units used to store the check data in the first strip, and a positive integer
  • each storage unit in one strip of the storage server corresponds to a different network hard disk.
  • an embodiment of the present application further discloses a metadata server, where the metadata server includes: a shell, a processor, a memory, a circuit board, and a power circuit, wherein the circuit board is disposed on the shell The processor and the memory are disposed on the circuit board; the power circuit is configured to supply power to each circuit or device of the metadata server; the memory is used for storing Executing program code; the processor executing the following steps by running executable program code stored in the memory:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • an embodiment of the present application further discloses an executable program code, where the executable program code is configured to perform the following steps at runtime:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • the embodiment of the present application further discloses a storage medium for storing executable program code, and the executable program code is executed to perform the following steps:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • the metadata server receives the first notification message sent by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, where the first network hard disk is a lost network.
  • the hard disk obtains the identifier of the first strip corresponding to the first identifier, and the first strip is: a strip to which the object data stored in the first network hard disk belongs, and the first strip corresponds to the first network hard disk.
  • An identifier of the storage unit determining whether the storage state of the first storage unit is a deleted state; if yes, rejecting reconstruction of the object data stored in the first storage unit; if not, transmitting the identifier of the first storage unit to the storage
  • the server the storage server reconstructs the object data in the first storage unit.
  • the object data in the storage unit of the deleted state it is the user There is no need to read the object data, so it is not reconstructed, and the speed of data reconstruction is effectively improved without affecting the reading of the object data.
  • FIG. 1 is a schematic flowchart diagram of a data processing method according to an embodiment of the present application
  • FIG. 2 is a schematic diagram of a correspondence between a storage unit and a network hard disk according to an embodiment of the present disclosure
  • FIG. 3 is a schematic flowchart diagram of a storage state setting method of a storage unit according to an embodiment of the present disclosure
  • FIG. 4 is a schematic structural diagram of a data processing apparatus according to an embodiment of the present application.
  • FIG. 1 is a schematic flowchart of a data processing method according to an embodiment of the present disclosure, which is applied to a metadata server, and the method includes:
  • S101 Receive a first notification message sent by the storage server.
  • the first notification message includes: a first identifier of the first network hard disk in the storage server, where the first network hard disk is a lost network hard disk.
  • the client if the client cannot read the stored data from the first network hard disk, it can be understood that the first network hard disk is lost.
  • the object data stored in the first network hard disk needs to be migrated to other network hard disks that are not lost, that is, data reconstruction.
  • the identifier of the network hard disk may be wwn (World Wide Name), where wwn is a unique 48-bit or 64-bit number assigned by an authoritative organization, specifically formulated as a recognized name authorization (usually through area allocation) To the manufacturer) to distinguish one or a group of network connections.
  • wwn World Wide Name
  • wwn is a unique 48-bit or 64-bit number assigned by an authoritative organization, specifically formulated as a recognized name authorization (usually through area allocation) To the manufacturer) to distinguish one or a group of network connections.
  • S102 Obtain an identifier of the first strip corresponding to the first identifier according to a first correspondence between the identifier of the network hard disk and the identifier of the strip that is stored in advance;
  • the first strip is: a strip to which the object data stored in the first network hard disk belongs.
  • the first correspondence may include: an identifier of the network hard disk, an identifier of the bar, a state of the network hard disk, and an IP (Internet Protocol) address of the network hard disk.
  • IP Internet Protocol
  • the identifier of the stripe in the first correspondence relationship may be a set of identifiers of the stripe.
  • the identifier of the first strip obtained corresponding to the first identifier may be: an identifier of one or more or all strips in the set of identifiers of the strip.
  • the status of the network hard disk may include an online status and a offline status.
  • the network hard disk is in the online state, it can be understood that the user can store data to the network hard disk and read data from the network hard disk; when the network hard disk is in the offline state, it can be understood that the user cannot Data is stored in the network hard disk, and data cannot be read from the network hard disk.
  • the storage unit is the smallest storage unit in the network hard disk, and the storage server reconstructs the object data based on the storage unit.
  • the metadata server may pre-store the second correspondence between the identifier of the strip, the identifier of the network hard disk, and the identifier of the storage unit.
  • the metadata server obtains the identifier of the first identifier and the first strip
  • the identifier of the first storage unit corresponding to the first network hard disk may be obtained according to the second correspondence, where the first storage unit is The first one is in the middle.
  • the network hard disk may store the object data in the form of ⁇ storage unit, value>, wherein the object data is stored in the value.
  • the stripe includes a plurality of storage units.
  • the storage unit can also be used to store the check data of the object data in order to ensure that the object data can be reconstructed in the event that the network hard disk is lost.
  • one strip includes N+M memory cells, wherein N memory cells store object data, and M memory cells store parity data of object data.
  • the check data in the stripe can be obtained by performing erasure code calculation (EC calculation) on the object data stored in each of the storage units in the strip.
  • EC calculation erasure code calculation
  • the storage server determines, by the EC calculation, the object data in the storage unit corresponding to the lost network hard disk, and performs reconstruction, where the M storage units store the verification data, then
  • the network hard disk corresponding to the storage unit with M storage object data in the strip may be allowed to be lost.
  • the storage unit in the strip cannot be reconstructed.
  • Object data For example, there are 8 storage units in the current strip, and 2 of the storage units store check data. If there are 3 network hard disks corresponding to the storage unit storing the object data in the strip, the lost data cannot be determined. The object data in the storage unit, and thus the object data in the storage unit in the stripe cannot be reconstructed.
  • the storage unit corresponding to the lost network hard disk in one strip is reduced. If the number exceeds the probability of M, each storage unit in a stripe of the storage server corresponds to a different network hard disk, as shown in FIG. 2 .
  • the storage unit is the smallest storage unit in the network hard disk.
  • the size of one storage unit of stripe strip1 is 1 MB
  • the size of object data Object1 is 1.5 MB
  • Object1 is stored in storage unit 1 and storage unit 2
  • the size of Object2 is 0.7 MB
  • Object2 is stored in the storage unit 3.
  • the storage state of the storage unit may be stored in the metadata server, and the storage state may be included in the second correspondence, that is, the second correspondence may be: identifier of the strip, network
  • the second correspondence may be: identifier of the strip, network
  • the storage state may include: a normal state and a delete state; when the object data is stored in the storage unit, the storage state corresponding to the storage unit is set to a normal state; when the client of the user deletes the object data stored in the storage unit The storage state corresponding to the storage unit is set to the deleted state.
  • the storage server reconstructs the object data
  • the object data stored in the storage unit of the lost network hard disk may be reconstructed according to the object data stored in the storage unit corresponding to the network hard disk that is not lost in a stripe. Therefore,
  • the user's client deletes the object data stored in the storage unit, which is for the user's client, and indicates that the user's client does not need to read the object data again, but the storage server does not actually delete the object data.
  • the network hard disk corresponding to the storage unit in the deleted state is lost, but the user's client does not need to read the object data in the storage unit, the object data stored in the storage unit does not need to be reconstructed.
  • a process of setting a storage state of a storage unit storing the object data may refer to FIG. 3:
  • S301 Receive a delete instruction for the first object data.
  • the deletion instruction may include an identifier of the first object data.
  • S302 Obtain an identifier of a second strip corresponding to the identifier of the first object data according to the identifier of the object data, the identifier of the stripe, the identifier of the network hard disk, and the identifier of the storage unit, and obtain the identifier of the second strip corresponding to the identifier of the first object data, and Determining an identifier of the second storage unit storing the first object data in the second strip;
  • the third correspondence relationship for the first object data includes: an identifier of the first object data, an identifier of the second stripe, an identifier of the first object data corresponding to the network hard disk, and an identifier of the second storage unit.
  • S304 Set the storage state of the second storage unit to the deleted state.
  • the user's client deletes an object data, it means that the user's client does not need to read the object data. Therefore, the third correspondence relationship for the object data is deleted, thereby avoiding useless data occupying the storage space of the metadata server, affecting The data processing speed of the metadata server.
  • the third correspondence may further include: storing, in the storage unit corresponding to the strip, a first offset of the data in the entire object data, and storing the data in the storage unit corresponding to the strip
  • the data stored in the storage unit corresponding to the stripe may be part of one object data, or may be whole object data.
  • the size of an object data Object1 is 1.5 MB
  • the object data Object1 is stored in two storage units, one storage unit 1 stores the first 1 MB of Object1, and the other storage unit 8 stores 0.5 MB after Object1.
  • the storage unit 1 corresponds to the strip Strip1
  • the storage unit 8 corresponds to the strip Strip2.
  • Object1 corresponds to two strips.
  • the first offset is 0MB
  • the second offset is 0MB.
  • the length of the data stored in the stripe is 1MB; if the size of one storage unit is 1MB, the first offset is 1MB for the Object1 corresponding to Strip2, and the second offset is 2MB, which is stored in the stripe.
  • the length of the data is 0.5MB.
  • S106 Send the identifier of the first storage unit to the storage server.
  • the storage server after the storage server obtains the identifier of the first storage unit, it can learn which network storage disks corresponding to the storage units are lost, and which object data needs to be reconstructed, so that the storage server can access the object data in the first storage unit. Reconstruction is performed to migrate object data in the first storage unit from the first network hard disk to other second network hard disks that are not lost.
  • the storage unit corresponding to the first network hard disk in the strip a1 is A1
  • the other storage unit corresponding to the first network hard disk in the strip a2 is A2.
  • the metadata server may first obtain the strip a1.
  • the identifier of the strip A1 is obtained according to the identifier of the strip a1, and is sent to the storage server.
  • the metadata server acquires the identifier of the strip a2.
  • the identifier of the storage unit A2 is obtained according to the identifier of the strip a2, and sent to the storage server, and so on, until all the object data corresponding to all the strips in the first network hard disk are reconstructed.
  • the metadata server may obtain the identifiers of all the strips corresponding to the first network hard disk, and send the identifiers of the storage units corresponding to the first network hard disk to the storage server, and the storage obtained by the storage server The object data in the unit is reconstructed.
  • the first storage list will be The identity of the meta is sent to the storage server, which can include:
  • Obtaining the number M, M of the storage units in the first strip for storing the check data is a positive integer
  • the identification of the first storage unit is sent to the storage server.
  • the storage server determines, by the EC calculation, the object data in the storage unit corresponding to the lost network hard disk, and performs reconstruction. For example, as shown in FIG. 2, the network hard disk 1 is lost, and the storage server receives the identifier of the first storage unit sent by the metadata server as: the storage unit 1, and in addition, the storage unit 1 is in the stripe strip1 in the storage unit 1 - the storage unit The object data is stored in the storage unit 5, and the verification data is stored in the storage unit 5. When the object data is reconstructed, the storage server reads the object data in the storage unit 2 - the storage unit 4 in the strip 1, and corrects the read object data. Deletion code calculation (EC calculation), the object data in the storage unit 1 is obtained, and the obtained object data is stored in the network hard disk 11, and the network hard disk 11 is a network hard disk that is not lost.
  • EC calculation Deletion code calculation
  • the storage server may send a second notification message to the metadata server, where the second notification message is used to notify the metadata server to update the stored first correspondence relationship and the second correspondence relationship, where the second notification message includes The identifier of the second network hard disk; after receiving the second notification message, the metadata server updates the first correspondence relationship and the second correspondence relationship, that is, the first network corresponding to the identifier of the first stripe in the first correspondence relationship The identifier of the second network hard disk is updated to the identifier of the first network hard disk corresponding to the identifier of the first strip and the identifier of the first storage unit in the second correspondence.
  • the metadata server receives the first notification message sent by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, where the first network hard disk is a lost network hard disk. And obtaining the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the first network hard disk belongs, and obtaining the first corresponding to the first network hard disk in the first strip Determining, by the identifier of the storage unit, whether the storage state of the first storage unit is a deleted state; if yes, rejecting reconstructing the object data stored in the first storage unit; if not, the first The identification of a storage unit is sent to a storage server that reconstructs object data in the first storage unit.
  • the object data in the storage unit in the deleted state is the object data that the user does not need to read, and therefore, the object data is not reconstructed, and the data weight is effectively increased without affecting the reading of the object data
  • a data processing device is also provided in the embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of a data processing apparatus according to an embodiment of the present disclosure, which is applied to a metadata server, where the apparatus includes:
  • the first message receiving unit 401 is configured to receive a first notification message that is sent by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, the first network hard disk For the lost network hard drive;
  • the first identifier obtaining unit 402 is configured to obtain, according to a first correspondence between the identifier of the network hard disk and the identifier of the strip, the identifier of the first strip corresponding to the first identifier, where the The first strip is: a strip to which the object data stored in the first network hard disk belongs;
  • a second identifier obtaining unit 403, configured to obtain an identifier of the first storage unit corresponding to the first network hard disk in the first stripe
  • the state determining unit 404 is configured to determine whether the storage state of the first storage unit is a deleted state.
  • the reconstruction rejecting unit 405 is configured to refuse to reconstruct the object data stored in the first storage unit if the status determining unit 404 determines that the result is YES;
  • the identifier sending unit 406 is configured to send, when the state determining unit 404 determines that the result is no, the identifier of the first storage unit to the storage server, so that the storage server reconstructs the first The object data in the storage unit.
  • the second identifier obtaining unit 403 is specifically configured to:
  • the data reconstruction apparatus may further include:
  • a second message receiving unit (not shown in FIG. 4), configured to receive, after the identifier sending unit sends the identifier of the first storage unit to the storage server, the first sent by the storage server The identifier of the second network hard disk corresponding to the storage unit;
  • the relationship update unit (not shown in FIG. 4) is configured to update the first correspondence relationship and the second correspondence relationship according to the identifier of the second network hard disk.
  • the data reconstruction apparatus may further include:
  • An information determining unit (not shown in FIG. 4), configured to: after receiving the deletion instruction for the first object data, according to the identifier of the pre-stored object data, the identifier of the stripe, the identifier of the network hard disk, and the identifier of the storage unit Obtaining an identifier of the second strip corresponding to the identifier of the first object data, and determining an identifier of the second storage unit storing the first object data in the second stripe;
  • a relationship deletion unit (not shown in FIG. 4), configured to delete a third correspondence relationship for the first object data
  • a state setting unit (not shown in FIG. 4) is configured to set a storage state of the second storage unit to a deleted state.
  • the identifier sending unit 406 may include:
  • a quantity determining subunit (not shown in FIG. 4), configured to determine, according to the identifier of the first storage unit, the number of the first storage units in the first stripe;
  • a quantity acquisition subunit (not shown in FIG. 4), configured to acquire the number M of storage units in the first strip for storing parity data, M is a positive integer;
  • An identifier sending subunit (not shown in FIG. 4), configured to send the identifier of the first storage unit to the first stripe when the number of the first storage unit is not greater than M
  • the storage server configured to send the identifier of the first storage unit to the first stripe when the number of the first storage unit is not greater than M
  • the storage units in one strip of the storage server respectively correspond to different network hard disks.
  • the metadata server receives the first notification message sent by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, and the first network
  • the hard disk is a lost network hard disk, and the identifier of the first strip corresponding to the first identifier is obtained.
  • the first strip is: a strip to which the object data stored in the first network hard disk belongs, and the first strip is obtained and the first strip is obtained.
  • the identifier of the first storage unit corresponding to the network hard disk Determining, by the identifier of the first storage unit corresponding to the network hard disk, whether the storage state of the first storage unit is a deleted state; if yes, rejecting reconstruction of the object data stored in the first storage unit; if not, the first storage unit
  • the identifier is sent to the storage server, and the storage server reconstructs the object data in the first storage unit.
  • the object data in the storage unit in the deleted state is the object data that the user does not need to read, and therefore, the object data is not reconstructed, and the data weight is effectively increased without affecting the reading of the object data.
  • the speed of the structure is the object data that the user does not need to read, and therefore, the object data is not reconstructed, and the data weight is effectively increased without affecting the reading of the object data.
  • the embodiment of the present application further provides a metadata server, where the metadata server includes: a shell, a processor, a memory, a circuit board, and a power circuit, wherein the circuit board is disposed in a space enclosed by the shell Internally, the processor and the memory are disposed on the circuit board; the power circuit is configured to supply power to each circuit or device of the metadata server; the memory is configured to store executable program code; The processor executes the following steps by running executable program code stored in the memory:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • the metadata server receives the first notification message sent by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, where the first network hard disk is a lost network hard disk,
  • the identifier of the first strip corresponding to the first identifier, the first strip a stripe to which the object data stored in the first network hard disk belongs, obtains an identifier of the first storage unit corresponding to the first network hard disk in the first strip, and determines whether the storage state of the first storage unit is a deleted state; If so, the object data stored in the first storage unit is refused to be reconstructed; if not, the identifier of the first storage unit is sent to the storage server, and the storage server reconstructs the object data in the first storage unit.
  • the object data in the storage unit in the deleted state is the object data that the user does not need to read, and therefore, the object data is not reconstructed, and the data weight is effectively increased without affecting the reading of the object data.
  • the embodiment of the present application further provides an executable program code, where the executable program code is used to perform the following steps at runtime:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • the first notification message sent by the storage server is received by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, and the first network hard disk is a lost network hard disk, obtained and first.
  • Identifying, by the identifier of the first strip, the first strip is: a strip to which the object data stored in the first network hard disk belongs, and obtaining an identifier of the first storage unit corresponding to the first network hard disk in the first strip, Determining whether the storage state of the first storage unit is a deleted state; if yes, rejecting reconstruction of the object data stored in the first storage unit; if not, transmitting the identifier of the first storage unit to the storage server, and reconfiguring the storage server Object data in the first storage unit.
  • the object data in the storage unit in the deleted state it is the number of objects that the user does not need to read. Therefore, the reconstruction is not performed, and the speed of data reconstruction is effectively improved without affecting the reading of the object data.
  • the embodiment of the present application further provides a storage medium for storing executable program code, and the executable program code is executed to perform the following steps:
  • the identifier of the first strip corresponding to the first identifier, where the first strip is: a strip to which the object data stored in the network hard disk belongs;
  • the first notification message sent by the storage server is received by the storage server, where the first notification message includes a first identifier of the first network hard disk in the storage server, and the first network hard disk is a lost network hard disk, obtained and first.
  • Identifying, by the identifier of the first strip, the first strip is: a strip to which the object data stored in the first network hard disk belongs, and obtaining an identifier of the first storage unit corresponding to the first network hard disk in the first strip, Determining whether the storage state of the first storage unit is a deleted state; if yes, rejecting reconstruction of the object data stored in the first storage unit; if not, transmitting the identifier of the first storage unit to the storage server, and reconfiguring the storage server Object data in the first storage unit.
  • the object data in the storage unit in the deleted state is the object data that the user does not need to read, and therefore, the object data is not reconstructed, and the data weight is effectively increased without affecting the reading of the object data.
  • the speed of the structure
  • the metadata server For the device, the metadata server, the executable program code and the storage medium embodiment, since it is basically similar to the method embodiment, the description is relatively simple, and the relevant parts can be referred to the description of the method embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据处理方法及装置，应用于元数据服务器，该方法包括：接收存储服务器发送的第一通知消息（S101）；根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与第一标识对应的第一条带的标识（S102）；获得第一条带中与第一网络硬盘对应的第一存储单元的标识（S103）；判断第一存储单元的存储状态是否为删除状态（S104）；若为是，拒绝重构第一存储单元中存储的对象数据（S105）；若为否，将第一存储单元的标识发送至存储服务器（S106），存储服务器重构第一存储单元中的对象数据。应用该方法，提高了数据重构的速度。

Description

一种数据处理方法及装置
本申请要求于2016年6月30日提交中国专利局、申请号为201610532517.4发明名称为“一种数据处理方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机技术领域，特别涉及一种数据处理方法及装置。
背景技术
随着网络技术的发展，人们常常将对象数据上传至网络侧，即将对象数据存储在存储服务器的网络硬盘(IP(Internet Protocol，网络协议)硬盘)中，节省本地客户端的存储空间，同时避免对象数据的丢失。
这里，存储服务器中包括至少一个IP硬盘，一个IP硬盘对应多个存储单元；一个条带对应多个存储单元，且该条带对应多个IP硬盘；另外，一个存储单元中仅存储一个对象数据，而一个对象数据可以存储在多个存储单元中。
实际应用中，存储服务器的IP硬盘1存在无法读取已存储数据的情况，也就是IP硬盘失效的情况，此时，为了保证正常的读取对象数据，需要将该IP硬盘1中的对象数据迁移至其他有效的IP硬盘中，即重构IP硬盘1中存储的对象数据。
在对IP硬盘1中存储的对象数据进行重构时，若一个条带中存在一个存储单元1，该存储单元1对应IP硬盘1，则存储服务器根据该条带中其他存储单元中存储的对象数据，进行纠删码计算(EC计算)，获得该存储单元1中存储的对象数据。
这种情况下，为了保证对象数据能够重构，用户删除一个对象数据后，存储服务器中并非真正的删除该对象数据。对于这些用户删除的对象数据，用户不会再读取，因此若重构的对象数据中包含这些用户删除的对象数据，将会降低数据重构的速度。
发明内容
本申请实施例公开了一种数据处理方法及装置，以提高数据重构的速度。
为达到上述目的，本申请实施例公开了一种数据处理方法，应用于元数据服务器，所述方法包括：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
可选的，所述获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识，包括：
根据预先存储的条带的标识、网络硬盘的标识以及存储单元的标识三者之间的第二对应关系，获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识。
可选的，所述将所述第一存储单元的标识发送给所述存储服务器之后，还包括：
接收所述存储服务器发送的所述第一存储单元对应的第二网络硬盘的标识；
根据所述第二网络硬盘的标识，更新所述第一对应关系和所述第二对应关系。
可选的，所述方法还包括：
在接收针对第一对象数据的删除指令后，根据预先存储的对象数据的标 识、条带的标识、网络硬盘的标识、存储单元的标识之间的第三对应关系，获得所述第一对象数据的标识对应的第二条带的标识，并确定所述第二条带中存储所述第一对象数据的第二存储单元的标识；
删除针对所述第一对象数据的第三对应关系；
将所述第二存储单元的存储状态设置为删除状态。
可选的，所述将所述第一存储单元的标识发送至所述存储服务器，包括：
根据所述第一存储单元的标识，确定所述第一条带中所述第一存储单元的数量；
获取所述第一条带中用于存储校验数据的存储单元的数量M，M为正整数；
在所述第一条带中所述第一存储单元的数量不大于M的情况下，将所述第一存储单元的标识发送至所述存储服务器。
可选的，所述存储服务器一个条带中的各个存储单元分别对应于不同的网络硬盘。
为达到上述目的，本申请实施例还公开了一种数据处理装置，应用于元数据服务器，所述装置包括：
第一消息接收单元，用于接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
第一标识获得单元，用于根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
第二标识获得单元，用于获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
状态判断单元，用于判断所述第一存储单元的存储状态是否为删除状态；
重构拒绝单元，用于在所述状态判断单元判断结果为是的情况下，拒绝重构所述第一存储单元中存储的对象数据；
标识发送单元，用于在所述状态判断单元判断结果为否的情况下，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
可选的，所述第二标识获得单元，具体用于：
根据预先存储的条带的标识、网络硬盘的标识以及存储单元的标识三者之间的第二对应关系，获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识。
可选的，所述装置还包括：
第二消息接收单元，用于在所述标识发送单元将所述第一存储单元的标识发送至所述存储服务器之后，接收所述存储服务器发送的所述第一存储单元对应的第二网络硬盘的标识；
关系更新单元，用于根据所述第二网络硬盘的标识，更新所述第一对应关系和所述第二对应关系。
可选的，所述装置还包括：
信息确定单元，用于在接收针对第一对象数据的删除指令后，根据预先存储的对象数据的标识、条带的标识、网络硬盘的标识、存储单元的标识之间的第三对应关系，获得所述第一对象数据的标识对应的第二条带的标识，并确定所述第二条带中存储所述第一对象数据的第二存储单元的标识；
关系删除单元，用于删除针对所述第一对象数据的第三对应关系；
状态设置单元，用于将所述第二存储单元的存储状态设置为删除状态。
可选的，所述标识发送单元，包括：
数量确定子单元，用于根据所述第一存储单元的标识，确定所述第一条带中所述第一存储单元的数量；
数量获取子单元，用于获取所述第一条带中用于存储校验数据的存储单元的数量M，M为正整数；
标识发送子单元，用于在所述第一条带中所述第一存储单元的数量不大 于M的情况下，将所述第一存储单元的标识发送至所述存储服务器。
可选的，所述存储服务器一个条带中的各个存储单元分别对应于不同的网络硬盘。
为达到上述目的，本申请实施例还公开了一种元数据服务器，所述元数据服务器包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述元数据服务器的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过运行所述存储器中存储的可执行程序代码，以执行以下步骤：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
为达到上述目的，本申请实施例还公开了一种可执行程序代码，所述可执行程序代码用于在运行时执行以下步骤：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第 一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
为达到上述目的，本申请实施例还公开了一种存储介质，所述存储介质用于存储可执行程序代码，所述可执行程序代码被运行以执行以下步骤：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
由上可知，本申请实施例，元数据服务器接收存储服务器发送的第一通知消息，该第一通知消息中包括存储服务器中第一网络硬盘的第一标识，该第一网络硬盘为丢失的网络硬盘，获得与第一标识对应的第一条带的标识，第一条带为：第一网络硬盘中存储的对象数据所属的条带，获得第一条带中与第一网络硬盘对应的第一存储单元的标识，判断第一存储单元的存储状态是否为删除状态；若为是，拒绝重构第一存储单元中存储的对象数据；若为否，将第一存储单元的标识发送至存储服务器，存储服务器重构第一存储单元中的对象数据。这里，对于删除状态的存储单元中的对象数据，其是用户 不需要读取的对象数据，因此，对其不进行重构，在不影响对象数据读取的前提下，有效地提高了数据重构的速度。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种数据处理方法的流程示意图；
图2为本申请实施例提供的一种存储单元与网络硬盘的对应关系示意图；
图3为本申请实施例提供的一种存储单元的存储状态设置方法的流程示意图；
图4为本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面通过具体实施例，对本申请进行详细说明。
参考图1，图1为本申请实施例提供的一种数据处理方法的流程示意图，应用于元数据服务器，该方法包括：
S101：接收存储服务器发送的第一通知消息；
其中，第一通知消息中包括：存储服务器中第一网络硬盘的第一标识，第一网络硬盘为丢失的网络硬盘。
在本申请的一个实施例中，若客户端不能从第一网络硬盘中读取到已存储数据时，可以理解为该第一网络硬盘丢失，此时，为了保证客户端能正常读取数据，需要将存储在第一网络硬盘中的对象数据迁移至其他未丢失的网络硬盘中，也就是数据重构。
这里，网络硬盘的标识可以为wwn(World Wide Name，全球唯一名字)，其中，wwn是由权威的组织分配的唯一的48位或64位数字，专门制定为公认的名称授权(通常通过区域分配给制造商)，以区分一个或一组网络连接。
S102：根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与第一标识对应的第一条带的标识；
其中，第一条带为：第一网络硬盘中存储的对象数据所属的条带。
在本申请的一个实施例中，第一对应关系可以包括：网络硬盘的标识、条的标识、网络硬盘的状态和网络硬盘的IP(Internet Protocol，网络协议)地址，可参考表1中的字段部分。
表1
字段 Key(键) 备注
wwn Primary Key(主键) 网络硬盘的标识
Strip集合   网络硬盘对应的条带集合
status   网络硬盘的状态
IP   网络硬盘的IP地址
在网络硬盘中对应至少一个条带，因此，上述第一对应关系中的条带的标识可以为条带的标识的集合。这种情况下，获得的与第一标识对应的第一条带的标识可以为：条带的标识的集合中的一个或多个或所有条带的标识。
在本申请的一个实施例中，网络硬盘的状态可以包括：上线状态和下线状态。当网络硬盘为上线状态时，可以理解为，用户可以向该网络硬盘中存储数据，并从该网络硬盘中读取数据；当网络硬盘为下线状态时，可以理解为，用户不可以向该网络硬盘中存储数据，也不可以从该网络硬盘中读取数据。
S103：获得第一条带中、与第一网络硬盘对应的第一存储单元的标识；
存储单元为网络硬盘中的最小存储单位，存储服务器在重构对象数据时，是以存储单元为基础来进行重构的。
在本申请的一个实施例中，为了便于获取第一条带中与第一网络硬盘对 应的第一存储单元的标识，元数据服务器中可以预先存储条带的标识、网络硬盘的标识以及存储单元的标识三者间的第二对应关系。
这种情况下，当元数据服务器获得第一标识和第一条带的标识时，可以根据第二对应关系，获得与第一网络硬盘对应的第一存储单元的标识，该第一存储单元在第一条带中。
在本申请的另一个实施例中，网络硬盘可以以<存储单元，值>的形式存储对象数据的，其中，值中存储的是对象数据。
条带包含多个存储单元，这些存储单元除了可以用于存储对象数据外，为了确保在网络硬盘丢失的情况下，能够重构对象数据，存储单元还可以用于存储对象数据的校验数据，例如，一个条带中包括N+M个存储单元，其中，N个存储单元存储对象数据，M个存储单元存储对象数据的校验数据。
条带中的校验数据可以通过对该条带中各个存储单元中存储的对象数据进行纠删码计算(EC计算)得到。
在本申请的一个实施例中，存储服务器通过EC计算，确定出对应丢失网络硬盘的存储单元中的对象数据，并进行重构，上述条带中M个存储单元存储校验数据，那么，就可以允许该条带中有M个存储对象数据的存储单元对应的网络硬盘丢失，当超过M个存储对象数据的存储单元对应的网络硬盘丢失时，将无法重构该条带中存储单元中的对象数据。例如，当前一条带中有8个存储单元，其中2个存储单元中存储了校验数据，若该条带中有3个存储对象数据的存储单元对应的网络硬盘丢失，将无法确定出丢失的存储单元中的对象数据，进而无法重构该条带中存储单元中的对象数据。
因此，为了保证能够重构存储单元中存储的对象数据，并且能够快速、准确地确定一个条带中对应所丢失网络硬盘的存储单元，减小一个条带中对应所丢失网络硬盘的存储单元的数量超过M个的概率，存储服务器一个条带中的各个存储单元分别对应于不同的网络硬盘，如图2所示。
另外，存储单元作为网络硬盘中的最小存储单位，为了避免对象数据混合存储，在重构一个存储单元中的对象数据时需要重构多个对象数据，导致无法快速地重构得到一个完整的对象数据的问题，一个存储单元中仅存储一 个对象数据。例如，如图2所示，条带Strip1的一个存储单元的大小为1MB，对象数据Object1的大小为1.5MB，则将Object1存储在存储单元1和存储单元2中，当需要再次存储Object2时，Object2的大小为0.7MB，则将Object2存储在存储单元3中。
S104：判断第一存储单元的存储状态是否为删除状态，若为是，执行S105，若为否，执行S106：
在本申请的一个实施例中，元数据服务器中可以存储存储单元的存储状态，该存储状态可以包含在第二对应关系中，也就是说，第二对应关系可以为：条带的标识、网络硬盘的标识、存储单元的标识、存储状态之间的对应关系，可参考表2中的字段部分。
表2
Figure PCTCN2017073570-appb-000001
这里，存储状态可以包括：正常状态和删除状态；当存储单元中存储了对象数据时，该存储单元对应的存储状态设置为正常状态；当用户的客户端删除了存储单元中存储的对象数据时，该存储单元对应的存储状态设置为删除状态。
需要说明的是，存储服务器在重构对象数据时，可以根据一个条带中对应未丢失网络硬盘的存储单元中存储的对象数据，重构丢失网络硬盘的存储单元中存储的对象数据，因此，此处用户的客户端删除存储单元中存储的对象数据，是针对用户的客户端而言的，表示用户的客户端不需要再读取该对象数据，但存储服务器并未真正删除该对象数据。这时若处于删除状态的存储单元对应的网络硬盘丢失，但用户的客户端不需要再读取该存储单元中的对象数据，则无需重构该存储单元中存储的对象数据。
这种情况下，为了提高重构对象数据的速度，需要判断第一存储单元的存储状态是否为删除状态。
在本申请的一个实施例中，设置存储该对象数据的存储单元的存储状态的过程可参考图3：
S301：接收针对第一对象数据的删除指令；
该删除指令中可以包括第一对象数据的标识。
S302：根据预先存储的对象数据的标识、条带的标识、网络硬盘的标识、存储单元的标识之间的第三对应关系，获得第一对象数据的标识对应的第二条带的标识，并确定第二条带中存储第一对象数据的第二存储单元的标识；
S303：删除针对第一对象数据的第三对应关系；
这里，针对第一对象数据的第三对应关系包括：第一对象数据的标识、第二条带的标识、第一对象数据对应网络硬盘的标识、第二存储单元的标识。
S304：将第二存储单元的存储状态设置为删除状态。
用户的客户端删除一个对象数据，就表示用户的客户端不需要读取该对象数据了，因此，删除针对该对象数据的第三对应关系，避免无用的数据占用元数据服务器的存储空间，影响元数据服务器的数据处理速度。
在本申请的一个实施例中，第三对应关系还可以包括：存储在条带对应的存储单元中的数据在整个对象数据中的第一偏移量、存储在条带对应的存储单元中的数据在该条带中的第二偏移量、以及存储在条带对应的存储单元中的数据的长度，可参考表3中的字段部分。
表3
Figure PCTCN2017073570-appb-000002
Figure PCTCN2017073570-appb-000003
这样，就可以准确地确定对象数据在条带的存储位置了。需要说明的是，存储在条带对应的存储单元中的数据可以为一个对象数据的一部分，也可以为整个对象数据。
例如，一对象数据Object1的大小为1.5MB，将该对象数据Object1分别存储在两个存储单元中，一个存储单元1中存储了Object1前1MB，另一个存储单元8中存储了Object1后0.5MB，存储单元1对应条带Strip1，存储单元8对应条带Strip2，如图2所示，Object1对应2个条带，针对Strip1对应的Object1，第一偏移量为0MB，第二偏移量为0MB，存储在条带中的数据的长度为1MB；若一个存储单元的大小为1MB，针对Strip2对应的Object1，第一偏移量为1MB，第二偏移量为2MB，存储在条带中的数据的长度为0.5MB。
S105：拒绝重构第一存储单元中存储的对象数据；
S106：将第一存储单元的标识发送至存储服务器。
这种情况下，存储服务器获得第一存储单元的标识后，就可以获知哪些存储单元对应的网络硬盘丢失，哪些对象数据需要重构，这样，存储服务器就可以对第一存储单元中的对象数据进行重构，将第一存储单元中的对象数据从第一网络硬盘迁移至其他未丢失的第二网络硬盘。
例如，条带a1中与第一网络硬盘对应的存储单元为A1，条带a2中与第一网络硬盘对应的另一存储单元为A2，这种情况下，元数据服务器可以首先获取条带a1的标识，根据该条带a1的标识获得存储单元A1的标识，并发送给存储服务器，存储服务器对该存储单元A1中存储的对象数据重构成功后，元数据服务器再获取条带a2的标识，根据该条带a2的标识获得存储单元A2的标识，并发送给存储服务器，依次类推，直至第一网络硬盘中的所有条带对应的对象数据全部重构完成。
另外，元数据服务器还可以获取第一网络硬盘对应的所有条带的标识，将所有条带的标识中与第一网络硬盘对应的存储单元的标识发送给存储服务器，由存储服务器对获得的存储单元中的对象数据进行重构。
为了确保能够重构成功存储单元中存储的对象数据，上述将第一存储单 元的标识发送至存储服务器，可以包括：
根据第一存储单元的标识，确定第一条带中第一存储单元的数量；
获取第一条带中用于存储校验数据的存储单元的数量M，M为正整数；
在第一条带中第一存储单元的数量不大于M的情况下，将第一存储单元的标识发送至存储服务器。
在本申请的一个实施例中，存储服务器是通过EC计算，确定出对应丢失网络硬盘的存储单元中的对象数据，并进行重构的。例如，如图2所示，网络硬盘1丢失，存储服务器接收到元数据服务器发送的第一存储单元的标识为：存储单元1，另外，存储单元1所在条带Strip1中存储单元1-存储单元4中存储了对象数据，存储单元5中存储了校验数据，重构对象数据时，存储服务器读取Strip1中存储单元2-存储单元4中的对象数据，对读取到的对象数据进行纠删码计算(EC计算)，得到存储单元1中的对象数据，将得到的对象数据存储至网络硬盘11，网络硬盘11为未丢失的网络硬盘。
在本申请的一个实施例中，元数据服务器将第一存储单元的标识发送至存储服务器之后，若存储服务器对第一存储单元中的第一对象数据重构成功，将第一对象数据迁移至了第二网络硬盘，存储服务器可以向元数据服务器发送一个第二通知消息，该第二通知消息用于通知元数据服务器更新已存储的第一对应关系和第二对应关系，第二通知消息包含第二网络硬盘的标识；元数据服务器接收到第二通知消息后，更新第一对应关系和第二对应关系，也就是，将第一对应关系中与第一条带的标识对应的第一网络硬盘标识更新为第二网络硬盘的标识，将第二对应关系中与第一条带的标识、第一存储单元的标识对应的第一网络硬盘的标识更新为第二网络硬盘的标识。
应用图1所示实施例，元数据服务器接收存储服务器发送的第一通知消息，该第一通知消息中包括存储服务器中第一网络硬盘的第一标识，该第一网络硬盘为丢失的网络硬盘，获得与第一标识对应的第一条带的标识，第一条带为：第一网络硬盘中存储的对象数据所属的条带，获得第一条带中与第一网络硬盘对应的第一存储单元的标识，判断第一存储单元的存储状态是否为删除状态；若为是，拒绝重构第一存储单元中存储的对象数据；若为否，将第 一存储单元的标识发送至存储服务器，存储服务器重构第一存储单元中的对象数据。这里，对于删除状态的存储单元中的对象数据，其是用户不需要读取的对象数据，因此，对其不进行重构，在不影响对象数据读取的前提下，有效地提高了数据重构的速度。
与上述数据重构方法相对应，本申请实施例还提供的一种数据处理装置。
参考图4，图4为本申请实施例提供的一种数据处理装置的结构示意图，应用于元数据服务器，该装置包括：
第一消息接收单元401，用于接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
第一标识获得单元402，用于根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
第二标识获得单元403，用于获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
状态判断单元404，用于判断所述第一存储单元的存储状态是否为删除状态；
重构拒绝单元405，用于在所述状态判断单元404判断结果为是的情况下，拒绝重构所述第一存储单元中存储的对象数据；
标识发送单元406，用于在所述状态判断单元404判断结果为否的情况下，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
在本申请的一个实施例中，第二标识获得单元403，具体用于：
根据预先存储的条带的标识、网络硬盘的标识以及存储单元的标识三者之间的第二对应关系，获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识。
在本申请的一个实施例中，上述数据重构装置还可以包括：
第二消息接收单元(图4中未示出)，用于在所述标识发送单元将所述第一存储单元的标识发送至所述存储服务器之后，接收所述存储服务器发送的所述第一存储单元对应的第二网络硬盘的标识；
关系更新单元(图4中未示出)，用于根据所述第二网络硬盘的标识，更新所述第一对应关系和所述第二对应关系。
在本申请的一个实施例中，上述数据重构装置还可以包括：
信息确定单元(图4中未示出)，用于在接收针对第一对象数据的删除指令后，根据预先存储的对象数据的标识、条带的标识、网络硬盘的标识、存储单元的标识之间的第三对应关系，获得所述第一对象数据的标识对应的第二条带的标识，并确定所述第二条带中存储所述第一对象数据的第二存储单元的标识；
关系删除单元(图4中未示出)，用于删除针对所述第一对象数据的第三对应关系；
状态设置单元(图4中未示出)，用于将所述第二存储单元的存储状态设置为删除状态。
在本申请的一个实施例中，标识发送单元406，可以包括：
数量确定子单元(图4中未示出)，用于根据所述第一存储单元的标识，确定所述第一条带中所述第一存储单元的数量；
数量获取子单元(图4中未示出)，用于获取所述第一条带中用于存储校验数据的存储单元的数量M，M为正整数；
标识发送子单元(图4中未示出)，用于在所述第一条带中所述第一存储单元的数量不大于M的情况下，将所述第一存储单元的标识发送至所述存储服务器。
在本申请的一个实施例中，存储服务器一个条带中的存储单元分别对应于不同的网络硬盘。
应用图4所示实施例，元数据服务器接收存储服务器发送的第一通知消息，该第一通知消息中包括存储服务器中第一网络硬盘的第一标识，该第一网络 硬盘为丢失的网络硬盘，获得与第一标识对应的第一条带的标识，第一条带为：第一网络硬盘中存储的对象数据所属的条带，获得第一条带中与第一网络硬盘对应的第一存储单元的标识，判断第一存储单元的存储状态是否为删除状态；若为是，拒绝重构第一存储单元中存储的对象数据；若为否，将第一存储单元的标识发送至存储服务器，存储服务器重构第一存储单元中的对象数据。这里，对于删除状态的存储单元中的对象数据，其是用户不需要读取的对象数据，因此，对其不进行重构，在不影响对象数据读取的前提下，有效地提高了数据重构的速度。
本申请实施例还提供了一种元数据服务器，所述元数据服务器包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述元数据服务器的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过运行所述存储器中存储的可执行程序代码，以执行以下步骤：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
应用本申请实施例，元数据服务器接收存储服务器发送的第一通知消息，该第一通知消息中包括存储服务器中第一网络硬盘的第一标识，该第一网络硬盘为丢失的网络硬盘，获得与第一标识对应的第一条带的标识，第一条带 为：第一网络硬盘中存储的对象数据所属的条带，获得第一条带中与第一网络硬盘对应的第一存储单元的标识，判断第一存储单元的存储状态是否为删除状态；若为是，拒绝重构第一存储单元中存储的对象数据；若为否，将第一存储单元的标识发送至存储服务器，存储服务器重构第一存储单元中的对象数据。这里，对于删除状态的存储单元中的对象数据，其是用户不需要读取的对象数据，因此，对其不进行重构，在不影响对象数据读取的前提下，有效地提高了数据重构的速度。
本申请实施例还提供了一种可执行程序代码，所述可执行程序代码用于在运行时执行以下步骤：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
应用本申请实施例，接收存储服务器发送的第一通知消息，该第一通知消息中包括存储服务器中第一网络硬盘的第一标识，该第一网络硬盘为丢失的网络硬盘，获得与第一标识对应的第一条带的标识，第一条带为：第一网络硬盘中存储的对象数据所属的条带，获得第一条带中与第一网络硬盘对应的第一存储单元的标识，判断第一存储单元的存储状态是否为删除状态；若为是，拒绝重构第一存储单元中存储的对象数据；若为否，将第一存储单元的标识发送至存储服务器，存储服务器重构第一存储单元中的对象数据。这里，对于删除状态的存储单元中的对象数据，其是用户不需要读取的对象数 据，因此，对其不进行重构，在不影响对象数据读取的前提下，有效地提高了数据重构的速度。
本申请实施例还提供了一种存储介质，所述存储介质用于存储可执行程序代码，所述可执行程序代码被运行以执行以下步骤：
接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
判断所述第一存储单元的存储状态是否为删除状态：
若为是，拒绝重构所述第一存储单元中存储的对象数据；
若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
应用本申请实施例，接收存储服务器发送的第一通知消息，该第一通知消息中包括存储服务器中第一网络硬盘的第一标识，该第一网络硬盘为丢失的网络硬盘，获得与第一标识对应的第一条带的标识，第一条带为：第一网络硬盘中存储的对象数据所属的条带，获得第一条带中与第一网络硬盘对应的第一存储单元的标识，判断第一存储单元的存储状态是否为删除状态；若为是，拒绝重构第一存储单元中存储的对象数据；若为否，将第一存储单元的标识发送至存储服务器，存储服务器重构第一存储单元中的对象数据。这里，对于删除状态的存储单元中的对象数据，其是用户不需要读取的对象数据，因此，对其不进行重构，在不影响对象数据读取的前提下，有效地提高了数据重构的速度。
对于装置、元数据服务器、可执行程序代码和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

  1. 一种数据处理方法，应用于元数据服务器，其特征在于，所述方法包括：
    接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
    根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
    获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
    判断所述第一存储单元的存储状态是否为删除状态：
    若为是，拒绝重构所述第一存储单元中存储的对象数据；
    若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
  2. 根据权利要求1所述的方法，其特征在于，所述获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识，包括：
    根据预先存储的条带的标识、网络硬盘的标识以及存储单元的标识三者之间的第二对应关系，获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识。
  3. 根据权利要求2所述的方法，其特征在于，所述将所述第一存储单元的标识发送给所述存储服务器之后，还包括：
    接收所述存储服务器发送的所述第一存储单元对应的第二网络硬盘的标识；
    根据所述第二网络硬盘的标识，更新所述第一对应关系和所述第二对应关系。
  4. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
    在接收针对第一对象数据的删除指令后，根据预先存储的对象数据的标识、条带的标识、网络硬盘的标识、存储单元的标识之间的第三对应关系，获得所述第一对象数据的标识对应的第二条带的标识，并确定所述第二条带中存储所述第一对象数据的第二存储单元的标识；
    删除针对所述第一对象数据的第三对应关系；
    将所述第二存储单元的存储状态设置为删除状态。
  5. 根据权利要求1所述的方法，其特征在于，所述将所述第一存储单元的标识发送至所述存储服务器，包括：
    根据所述第一存储单元的标识，确定所述第一条带中所述第一存储单元的数量；
    获取所述第一条带中用于存储校验数据的存储单元的数量M，M为正整数；
    在所述第一条带中所述第一存储单元的数量不大于M的情况下，将所述第一存储单元的标识发送至所述存储服务器。
  6. 根据权利要求1-5中任一项所述的方法，其特征在于，
    所述存储服务器一个条带中的各个存储单元分别对应于不同的网络硬盘。
  7. 一种数据处理装置，应用于元数据服务器，其特征在于，所述装置包括：
    第一消息接收单元，用于接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
    第一标识获得单元，用于根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
    第二标识获得单元，用于获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
    状态判断单元，用于判断所述第一存储单元的存储状态是否为删除状态；
    重构拒绝单元，用于在所述状态判断单元判断结果为是的情况下，拒绝重构所述第一存储单元中存储的对象数据；
    标识发送单元，用于在所述状态判断单元判断结果为否的情况下，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
  8. 根据权利要求7所述的装置，其特征在于，所述第二标识获得单元，具体用于：
    根据预先存储的条带的标识、网络硬盘的标识以及存储单元的标识三者之间的第二对应关系，获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识。
  9. 根据权利要求8所述的装置，其特征在于，所述装置还包括：
    第二消息接收单元，用于在所述标识发送单元将所述第一存储单元的标识发送至所述存储服务器之后，接收所述存储服务器发送的所述第一存储单元对应的第二网络硬盘的标识；
    关系更新单元，用于根据所述第二网络硬盘的标识，更新所述第一对应关系和所述第二对应关系。
  10. 根据权利要求7所述的装置，其特征在于，所述装置还包括：
    信息确定单元，用于在接收针对第一对象数据的删除指令后，根据预先存储的对象数据的标识、条带的标识、网络硬盘的标识、存储单元的标识之间的第三对应关系，获得所述第一对象数据的标识对应的第二条带的标识，并确定所述第二条带中存储所述第一对象数据的第二存储单元的标识；
    关系删除单元，用于删除针对所述第一对象数据的第三对应关系；
    状态设置单元，用于将所述第二存储单元的存储状态设置为删除状态。
  11. 根据权利要求7所述的装置，其特征在于，所述标识发送单元，包括：
    数量确定子单元，用于根据所述第一存储单元的标识，确定所述第一条带中所述第一存储单元的数量；
    数量获取子单元，用于获取所述第一条带中用于存储校验数据的存储单元的数量M，M为正整数；
    标识发送子单元，用于在所述第一条带中所述第一存储单元的数量不大于M的情况下，将所述第一存储单元的标识发送至所述存储服务器。
  12. 根据权利要求7-11中任一项所述的装置，其特征在于，
    所述存储服务器一个条带中的各个存储单元分别对应于不同的网络硬盘。
  13. 一种元数据服务器，其特征在于，所述元数据服务器包括：壳体、处理器、存储器、电路板和电源电路，其中，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述元数据服务器的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过运行所述存储器中存储的可执行程序代码，以执行以下步骤：
    接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
    根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
    获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
    判断所述第一存储单元的存储状态是否为删除状态：
    若为是，拒绝重构所述第一存储单元中存储的对象数据；
    若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
  14. 一种可执行程序代码，其特征在于，所述可执行程序代码用于在运行时执行以下步骤：
    接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的 网络硬盘；
    根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
    获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
    判断所述第一存储单元的存储状态是否为删除状态：
    若为是，拒绝重构所述第一存储单元中存储的对象数据；
    若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
  15. 一种存储介质，其特征在于，所述存储介质用于存储可执行程序代码，所述可执行程序代码被运行以执行以下步骤：
    接收存储服务器发送的第一通知消息，其中，所述第一通知消息中包括所述存储服务器中的第一网络硬盘的第一标识，所述第一网络硬盘为丢失的网络硬盘；
    根据预先存储的网络硬盘的标识与条带的标识之间的第一对应关系，获得与所述第一标识对应的第一条带的标识，其中，所述第一条带为：所述第一网络硬盘中存储的对象数据所属的条带；
    获得所述第一条带中、与所述第一网络硬盘对应的第一存储单元的标识；
    判断所述第一存储单元的存储状态是否为删除状态：
    若为是，拒绝重构所述第一存储单元中存储的对象数据；
    若为否，将所述第一存储单元的标识发送至所述存储服务器，以使所述存储服务器重构所述第一存储单元中的对象数据。
PCT/CN2017/073570 2016-06-30 2017-02-15 一种数据处理方法及装置 WO2018000825A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610532517.4 2016-06-30
CN201610532517.4A CN107562368B (zh) 2016-06-30 2016-06-30 一种数据处理方法及装置

Publications (1)

Publication Number Publication Date
WO2018000825A1 true WO2018000825A1 (zh) 2018-01-04

Family

ID=60785730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/073570 WO2018000825A1 (zh) 2016-06-30 2017-02-15 一种数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN107562368B (zh)
WO (1) WO2018000825A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874182B (zh) * 2018-08-31 2023-12-26 杭州海康威视系统技术有限公司 一种条带索引的处理方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770413A (zh) * 2010-01-07 2010-07-07 杭州华三通信技术有限公司 冗余磁盘阵列重建的方法及设备
CN103823728A (zh) * 2014-03-13 2014-05-28 深圳市迪菲特科技股份有限公司 一种独立冗余磁盘阵列智能重建的方法
WO2015030679A1 (en) * 2013-08-27 2015-03-05 Agency For Science, Technology And Research Raid parity stripe reconstruction
CN105302492A (zh) * 2015-11-18 2016-02-03 浙江大华技术股份有限公司 一种磁盘阵列raid重建方法及装置
CN105549908A (zh) * 2015-12-14 2016-05-04 深圳市万拓存储技术有限公司 Raid磁盘阵列重新恢复冗余的方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101526959B (zh) * 2009-04-08 2011-06-08 杭州华三通信技术有限公司 一种数据存储方法和装置
US8732485B2 (en) * 2010-12-01 2014-05-20 International Business Machines Corporation Methods for process key rollover/re-encryption and systems thereof
CN105094685B (zh) * 2014-04-29 2018-02-06 国际商业机器公司 进行存储控制的方法和设备
CN104202387B (zh) * 2014-08-27 2017-11-24 华为技术有限公司 一种元数据恢复方法及相关装置
CN107748702B (zh) * 2015-06-04 2021-05-04 华为技术有限公司 一种数据恢复方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770413A (zh) * 2010-01-07 2010-07-07 杭州华三通信技术有限公司 冗余磁盘阵列重建的方法及设备
WO2015030679A1 (en) * 2013-08-27 2015-03-05 Agency For Science, Technology And Research Raid parity stripe reconstruction
CN103823728A (zh) * 2014-03-13 2014-05-28 深圳市迪菲特科技股份有限公司 一种独立冗余磁盘阵列智能重建的方法
CN105302492A (zh) * 2015-11-18 2016-02-03 浙江大华技术股份有限公司 一种磁盘阵列raid重建方法及装置
CN105549908A (zh) * 2015-12-14 2016-05-04 深圳市万拓存储技术有限公司 Raid磁盘阵列重新恢复冗余的方法

Also Published As

Publication number Publication date
CN107562368B (zh) 2019-11-22
CN107562368A (zh) 2018-01-09

Similar Documents

Publication Publication Date Title
US10983961B2 (en) De-duplicating distributed file system using cloud-based object store
US11144651B2 (en) Secure cloud-based storage of data shared across file system objects and clients
US9792306B1 (en) Data transfer between dissimilar deduplication systems
US10120924B2 (en) Quarantine and repair of replicas in a quorum-based data storage system
TWI706648B (zh) 用於驗證源位址有效性的方法及裝置
CN106302595B (zh) 一种对服务器进行健康检查的方法及设备
CN105868231A (zh) 缓存数据的更新方法及装置
US10862672B2 (en) Witness blocks in blockchain applications
WO2019062572A1 (zh) 一种数据处理方法、装置及系统
CN107015884B (zh) 一种数据存储方法及装置
CN111083179B (zh) 物联网云平台、基于物联网云平台的设备交互方法及装置
WO2019127034A1 (zh) 一种过期备份处理方法及备份服务器
WO2016169438A1 (zh) 获取用户账号的方法和装置
WO2016107612A1 (zh) 一种对虚拟卡片进行处理的方法和装置
WO2015106710A1 (en) Contact information processing method, apparatus, and system
CN114328029B (zh) 一种应用资源的备份方法、装置、电子设备及存储介质
US20170249349A1 (en) Techniques to manage a remote data store for an electronic device
CN105187565A (zh) 一种利用网络存储数据的方法
WO2018000825A1 (zh) 一种数据处理方法及装置
US9286055B1 (en) System, method, and computer program for aggregating fragments of data objects from a plurality of devices
US9626378B2 (en) Method for handling requests in a storage system and a storage node for a storage system
CN105162891A (zh) 一种基于ip网络的数据存储方法
WO2021175221A1 (zh) 数据处理方法及其设备
US10242025B2 (en) Efficient differential techniques for metafiles
US10949397B1 (en) Data locking and state management on distributed storage systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17818825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17818825

Country of ref document: EP

Kind code of ref document: A1