WO2021003822A1 - 数据存储及恢复的方法、装置及计算机设备 - Google Patents

数据存储及恢复的方法、装置及计算机设备 Download PDF

Info

Publication number
WO2021003822A1
WO2021003822A1 PCT/CN2019/103524 CN2019103524W WO2021003822A1 WO 2021003822 A1 WO2021003822 A1 WO 2021003822A1 CN 2019103524 W CN2019103524 W CN 2019103524W WO 2021003822 A1 WO2021003822 A1 WO 2021003822A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
piece
target
check
pieces
Prior art date
Application number
PCT/CN2019/103524
Other languages
English (en)
French (fr)
Inventor
兰东平
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2021003822A1 publication Critical patent/WO2021003822A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
    • G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process

Definitions

  • the processor which is the brain of the server, will inevitably be abnormal under the influence of internal and external environmental factors.
  • the processor is abnormal, how to ensure that the data files in the server are not abnormal or lost, it will be very important problem.
  • the industry mainly monitors the data files in the storage space dynamically.
  • the duplicate data file is re-uploaded to replace the missing data file.
  • the copy data file needs to be copied and uploaded.
  • the data file transmission volume is large, the copy and transmission process will take a long time, easily delay the running process of the business, and cause The cost of data recovery is relatively high.
  • the present application discloses a data storage and recovery method, device and computer equipment, the main purpose of which is to solve the problem of long recovery time and high cost when recovering abnormal data files.
  • a method for data storage and recovery including:
  • the original data file is decoded and restored using the data piece and the check piece that meet the preset conditions.
  • a data storage and recovery device which includes:
  • the acquisition module is used to acquire multiple data blocks evenly divided by the original data file
  • a processing module configured to encode and process the data block into multiple data pieces and check pieces based on the erasure code
  • a storage module for storing the original data file by using the data piece and the check piece
  • the restoration module is configured to, if it is determined that the original data file is missing, decode and restore the original data file using the data piece and the check piece that meet the preset conditions.
  • a non-volatile readable storage medium having computer readable instructions stored thereon, and the computer readable instructions are executed by a processor to realize the above-mentioned data storage and recovery method.
  • a computer device including a non-volatile readable storage medium, a processor, and a computer-readable storage medium that is stored on the non-volatile readable storage medium and can run on the processor. Instructions, when the processor executes the computer-readable instructions, the foregoing data storage and recovery methods are implemented.
  • this application can divide the original data files into multiple Data block, and encode the data block based on erasure coding technology to obtain multiple data pieces and check pieces, store the data pieces and check pieces in different data centers, and obtain them by sequentially reading the data pieces
  • the original data file when it is determined that the data piece and check piece in a certain data center are missing, the remaining data pieces and check pieces with normal data can be used to decode and repair it, and then the missing data file can be restored.
  • the data recovery process of this application is very efficient, and can detect and repair missing data blocks in time, so as not to delay the business process. When the data file is restored, only the missing data piece needs to be restored, and the entire data file does not need to be replaced. Therefore, the cost of data restoration can be effectively reduced, and the economic loss caused by the long data restoration time can be avoided.
  • FIG. 1 shows a schematic flowchart of a data storage and recovery method provided by an embodiment of the present application
  • FIG. 2 shows a schematic flowchart of another data storage and recovery method provided by an embodiment of the present application
  • FIG. 3 shows a schematic structural diagram of a data storage and recovery device provided by an embodiment of the present application
  • FIG. 4 shows a schematic structural diagram of another data storage and recovery device provided by an embodiment of the present application.
  • an embodiment of the present application provides a data storage and recovery method. As shown in FIG. 1, the method includes:
  • the original data file in order to realize the block processing of the original data file and the encoding and storage of the data blocks, the original data file needs to be evenly cut into multiple data blocks of equal size in advance.
  • the quantity can be determined according to actual application scenarios. For example, a 24MB original data file can be divided into two 12MB data blocks according to the actual situation, and the original data file can be obtained by sequentially reading the two data blocks.
  • the original data block can be encoded by using erasure codes to generate N data of the same size
  • the principle of dividing the original data file based on the erasure code is: Erasure Code based on the Cauchy matrix, which is mainly applied to the reversibility of the Cauchy matrix and the correction data.
  • the process of uploading and restoring the data stored in the deleted code mainly uses encoding and decoding to restore the lost data.
  • the original data block and the check data block may be stored in different locations, such as different disks, different storage nodes, etc.
  • This partitioned storage method can prevent data from being stored in one location, and the problem of all data missing due to damage to a single storage space, and when a single storage node fails or has an error, it can clearly determine the missing data piece or check It can also use the complete data slices and check slices in other storage spaces to recover data from missing files.
  • the preset condition is that the number of data pieces and check pieces with missing data should meet the error-tolerant redundancy of erasure codes, and the fault-tolerant redundancy can correspond to the number of check pieces.
  • the data slices and check slices with normal data can be used to recover the missing data; when the number of data slices and check slices with missing data is greater than the fault-tolerant redundancy, the data The normal data slices and check slices can no longer realize the decoding and recovery of missing data, that is, beyond the data recovery conditions of erasure codes.
  • the original data file can be divided into multiple data blocks, and the data blocks can be encoded based on erasure coding technology to obtain multiple data pieces and check pieces, and the data Pieces and check pieces are stored in different data centers, and the original data files are obtained by sequentially reading the data pieces.
  • the rest of the normal data can be used
  • the slices and check slices are automatically decoded and repaired to realize the recovery of data files.
  • the entire recovery process of this solution is very efficient, and can detect and repair missing data blocks in time, so as not to delay the business process.
  • the data file is restored, only the missing data piece needs to be restored, and the entire data file does not need to be replaced. Therefore, the cost of data restoration can be effectively reduced, and the economic loss caused by the long data restoration time can be avoided.
  • the method includes:
  • a 36MB original data file can be evenly divided into three 12MB data blocks according to the actual situation, and the three data blocks are numbered according to the order of the original data file.
  • you can The data blocks are read in ascending order of number, and then to the original data file.
  • the first division rule is to divide the original data file code into a preset equal number, and generate first data pieces with the same number and the same size as the data blocks, and generate a set number of first data pieces with the same size as the first data pieces.
  • the first division rule may set the number of divisions of the first data slice and the first data block.
  • acquiring the first division rule is: dividing the original data file code into two first data pieces and one first check piece. If the original data file is 24MB, according to the first division rule, two 12MB first data pieces and one 12MB first check piece can be generated by encoding. The original data file can be obtained by reading the two first data pieces of 12MB.
  • the function of the first check piece is to recover the lost data of the first data piece, and the number of check pieces represents the error tolerance of the erasure code, that is, the maximum redundancy. In this embodiment, only one of the first data pieces can be allowed to lose data at most to ensure that the lost data can be completely recovered.
  • the second division rule is: performing secondary code division on each divided first data piece, that is, evenly dividing the coding of the first data piece into a predetermined number of second data pieces and second check pieces.
  • the second dividing rule may set the number of dividing a single first data piece into second data pieces and second check pieces.
  • acquiring the second division rule is: dividing each first data slice code into 4 second data slices and 2 second check slices.
  • the original data file is 24MB
  • two 12MB first data slices and one 12MB first parity slice have been encoded according to the first division rule.
  • the two 12MB first check fragments can be divided into 4 3MB second data fragments and 2 second check fragments of the same size.
  • the data piece can obtain the corresponding data of the first piece of data
  • the original data file can be obtained by reading 8 second pieces of data in sequence.
  • the function of the second check piece is to prevent data loss from the second piece of data.
  • the number of check chips represents the error tolerance of the erasure code, that is, the maximum redundancy. In this embodiment, only two of the second data pieces can be allowed to lose data at most to ensure that the lost data can be completely recovered.
  • the first data piece and the first check piece may be stored in different locations, respectively.
  • a 24MB file can be divided into two 12MB first data pieces and one 12MB first parity piece by using the first division rule, and then the two first data pieces are stored in The first data center of A and the first data center of B store one first check sheet in the second data center of C.
  • the second data piece and the second check piece are respectively stored in different storage units in the first data center.
  • step 204 of the embodiment after storing two 12MB first data pieces and one 12MB first check piece in the first data center A, the first data center B, and the second data center C, respectively , For each 12MB first data slice stored in the first data center, it can be divided into two 3MB second data slices and two 3MB second check slices based on the second division rule. In order to prevent the second data piece from being lost at the same time, the second data piece and the second check piece may be stored in different storage locations corresponding to the first data center A and the first data center B respectively.
  • step 206a of the embodiment may specifically include: obtaining the first serial number of each first data piece, where the first serial number corresponds to the arrangement order of the original data files assembled by the first data piece; Read the first data piece with the first serial number from small to large to obtain the original data file. For example, after the original data file is evenly divided into four first data pieces a, b, c, d based on the first division rule, when you want to obtain the original data file, you can obtain the first data piece of the four first data pieces. One serial number is used to read.
  • the first serial number of the four first data pieces of a, b, c, d are 4, 2, 3, 1, respectively, the first serial number can be in the order of small to large Read the first data piece d, the first data piece b, the first data piece c, and the first data piece a to obtain the original data file.
  • all the first data pieces add up to represent the original data file.
  • the original data file is obtained by reading the first data piece, if it is determined that there is a missing first data piece
  • the complete original data file cannot be obtained by reading the first data piece, it can be determined that the original data file is missing.
  • the target first data center where the first data piece is missing needs to be obtained in advance as the data center point to be restored.
  • the first data piece missing in the target first data center can be recovered, which can specifically include two recovery methods .
  • the first method of restoring the first data piece is introduced first, that is, using the second data piece and the second check piece in the target first data center to restore. Therefore, it is necessary to extract the first data piece first. All target second data pieces and target second check pieces in the data center. Furthermore, by executing step 210a to step 211a of the embodiment, the recovery of the missing first data piece is realized.
  • the second data piece and the second check piece in the target first data center are used to recover the missing first data piece.
  • the steps in this embodiment provide the first recovery scenario. That is, when it is determined that the data of all the target second data pieces are complete, the target first data piece with missing data can be obtained by sequentially reading all the second data pieces in the target first data center.
  • the target second data piece has data missing and meets the second data recovery condition, use the target second data piece with complete data and the target second check piece to decode and restore the target second data piece with missing data, and according to the first The second serial number reads the restored target second data piece to obtain the target first data piece.
  • the second data recovery condition is that the number of target second data pieces and target second check pieces with missing data is less than or equal to the second preset threshold.
  • the second preset threshold corresponds to the maximum redundancy of data recovery, which represents the maximum error tolerance of the target second data piece.
  • the second preset threshold may correspond to the number of target second check pieces, such as the target second check piece. If the number is 2, the second preset threshold can be set to 2.
  • the target second check piece decodes and restores the target second data piece with missing data. After the data recovery of the second data piece is completed, the data can be obtained by sequentially reading all the second data pieces in the target first data center The first piece of data for the missing target.
  • the second data recovery condition is to use the target second data piece with complete data and the target second check piece to decode and restore the target second data piece with missing data. After all the target second data pieces are restored, pass the sequence Read all the second data pieces in the target first data center to obtain the target first data piece with missing data.
  • the second recovery method for the missing first data piece corresponding to step 209a of the embodiment is introduced, that is, the first data piece with complete data in the other first data center and the first data piece in the second data center are used.
  • a check piece is used to restore the first data piece of the target first data center. Since it takes longer to obtain data in other data centers than in the same data center, in order to improve the efficiency of data recovery, as a preferred way, the recovery operation in step 209a of the embodiment can be performed first.
  • the target data center is determined
  • the data recovery operation from step 213a to step 214a in the embodiment can be performed.
  • the first data piece with complete data and the first check piece are used to decode and restore the target first data piece.
  • the first data recovery condition is that the number of target first data pieces and target first check pieces with missing data is less than or equal to the first preset threshold.
  • the first preset threshold corresponds to the maximum redundancy of data recovery, that is, it represents the maximum error tolerance of the first data piece.
  • the first preset threshold can correspond to the number of first check pieces. For example, the number of target second check pieces is 1, the second preset threshold can be set to 1. When the number of the target second data piece and the target second check piece with missing data is less than or equal to 1, the first data piece and the first data piece with complete data can be used The check piece is decoded to restore the first data piece of the target.
  • both of the above two data recovery methods are used. If the recovery of the first data piece cannot be achieved, an alarm signal can be further output for the purpose of prompting, so that the staff can adopt strategies for timely repairs.
  • the original data file is obtained by reading all the second data pieces.
  • step 206b of the embodiment may specifically include: obtaining a second serial number of each second data piece, where the second serial number corresponds to the arrangement sequence of the original data files assembled by the second data piece;
  • the second data piece is read from the smallest to the largest second serial number to obtain the original data file.
  • the first data piece A is coded and divided into four second data pieces a1, a2, and a3, a4.
  • the first data piece B is coded and divided into four second data pieces b1, b2, b3, and b4 according to the second division rule.
  • the second serial number of the 8 second data pieces such as obtaining the 8 first ones of a1, a2, a3, a4, b1, b2, b3, and b4
  • the first serial numbers of the data pieces are 4, 2, 3, 1, 5, 6, 8, and 7 respectively.
  • the second data piece a4, the second data piece a2 and the second data piece a2 can be read according to the first serial number in ascending order.
  • the second data piece a3, the second data piece a1, the second data piece b1, the second data piece b2, the second data piece b4, and the second data piece b3 are used to obtain the original data file.
  • all the second data pieces add up to represent the original data file.
  • the original data file is obtained by reading the second data piece, if it is determined that there is a missing second data piece
  • the complete original data file cannot be obtained by reading the second data piece, it can be determined that the original data file is missing.
  • the target first data center where the second data piece is missing needs to be obtained in advance as the data center point to be restored.
  • the second data piece missing in the target first data center can be restored, which can specifically include two recovery methods .
  • the first method of recovering the missing second data piece is introduced, that is, the target second data piece with complete data in the target first data center and the target second check piece are used to recover.
  • the target second data piece and the target second check piece with complete data in the target first data center are extracted. Furthermore, by executing step 210b of the embodiment, the recovery of the missing second data piece is realized.
  • the target second data piece with missing data meets the second data recovery condition, use the target second data piece with complete data and the target second check piece to decode and restore the target second data piece with missing data.
  • the second data recovery condition is that the number of target second data pieces and target second check pieces with missing data is less than or equal to the second preset threshold.
  • the second preset threshold corresponds to the maximum redundancy of data recovery, which represents the maximum error tolerance of the target second data piece.
  • the second preset threshold may correspond to the number of target second check pieces, such as the target second check piece. If the number is 2, the second preset threshold can be set to 2. When the number of the target second data piece with missing data and the target second check piece is less than or equal to 2, the target second data piece with complete data can be used And the target second check piece decodes and restores the target second data piece with missing data.
  • the second recovery method for the missing second data piece corresponding to the step 209b of the embodiment is introduced, that is, the target first data piece in the target first data center is used to realize the recovery of the missing second data piece.
  • the target first data piece in the target first data center is used to realize the recovery of the missing second data piece.
  • step 212b to step 213b in the embodiment the recovery of the missing second data piece is realized.
  • the first data piece in the target first data center when using the first data piece in the target first data center to restore the missing second data piece, it also includes two recovery scenarios.
  • the steps in this embodiment provide the first recovery scenario, that is, determining the target first data piece
  • the target first data piece can be re-divided into the second data piece and the second check piece that meet the second division rule through the error correction code, and then the target second data piece or the target second data piece with missing data is replaced. Two check pieces.
  • the first data recovery condition is that the number of target first data pieces and target first check pieces with missing data is less than or equal to a first preset threshold.
  • the first preset threshold corresponds to the maximum redundancy of data recovery, that is, it represents the maximum error tolerance of the first data piece.
  • the first preset threshold can correspond to the number of first check pieces. For example, the number of target second check pieces is 1, the second preset threshold can be set to 1.
  • the first data piece and the first check piece with complete data can be used Check the piece and decode the first piece of data to restore the target. Afterwards, the restored target first data piece can be re-divided into second data pieces and second check pieces that meet the second division rule through error correction codes, and then the target second data piece or target second check piece with missing data can be replaced. Inspection film.
  • neither of the above two data recovery methods can achieve the second data piece. If it is restored, it can further output an alarm signal for the purpose of reminding, so that the staff can adopt strategies for timely repairs.
  • the above two methods of reading and restoring the original data file can also be combined, by reading the first data piece and the second data piece.
  • the data can be obtained by reading all the complete second data pieces in the first data center; similarly, when the first data center is determined
  • the data can be obtained by reading the first data piece in the first data center; after the data is successfully read, it is based on the complete first data piece, first check piece and The second data piece and the second check piece with complete data realize the recovery of the missing data piece.
  • the lost data can be stored and restored through encoding and decoding.
  • the method of using the stored normal second data piece and the second check piece to decode and restore the first data piece may specifically include: using the stored normal second data piece and the second check piece to form a decoded column vector; The inverse matrix of the matrix formed by the rows corresponding to the decoded column vector in the matrix is determined as the decoded generator matrix; the second data piece with missing data is obtained by calculating the product of the decoded generator matrix and the decoded column vector.
  • the method of decoding and restoring the first data piece and the first check piece with missing data by storing the normal first data piece and the first check piece may specifically include: storing the normal first data piece and the first check piece.
  • the check piece constitutes a decoded column vector; the inverse matrix of the row constituting matrix corresponding to the decoded column vector in the generator matrix is determined as the decoded generator matrix; the product of the decoded generator matrix and the decoded column vector is used to obtain the first data slice with missing data.
  • the original data file can be divided into multiple data blocks uniformly, and the data blocks are processed into multiple first data pieces and first check pieces based on erasure coding technology, and each first The data pieces are processed into multiple second data pieces and second check pieces, each first data piece is stored in a different first data center, and each first check piece is stored in a different second data center;
  • the two data pieces and the second check piece respectively correspond to different storage units stored in the first data center.
  • the original data file can be read in two ways.
  • the first reading method is to obtain the original data file by sequentially reading the first data pieces in each first data center.
  • the second reading method is to obtain the original data file by sequentially reading the second data piece corresponding to each first data piece.
  • the two reading methods correspond to two data recovery methods.
  • the first recovery method When it is determined that there is a missing first data piece, it can be obtained by reading all the second data pieces in the first data center where it is located The original first data piece, and then the replacement and recovery of the missing first data piece are realized. In addition, when it is determined that the second data piece in the first data center is also missing and unrecoverable, the first data piece and the first check piece with complete data can be decoded and restored.
  • the second recovery method when it is determined that there is a missing second data piece, the second data piece and the second check piece with other complete data in the first data center can be decoded and restored.
  • the corresponding first data piece is obtained, and the second data piece and the second check piece are re-encoded using the first data piece, so as to restore the missing second data piece.
  • double protection of business data can be realized.
  • the reading method can be changed in time. Effectively ensure the integrity and security of business data.
  • this solution will store and restore the overall business data, specifically the storage and recovery of data slices, and provide multiple recovery methods, so it can ensure the efficiency of data recovery, save recovery time, and reduce data recovery costs.
  • an embodiment of the present application provides a data storage and recovery device.
  • the device includes: an acquisition module 31, a processing module 32, and a storage Module 33, recovery module 34.
  • the obtaining module 31 can be used to obtain multiple data blocks evenly divided by the original data file;
  • the processing module 32 can be used to encode and process the data block into multiple data pieces and check pieces based on the erasure code
  • the storage module 33 can be used to store the original data files using data slices and check slices;
  • the restoration module 34 can be used to decode and restore the original data file using data slices and check slices that meet preset conditions if it is determined that the original data file is missing.
  • the processing module 32 can be specifically used to encode the data block using erasure codes, and divide the original data file according to the first division rule.
  • the first data piece and the first check piece of the same size are formed; the first data piece is re-encoded by the erasure code, and each first data piece is divided into the second data piece of the same size according to the second division rule.
  • the second check piece is also used to encode the data block using erasure codes, and divide the original data file according to the first division rule.
  • the storage module 33 can be specifically used to store each first data piece in a different first data center, and store each first check piece in a different second data center.
  • Data center The second data piece and the second check piece are respectively stored in different storage units in the first data center.
  • the device further includes: a determining module 35.
  • the obtaining module 31 can also be used to obtain the original data file by reading all the first data pieces; and/or obtain the original data file by reading all the second data pieces;
  • the determining module 35 can be used to determine that the original data file is missing if it is determined that there is a missing first data piece or a second data piece.
  • the obtaining module 31 can be specifically used to obtain the first serial number of each first data piece, where the first serial number corresponds to the first data piece assembled into the original data file The arrangement order of; read the first data piece according to the first serial number from small to large to obtain the original data file.
  • the obtaining module 31 may be specifically used to obtain the second serial number of each second data piece, where the second serial number corresponds to the second data piece assembled into the original data file The arrangement order of; read the second data piece according to the second serial number from small to large to obtain the original data file.
  • the recovery module 34 can be specifically used to determine that the first data piece exists.
  • the target first data center with missing data extract all target second data pieces and target second check pieces in the target first data center; if it is determined that the data of the target second data piece is complete, read the target second data piece according to the second sequence number Two pieces of data to obtain the target first piece of data with missing data; if it is determined that the target second piece of data has data missing and meets the second data recovery conditions, use the target second piece of data and the target second check piece with complete data Decode and restore the target second data piece with missing data, and read the restored target second data piece according to the second serial number to obtain the target first data piece, where the second data recovery condition is the target second data piece with missing data And the number of the target second check piece is less than or equal to the second preset threshold; if it is determined that the target second data piece has
  • the recovery module 34 can be specifically used to determine the target of the data missing of the second data piece.
  • the first data center obtain the target second data piece and the target second check piece with complete data in the target first data center; if it is determined that the target second data piece with missing data meets the second data recovery condition, use the data complete
  • the target second data piece and the target second check piece decode and restore the target second data piece, where the second data recovery condition is that the number of the target second data piece with missing data and the target second check piece is less than or equal to the second
  • the preset threshold if it is determined that the target second data piece does not meet the second data recovery condition, the target first data piece in the target first data center is obtained; if it is determined that the data of the target first data piece is complete, the error correction code is used to The target first data piece is re-divided into a second data piece and a second check piece that meet the second division rule to replace the target second data piece; if it is determined that the target first data piece is missing and meets the first data recovery condition, Then, the first data piece with complete data and the first check piece are used to decode and restore the target
  • an embodiment of the present application also provides a non-volatile readable storage medium on which computer-readable instructions are stored, and the computer-readable instructions are The data storage and recovery methods shown in Figure 1 and Figure 2 above are implemented during execution.
  • the technical solution of this application can be embodied in the form of a software product.
  • the software product can be stored in a non-volatile storage medium (which can be a CD-ROM, U disk, mobile hard disk, etc.), including several
  • the instructions are used to make a computer device (which may be a personal computer, a server, or a network device, etc.) execute the methods in each implementation scenario of the present application.
  • an embodiment of the present application also provides a computer device, which may be a personal computer, Server, network device, etc., the physical device includes a nonvolatile readable storage medium and a processor; a nonvolatile readable storage medium for storing computer readable instructions; a processor for executing computer readable instructions to The above-mentioned data storage and recovery methods shown in Figure 1 and Figure 2 are implemented.
  • the computer device may also include a user interface, a network interface, a camera, a radio frequency (RF) circuit, a sensor, an audio circuit, a WI-FI module, and so on.
  • the user interface may include a display screen (Display), an input unit such as a keyboard (Keyboard), etc., and the optional user interface may also include a USB interface, a card reader interface, and the like.
  • the network interface can optionally include a standard wired interface, a wireless interface (such as a Bluetooth interface, a WI-FI interface), etc.
  • the computer device structure provided in this embodiment does not constitute a limitation on the physical device, and may include more or fewer components, or combine certain components, or arrange different components.
  • the non-volatile readable storage medium may also include an operating system and a network communication module.
  • the operating system is the program of the physical equipment hardware and software resources for data storage and recovery, and supports the operation of information processing programs and other software and/or programs.
  • the network communication module is used to implement communication between various components in the non-volatile readable storage medium and communication with other hardware and software in the physical device.
  • this application can initially evenly divide the original data file into multiple data blocks, and process the data blocks into multiple first data pieces based on erasure coding technology.
  • the first check piece, each first data piece is processed into multiple second data pieces and second check pieces, each first data piece is stored in a different first data center, and each first check piece is stored In a different second data center; the second data piece and the second check piece are respectively stored in different storage units in the first data center.
  • This application provides two data reading methods and two recovery methods corresponding to missing data, which can achieve double protection of business data.
  • the reading method can be replaced in time, which is effective Ensure the integrity and security of business data.
  • this solution will store and restore the overall business data, specifically the storage and recovery of data slices, and provide multiple recovery methods, so it can ensure the efficiency of data recovery, save recovery time, and reduce data recovery costs.

Abstract

一种数据存储及恢复的方法、装置及计算机设备，涉及数据处理领域，可以解决在恢复异常数据文件时，恢复耗时长、成本高的问题。其中方法包括：获取由原始数据文件均匀划分的多个数据块（101）；基于纠删码将所述数据块编码处理成多个数据片及校验片（102）；利用所述数据片及所述校验片存储所述原始数据文件（103）；若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件（104）。上述方法适用于对数据文件的分块存储及缺失数据的自动恢复。

Description

数据存储及恢复的方法、装置及计算机设备 技术领域
本申请要求与2019年7月11日提交中国专利局、申请号为2019106249646、申请名称为“数据存储及恢复的方法、装置及计算机设备”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
背景技术
随着计算机在各个行业的普及，大量数据文件都需要通过计算机服务器进行处理、存储，对于一些价值较高的数据文件，若存储过程中出现异常或丢失，将直接关乎到企业或个人的经济效益，严重者甚至会关乎到社会效益。
作为服务器大脑的处理器在内外部环境因素的影响下，难免会出现异常，在处理器异常的情况下，如何去保障服务器内的数据文件不出现异常或不丢失，那将是至关重要的问题。
目前业内主要是通过动态监测存储空间内的数据文件，当判断数据文件存储异常时，重新上传副本数据文件，进而替换缺失的数据文件。然而上述数据恢复的方式，当判定存储异常时，需要拷取副本数据文件并进行上传，当数据文件传输量大时，拷贝及传输过程会耗时较长，容易耽误业务的运行进程，且造成数据恢复的成本较大。
发明内容
有鉴于此，本申请公开了一种数据存储及恢复的方法、装置及计算机设备，主要目的在于解决在恢复异常数据文件时，恢复耗时长、成本高的问题。
根据本申请的一个方面，提供了一种数据存储及恢复的方法，该方法包括：
获取由原始数据文件均匀划分的多个数据块；
基于纠删码将所述数据块编码处理成多个数据片及校验片；
利用所述数据片及所述校验片存储所述原始数据文件；
若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。
根据本申请的另一个方面，提供了一种数据存储及恢复的装置，该装置包括：
获取模块，用于获取由原始数据文件均匀划分的多个数据块；
处理模块，用于基于纠删码将所述数据块编码处理成多个数据片及校验片；
存储模块，用于利用所述数据片及所述校验片存储所述原始数据文件；
恢复模块，用于若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。
根据本申请的又一个方面，提供了一种非易失性可读存储介质，其上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现上述数据存储及恢复的方法。
根据本申请的再一个方面，提供了一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述数据存储及恢复的方法。
借由上述技术方案，本申请提供的一种数据存储及恢复的方法、装置及计算机设备，与目前利用副本数据文件替换缺失数据文件的方式相比，本申请可将原始数据文件划分成多个数据块，并基于纠删码技术对数据块进行编码处理，获取得到多个数据片及校验片，将数据片及校验片存储于不同的数据中心，通过按序读取数据片来获取原始数据文件，当判定某一数据中心内的数据片及校验片发生缺失时，可利用其余数据正常的数据片及校验片对其进行解码修复，进而恢复缺失数据文件。本申请的数据恢复过程非常高效，能够及时检测并修复缺失的数据块，从而不耽误业务进程。在数据文件恢复时只需要恢复缺失数据片，不需要更换整个数据文件，故能有效降低数据恢复的成本，且能避免由于数据恢复时间长而造成的经济损失。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本地申请的不当限定。在附图中：
图1示出了本申请实施例提供的一种数据存储及恢复的方法的流程示意图；
图2示出了本申请实施例提供的另一种数据存储及恢复的方法的流程示意图；
图3示出了本申请实施例提供的一种数据存储及恢复的装置的结构示意图；
图4示出了本申请实施例提供的另一种数据存储及恢复的装置的结构示意图。
具体实施方式
下文将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
针对目前在恢复缺失数据文件时，恢复耗时长、成本高的问题，本申请实施例提供了一种数据存储及恢复的方法，如图1所示，该方法包括：
101、获取由原始数据文件均匀划分的多个数据块。
对于本实施例，在具体的应用场景中，为了实现对原始数据文件的分块处理，以及对数据块的编码存储，故需要预先将原始数据文件均匀切割成多个大小相等的数据块，分割数量可根据实际应用场景进行确定。例如，一个24MB的原始数据文件，可根据实际情况划分成两个12MB的数据块，依次读取两个数据块即可获取到原始数据文件。
102、基于纠删码将数据块编码处理成多个数据片及校验片。
对于本实施例，在具体的应用场景中，在将原始数据文件按照数据排列顺序分割成N个大小相同的原始数据块后，可利用纠删码对原始数据块编码生成N个大小相同的数据片，以及M个与数据片大小相同的校验数据片，其中，基于纠删码对原始数据文件划分的原理为：基于柯西矩阵的Erasure Code，主要应用到柯西矩阵的可逆性，纠删码存储的数据上传与恢复过程主要利用编码、解码来恢复丢失的数据。
103、利用数据片及校验片存储原始数据文件。
对于本实施例，在具体的应用场景中，为了实现对数据文件的安全存储，可将原始数据块和校验数据块分别存储在不同的位置，如不同的磁盘、不同的存储节点等。这样分区存储的方式，能够避免数据存储在一个位置，由于单个存储空间损坏而造成全部数据缺失的问题，且当单个存储节点出现故障或错误时，能够清晰判定出数据缺失的数据片或校验片，还能利用其他存储空间内完整的数据片及校验片对缺失文件进行数据恢复。
104、若判定原始数据文件缺失，则利用符合预设条件的数据片及校验片解码恢复原始数据文件。
其中，预设条件为数据缺失的数据片及校验片的数量应满足纠删码的容错冗余度，容错冗余度可对应校验片的数量，当数据缺失的数据片及校验片的数量小于或等于容错冗余度时，可利用数据正常的数据片及校验片实现对缺失数据的恢复；当数据缺失的数据片及校验片的数量大于容错冗余度时，说明数据正常的数据片及校验片已无法实现对缺失数据的解码恢复，即超出了纠删码的数据恢复条件。例如，将原始数据信息切分为k块source data(数据块)，然后通过纠删码Encoder生成n块encoded data(编码的数据块)，其中，encoded data中包含(n-k)块校验块，最后统一存储传输；只要能够接收到k`>＝k块的encoded data，就能够计算出所有的source data。
通过本实施例中数据存储及恢复的方法，可将原始数据文件划分成多个数据块，并基于纠删码技术对数据块进行编码处理，获取得到多个数据片及校验片，将数据片及校验片存储于不同的数据中心，通过按序读取数据片来获取原始数据文件，当判定某一数据中心内的数据片及校验片发生缺失时，可利用其余数据正常的数据片及校验片对其进行自动解 码修复，进而实现对数据文件的恢复。本方案的整个恢复过程非常的高效，能够及时检测并修复缺失的数据块，从而不耽误业务进程。在数据文件恢复时只需要恢复缺失数据片，不需要更换整个数据文件，故能有效降低数据恢复的成本，且能避免由于数据恢复时间长而造成的经济损失。
进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例中的具体实施过程，提供了另一种数据存储及恢复的方法，如图2所示，该方法包括：
201、获取由原始数据文件均匀划分的多个数据块。
例如，一个36MB的原始数据文件，可根据实际情况均匀划分成三个12MB的数据块，并对这三个数据块按照原始数据文件的排列顺序进行编号，当读取原始数据文件时，可按照编号由小到大的顺序读取数据块，进而到原始数据文件。
202、利用纠删码对数据块进行编码，将原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片。
其中，第一划分规则为将原始数据文件编码划分成预设均等数量，并生成与数据块同等数量且大小相同的第一数据片，以及生成设定数量个与第一数据片大小相同的第一校验片。在具体的应用场景中，第一划分规则可设定第一数据片以及第一数据块的划分数量。
例如，获取第一划分规则为：将原始数据文件编码划分为2个第一数据片和1个第一校验片。如原始数据文件为24MB，则按照第一划分规则可编码生成2个12MB的第一数据片、1个12MB的第一校验片。通过读取2个12MB的第一数据片即可获取到原始数据文件。第一校验片的作用是用于对第一数据片丢失数据的恢复，校验片的数量代表纠删码的容错能力，即最大冗余度。在本实施例中，最多只能允许其中一个第一数据片发生数据丢失，才能保证丢失的数据能够完全恢复。
203、利用纠删码对第一数据片进行二次编码，将各个第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。
其中，第二划分规则为：对划分后的各个第一数据片进行二次编码划分，即将第一数据片编码均匀划分为预定数量个第二数据片和第二校验片。在具体的应用场景中，第二划分规则可设定单个第一数据片划分为第二数据片以及第二校验片的数量。
例如，获取第二划分规则为：将各个第一数据片编码划分为4个第二数据片和2个第二校验片。如原始数据文件为24MB，已按照第一划分规则编码生成2个12MB的第一数据片、1个12MB的第一校验片。则可继续按照第二划分规则将两个12MB的第一校验片分别划分为4个3MB的第二数据片以及2个同等大小的第二校验片，通过读取4个12MB 的第二数据片即可获取到对应的第一数据片数据，通过按序读取8个第二数据片即可获取原始数据文件，第二校验片的作用是用于对第二数据片丢失数据的恢复，校验片的数量代表纠删码的容错能力，即最大冗余度。在本实施例中，最多只能允许其中两个第二数据片发生数据丢失，才能保证丢失的数据能够完全恢复。
204、将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心。
对于本实施例，在具体的应用场景中，为了避免数据同时丢失，且实现对数据文件的安全存储，可将第一数据片和第一校验片分别存储在不同的位置。例如，一个24MB的文件，可利用第一划分规则进行一级划分，划分成2个12MB的第一数据片和1个12MB的第一校验片，之后将2个第一数据片分别存放于A第一数据中心及B第一数据中心，将1个第一校验片存放于C第二数据中心。
205、将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。
基于实施例步骤204的实施例，在将2个12MB的第一数据片和1个12MB的第一校验片分别存放于A第一数据中心、B第一数据中心及C第二数据中心后，对于每个第一数据中心内存储的12MB第一数据片，可基于第二划分规则进行二级划分，分别切成4个3MB的第二数据片和2个3MB的第二校验片，为了防止第二数据片同时丢失，可将第二数据片和第二校验片分别存储在对应A第一数据中心和B第一数据中心内的不同存储位置。
206a、通过读取所有第一数据片来获取原始数据文件。
对于本实施例，在具体的应用场景中，实施例步骤206a具体可以包括：获取各个第一数据片的第一序号，其中，第一序号对应第一数据片拼装原始数据文件的排列顺序；按照由小到大的第一序号读取第一数据片，以便获取原始数据文件。例如，将原始数据文件基于第一划分规则均匀划分成四个第一数据片a、b、c、d后，在想要获取原始数据文件时，可通过获取这四个第一数据片的第一序号来进行读取，如获取到a、b、c、d这四个第一数据片的第一序号分别为4、2、3、1，则可按照第一序号有小到大的顺序读取第一数据片d、第一数据片b、第一数据片c、第一数据片a来获取到原始数据文件。
207a、若判定存在缺失的第一数据片，则确定原始数据文件缺失。
对于本实施例，在具体的应用场景中，所有第一数据片累加起来代表原始数据文件，当利用读取第一数据片的方式来获取原始数据文件时，若判定存在缺失的第一数据片时，通过读取第一数据片无法获取到完整的原始数据文件，即可确定原始数据文件缺失。
208a、确定存在第一数据片数据缺失的目标第一数据中心。
相应的，对于本实施例，当确定存在第一数据片缺失时，需要预先获取缺失第一数据片所在的目标第一数据中心，作为待恢复的数据中心点。
209a、提取目标第一数据中心内的所有目标第二数据片及目标第二校验片。
在具体的应用场景中，在确定出存在第一数据片数据缺失的目标第一数据中心后，即可对目标第一数据中心内缺失的第一数据片进行恢复，具体可包括两种恢复方式。在本实施例步骤中首先介绍对第一数据片的第一种恢复方式，即利用目标第一数据中心内的第二数据片及第二校验片来恢复，故需要首先提取出目标第一数据中心内的所有目标第二数据片及目标第二校验片。进而通过执行实施例步骤210a至实施例步骤211a，来实现对缺失第一数据片的恢复。
210a、若判定目标第二数据片数据完整，则按照第二序号读取目标第二数据片，以便获取数据缺失的目标第一数据片。
相应的，利用目标第一数据中心内的第二数据片及第二校验片来恢复缺失第一数据片时，又包括两种恢复场景，本实施例步骤提供了其中第一种恢复场景，即判定所有目标第二数据片数据完整的情况下，可通过按序读取目标第一数据中心内的所有第二数据片来获取数据缺失的目标第一数据片。
211a、若判定目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，按照第二序号读取恢复后的目标第二数据片，以便获取目标第一数据片。
其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值。第二预设阈值对应数据恢复的最大冗余度，即代表目标第二数据片的最大容错数量，第二预设阈值可对应目标第二校验片的数量，如目标第二校验片的数量为2，则可设定第二预设阈值为2，当数据缺失的目标第二数据片及目标第二校验片的数量小于等于2时，可利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，在完成对第二数据片的数据恢复后，可通过按序读取目标第一数据中心内的所有第二数据片来获取数据缺失的目标第一数据片。
对于本实施例，作为与实施例步骤210a并列的利用第二数据片及第二校验片来恢复缺失第一数据片的另一种恢复场景，即判定目标第二数据片存在数据缺失且符合第二数据恢复条件，则可利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，在所有目标第二数据片数据恢复完整后，通过按序读取目标第一数据中心内的所有第二数据片来获取数据缺失的目标第一数据片。
212a、若判定目标第二数据片存在数据缺失且不符合第二数据恢复条件，则获取数据完整的第一数据片及第一校验片。
在本实施例步骤中介绍与实施例步骤209a对应的对缺失第一数据片的第二种恢复方式，即利用其他第一数据中心内数据完整的第一数据片及第二数据中心内的第一校验片来恢复目标第一数据中心的第一数据片。因获取其他数据中心内的数据比获取同一数据中心内数据的耗时长，故为了提高数据恢复的效率，作为一种优选方式，可优先执行实施例步骤209a的恢复操作，当确定目标数据中心内的第二数据片存在缺失且解码不可恢复时，可进而执行实施例步骤213a至实施例步骤214a的数据恢复操作。
213a若判定目标第一数据片符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片。
其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值。第一预设阈值对应数据恢复的最大冗余度，即代表第一数据片的最大容错数量，第一预设阈值可对应第一校验片的数量，如目标第二校验片的数量为1，则可设定第二预设阈值为1，当数据缺失的目标第二数据片及目标第二校验片的数量小于或等于1时，可利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片。
214a若判定目标第一数据片不符合第一数据恢复条件，则输出数据恢复异常的报警信息。
对于本实施例，若判定数据缺失的目标第一数据片及目标第一校验片不满足第一数据恢复条件，即在恢复数据缺失的第一数据片时，通过上述两种数据恢复方法均不能实现对第一数据片的恢复，则可进一步输出报警信号，起到提示的目的，以便工作人员采取策略进行及时的抢修。
与实施例步骤206a并列的实施例步骤206b、通过读取所有第二数据片来获取原始数据文件。
对于本实施例，在具体的应用场景中，实施例步骤206b具体可以包括：获取各个第二数据片的第二序号，其中，第二序号对应第二数据片拼装原始数据文件的排列顺序；按照由小到大的第二序号读取第二数据片，以便获取原始数据文件。例如，将原始数据文件基于第一划分规则均匀划分成两个第一数据片A、B后，再将第一数据片A按照第二划分规则编码划分为四个第二数据片a1、a2、a3、a4。将第一数据片B按照第二划分规则编码划分为四个第二数据片b1、b2、b3、b4。在想要获取原始数据文件时，可按照这8个第二数据片的第二序号来进行读取，如获取到a1、a2、a3、a4、b1、b2、b3、b4这8个第一数 据片的第一序号分别为4、2、3、1、5、6、8、7则可按照第一序号由小到大的顺序通过读取第二数据片a4、第二数据片a2、第二数据片a3、第二数据片a1、第二数据片b1、第二数据片b2、第二数据片b4、第二数据片b3来获取到原始数据文件。
207b、若判定存在缺失的第二数据片，则确定原始数据文件缺失。
对于本实施例，在具体的应用场景中，所有第二数据片累加起来代表原始数据文件，当利用读取第二数据片的方式来获取原始数据文件时，若判定存在缺失的第二数据片时，通过读取第二数据片无法获取到完整的原始数据文件，即可确定原始数据文件缺失。
208b、确定存在第二数据片数据缺失的目标第一数据中心。
相应的，对于本实施例，当确定存在第二数据片缺失时，需要预先获取缺失第二数据片所在的目标第一数据中心，作为待恢复的数据中心点。
209b、获取目标第一数据中心内数据完整的目标第二数据片及目标第二校验片。
在具体的应用场景中，在确定出存在第二数据片数据缺失的目标第一数据中心后，即可对目标第一数据中心内缺失的第二数据片进行恢复，具体可包括两种恢复方式。在本实施例步骤中首先介绍对缺失第二数据片恢复的第一种方式，即利目标第一数据中心内数据完整的目标第二数据片及目标第二校验片来恢复，故需要首先提取出目标第一数据中心内的所有数据完整的目标第二数据片及目标第二校验片。进而通过执行实施例步骤210b，来实现对缺失第二数据片的恢复。
210b、若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片。
其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值。第二预设阈值对应数据恢复的最大冗余度，即代表目标第二数据片的最大容错数量，第二预设阈值可对应目标第二校验片的数量，如目标第二校验片的数量为2，则可设定第二预设阈值为2，当数据缺失的目标第二数据片及目标第二校验片的数量小于或等于2时，可利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片。
211b、若判定目标第二数据片不符合第二数据恢复条件，则获取目标第一数据中心内的目标第一数据片。
在本实施例步骤中介绍与实施例步骤209b对应的对缺失第二数据片的第二种恢复方式，即利用目标第一数据中心内的目标第一数据片来实现对缺失第二数据片的恢复，故需要首先提取出目标第一数据中心内的目标第一数据片。进而通过执行实施例步骤212b至 实施例步骤213b，来实现对缺失第二数据片的恢复。
212b、若判定目标第一数据片数据完整，则利用纠错码将目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，以便替换数据缺失的目标第二数据片。
相应的，利用目标第一数据中心内的第一数据片来恢复缺失第二数据片时，又包括两种恢复场景，本实施例步骤提供了第一种恢复场景，即判定目标第一数据片数据完整的情况下，可通过纠错码将目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，进而替换数据缺失的目标第二数据片或目标第二校验片。
213b、若判定目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复数据缺失的目标第一数据片。
其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值。第一预设阈值对应数据恢复的最大冗余度，即代表第一数据片的最大容错数量，第一预设阈值可对应第一校验片的数量，如目标第二校验片的数量为1，则可设定第二预设阈值为1，当数据缺失的目标第二数据片及目标第二校验片的数量小于等于1时，可利用数据完整的第一数据片及第一校验片解码恢复目标第一数据片。之后可通过纠错码将恢复后的目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，进而替换数据缺失的目标第二数据片或目标第二校验片。
214b、若判定目标第一数据片数据缺失且不符合第一数据恢复条件，则输出数据恢复异常的报警信息。
对于本实施例，若判定数据缺失的的目标第一数据片不满足第一数据恢复条件，即恢复数据缺失的第二数据片时，通过上述两种数据恢复方法均不能实现对第二数据片的恢复，则可进一步输出报警信号，起到提示的目的，以便工作人员采取策略进行及时的抢修。
在具体的应用场景中，为了提供一种进行数据存储及恢复的优选方式，还可将上述两种读取和恢复原始数据文件的方式相结合，通过读取第一数据片和第二数据片来获取原始数据文件；当确定第一数据中心内的第一数据片缺失时，可通过读取该第一数据中心内的全部完整第二数据片来获取数据；同样，当确定第一数据中心内的第二数据片缺失时，可通过读取该第一数据中心内的第一数据片来获取数据；在数据读取成功后，再基于完整的第一数据片、第一校验片及数据完整的第二数据片、第二校验片实现对缺失数据片的恢复。
在本实施例中，可基于柯西矩阵的可逆性，通过编码、解码来存储及恢复丢失的数据。其中，利用存储正常的第二数据片及第二校验片解码恢复第一数据片的方法，具体可包括：利用存储正常的第二数据片及第二校验片构成解码列向量；将生成矩阵中解码列向量所对 应行构成矩阵的逆矩阵确定为解码生成矩阵；通过计算解码生成矩阵和解码列向量的乘积来获取数据缺失的第二数据片。相应的，利用存储正常的第一数据片及第一校验片解码恢复数据缺失的第一数据片及第一校验片的方法，具体可包括：将存储正常的第一数据片及第一校验片构成解码列向量；将生成矩阵中解码列向量所对应行构成矩阵的逆矩阵确定为解码生成矩阵；利用解码生成矩阵和解码列向量的乘积来获取数据缺失的第一数据片。
通过上述数据存储及恢复的方法，可将原始数据文件初步均匀划分为多个数据块，基于纠删码技术将数据块处理成多个第一数据片及第一校验片，将各个第一数据片处理成多个第二数据片及第二校验片，将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心；将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。可通过两种方式来读取原始数据文件，第一种读取方式：通过按序读取各个第一数据中心内的第一数据片来获取原始数据文件。第二种读取方式：通过按序读取各个第一数据片对应的第二数据片来获取原始数据文件。两种读取方式又对应两种数据恢复方式，第一种恢复方式：当判定具有缺失的第一数据片时，可通过读取所在第一数据中心内所有完整的第二数据片，来获取原第一数据片，进而实现对缺失第一数据片的替换恢复。另外，当判定所在第一数据中心内的第二数据片同样存在数据缺失且不可恢复时，可通过数据完整的第一数据片及第一校验片进行解码恢复。第二种恢复方式：当判定具有缺失的第二数据片时，可通过该第一数据中心中其他数据完整的第二数据片及第二校验片进行解码恢复。当不可实现恢复时，则获取其对应的第一数据片，利用第一数据片重新进行第二数据片及第二校验片的编码划分，从而替恢复该缺失的第二数据片。通过本申请提供的两种数据读取方式，以及对应缺失数据的两种恢复方式，可实现对业务数据的双重保护，当在数据读取过程中发生数据缺失时，能够及时更换读取方式，有效保证业务数据的完整性以及安全性。另外，本方案将对整体业务数据的存储与恢复，具体到对数据片的存储与恢复，并且提供了多种恢复方式，故能够保证数据恢复的效率，节省恢复时间，降低数据恢复成本。
进一步的，作为图1和图2所示方法的具体体现，本申请实施例提供了一种数据存储及恢复的装置，如图3所示，该装置包括：获取模块31、处理模块32、存储模块33、恢复模块34。
获取模块31，可用于获取由原始数据文件均匀划分的多个数据块；
处理模块32，可用于基于纠删码将数据块编码处理成多个数据片及校验片；
存储模块33，可用于利用数据片及校验片存储原始数据文件；
恢复模块34，可用于若判定原始数据文件缺失，则利用符合预设条件的数据片及校验片解码恢复原始数据文件。
在具体的应用场景中，为了将数据块编码处理成多个数据片及校验片，处理模块32，具体可用于利用纠删码对数据块进行编码，将原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片；利用纠删码对第一数据片进行二次编码，将各个第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。
相应的，为了保证数据存储的安全性以及可恢复性，存储模块33，具体可用于将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心；将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。
在具体的应用场景中，如图4所示，本装置还包括：确定模块35。
获取模块31，还可用于通过读取所有第一数据片来获取原始数据文件；和/或通过读取所有第二数据片来获取原始数据文件；
确定模块35，可用于若判定存在缺失的第一数据片或第二数据片，则确定原始数据文件缺失。
相应的，为了通过读取所有第一数据片来获取原始数据文件，获取模块31，具体可用于获取各个第一数据片的第一序号，其中，第一序号对应第一数据片拼装原始数据文件的排列顺序；按照由小到大的第一序号读取第一数据片，以便获取原始数据文件。
相应的，为了通过读取所有第二数据片来获取原始数据文件，获取模块31，具体可用于获取各个第二数据片的第二序号，其中，第二序号对应第二数据片拼装原始数据文件的排列顺序；按照由小到大的第二序号读取第二数据片，以便获取原始数据文件。
在具体的应用场景中，为了在判定第一数据片存在数据缺失时，利用符合预设条件的数据片及校验片解码恢复原始数据文件，恢复模块34，具体可用于确定存在第一数据片数据缺失的目标第一数据中心；提取目标第一数据中心内的所有目标第二数据片及目标第二校验片；若判定目标第二数据片数据完整，则按照第二序号读取目标第二数据片，以便获取数据缺失的目标第一数据片；若判定目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复数据缺失的目标第二数据片，按照第二序号读取恢复后的目标第二数据片，以便获取目标第一数据片，其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；若判定目标第二数据片存在数据缺失且不符合第二数据恢复条件，则获取数据完整的第一数据片及第一校验片；若判定目标第一数据片符合第一数据恢复条件，则利 用数据完整的第一数据片及第一校验片解码恢复目标第一数据片，其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值；若判定目标第一数据片不符合第一数据恢复条件，则输出数据恢复异常的报警信息。
相应的，为了在判定第二数据片存在数据缺失时，利用符合预设条件的数据片及校验片解码恢复原始数据文件，恢复模块34，具体可用于确定存在第二数据片数据缺失的目标第一数据中心；获取目标第一数据中心内数据完整的目标第二数据片及目标第二校验片；若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复目标第二数据片，其中，第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；若判定目标第二数据片不符合第二数据恢复条件，则获取目标第一数据中心内的目标第一数据片；若判定目标第一数据片数据完整，则利用纠错码将目标第一数据片重新划分成符合第二划分规则的第二数据片及第二校验片，以便替换目标第二数据片；若判定目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及第一校验片解码恢复数据缺失的目标第一数据片，其中，第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值；若判定目标第一数据片数据缺失且不符合第一数据恢复条件，则输出数据恢复异常的报警信息。
需要说明的是，本实施例提供的一种数据存储及恢复的装置所涉及各功能单元的其它相应描述，可以参考图1至图2中的对应描述，在此不再赘述。
基于上述如图1和图2所示方法，相应的，本申请实施例还提供了一种非易失性可读存储介质，其上存储有计算机可读指令，该计算机可读指令被处理器执行时实现上述如图1和图2所示的数据存储及恢复的方法。
基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1、图2所示的方法，以及图3、图4所示的虚拟装置实施例，为了实现上述目的，本申请实施例还提供了一种计算机设备，具体可以为个人计算机、服务器、网络设备等，该实体设备包括非易失性可读存储介质和处理器；非易失性可读存储介质，用于存储计算机可读指令；处理器，用于执行计算机可读指令以实现上述如图1和图2所示的数据存储及恢复的方法。
可选地，该计算机设备还可以包括用户接口、网络接口、摄像头、射频(Radio Frequency，RF)电路，传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等，可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如蓝牙接口、WI-FI接口)等。
本领域技术人员可以理解，本实施例提供的计算机设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
非易失性可读存储介质中还可以包括操作系统、网络通信模块。操作系统是数据存储及恢复的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现非易失性可读存储介质内部各组件之间的通信，以及与该实体设备中其它硬件和软件之间通信。
通过本申请的技术方案通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本申请的技术方案，与目前现有技术相比，本申请，可将原始数据文件初步均匀划分为多个数据块，基于纠删码技术将数据块处理成多个第一数据片及第一校验片，将各个第一数据片处理成多个第二数据片及第二校验片，将各个第一数据片存储于不同的第一数据中心，将各个第一校验片存储于不同的第二数据中心；将第二数据片及第二校验片分别对应存储于第一数据中心内的不同存储单元。本申请提供了两种数据读取方式，以及对应缺失数据的两种恢复方式，可实现对业务数据的双重保护，当在数据读取过程中发生数据缺失时，能够及时更换读取方式，有效保证业务数据的完整性以及安全性。另外，本方案将对整体业务数据的存储与恢复，具体到对数据片的存储与恢复，并且提供了多种恢复方式，故能够保证数据恢复的效率，节省恢复时间，降低数据恢复成本。
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景，但是，本申请并非局限于此，任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (20)

  1. 一种数据存储及恢复的方法，其特征在于，包括：
    获取由原始数据文件均匀划分的多个数据块；
    基于纠删码将所述数据块编码处理成多个数据片及校验片；
    利用所述数据片及所述校验片存储所述原始数据文件；
    若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。
  2. 根据权利要求1所述的方法，其特征在于，所述基于纠删码将所述数据块编码处理成多个数据片及校验片，具体包括：
    利用纠删码对所述数据块进行编码，将所述原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片；
    利用纠删码对所述第一数据片进行二次编码，将各个所述第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。
  3. 根据权利要求2所述的方法，其特征在于，所述利用所述数据片及所述校验片存储所述原始数据文件，具体包括：
    将各个所述第一数据片存储于不同的第一数据中心，将各个所述第一校验片存储于不同的第二数据中心；
    将所述第二数据片及所述第二校验片分别对应存储于所述第一数据中心内的不同存储单元。
  4. 根据权利要求3所述的方法，其特征在于，在利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件之前，具体还包括：
    通过读取所有所述第一数据片来获取所述原始数据文件；和/或
    通过读取所有所述第二数据片来获取所述原始数据文件；
    若判定存在缺失的所述第一数据片或所述第二数据片，则确定所述原始数据文件缺失。
  5. 根据权利要求4所述的方法，其特征在于，所述通过读取所有所述第一数据片来获取所述原始数据文件，具体包括：
    获取各个所述第一数据片的第一序号，其中，所述第一序号对应所述第一数据片拼装所述原始数据文件的排列顺序；
    按照由小到大的所述第一序号读取所述第一数据片，以便获取所述原始数据文件；
    所述通过读取所有所述第二数据片来获取所述原始数据文件，具体包括：
    获取各个所述第二数据片的第二序号，其中，所述第二序号对应所述第二数据片拼装所述原始数据文件的排列顺序；
    按照由小到大的所述第二序号读取所述第二数据片，以便获取所述原始数据文件。
  6. 根据权利要求5所述的方法，其特征在于，若判定所述第一数据片存在数据缺失，所述利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件，具体包括：
    确定存在第一数据片数据缺失的目标第一数据中心；
    提取所述目标第一数据中心内的所有目标第二数据片及目标第二校验片；
    若判定所述目标第二数据片数据完整，则按照所述第二序号读取所述目标第二数据片，以便获取数据缺失的目标第一数据片；
    若判定所述目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复所述数据缺失的目标第二数据片，按照所述第二序号读取恢复后的所述目标第二数据片，以便获取所述目标第一数据片，其中，所述第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；
    若判定所述目标第二数据片存在数据缺失且不符合所述第二数据恢复条件，则获取数据完整的第一数据片及第一校验片；
    若判定所述目标第一数据片符合第一数据恢复条件，则利用所述数据完整的第一数据片及第一校验片解码恢复所述目标第一数据片，其中，所述第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值；
    若判定所述目标第一数据片不符合所述第一数据恢复条件，则输出数据恢复异常的报警信息。
  7. 根据权利要求5所述的方法，其特征在于，若判定所述第二数据片存在数据缺失，所述利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件，具体包括：
    确定存在第二数据片数据缺失的目标第一数据中心；
    获取所述目标第一数据中心内数据完整的目标第二数据片及目标第二校验片；
    若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用所述数据完整的目标第二数据片及目标第二校验片解码恢复所述目标第二数据片，其中，所述第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；
    若判定所述目标第二数据片不符合所述第二数据恢复条件，则获取所述目标第一数据中心内的目标第一数据片；
    若判定所述目标第一数据片数据完整，则利用纠错码将所述目标第一数据片重新划分成符合所述第二划分规则的第二数据片及第二校验片，以便替换所述目标第二数据片；
    若判定所述目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及所述第一校验片解码恢复所述数据缺失的目标第一数据片，其中，所述第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值；
    若判定所述目标第一数据片数据缺失且不符合所述第一数据恢复条件，则输出数据恢复异常的报警信息。
  8. 一种数据存储及恢复的装置，其特征在于，包括：
    获取模块，用于获取由原始数据文件均匀划分的多个数据块；
    处理模块，用于基于纠删码将所述数据块编码处理成多个数据片及校验片；
    存储模块，用于利用所述数据片及所述校验片存储所述原始数据文件；
    恢复模块，用于若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。
  9. 根据权利要求8所述的装置，其特征在于，所述处理模块，具体用于利用纠删码对所述数据块进行编码，将所述原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片；利用纠删码对所述第一数据片进行二次编码，将各个所述第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。
  10. 根据权利要求9所述的装置，其特征在于，所述存储模块，具体用于将各个所述第一数据片存储于不同的第一数据中心，将各个所述第一校验片存储于不同的第二数据中心；将所述第二数据片及所述第二校验片分别对应存储于所述第一数据中心内的不同存储单元。
  11. 根据权利要求10所述的装置，其特征在于，所述装置还包括：确定模块；
    所述获取模块，还用于通过读取所有所述第一数据片来获取所述原始数据文件；和/或通过读取所有所述第二数据片来获取所述原始数据文件；
    所述确定模块，用于若判定存在缺失的所述第一数据片或所述第二数据片，则确定所述原始数据文件缺失。
  12. 根据权利要求11所述的装置，其特征在于，所述获取模块，具体用于获取各个所述第一数据片的第一序号，其中，所述第一序号对应所述第一数据片拼装所述原始数据文 件的排列顺序；按照由小到大的所述第一序号读取所述第一数据片，以便获取所述原始数据文件；
    所述获取模块，具体还用于获取各个所述第二数据片的第二序号，其中，所述第二序号对应所述第二数据片拼装所述原始数据文件的排列顺序；按照由小到大的所述第二序号读取所述第二数据片，以便获取所述原始数据文件。
  13. 根据权利要求12所述的装置，其特征在于，所述恢复模块，具体用于确定存在第一数据片数据缺失的目标第一数据中心；提取所述目标第一数据中心内的所有目标第二数据片及目标第二校验片；若判定所述目标第二数据片数据完整，则按照所述第二序号读取所述目标第二数据片，以便获取数据缺失的目标第一数据片；若判定所述目标第二数据片存在数据缺失且符合第二数据恢复条件，则利用数据完整的目标第二数据片及目标第二校验片解码恢复所述数据缺失的目标第二数据片，按照所述第二序号读取恢复后的所述目标第二数据片，以便获取所述目标第一数据片，其中，所述第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；若判定所述目标第二数据片存在数据缺失且不符合所述第二数据恢复条件，则获取数据完整的第一数据片及第一校验片；若判定所述目标第一数据片符合第一数据恢复条件，则利用所述数据完整的第一数据片及第一校验片解码恢复所述目标第一数据片，其中，所述第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于或等于第一预设阈值；若判定所述目标第一数据片不符合所述第一数据恢复条件，则输出数据恢复异常的报警信息。
  14. 根据权利要求12所述的装置，其特征在于，所述恢复模块，具体还用于确定存在第二数据片数据缺失的目标第一数据中心；获取所述目标第一数据中心内数据完整的目标第二数据片及目标第二校验片；若判定数据缺失的目标第二数据片符合第二数据恢复条件，则利用所述数据完整的目标第二数据片及目标第二校验片解码恢复所述目标第二数据片，其中，所述第二数据恢复条件为数据缺失的目标第二数据片及目标第二校验片的数量小于或等于第二预设阈值；若判定所述目标第二数据片不符合所述第二数据恢复条件，则获取所述目标第一数据中心内的目标第一数据片；若判定所述目标第一数据片数据完整，则利用纠错码将所述目标第一数据片重新划分成符合所述第二划分规则的第二数据片及第二校验片，以便替换所述目标第二数据片；若判定所述目标第一数据片数据缺失且符合第一数据恢复条件，则利用数据完整的第一数据片及所述第一校验片解码恢复所述数据缺失的目标第一数据片，其中，所述第一数据恢复条件为数据缺失的目标第一数据片及目标第一校验片的数量小于等于第一预设阈值；若判定所述目标第一数据片数据缺失且不符合所述第一数据恢复条件，则输出数据恢复异常的报警信息。
  15. 一种非易失性可读存储介质，其上存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现数据存储及恢复的方法，包括：获取由原始数据文件均匀划分的多个数据块；基于纠删码将所述数据块编码处理成多个数据片及校验片；利用所述数据片及所述校验片存储所述原始数据文件；若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。
  16. 根据权利要求15所述的非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时实现所述基于纠删码将所述数据块编码处理成多个数据片及校验片，包括：利用纠删码对所述数据块进行编码，将所述原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片；利用纠删码对所述第一数据片进行二次编码，将各个所述第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。
  17. 根据权利要求16所述的非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时实现所述利用所述数据片及所述校验片存储所述原始数据文件，包括：将各个所述第一数据片存储于不同的第一数据中心，将各个所述第一校验片存储于不同的第二数据中心；将所述第二数据片及所述第二校验片分别对应存储于所述第一数据中心内的不同存储单元。
  18. 一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现数据存储及恢复的方法，包括：获取由原始数据文件均匀划分的多个数据块；基于纠删码将所述数据块编码处理成多个数据片及校验片；利用所述数据片及所述校验片存储所述原始数据文件；若判定所述原始数据文件缺失，则利用符合预设条件的所述数据片及所述校验片解码恢复所述原始数据文件。
  19. 根据权利要求18所述的非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时实现所述基于纠删码将所述数据块编码处理成多个数据片及校验片，包括：利用纠删码对所述数据块进行编码，将所述原始数据文件按照第一划分规则划分成大小相同的第一数据片及第一校验片；利用纠删码对所述第一数据片进行二次编码，将各个所述第一数据片按照第二划分规则划分成大小相同的第二数据片及第二校验片。
  20. 根据权利要求19所述的非易失性可读存储介质，其特征在于，所述计算机可读指令被处理器执行时实现所述利用所述数据片及所述校验片存储所述原始数据文件，包括：将各个所述第一数据片存储于不同的第一数据中心，将各个所述第一校验片存储于不同的第二数据中心；将所述第二数据片及所述第二校验片分别对应存储于所述第一数据中心内的不同存储单元。
PCT/CN2019/103524 2019-07-11 2019-08-30 数据存储及恢复的方法、装置及计算机设备 WO2021003822A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910624964.6A CN110502365B (zh) 2019-07-11 2019-07-11 数据存储及恢复的方法、装置及计算机设备
CN201910624964.6 2019-07-11

Publications (1)

Publication Number Publication Date
WO2021003822A1 true WO2021003822A1 (zh) 2021-01-14

Family

ID=68585585

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/103524 WO2021003822A1 (zh) 2019-07-11 2019-08-30 数据存储及恢复的方法、装置及计算机设备

Country Status (2)

Country Link
CN (1) CN110502365B (zh)
WO (1) WO2021003822A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860475A (zh) * 2021-02-04 2021-05-28 山东云海国创云计算装备产业创新中心有限公司 基于rs纠删码的校验块恢复方法、装置、系统及介质
CN113448777A (zh) * 2021-07-08 2021-09-28 京东科技控股股份有限公司 一种数据恢复方法及装置
CN114884624A (zh) * 2022-07-08 2022-08-09 广州思德医疗科技有限公司 数据处理方法及装置
CN115543697A (zh) * 2022-11-30 2022-12-30 北京网智易通科技有限公司 电子档案存储方法、装置、电子设备和存储介质
CN117420969A (zh) * 2023-12-19 2024-01-19 中电云计算技术有限公司 一种分布式数据存储方法、装置、设备及存储介质
CN117420969B (zh) * 2023-12-19 2024-04-16 中电云计算技术有限公司 一种分布式数据存储方法、装置、设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240597A (zh) * 2020-01-15 2020-06-05 书生星际(北京)科技有限公司 存储数据的方法、装置、设备和计算机可读存储介质
CN111541512B (zh) * 2020-03-13 2023-06-20 中国科学院深圳先进技术研究院 数据的处理方法、终端设备、可读存储介质
CN111596861B (zh) * 2020-05-06 2021-07-20 清华大学 数据存储方法和装置，数据恢复方法和装置
CN111818124B (zh) * 2020-05-29 2022-09-02 平安科技（深圳）有限公司 数据存储方法、装置、电子设备及介质
CN111682874B (zh) * 2020-06-11 2022-06-17 山东云海国创云计算装备产业创新中心有限公司 一种数据恢复的方法、系统、设备及可读存储介质
CN112052114A (zh) * 2020-08-27 2020-12-08 江苏超流信息技术有限公司 数据存储及恢复方法、编解码器及编解码系统
CN112558875A (zh) * 2020-12-14 2021-03-26 北京百度网讯科技有限公司 数据校验方法、装置、电子设备及存储介质
CN112948335A (zh) * 2021-02-23 2021-06-11 北京星震同源数字系统股份有限公司 一种数据处理方法和系统
CN113419684B (zh) * 2021-07-09 2023-02-24 深圳大普微电子科技有限公司 一种数据处理方法、装置、设备及可读存储介质
CN117608500B (zh) * 2024-01-23 2024-03-29 四川省华存智谷科技有限责任公司 一种存储系统在数据冗余不足时抢救有效数据的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546755A (zh) * 2011-12-12 2012-07-04 华中科技大学 云存储系统的数据存储方法
CN104111880A (zh) * 2013-04-16 2014-10-22 华中科技大学 一种容三盘失效纠删码的单数据盘失效快速重建方法
US20150149819A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Parity chunk operating method and data server apparatus for supporting the same in distributed raid system
CN108334419A (zh) * 2017-12-25 2018-07-27 华为技术有限公司 一种数据恢复的方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101834899B (zh) * 2010-04-29 2013-01-30 中科院成都信息技术有限公司 一种分布式自适应编码存储方法
CN102833040B (zh) * 2012-08-03 2016-10-26 南京中兴软件有限责任公司 解码处理方法、装置及编解码系统
CN105007286B (zh) * 2014-04-23 2018-12-28 苏宁易购集团股份有限公司 解码方法和装置及云存储方法和系统
CN108170555B (zh) * 2017-12-21 2021-07-20 浙江大华技术股份有限公司 一种数据恢复方法及设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546755A (zh) * 2011-12-12 2012-07-04 华中科技大学 云存储系统的数据存储方法
CN104111880A (zh) * 2013-04-16 2014-10-22 华中科技大学 一种容三盘失效纠删码的单数据盘失效快速重建方法
US20150149819A1 (en) * 2013-11-27 2015-05-28 Electronics And Telecommunications Research Institute Parity chunk operating method and data server apparatus for supporting the same in distributed raid system
CN108334419A (zh) * 2017-12-25 2018-07-27 华为技术有限公司 一种数据恢复的方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112860475A (zh) * 2021-02-04 2021-05-28 山东云海国创云计算装备产业创新中心有限公司 基于rs纠删码的校验块恢复方法、装置、系统及介质
CN112860475B (zh) * 2021-02-04 2023-02-28 山东云海国创云计算装备产业创新中心有限公司 基于rs纠删码的校验块恢复方法、装置、系统及介质
CN113448777A (zh) * 2021-07-08 2021-09-28 京东科技控股股份有限公司 一种数据恢复方法及装置
CN114884624A (zh) * 2022-07-08 2022-08-09 广州思德医疗科技有限公司 数据处理方法及装置
CN115543697A (zh) * 2022-11-30 2022-12-30 北京网智易通科技有限公司 电子档案存储方法、装置、电子设备和存储介质
CN115543697B (zh) * 2022-11-30 2023-03-10 北京网智易通科技有限公司 电子档案存储方法、装置、电子设备和存储介质
CN117420969A (zh) * 2023-12-19 2024-01-19 中电云计算技术有限公司 一种分布式数据存储方法、装置、设备及存储介质
CN117420969B (zh) * 2023-12-19 2024-04-16 中电云计算技术有限公司 一种分布式数据存储方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110502365B (zh) 2024-03-01
CN110502365A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
WO2021003822A1 (zh) 数据存储及恢复的方法、装置及计算机设备
US11327840B1 (en) Multi-stage data recovery in a distributed storage network
US20190171524A1 (en) Isolating the introduction of software defects in a dispersed storage network
US10157018B2 (en) Using vault to track reception of slices
US10114588B2 (en) Consolidating encoded data slices in read memory devices in a distributed storage network
US10241864B2 (en) Expanding information dispersal algorithm width without rebuilding through imposter slices
WO2018000812A1 (zh) 数据存储方法及装置
US10530862B2 (en) Determining slices to rebuild from low-level failures
US10581602B2 (en) End-to-end checksum in a multi-tenant encryption storage system
CN105635252A (zh) 一种Hadoop分布式文件系统HDFS纠删码冗余备份策略
US10552341B2 (en) Zone storage—quickly returning to a state of consistency following an unexpected event
US11513685B2 (en) Retrieving data in a storage network
WO2024001494A1 (zh) 一种数据存储的方法、单节点服务器及设备
US11650883B2 (en) Batch rebuilding a set of encoded data slices
US10769016B2 (en) Storing a plurality of correlated data in a dispersed storage network
US20180365261A1 (en) Fingerprinting data for more aggressive de-duplication
US10067998B2 (en) Distributed sync list
US10838814B2 (en) Allocating rebuilding queue entries in a dispersed storage network
US10789128B2 (en) External healing mode for a dispersed storage network memory
US10853175B1 (en) Storage unit (SU) operative to service urgent read requests
US10972541B1 (en) Priority encoded data slice retention
US20220269562A1 (en) Utilizing Integrity Information in a Vast Storage System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19937222

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19937222

Country of ref document: EP

Kind code of ref document: A1