WO2020181799A1 - 数据归档方法、设备、服务器及计算机可读存储介质 - Google Patents

数据归档方法、设备、服务器及计算机可读存储介质 Download PDF

Info

Publication number
WO2020181799A1
WO2020181799A1 PCT/CN2019/116524 CN2019116524W WO2020181799A1 WO 2020181799 A1 WO2020181799 A1 WO 2020181799A1 CN 2019116524 W CN2019116524 W CN 2019116524W WO 2020181799 A1 WO2020181799 A1 WO 2020181799A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
processed
target
preset
archiving method
Prior art date
Application number
PCT/CN2019/116524
Other languages
English (en)
French (fr)
Inventor
洪松
李光
李逸恒
刘俊
王能忠
Original Assignee
平安普惠企业管理有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安普惠企业管理有限公司 filed Critical 平安普惠企业管理有限公司
Publication of WO2020181799A1 publication Critical patent/WO2020181799A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes

Definitions

  • This application relates to the field of data processing technology, and in particular to a data archiving method, device, server, and computer-readable storage medium.
  • the embodiments of the present application provide a data archiving method, device, server, and computer-readable storage medium, which can realize automatic and intelligent archiving of data in advance, and improve the efficiency of data archiving.
  • an embodiment of the present application provides a data archiving method, which includes:
  • the archiving method includes a daily cut optimization data archiving method and a log record data archiving method ;
  • the target archiving method is adopted to archive the data to be processed.
  • embodiments of the present application provide a data archiving device, which includes a unit for executing the data archiving method of the first aspect.
  • embodiments of the present application provide a server, including a processor, an input device, an output device, and a memory.
  • the processor, input device, output device, and memory are connected to each other, wherein the memory is used for storage and support.
  • the data archiving device executes the computer program of the above method, the computer program includes program instructions, and the processor is configured to call the program instructions to execute the method of the above first aspect.
  • an embodiment of the present application provides a computer-readable storage medium that stores a computer program.
  • the computer program includes program instructions that, when executed by a processor, cause all The processor executes the method of the first aspect described above.
  • the embodiment of the application classifies the data to be processed within the preset time range acquired at the preset time point, and uses a determined target archiving method to archive the data, which can realize the classification and archiving of the data in advance, which improves the data archiving Processing efficiency.
  • FIG. 1 is a schematic flowchart of a data archiving method provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of another data archiving method provided by an embodiment of the present application.
  • FIG. 3 is a schematic block diagram of a data archiving device provided by an embodiment of the present application.
  • Fig. 4 is a schematic block diagram of a server provided by an embodiment of the present application.
  • the data archiving method provided in the embodiments of the present application can be executed by a data archiving device, and the data archiving device can be set on a server.
  • the data archiving device can also be set up with the server.
  • the server may be a terminal such as a mobile phone, a computer, a tablet, or a smart watch.
  • the data archiving device may be installed on the server.
  • the data archiving device may be spatially independent of the server, that is, the service terminal includes data archiving equipment.
  • the data archiving device can obtain the data to be processed within the preset time range at a preset time point; and classify the data to be processed according to the data processing status of the data to be processed to obtain the data to be processed Target data category, the target data category includes active data or inactive data.
  • the data archiving device can determine the target archiving method corresponding to the target data category of the data to be processed, and adopt the target archiving method to archive the data to be processed.
  • FIG. 1 is a schematic flowchart of a data archiving method provided by an embodiment of the present application. As shown in FIG. 1, the method can be executed by a data archiving device. The specific explanation of the data archiving device is as described above. I will not repeat it here. Specifically, the method in the embodiment of the present application includes the following steps.
  • S101 Acquire data to be processed within a preset time range at a preset time point, where the preset time range is after the preset time point.
  • the data archiving device may acquire data to be processed within a preset time range at a preset time point, and the preset time range is after the preset time point.
  • the data is stored in a preset database, and the preset database is used to store the data to be processed.
  • the preset time range is after the preset time point, and the preset time point may be any time point before the time start point of the preset time range.
  • the data archiving device may obtain the data to be processed within the preset time range at any time point before the time start point of the preset time range.
  • S102 Classify the data to be processed according to the data processing state of the data to be processed to obtain the target data category of the data to be processed.
  • the data archiving device may classify the data to be processed according to the data processing state of the data to be processed to obtain the target data category of the data to be processed.
  • the data archiving device may obtain the processing status of the data to be processed within the preset time range, and determine the data type of the data to be processed according to the processing status.
  • the processing state includes two states: completed and incomplete; in some embodiments, the data type includes active data and inactive data. In some embodiments, the data archiving device may determine that the data to be processed whose processing status is incomplete is active data, and determine that the data to be processed whose processing status is completed is active data.
  • the data archiving device can detect whether the current repayment data is equal to pending repayment data, and if it detects that the current repayment data is equal to pending repayment data, it can It is determined that the processing status of the pending repayment data is completed, and if it is detected that the current repayment data is less than the pending repayment data, it can be determined that the processing status of the pending repayment data is not completed.
  • the data archiving device may determine that the processing status of the pending repayment data is unfinished data to be processed as active data, and determine that the processing status of the pending repayment data is completed and the pending data is active data .
  • the data archiving device may obtain the update frequency of the data to be processed within the preset time range, and perform an update on the data to be processed according to the update frequency of the data to be processed within the preset time range. The data is classified to obtain the target data category of the data to be processed. In some embodiments, the data archiving device may compare the update frequency of the data to be processed within the preset time range with a preset frequency threshold; if the update frequency is greater than or equal to the preset frequency threshold, then It may be determined that the data to be processed is active data; if the update frequency is less than a preset frequency threshold, it may be determined that the data to be processed is inactive data.
  • the data archiving device acquires that the update frequency of the data to be processed within the preset time range is 3 times/hour, and if the preset frequency threshold is 2 times/hour, it can be determined that the update frequency is 3 times /Hour is greater than the preset frequency threshold twice/hour, so that the data to be processed within the preset time range can be determined to be active data.
  • the update frequency of the data to be processed within the preset time range acquired by the data archiving device is 3 times/hour
  • the preset frequency threshold is 4 times/hour
  • the update frequency can be determined to be 3 Times/hour is less than the preset frequency threshold of 2 times/hour, so that it can be determined that the data to be processed within the preset time range is inactive data.
  • the data archiving device may obtain the business completion degree of the data to be processed within the preset time range, and compare the business completion degree of the data to be processed within the preset time range. The processed data is classified to obtain the target data category of the data to be processed. In some embodiments, the data archiving device may compare the business completion degree of the data to be processed within the preset time range with a preset completion degree; if the business completion degree is greater than or equal to the preset completion degree , It can be determined that the data to be processed is active data; if the completion degree of the service is less than the preset completion degree, it can be determined that the data to be processed is inactive data.
  • the business completion degree of the pending repayment data can be determined It is 50%, that is, the data archiving device can determine that the service completion degree of 50% is equal to the preset completion degree of 50%, so it can determine that the data to be processed is active data.
  • the preset degree of completion is 50%
  • the data is pending repayment data, and the pending repayment data is 1000
  • the current repayment data is 300
  • the degree of completion is 30%
  • the data archiving device can determine that the service completion degree of 30% is less than the preset completion degree of 50%, and therefore can determine that the data to be processed is inactive data.
  • S103 Determine a target archive method corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archive method.
  • the data archiving device may determine the target archiving method corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archiving method.
  • the archiving method includes a daily cut optimization data archiving method and a log record data archiving method.
  • the data archiving device may determine the target archive corresponding to the inactive data according to the preset correspondence between the data category and the archiving method
  • the method is a logging data archiving method.
  • the data archiving device may determine that the target archiving method corresponding to the active data is daily based on the preset correspondence between the data category and the archiving method. All optimized data archiving methods.
  • S104 Use the target archiving method to archive the data to be processed.
  • the data archiving device may adopt the target archiving method to archive the data to be processed.
  • the log record data archiving method may be used to store the inactive data if it is determined that the archiving method of the data to be processed is a log record data archiving method.
  • a big data quasi-real-time analysis platform may be used to undertake the archiving task to archive the data to be processed.
  • the data archiving device can synchronously or asynchronously record the log record data corresponding to the to-be-processed data , And store the log record data to the data analysis platform.
  • the data archiving device may determine in the data analysis platform whether the log record data, that is, the processing period of the data exceeds a preset time range, and if the result of the determination is yes, it may determine that the data analysis
  • the log record data whose processing period exceeds the preset time range in the platform has expired, and the expired log record data is backed up and stored in a tape storage device.
  • the magnetic tape storage device is a storage device composed of a tape drive and its controller using magnetic tape as a storage medium, and is a kind of auxiliary storage of a computer.
  • a tape storage device is used as an auxiliary storage to store expired log record data, which can improve system utilization.
  • the daily cut optimized data archiving method may be used to store the active data.
  • a cold file backup scheme can be used to archive the to-be-processed data.
  • the data archiving device may filter out the data that needs to be cold backed up from the data to be processed, and export the demand offline. Perform cold backup of data, and store the data that requires cold backup in a network storage device.
  • the network storage device is directly connected to the server through a cable (usually a SCSI interface cable), the I/O (input/output) request is sent directly to the storage device, and the network storage device depends on the server. , It is a stack of hardware without any storage operating system, which is convenient for accessing data.
  • the network storage device is like a terminal with only storage function, which works independently, with a fixed system inside, but can set some parameter functions by itself, and can be connected to a server or computer for setting.
  • the network storage server is streamlined, Miniaturized server.
  • the network storage device may include any one of DAS, NAS, SAN, iscsl, etc.
  • the data can be stored independently through the network storage device, so that the data can be stored separately from the expired log record data to prevent data confusion and improve data processing efficiency.
  • the data archiving device can detect whether the processing period of the data stored in the network storage device exceeds the preset time range, and if the detection result is If yes, it can be determined that the data in the network storage device whose processing period exceeds the preset time range has expired, and the data in the network storage device whose processing period exceeds the preset time range is stored in the tape storage device.
  • the data archiving device can determine the target archiving method of the data to be processed, and adopt the target archiving method to archive the data to be processed, and can classify and archive the data in advance, which improves the efficiency of the data archiving process.
  • FIG. 2 is a schematic flowchart of another data archiving method provided by an embodiment of the present application. As shown in FIG. 2, the method can be executed by a data archiving device. The specific explanation of the data archiving device is as described above. I will not repeat it here. The difference between the embodiment of this application and the embodiment shown in FIG. 1 is that the embodiment of this application schematically illustrates the specific implementation process of the data archiving method. Specifically, the method of the embodiment of the present application includes the following steps.
  • S201 Obtain processing deadlines of each data in a preset database at a preset time point, where the preset database is used to store all data to be processed.
  • the data archiving device may obtain the processing period of each data in the preset database at a preset time point, and the preset database is used to store all the data to be processed.
  • the data archiving device can detect in real time whether the current time point is a preset time point, and if it detects that the current time point is a preset time point, acquire the processing time limit of each data in the preset database.
  • S202 Filter the data to be processed with the processing period within the preset time range from the preset database.
  • the data archiving device may filter out the data to be processed with the processing period within the preset time range from the preset database.
  • the data archiving device can filter out the data to be processed with the processing deadline within the time range of 00:00 to 23:59 on January 11 from the preset database.
  • the data archiving device can detect whether the data processing status of the data to be processed is completed after filtering out the data to be processed whose processing period is within the preset time range. If the result is yes, step S204 is executed, and if the detection result is no, step S205 is executed.
  • S204 Determine that the target data category of the data to be processed is inactive data, and determine the target archiving method corresponding to the inactive data as the log record data archiving method according to the preset correspondence between the data category and the archiving method.
  • the data archiving device detects that the data processing status of the data to be processed is completed, it can determine that the target data category of the data to be processed is inactive data, and based on the preset data The corresponding relationship between the category and the archiving method determines that the target archiving method corresponding to the inactive data is the log record data archiving method.
  • S205 Determine that the target data category of the data to be processed is active data, and determine the target archiving method corresponding to the active data as the daily cut optimization data archiving method according to the preset correspondence between the data category and the archiving method.
  • the data archiving device detects that the data processing status of the data to be processed is not completed, it can determine that the target data category of the data to be processed is active data, and according to the preset data category Corresponding to the archiving method, determining that the target archiving method corresponding to the active data is a daily cut optimization data archiving method.
  • the data archiving device may adopt the target archiving method to archive the data to be processed.
  • the data archiving device determines that the target archiving method is a daily cut optimization data archiving method, it can detect whether the processing period of the data to be processed has expired. If it is detected that the processing period of the data to be processed has expired, the data archiving device may store the data to be processed in a preset tape storage device; if the processing of the data to be processed is detected If the time limit has not expired, the data archiving device can store the to-be-processed data in a preset network storage device.
  • the data archiving device determines that the target archiving method is a log record data archiving method, it can obtain the completion time of the to-be-processed data and detect whether the completion time of the to-be-processed data is The processing time limit for the data to be processed is exceeded. If it is detected that the completion time of the to-be-processed data exceeds the processing period of the to-be-processed data, the data archiving device may store the to-be-processed data in a preset tape storage device; if it is detected If the completion time of the data to be processed does not exceed the processing time limit of the data to be processed, the data archiving device may store the data in a preset network storage device.
  • the log record data archiving method for determining the data processing status as completed inactive data and the daily cut optimization data archiving method for data processing status as incomplete active data are used to classify and archive data in advance .
  • FIG. 3 is a schematic block diagram of a data archiving device provided by an embodiment of the present application.
  • the data archiving device of this embodiment includes: an acquisition unit 301, a classification unit 302, a determination unit 303, and an archiving unit 304.
  • the obtaining unit 301 is configured to obtain data to be processed within a preset time range at a preset time point, the preset time range being after the preset time point;
  • the classification unit 302 is configured to classify the data to be processed according to the data processing state of the data to be processed to obtain a target data category of the data to be processed, and the target data category includes active data or inactive data data;
  • the determining unit 303 is configured to determine a target archiving method corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archiving method, and the archiving method includes a daily cut optimization data archiving method and Logging data archiving method;
  • the archiving unit 304 is configured to use the target archiving method to archive the data to be processed.
  • the acquiring unit 301 acquires the data to be processed within the preset time range at a preset time point, it is specifically configured to:
  • the data to be processed with the processing period within the preset time range is filtered from the preset database.
  • classification unit 302 classifies the data to be processed according to the data processing status of the data to be processed, and obtains the target data category of the data to be processed, it is specifically used for:
  • the archiving method includes a daily cut optimization data archiving method; the determining unit 303 determines the target archive corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archiving method
  • the method specifically used for:
  • the target archiving method corresponding to the active data is the daily cut optimization data archiving method according to the preset correspondence between the data category and the archiving method.
  • the archiving unit 304 adopts the target archiving method to archive the data to be processed, it is specifically used for:
  • the target archiving method is a daily cut optimization data archiving method, detecting whether the processing period of the data to be processed has expired;
  • the data to be processed is stored in a preset network storage device.
  • the archiving method includes a log record data archiving method; the determining unit 303 determines the target archiving method corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archiving method When, specifically used for:
  • the target archiving method corresponding to the inactive data is determined to be the log record data archiving method according to the preset correspondence between the data category and the archiving method.
  • the archiving unit 304 adopts the target archiving method to archive the data to be processed, it is specifically used for:
  • the target archiving method is a log record data archiving method, acquiring the completion time of the to-be-processed data
  • the data is stored in a preset network storage device.
  • classification unit 302 classifies the data to be processed according to the data processing state of the data to be processed, and obtains the target data category of the data to be processed, it is specifically used for:
  • the classification unit 302 classifies the data to be processed according to the update frequency of the data to be processed within the preset time range, and when obtaining the target data category of the data to be processed, it is specifically used for:
  • classification unit 302 classifies the data to be processed according to the data processing status of the data to be processed, and obtains the target data category of the data to be processed, it is specifically used for:
  • the classification unit 302 classifies the data to be processed according to the business completion degree of the data to be processed within the preset time range, and when the target data category of the data to be processed is obtained, it is specifically used for :
  • the archiving unit 304 adopts the target archiving method to archive the data to be processed, it is specifically used for:
  • a file cold backup scheme is adopted to archive the to-be-processed data.
  • the archiving unit 304 uses a file cold backup scheme to archive the to-be-processed data, it is specifically used for:
  • the data archiving device can determine the target archiving method of the data to be processed, and adopt the target archiving method to archive the data to be processed, so as to classify and archive the data in advance, which improves the efficiency of data archiving processing.
  • FIG. 4 is a schematic block diagram of a server according to an embodiment of the present application.
  • the data archiving device in this embodiment as shown in the figure may include: one or more processors 401; one or more input devices 402, one or more output devices 403, and a memory 404.
  • the aforementioned processor 401, input device 402, output device 403, and memory 404 are connected via a bus 405.
  • the memory 404 is configured to store a computer program including program instructions
  • the processor 401 is configured to execute the program instructions stored in the memory 404.
  • the processor 401 is configured to call the program instructions to execute:
  • the archiving method includes a daily cut optimization data archiving method and a log record data archiving method ;
  • the target archiving method is adopted to archive the data to be processed.
  • the processor 401 acquires the data to be processed within the preset time range at a preset time point, it is specifically configured to:
  • the data to be processed with the processing period within the preset time range is filtered from the preset database.
  • the processor 401 classifies the data to be processed according to the data processing state of the data to be processed, and obtains the target data category of the data to be processed, it is specifically used for:
  • the archiving method includes a daily cut optimization data archiving method; the processor 401 determines the target archive corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archiving method
  • the method specifically used for:
  • the target archiving method corresponding to the active data is the daily cut optimization data archiving method according to the preset correspondence between the data category and the archiving method.
  • the processor 401 adopts the target archiving method to archive the data to be processed, it is specifically configured to:
  • the target archiving method is a daily cut optimization data archiving method, detecting whether the processing period of the data to be processed has expired;
  • the data to be processed is stored in a preset network storage device.
  • the archiving method includes a log record data archiving method; the processor 401 determines the target archiving method corresponding to the target data category of the data to be processed according to the preset correspondence between the data category and the archiving method When, specifically used for:
  • the target archiving method corresponding to the inactive data is determined to be the log record data archiving method according to the preset correspondence between the data category and the archiving method.
  • the processor 401 adopts the target archiving method to archive the data to be processed, it is specifically configured to:
  • the target archiving method is a log record data archiving method, acquiring the completion time of the to-be-processed data
  • the data is stored in a preset network storage device.
  • the processor 401 classifies the data to be processed according to the data processing state of the data to be processed, and obtains the target data category of the data to be processed, it is specifically used for:
  • the processor 401 classifies the data to be processed according to the update frequency of the data to be processed within the preset time range, and obtains the target data category of the data to be processed, it is specifically used for:
  • the processor 401 classifies the data to be processed according to the data processing state of the data to be processed, and obtains the target data category of the data to be processed, it is specifically used for:
  • the processor 401 classifies the data to be processed according to the business completion degree of the data to be processed within the preset time range, and obtains the target data category of the data to be processed, it is specifically used for :
  • the processor 401 adopts the target archiving method to archive the data to be processed, it is specifically configured to:
  • a file cold backup scheme is adopted to archive the to-be-processed data.
  • processor 401 uses a file cold backup scheme to archive the to-be-processed data, it is specifically configured to:
  • the server can determine the target archiving method of the data to be processed, and adopt the target archiving method to archive the data to be processed, so as to classify and archive the data in advance, which improves the efficiency of the data archiving process.
  • the processor 401 may be a central processing unit (CenSral Processing UniS, CPU), and the processor may also be other general-purpose processors or digital signal processors (DigiSal Signal Processor, DSP). , Application Specific Integrated Circuits (ApplicaSion Specific InSegraSed Circuits, ASIC), ready-made programmable gate arrays (Field-Programmable GaSe Array, FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the input device 402 may include a touch panel, a microphone, etc.
  • the output device 403 may include a display (LCD, etc.), a speaker, and the like.
  • the memory 404 may include a read-only memory and a random access memory, and provides instructions and data to the processor 401.
  • a part of the memory 404 may also include a non-volatile random access memory.
  • the memory 404 may also store device type information.
  • the processor 401, the input device 402, and the output device 403 described in the embodiment of the present application can execute the data archiving method provided in the embodiment of the present application as described in the method embodiment described in FIG. 1 or FIG.
  • the implementation manner can also implement the implementation manner of the data archiving device described in FIG. 3 of the embodiment of the present application, which will not be repeated here.
  • the embodiment of the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the computer program described in the embodiment corresponding to FIG. 1 or FIG.
  • the data archiving method can also implement the data archiving device of the embodiment corresponding to FIG. 3 of the present application, and will not be repeated here.
  • the computer-readable storage medium may also be a non-volatile computer-readable storage medium, which is not specifically limited in the embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种数据归档方法、设备、服务器及计算机可读存储介质,其中方法包括:在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后(S101);根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别(S102);根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法(S103);采用所述目标归档方法,对所述待处理的数据进行归档处理(S104)。通过这种方式,可实现提前自动化、智能化地对数据进行归档,提高了数据归档效率。

Description

数据归档方法、设备、服务器及计算机可读存储介质
本申请要求于2019年03月12日提交中国专利局、申请号为201910191567.4、申请名称为“业务数据归档方法、设备、服务器及计算机可读存储介质”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域,尤其涉及一种数据归档方法、设备、服务器及计算机可读存储介质。
背景技术
随着计算机技术和经济的发展,金融行业的发展越来越重要,人们对金融行业的需求越来越多,金融系统的数据越来越多,对数据进行分类归档越来越重要。目前金融行业的金融系统在使用非分布式部署的数据库时,没有深度使用数据归档。在海量业务增长时,只能不断增加成本进行硬件升级,数据库无法动态地进行软件升级。因此如何更有效地对数据进行归档成为研究的重点。
发明内容
本申请实施例提供一种数据归档方法、设备、服务器及计算机可读存储介质,可实现提前自动化、智能化地对数据进行归档,提高了数据归档效率。
第一方面,本申请实施例提供了一种数据归档方法,该方法包括:
在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后;
根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据;
根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法;
采用所述目标归档方法,对所述待处理的数据进行归档处理。
第二方面,本申请实施例提供了一种数据归档设备,该数据归档设备包括用于执行上述第一方面的数据归档方法的单元。
第三方面,本申请实施例提供了一种服务器,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储支持数据归档设备执行上述方法的计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述第一方面的方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行上述第一方面 的方法。
本申请实施例通过对在预设时间点获取的预设时间范围内待处理的数据进行分类,采用确定的目标归档方法对其进行归档处理,可实现提前对数据进行分类归档,提高了数据归档处理的效率。
附图说明
图1是本申请实施例提供的一种数据归档方法的示意流程图;
图2是本申请实施例提供的另一种数据归档方法的示意流程图;
图3是本申请实施例提供的一种数据归档设备的示意框图;
图4是本申请实施例提供的一种服务器的示意框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供的数据归档方法可以由一种数据归档设备执行,所述数据归档设备可以设置在服务器上,在某些实施例中,所述数据归档设备也可以设置在与所述服务器建立通信连接的智能终端上。在某些实施例中,所述服务器可以是手机、电脑、平板、智能手表等终端。在某些实施例中,所述数据归档设备可以安装在所述服务器上,在某些实施例中,所述数据归档设备可以在空间上独立于所述服务器,即所述业务终端包括数据归档设备。
本申请实施例中,数据归档设备可以在预设时间点获取在预设时间范围内待处理的数据;并根据待处理的数据的数据处理状态对待处理的数据进行分类,得到待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据。数据归档设备可以确定与待处理的数据的目标数据类别对应的目标归档方法,并采用目标归档方法,对待处理的数据进行归档处理。下面结合附图对本申请实施例的数据归档方法进行示意性说明。
请参见图1,图1是本申请实施例提供的一种数据归档方法的示意流程图,如图1所示,该方法可以由数据归档设备执行,所述数据归档设备的具体解释如前所述,此处不再赘述。具体地,本申请实施例的所述方法包括如下步骤。
S101:在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后。
本申请实施例中,数据归档设备可以在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后。在某些实施例中,所述数据存储在预设数据库中,所述预设数据库用于存储待处理的数据。
在一个实施例中,所述预设时间范围在预设时间点之后,所述预设时间点可以是预设的所述预设时间范围的时间起点之前的任意时间点。在某些实施例中,所述数据归档设备可以在预设时间范围的时间起点之前的任意时间点获取该预设时间范围内待处理的数据。
S102:根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
本申请实施例中,数据归档设备可以根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
在一些实施例中,所述数据归档设备可以获取所述预设时间范围内待处理的数据的处理状态,并根据所述处理状态确定所述待处理的数据的数据类型。在某些实施例中,所述处理状态包括已完成和未完成两种状态;在某些实施例中,所述数据类型包括活跃数据和非活跃数据。在某些实施例中,所述数据归档设备可以确定所述处理状态为未完成的待处理的数据为活跃数据,并确定所述处理状态为已完成的待处理的数据为活跃数据。
例如,假设所述数据为待还款数据,则所述数据归档设备可以检测当前的已还款数据是否等于待还款数据,如果检测到当前的已还款数据等于待还款数据,则可以确定述待还款数据的处理状态为已完成,如果检测到当前的已还款数据小于待还款数据,则可以确定述待还款数据的处理状态为未完成。所述数据归档设备可以确定所述待还款数据的处理状态为未完成的待处理的数据为活跃数据,并确定所述待还款数据的处理状态为已完成的待处理的数据为活跃数据。
在一个实施例中,所述数据归档设备可以获取所述预设时间范围内待处理的数据的更新频率,并根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。在某些实施例中,所述数据归档设备可以将所述预设时间范围内待处理的数据的更新频率与预设频率阈值进行对比;如果所述更新频率大于或等于预设频率阈值,则可以确定所述待处理的数据为活跃数据;如果所述更新频率小于预设频率阈值,则可以确定所述待处理的数据为非活跃数据。
例如,假设所述数据归档设备获取到所述预设时间范围内待处理的数据的更新频率为3次/小时,如果预设频率阈值为2次/小时,则可以确定所述更新频率3次/小时大于预设频率阈值2次/小时,从而可以确定所述预设时间范围内待处理的数据为活跃数据。
又例如,假设所述数据归档设备获取到所述预设时间范围内待处理的数据的更新频率为3次/小时,如果预设频率阈值为4次/小时,则可以确定所述更新频率3次/小时小于预设频率阈值2次/小时,从而可以确定所述预设时间范围内待处理的数据为非活跃数据。
在一个实施例中,所述数据归档设备可以获取所述预设时间范围内待处理的数据的业务完成度,并 根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。在某些实施例中,所述数据归档设备可以将所述预设时间范围内待处理的数据的业务完成度与预设完成度进行对比;如果所述业务完成度大于或等于预设完成度,则可以确定所述待处理的数据为活跃数据;如果所述业务完成度小于预设完成度,则可以确定所述待处理的数据为非活跃数据。
例如,假设预设完成度为50%,如果所述数据为待还款数据,且待还款数据为1000,当前已还款数据为500,则可以确定所述待还款数据的业务完成度为50%,即所述数据归档设备可以确定所述业务完成度50%等于预设完成度50%,因此可以确定所述待处理的数据为活跃数据。
又例如,假设预设完成度为50%,如果所述数据为待还款数据,且待还款数据为1000,当前已还款数据为300,则可以确定所述待还款数据的业务完成度为30%,即所述数据归档设备可以确定所述业务完成度30%小于预设完成度50%,因此可以确定所述待处理的数据为非活跃数据。
S103:根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法。
本申请实施例中,数据归档设备可以根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法。在某些实施例中,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法。
在一个实施例中,如果确定出所述待处理的数据的为非活跃数据,则数据归档设备可以根据预设的数据类别与归档方法的对应关系,确定与所述非活跃数据对应的目标归档方法为日志记录类数据归档方法。
在一个实施例中,如果确定出所述待处理的数据为活跃数据,则数据归档设备可以根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
S104:采用所述目标归档方法,对所述待处理的数据进行归档处理。
本申请实施例中,数据归档设备可以采用所述目标归档方法,对所述待处理的数据进行归档处理。
在一个实施例中,所述数据归档设备如果确定出与所述非活跃数据对应的日志记录类数据归档方法,则可以采用所述日志记录类数据归档的方法,对所述非活跃数据进行存储。在某些实施例中,如果确定出所述待处理的数据的归档方法为日志记录类数据归档方法,则可以采用大数据准实时分析平台承接归档任务,对所述待处理的数据进行归档。
在一个实施例中,在采用大数据准实时分析平台承接归档任务,对所述待处理数据进行归档时,所述数据归档设备可以同步或异步记录与所述待处理的数据对应的日志记录数据,并将该日志记录数据存 储至数据分析平台。
在一个实施例中,所述数据归档设备可以在所述数据分析平台中判断所述日志记录数据即数据的处理期限是否超过预设时间范围,如果判断结果为是,则可以确定所述数据分析平台中处理期限超过预设时间范围的日志记录数据已过期,并将已过期的日志记录数据备份存储至磁带存储装置中。在某些实施例中,所述磁带存储装置是以磁带为存储介质,由磁带机及其控制器组成的存储设备,是计算机的一种辅助存储器。本申请实施例,,采用磁带存储装置作为辅助存储器,存储已过期的日志记录数据,可以提升系统利用率。
在一个实施例中,所述数据归档设备如果确定出与所述活跃数据对应的日切优化类数据归档方法,则可以采用所述日切优化类数据归档方法,对所述活跃数据进行存储。在某些实施例中,如果确定出待处理的数据的归档方法为日切化类数据归档方法,则可以采用文件冷备份方案对所述待处理的数据进行归档。
在一个实施例中,在采用文件冷备份方案对所述待处理的数据进行归档时,数据归档设备可以从所述待处理的数据中筛选出需要进行冷备份的数据,并离线导出所述需要进行冷备份的数据,以及将所述需要进行冷备份的数据存储至网络存储装置中。在某些实施例中,所述网络存储装置是通过电缆(通常是SCSI接口电缆)直接到服务器的,I/O(输入/输出)请求直接发送到存储设备,所述网络存储装置依赖于服务器,其本身是硬件的堆叠,不带有任何存储操作系统,方便存取数据。所述网络存储装置就像一台只有存储功能的终端,独立地工作,里面带有固定的系统,但可以自己设置部分参数功能,可以接入服务器或者电脑进行设置,网络存储服务器是精简的、小型化的服务器。在某些实施例中,所述网络存储装置可以包括DAS、NAS、SAN、iscsl等任意一种。通过网络存储装置可以独立存储数据,以便将数据与已过期的日志记录数据分离存储,防止数据混淆,提高数据处理效率。
在一个实施例中,在采用文件冷备份方案对所述待处理的数据进行归档时,数据归档设备可以检测所述网络存储装置中存储的数据的处理期限是否超过预设时间范围,如果检测结果为是,则可以确定所述网络存储装置中处理期限超过预设时间范围的数据已过期,并将所述网络存储装置中处理期限超过预设时间范围的数据存储至磁带存储装置中。
本申请实施例,数据归档设备可以确定待处理的数据的目标归档方法,并采用目标归档方法对待处理的数据进行归档处理,可提前对数据进行分类归档,提高了数据归档处理的效率。
请参见图2,图2是本申请实施例提供的另一种数据归档方法的示意流程图,如图2所示,该方法可以由数据归档设备执行,该数据归档设备的具体解释如前所述,此处不再赘述。本申请实施例与上述图1所述实施例的区别在于,本申请实施例是对所述数据归档方法的具体实施过程进行示意性说明。具 体地,本申请实施例的所述方法包括如下步骤。
S201:在预设时间点获取预设数据库中各数据的处理期限,所述预设数据库用于存储所有待处理的数据。
本申请实施例中,数据归档设备可以在预设时间点获取预设数据库中各数据的处理期限,所述预设数据库用于存储所有待处理的数据。
在一个实施例中,所述数据归档设备可以实时检测当前时间点是否为预设时间点,如果检测到所述当前时间点为预设时间点,则获取预设数据库中各数据的处理期限。
S202:从所述预设数据库中筛选出所述处理期限在所述预设时间范围内的待处理的数据。
本申请实施例中,数据归档设备可以从所述预设数据库中筛选出所述处理期限在所述预设时间范围内的待处理的数据。
例如,假设预设时间点为每日10:00,预设时间范围为预设时间点之后第二日的00:00至23:59,如果所述数据归档设备检测到当前时间点为1月10号10:00,则数据归档设备可以从所述预设数据库中筛选出所述处理期限在所述1月11号00:00至23:59时间范围内的待处理的数据。
S203:检测所述待处理的数据的数据处理状态是否为已完成,如果检测结果为是,则执行步骤S204,如果检测结果为否,则执行步骤S205。
本申请实施例中,数据归档设备在筛选出所述处理期限在所述预设时间范围内的待处理的数据之后,可以检测所述待处理的数据的数据处理状态是否为已完成,如果检测结果为是,则执行步骤S204,如果检测结果为否,则执行步骤S205。
S204:确定待处理的数据的目标数据类别为非活跃数据,根据预设的数据类别与归档方法的对应关系,确定与所述非活跃数据对应的目标归档方法为日志记录类数据归档方法。
本申请实施例中,数据归档设备如果检测到所述待处理的数据的数据处理状态为已完成,则可以确定所述待处理的数据的目标数据类别为非活跃数据,并根据预设的数据类别与归档方法的对应关系,确定与所述非活跃数据对应的目标归档方法为日志记录类数据归档方法。
S205:确定待处理的数据的目标数据类别为活跃数据,根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
本申请实施例中,数据归档设备如果检测到所述待处理的数据的数据处理状态为未完成,则可以确定所述待处理的数据的目标数据类别为活跃数据,并根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
S206:采用所述目标归档方法,对所述待处理的数据进行归档处理。
本申请实施例中,数据归档设备可以采用所述目标归档方法,对所述待处理的数据进行归档处理。
在一个实施例中,如果数据归档设备确定出所述目标归档方法为日切优化类数据归档方法,则可以检测所述待处理的数据的处理期限是否已过期。如果检测到所述待处理的数据的处理期限已过期,则所述数据归档设备可以将所述待处理的数据存储至预设的磁带存储装置中;如果检测到所述待处理的数据的处理期限未过期,则述数据归档设备可以将所述待处理的数据储存至预设的网络存储装置中。
在一个实施例中,如果数据归档设备确定出所述目标归档方法为日志记录类数据归档方法,则可以获取所述待处理的数据的完成时间,并检测所述待处理的数据的完成时间是否超过所述待处理的数据的处理期限。如果检测到所述待处理的数据的完成时间超过所述待处理的数据的处理期限,则所述数据归档设备可以将所述待处理的数据存储至预设的磁带存储装置中;如果检测到所述待处理的数据的完成时间未超过所述待处理的数据的处理期限,则所述数据归档设备可以将所述数据储存至预设的网络存储装置中。
本申请实施例通过确定数据处理状态为已完成的非活跃数据的日志记录类数据归档方法,以及数据处理状态为未完成的活跃数据的日切优化类数据归档方法,以提前对数据进行分类归档。
本申请实施例还提供了一种数据归档设备,该数据归档设备用于执行前述任一项所述的方法的单元。具体地,参见图3,图3是本申请实施例提供的一种数据归档设备的示意框图。本实施例的数据归档设备包括:获取单元301、分类单元302、确定单元303、归档单元304。
获取单元301,用于在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后;
分类单元302,用于根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据;
确定单元303,用于根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法;
归档单元304,用于采用所述目标归档方法,对所述待处理的数据进行归档处理。
进一步地,所述获取单元301在预设时间点获取在预设时间范围内待处理的数据时,具体用于:
在预设时间点获取预设数据库中各数据的处理期限,所述预设数据库用于存储所有待处理的数据;
从所述预设数据库中筛选出所述处理期限在所述预设时间范围内的待处理的数据。
进一步地,所述分类单元302根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
检测所述待处理的数据的数据处理状态是否为已完成;
如果检测到所述待处理的数据的数据处理状态为已完成,则确定所述待处理的数据的目标数据类别为非活跃数据;
如果检测到所述待处理的数据的数据处理状态为未完成,则确定所述待处理的数据的目标数据类别为活跃数据。
进一步地,所述归档方法包括日切优化类数据归档方法;所述确定单元303根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法时,具体用于:
如果确定出所述待处理的数据为活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
进一步地,所述归档单元304采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
如果确定出所述目标归档方法为日切优化类数据归档方法,则检测所述待处理的数据的处理期限是否已过期;
如果检测到所述待处理的数据的处理期限已过期,则将所述待处理的数据存储至预设的磁带存储装置中;
如果检测到所述待处理的数据的处理期限未过期,则将所述待处理的数据储存至预设的网络存储装置中。
进一步地,所述归档方法包括日志记录类数据归档方法;所述确定单元303根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法时,具体用于:
如果确定出所述待处理的数据的为非活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述非活跃数据对应的目标归档方法为日志记录类数据归档方法。
进一步地,所述归档单元304采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
如果确定出所述目标归档方法为日志记录类数据归档方法,则获取所述待处理的数据的完成时间;
检测所述待处理的数据的完成时间是否超过所述待处理的数据的处理期限;
如果检测到所述待处理的数据的完成时间超过所述待处理的数据的处理期限,则将所述待处理的数据存储至预设的磁带存储装置中;
如果检测到所述待处理的数据的完成时间未超过所述待处理的数据的处理期限,则将所述数据储存至预设的网络存储装置中。
进一步地,所述分类单元302根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类, 得到所述待处理的数据的目标数据类别时,具体用于:
获取所述预设时间范围内待处理的数据的更新频率;
根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
进一步地,所述分类单元302根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
将所述预设时间范围内待处理的数据的更新频率与预设频率阈值进行对比;
如果所述更新频率大于或等于预设频率阈值,则确定所述待处理的数据为活跃数据;
如果所述更新频率小于预设频率阈值,则确定所述待处理的数据为非活跃数据。
进一步地,所述分类单元302根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
获取所述预设时间范围内待处理的数据的业务完成度;
根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
进一步地,所述分类单元302根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
将所述预设时间范围内待处理的数据的业务完成度与预设完成度进行对比;
如果所述业务完成度大于或等于预设完成度,则确定所述待处理的数据为活跃数据;
如果所述业务完成度小于预设完成度,则确定所述待处理的数据为非活跃数据。
进一步地,所述归档单元304采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
如果确定出所述待处理的数据的归档方法为日切化类数据归档方法,则采用文件冷备份方案对所述待处理的数据进行归档。
进一步地,所述归档单元304采用文件冷备份方案对所述待处理的数据进行归档时,具体用于:
从所述待处理的数据中筛选出需要进行冷备份的数据;
离线导出所述需要进行冷备份的数据,并将所述需要进行冷备份的数据存储至网络存储装置中。
本申请实施例中,数据归档设备可以确定待处理的数据的目标归档方法,并采用目标归档方法对待处理的数据进行归档处理,以提前对数据进行分类归档,提高了数据归档处理的效率。
参见图4,图4是本申请实施例提供的一种服务器的示意框图。如图所示的本实施例中的数据归档 设备可以包括:一个或多个处理器401;一个或多个输入设备402,一个或多个输出设备403和存储器404。上述处理器401、输入设备402、输出设备403和存储器404通过总线405连接。存储器404用于存储计算机程序,所述计算机程序包括程序指令,处理器401用于执行存储器404存储的程序指令。其中,处理器401被配置用于调用所述程序指令执行:
在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后;
根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据;
根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法;
采用所述目标归档方法,对所述待处理的数据进行归档处理。
进一步地,所述处理器401在预设时间点获取在预设时间范围内待处理的数据时,具体用于:
在预设时间点获取预设数据库中各数据的处理期限,所述预设数据库用于存储所有待处理的数据;
从所述预设数据库中筛选出所述处理期限在所述预设时间范围内的待处理的数据。
进一步地,所述处理器401根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
检测所述待处理的数据的数据处理状态是否为已完成;
如果检测到所述待处理的数据的数据处理状态为已完成,则确定所述待处理的数据的目标数据类别为非活跃数据;
如果检测到所述待处理的数据的数据处理状态为未完成,则确定所述待处理的数据的目标数据类别为活跃数据。
进一步地,所述归档方法包括日切优化类数据归档方法;所述处理器401根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法时,具体用于:
如果确定出所述待处理的数据为活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
进一步地,所述处理器401采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
如果确定出所述目标归档方法为日切优化类数据归档方法,则检测所述待处理的数据的处理期限是否已过期;
如果检测到所述待处理的数据的处理期限已过期,则将所述待处理的数据存储至预设的磁带存储装 置中;
如果检测到所述待处理的数据的处理期限未过期,则将所述待处理的数据储存至预设的网络存储装置中。
进一步地,所述归档方法包括日志记录类数据归档方法;所述处理器401根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法时,具体用于:
如果确定出所述待处理的数据的为非活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述非活跃数据对应的目标归档方法为日志记录类数据归档方法。
进一步地,所述处理器401采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
如果确定出所述目标归档方法为日志记录类数据归档方法,则获取所述待处理的数据的完成时间;
检测所述待处理的数据的完成时间是否超过所述待处理的数据的处理期限;
如果检测到所述待处理的数据的完成时间超过所述待处理的数据的处理期限,则将所述待处理的数据存储至预设的磁带存储装置中;
如果检测到所述待处理的数据的完成时间未超过所述待处理的数据的处理期限,则将所述数据储存至预设的网络存储装置中。
进一步地,所述处理器401根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
获取所述预设时间范围内待处理的数据的更新频率;
根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
进一步地,所述处理器401根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
将所述预设时间范围内待处理的数据的更新频率与预设频率阈值进行对比;
如果所述更新频率大于或等于预设频率阈值,则确定所述待处理的数据为活跃数据;
如果所述更新频率小于预设频率阈值,则确定所述待处理的数据为非活跃数据。
进一步地,所述处理器401根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
获取所述预设时间范围内待处理的数据的业务完成度;
根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处 理的数据的目标数据类别。
进一步地,所述处理器401根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
将所述预设时间范围内待处理的数据的业务完成度与预设完成度进行对比;
如果所述业务完成度大于或等于预设完成度,则确定所述待处理的数据为活跃数据;
如果所述业务完成度小于预设完成度,则确定所述待处理的数据为非活跃数据。
进一步地,所述处理器401采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
如果确定出所述待处理的数据的归档方法为日切化类数据归档方法,则采用文件冷备份方案对所述待处理的数据进行归档。
进一步地,所述处理器401采用文件冷备份方案对所述待处理的数据进行归档时,具体用于:
从所述待处理的数据中筛选出需要进行冷备份的数据;
离线导出所述需要进行冷备份的数据,并将所述需要进行冷备份的数据存储至网络存储装置中。
本申请实施例中,服务器可以确定待处理的数据的目标归档方法,并采用目标归档方法对待处理的数据进行归档处理,以提前对数据进行分类归档,提高了数据归档处理的效率。
应当理解,在本申请实施例中,所称处理器401可以是中央处理单元(CenSral Processing UniS,CPU),该处理器还可以是其他通用处理器、数字信号处理器(DigiSal Signal Processor,DSP)、专用集成电路(ApplicaSion Specific InSegraSed CircuiS,ASIC)、现成可编程门阵列(Field-Programmable GaSe Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备402可以包括触控板、麦克风等,输出设备403可以包括显示器(LCD等)、扬声器等。
该存储器404可以包括只读存储器和随机存取存储器,并向处理器401提供指令和数据。存储器404的一部分还可以包括非易失性随机存取存储器。例如,存储器404还可以存储设备类型的信息。
具体实现中,本申请实施例中所描述的处理器401、输入设备402、输出设备403可执行本申请实施例提供的数据归档方法的图1或图2所述的方法实施例中所描述的实现方式,也可执行本申请实施例图3所描述的数据归档设备的实现方式,在此不再赘述。
本申请实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现图1或图2所对应实施例中描述的数据归档方法,也可实现本申请图3所对应实施例的数据归档设备,在此不再赘述。在某些实施例中,所述计算机可读存储介质还可以 为计算机非易失性可读存储介质,本发明实施例在此处不做具体限定。

Claims (20)

  1. 一种数据归档方法,其特征在于,包括:
    在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后;
    根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据;
    根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法;
    采用所述目标归档方法,对所述待处理的数据进行归档处理。
  2. 根据权利要求1所述的方法,其特征在于,所述在预设时间点获取在预设时间范围内待处理的数据,包括:
    在预设时间点获取预设数据库中各数据的处理期限,所述预设数据库用于存储所有待处理的数据;
    从所述预设数据库中筛选出所述处理期限在所述预设时间范围内的待处理的数据。
  3. 根据权利要求1所述的方法,其特征在于,所述根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,包括:
    检测所述待处理的数据的数据处理状态是否为已完成;
    如果检测到所述待处理的数据的数据处理状态为已完成,则确定所述待处理的数据的目标数据类别为非活跃数据;
    如果检测到所述待处理的数据的数据处理状态为未完成,则确定所述待处理的数据的目标数据类别为活跃数据。
  4. 根据权利要求3所述的方法,其特征在于,所述归档方法包括日切优化类数据归档方法;所述根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,包括:
    如果确定出所述待处理的数据为活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
  5. 根据权利要求4所述的方法,其特征在于,所述采用所述目标归档方法,对所述待处理的数据进行归档处理,包括:
    如果确定出所述目标归档方法为日切优化类数据归档方法,则检测所述待处理的数据的处理期限是否已过期;
    如果检测到所述待处理的数据的处理期限已过期,则将所述待处理的数据存储至预设的磁带存储装置中;
    如果检测到所述待处理的数据的处理期限未过期,则将所述待处理的数据储存至预设的网络存储装置中。
  6. 根据权利要求3所述的方法,其特征在于,所述归档方法包括日志记录类数据归档方法;所述根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,包括:
    如果确定出所述待处理的数据的为非活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述非活跃数据对应的目标归档方法为日志记录类数据归档方法。
  7. 根据权利要求6所述的方法,其特征在于,所述采用所述目标归档方法,对所述待处理的数据进行归档处理,包括:
    如果确定出所述目标归档方法为日志记录类数据归档方法,则获取所述待处理的数据的完成时间;
    检测所述待处理的数据的完成时间是否超过所述待处理的数据的处理期限;
    如果检测到所述待处理的数据的完成时间超过所述待处理的数据的处理期限,则将所述待处理的数据存储至预设的磁带存储装置中;
    如果检测到所述待处理的数据的完成时间未超过所述待处理的数据的处理期限,则将所述数据储存至预设的网络存储装置中。
  8. 根据权利要求1所述的方法,其特征在于,所述根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,包括:
    获取所述预设时间范围内待处理的数据的更新频率;
    根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
  9. 根据权利要求8所述的方法,其特征在于,所述根据所述预设时间范围内待处理的数据的更新频率对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,包括:
    将所述预设时间范围内待处理的数据的更新频率与预设频率阈值进行对比;
    如果所述更新频率大于或等于预设频率阈值,则确定所述待处理的数据为活跃数据;
    如果所述更新频率小于预设频率阈值,则确定所述待处理的数据为非活跃数据。
  10. 根据权利要求1所述的方法,其特征在于,所述根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,包括:
    获取所述预设时间范围内待处理的数据的业务完成度;
    根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别。
  11. 根据权利要求10所述的方法,其特征在于,所述根据所述预设时间范围内待处理的数据的业务完成度对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,包括:
    将所述预设时间范围内待处理的数据的业务完成度与预设完成度进行对比;
    如果所述业务完成度大于或等于预设完成度,则确定所述待处理的数据为活跃数据;
    如果所述业务完成度小于预设完成度,则确定所述待处理的数据为非活跃数据。
  12. 根据权利要求4所述的方法,其特征在于,所述采用所述目标归档方法,对所述待处理的数据进行归档处理,包括:
    如果确定出所述待处理的数据的归档方法为日切化类数据归档方法,则采用文件冷备份方案对所述待处理的数据进行归档。
  13. 根据权利要求12所述的方法,其特征在于,所述采用文件冷备份方案对所述待处理的数据进行归档,包括:
    从所述待处理的数据中筛选出需要进行冷备份的数据;
    离线导出所述需要进行冷备份的数据,并将所述需要进行冷备份的数据存储至网络存储装置中。
  14. 一种数据归档设备,其特征在于,包括:
    获取单元,用于在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后;
    分类单元,用于根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据;
    确定单元,用于根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法;
    归档单元,用于采用所述目标归档方法,对所述待处理的数据进行归档处理。
  15. 根据权利要求14所述的设备,其特征在于,所述获取单元301在预设时间点获取在预设时间范围内待处理的数据时,具体用于:
    在预设时间点获取预设数据库中各数据的处理期限,所述预设数据库用于存储所有待处理的数据;
    从所述预设数据库中筛选出所述处理期限在所述预设时间范围内的待处理的数据。
  16. 根据权利要求14所述的设备,其特征在于,所述分类单元302根据所述待处理的数据的数据处 理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别时,具体用于:
    检测所述待处理的数据的数据处理状态是否为已完成;
    如果检测到所述待处理的数据的数据处理状态为已完成,则确定所述待处理的数据的目标数据类别为非活跃数据;
    如果检测到所述待处理的数据的数据处理状态为未完成,则确定所述待处理的数据的目标数据类别为活跃数据。
  17. 根据权利要求16所述的设备,其特征在于,所述归档方法包括日切优化类数据归档方法;所述确定单元303根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法时,具体用于:
    如果确定出所述待处理的数据为活跃数据,则根据预设的数据类别与归档方法的对应关系,确定与所述活跃数据对应的目标归档方法为日切优化类数据归档方法。
  18. 根据权利要求17所述的设备,其特征在于,所述归档单元304采用所述目标归档方法,对所述待处理的数据进行归档处理时,具体用于:
    如果确定出所述目标归档方法为日切优化类数据归档方法,则检测所述待处理的数据的处理期限是否已过期;
    如果检测到所述待处理的数据的处理期限已过期,则将所述待处理的数据存储至预设的磁带存储装置中;
    如果检测到所述待处理的数据的处理期限未过期,则将所述待处理的数据储存至预设的网络存储装置中。
  19. 一种服务器,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行:
    在预设时间点获取预设时间范围内待处理的数据,所述预设时间范围在所述预设时间点之后;
    根据所述待处理的数据的数据处理状态对所述待处理的数据进行分类,得到所述待处理的数据的目标数据类别,所述目标数据类别包括活跃数据或非活跃数据;
    根据预设的数据类别与归档方法的对应关系,确定与所述待处理的数据的目标数据类别对应的目标归档方法,所述归档方法包括日切优化类数据归档方法和日志记录类数据归档方法;
    采用所述目标归档方法,对所述待处理的数据进行归档处理。
  20. 一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算 机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-13任一项所述的方法。
PCT/CN2019/116524 2019-03-12 2019-11-08 数据归档方法、设备、服务器及计算机可读存储介质 WO2020181799A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910191567.4 2019-03-12
CN201910191567.4A CN110059139A (zh) 2019-03-12 2019-03-12 业务数据归档方法、设备、服务器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2020181799A1 true WO2020181799A1 (zh) 2020-09-17

Family

ID=67317027

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/116524 WO2020181799A1 (zh) 2019-03-12 2019-11-08 数据归档方法、设备、服务器及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN110059139A (zh)
WO (1) WO2020181799A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110716825B (zh) * 2018-07-12 2023-04-28 阿里巴巴集团控股有限公司 数据容灾处理方法、装置及系统
CN110059139A (zh) * 2019-03-12 2019-07-26 平安普惠企业管理有限公司 业务数据归档方法、设备、服务器及计算机可读存储介质
CN111581432A (zh) * 2020-04-30 2020-08-25 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113988781B (zh) * 2021-10-18 2022-06-28 广州城市信息研究所有限公司 建设业务归档方法、装置、计算机设备和存储介质
CN117875299B (zh) * 2024-03-13 2024-05-24 南京智握信息技术有限公司 一种电子档案集成处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446966A (zh) * 2008-12-31 2009-06-03 中国建设银行股份有限公司 数据存储方法及系统
CN105243163A (zh) * 2015-11-05 2016-01-13 国家电网公司 历史数据归档集成系统及方法
US20160306554A1 (en) * 2015-04-17 2016-10-20 Emc Corporation Data storage management
CN107220338A (zh) * 2017-05-25 2017-09-29 郑州云海信息技术有限公司 基于pacs的分层存储的方法、系统及存储设备
CN107239457A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 数据归档方法及装置
CN110059139A (zh) * 2019-03-12 2019-07-26 平安普惠企业管理有限公司 业务数据归档方法、设备、服务器及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101446966A (zh) * 2008-12-31 2009-06-03 中国建设银行股份有限公司 数据存储方法及系统
US20160306554A1 (en) * 2015-04-17 2016-10-20 Emc Corporation Data storage management
CN105243163A (zh) * 2015-11-05 2016-01-13 国家电网公司 历史数据归档集成系统及方法
CN107239457A (zh) * 2016-03-28 2017-10-10 阿里巴巴集团控股有限公司 数据归档方法及装置
CN107220338A (zh) * 2017-05-25 2017-09-29 郑州云海信息技术有限公司 基于pacs的分层存储的方法、系统及存储设备
CN110059139A (zh) * 2019-03-12 2019-07-26 平安普惠企业管理有限公司 业务数据归档方法、设备、服务器及计算机可读存储介质

Also Published As

Publication number Publication date
CN110059139A (zh) 2019-07-26

Similar Documents

Publication Publication Date Title
WO2020181799A1 (zh) 数据归档方法、设备、服务器及计算机可读存储介质
WO2019051951A1 (zh) 业务数据监控方法、装置、终端设备及存储介质
CN104731649A (zh) 一种多任务处理方法及装置
WO2019223174A1 (zh) 任务自动重跑方法、系统、计算机设备和存储介质
US20160117046A1 (en) Data Reporting Method and Apparatus, and Terminal Device
US9009175B2 (en) System and method for database migration and validation
WO2020151320A1 (zh) 数据存储方法、装置、计算机设备及存储介质
CN111210225B (zh) 交易系统的状态监控方法、装置、设备和存储介质
CN111831875B (zh) 数据处理方法、装置、设备和存储介质
CN103309772A (zh) 一种基于云存储的数据库文件备份方法以及备份系统
WO2023029275A1 (zh) 数据关联分析方法、装置、计算机设备和存储介质
US20210073184A1 (en) Lazy optimistic concurrency control
WO2022016845A1 (zh) 一种多节点监控方法、装置、电子设备及存储介质
CN113971130A (zh) 软件性能测试方法、装置、设备及存储介质
KR20210034558A (ko) 인공 지능 개발 플랫폼의 관리 방법 및 장치, 매체
CN115718674A (zh) 一种数据容灾恢复方法及装置
CN109034668B (zh) Etl任务调度方法、装置、计算机设备及存储介质
WO2018019310A1 (zh) 一种大数据系统中数据备份方法、恢复方法和装置和计算机存储介质
CN117785059A (zh) 一种数据库日志实时管理方法、系统、设备及存储介质
CN110855484B (zh) 自动检测业务量变化的方法、系统、电子设备和存储介质
US8255642B2 (en) Automatic detection of stress condition
US20180123866A1 (en) Method and apparatus for determining event level of monitoring result
CN111177141A (zh) 利用MySQL并行复制恢复数据方法、设备及系统
CN113868226A (zh) 一种数据库管理方法、数据库平台及可读存储介质
US11687561B2 (en) Systems and methods for cross-region data processing

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19919065

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 21/01/2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19919065

Country of ref document: EP

Kind code of ref document: A1