WO2019227721A1 - 数据表清理方法、服务器及计算机可读存储介质 - Google Patents

数据表清理方法、服务器及计算机可读存储介质 Download PDF

Info

Publication number
WO2019227721A1
WO2019227721A1 PCT/CN2018/102406 CN2018102406W WO2019227721A1 WO 2019227721 A1 WO2019227721 A1 WO 2019227721A1 CN 2018102406 W CN2018102406 W CN 2018102406W WO 2019227721 A1 WO2019227721 A1 WO 2019227721A1
Authority
WO
WIPO (PCT)
Prior art keywords
cleaning
cleaned
data table
configuration table
data
Prior art date
Application number
PCT/CN2018/102406
Other languages
English (en)
French (fr)
Inventor
彭捷
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2019227721A1 publication Critical patent/WO2019227721A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • the present application relates to a data processing domain, and in particular, to a data table cleaning method, a server, and a computer-readable storage medium.
  • this application proposes a data table cleaning method, a server, and a computer-readable storage medium to solve the problems of how to strengthen the management of data timeliness and effectively manage historical data.
  • this application proposes a data table cleaning method, which includes steps:
  • the present application further provides a server including a memory and a processor, where the memory stores a data table cleaning system that can be run on the processor, and the data table cleaning system is described by the When the processor executes, the steps of the data table cleaning method described above are implemented.
  • the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a data table cleaning system, and the data table cleaning system may be executed by at least one processor so that The at least one processor executes the steps of the data table cleaning method as described above.
  • FIG. 1 is a schematic diagram of an optional hardware architecture of a server of the present application
  • FIG. 2 is a schematic diagram of a program module of a first embodiment of a data table cleaning system of the present application
  • FIG. 3 is a schematic diagram of a program module of a second embodiment of a data table cleaning system of the present application.
  • FIG. 4 is a schematic diagram of a program module of a third embodiment of a data table cleaning system of the present application.
  • FIG. 5 is a schematic flowchart of a first embodiment of a data table cleaning method of the present application.
  • FIG. 6 is a schematic flowchart of a second embodiment of a data table cleaning method of the present application.
  • Server 2 Memory 11 processor 12 Network Interface 13 Data sheet cleaning system 200 Mapping module 201 Building the module 202 Scanning module 203 Clear module 204 Verification module 205
  • FIG. 1 is a schematic diagram of an optional hardware architecture of the server 2 of the present application.
  • the server 2 may include, but is not limited to, a memory 11, a processor 12, and a network interface 13 which may communicate with each other through a system bus. It should be noted that FIG. 1 only shows the server 2 with components 11-13, but it should be understood that it is not required to implement all the illustrated components, and more or fewer components may be implemented instead.
  • the server 2 may be a computing device such as a rack server, a blade server, a tower server, or a rack server.
  • the server 2 may be an independent server or a server cluster composed of multiple servers.
  • the memory 11 includes at least one type of readable storage medium.
  • the readable storage medium includes a flash memory, a hard disk, a multimedia card, a card-type memory (for example, SD or DX memory, etc.), a random access memory (RAM), and a static memory.
  • the memory 11 may be an internal storage unit of the server 2, such as a hard disk or a memory of the server 2.
  • the memory 11 may also be an external storage device of the server 2, such as a plug-in hard disk, a smart memory card (SMC), and a secure digital (Secure) Digital, SD) card, Flash card, etc.
  • the memory 11 may also include both an internal storage unit of the server 2 and an external storage device thereof.
  • the memory 11 is generally used to store an operating system and various application software installed on the server 2, such as program codes of the data table cleaning system 200.
  • the memory 11 may also be used to temporarily store various types of data that have been output or will be output.
  • the processor 12 may be a central processing unit (CPU), a controller, a microcontroller, a microprocessor, or another data processing chip.
  • the processor 12 is generally used to control the overall operation of the server 2.
  • the processor 12 is configured to run program code or process data stored in the memory 11, for example, to run the data table cleaning system 200 and the like.
  • the network interface 13 may include a wireless network interface or a wired network interface.
  • the network interface 13 is generally used to establish a communication connection between the server 2 and other electronic devices.
  • the present application proposes a data table cleaning system 200.
  • FIG. 2 it is a program module diagram of the first embodiment of the data table cleaning system 200 of the present application.
  • the data table cleaning system 200 includes a series of computer program instructions stored in the memory 11. When the computer program instructions are executed by the processor 12, the data table cleaning operations of the embodiments of the present application can be implemented. .
  • the data table cleaning system 200 may be divided into one or more modules based on specific operations implemented by various portions of the computer program instructions. For example, in FIG. 2, the data table cleaning system 200 may be divided into a mapping module 201, a establishing module 202, a scanning module 203, and a clearing module 204. among them:
  • the mapping module 201 is configured to preset a mapping relationship between a table type and a storage type.
  • the table types include ordinary tables and partitioned tables.
  • the table type of the data table can be determined by viewing the table attributes of the data table.
  • the storage types include general storage and partition storage.
  • the storage type corresponding to the ordinary table is ordinary storage
  • the storage type corresponding to the partition table is partition storage
  • the establishment module 202 is configured to initialize and clear a configuration table.
  • the cleaning configuration table is used to store table attributes and cleaning methods of the data table to be cleaned.
  • the table attributes of the data table to be cleaned stored in the cleanup configuration table may include: a table name, a column name, a table type, a creation time, a cleanup time period, a cleanup method, and a table owner.
  • the cleaning method includes a general deletion method and a partition clearing method.
  • the scanning module 203 is configured to scan and determine a data table to be cleaned and write the data configuration table.
  • the steps of scanning and determining a data table to be cleaned and writing the cleaned configuration table specifically include:
  • the cleaning condition is a filtering condition of a data table to be cleaned
  • the cleaning condition may include a storage partition and a creation time period.
  • the filtering condition is determined through interaction with the maintenance personnel, and the maintenance personnel determines the storage partition or creation time period of the data table to be cleaned.
  • each data table is scanned at a preset time, and the creation time and table type of each data table are determined by querying the table attributes of each data table.
  • the table type is a partitioned table, it is further Determine the corresponding storage partition.
  • the cleaning mode of the first to-be-cleaned data table is set to the clear-to-partition mode.
  • the partition clearing method is to determine a storage partition of the data table to be cleaned, and delete a data table in the storage partition.
  • the cleaning mode of the second to-be-cleaned data table is set to the ordinary deletion mode.
  • the common deletion method is to determine a table name according to a table attribute of the data table to be cleaned, and use a Drop function to delete the data table to be cleaned of the table name.
  • the implementation code can be: DROP table_name.
  • the clearing module 204 is configured to query the clearing configuration table and clear the data table to be cleared in the clearing configuration table.
  • the database will set a cleaning time period, and the data cleaning period may be set to 1 day, 1 week, or 1 month.
  • the cleaning configuration table is queried, and the data table to be cleaned in the cleaning configuration table is cleared according to the set cleaning method.
  • the access frequency of each data table in the statistical database during the cleaning time period when the time point of the data cleaning cycle is reached, the cleaning configuration table is queried, and the access frequency is higher than a threshold value.
  • the data table to be cleaned is deleted from the cleaning configuration table, and other data tables in the cleaning configuration table are cleared according to a set cleaning method.
  • the data table cleaning system 200 includes a mapping module 201, a establishing module 202, a scanning module 203, and a clearing module 204 in addition to the checking module 205 in the first embodiment.
  • the verification module 205 is configured to perform SQL injection verification on the information of the cleaned configuration table
  • the SQL injection verification can prevent SQL injection attacks.
  • the SQL injection attack is an attacker inserting a SQL command into an input field of a web form or a query string requested by a page to trick a server into executing a malicious SQL command.
  • user input is used to construct (or influence) dynamic SQL commands or as input parameters to stored procedures.
  • Such forms are particularly vulnerable to SQL injection attacks. If the attacker knows that the application will directly use the content entered in the form to verify the identity of the query, he will try to enter some special SQL string to tamper the query to change its original function and trick the system to grant access.
  • the possible damage caused by the attacker is also different, which is mainly determined by the security permissions of the application to access the database. If the user's account has administrator or other advanced authority, the attacker may perform various operations on the database table, including adding, deleting, or updating data, and may even delete the table directly.
  • the verification module 205 is further configured to clear the data table to be cleaned according to the cleanup configuration table when verifying through SQL injection.
  • SQL injection verification may be performed on the cleanup configuration table by setting a filter string.
  • the filtered string may include and, exec, insert, select, delete, update, chr, mid, master, or, truncate, char, declare, and join.
  • the implementation code of the filter string in the SQL injection verification may be:
  • the verification module 205 is further configured to, when the information of the cleaning configuration table fails the SQL injection verification, abandon the cleaning operation, delete the existing cleaning configuration table, and cause the establishment module 202 to reinitialize the cleaning configuration table.
  • the server 2 proposed in this application can preset the mapping relationship between the table type and the storage type and initialize the cleaning configuration table, and then periodically scan each data table in the database to determine the data table to be deleted this time and write to the cleaning A configuration table, finally querying the cleaning configuration table, performing SQL injection verification on the information of the cleaning configuration table, and clearing the data table to be cleaned in the cleaning configuration table after passing the verification. Realize the fast cleaning of the data tables in the database, effectively improve the operating performance of the database system, improve the operation and maintenance efficiency, and reduce the operation and maintenance costs.
  • this application also proposes a data table cleaning method.
  • FIG. 4 is a schematic flowchart of a first embodiment of a data table cleaning method of the present application.
  • the execution order of the steps in the flowchart shown in FIG. 4 may be changed, and some steps may be omitted.
  • step S400 a mapping relationship between a table type and a storage type is set in advance.
  • the table types include ordinary tables and partitioned tables.
  • the table type of the data table can be determined by viewing the table attributes of the data table.
  • the storage types include general storage and partition storage.
  • the storage type corresponding to the ordinary table is ordinary storage
  • the storage type corresponding to the partition table is partition storage
  • Step S402 Initialize and clear the configuration table.
  • the cleaning configuration table is used to store table attributes and cleaning methods of the data table to be cleaned.
  • the table attributes of the data table to be cleaned stored in the cleanup configuration table may include: a table name, a column name, a table type, a creation time, a cleanup time period, a cleanup method, and a table owner.
  • the cleaning method includes a general deletion method and a partition clearing method.
  • step S404 the data table to be cleaned is scanned and determined and written into the cleaning configuration table.
  • Step S406 Query the cleaning configuration table, and clear the data table to be cleaned in the cleaning configuration table.
  • the database will set a cleaning time period, and the data cleaning period may be set to 1 day, 1 week, or 1 month.
  • the cleaning configuration table is queried, and the data table to be cleaned in the cleaning configuration table is cleared according to the set cleaning method.
  • the access frequency of each data table in the statistical database during the cleaning time period when the time point of the data cleaning cycle is reached, the cleaning configuration table is queried, and the access frequency is higher than a threshold value.
  • the data table to be cleaned is deleted from the cleaning configuration table, and other data tables in the cleaning configuration table are cleared according to a set cleaning method.
  • FIG. 5 it is a schematic flowchart of a second embodiment of a data table cleaning method of the present application.
  • the execution order of the steps in the flowchart shown in FIG. 5 may be changed, and some steps may be omitted.
  • the steps of scanning and determining a data table to be cleaned and writing the cleaned configuration table specifically include:
  • Step S500 Determine the cleaning conditions
  • the cleaning condition is a filtering condition of a data table to be cleaned
  • the cleaning condition may include a storage partition and a creation time period.
  • the filtering condition is determined through interaction with the maintenance personnel, and the maintenance personnel determines the storage partition or creation time period of the data table to be cleaned.
  • Step S502 Periodically scan each data table in the database, determine the corresponding storage partition or creation time according to the table attributes of each data table, and write the data table that meets the cleaning conditions as the data table to be cleaned. Describe the configuration table;
  • each data table is scanned at a preset time, and the creation time and table type of each data table are determined by querying the table attributes of each data table.
  • the table type is a partitioned table, it is further Determine the corresponding storage partition.
  • the data table can be obtained by "information_schema.tables", the file data amount of the data table can be obtained by reading, and "(truncate (DATA_LENGTH / 1024 + INDEX_LENGTH / 1024,0))", “ TABLE_ROWS "to get the actual amount of data in the data table.
  • the data amount of invalid data can be obtained according to the entire file data amount of the data table and the actual valid data data amount, and it is determined whether the data table needs to be processed according to the size of the invalid data amount or the occupied proportion. When it is judged that processing is required, the data table is written into the cleaning configuration table.
  • Step S504 Determine a cleaning method corresponding to each of the data tables to be cleaned according to the storage type of each of the data tables to be cleaned in the cleaning configuration table, and write the cleaning configuration table;
  • Step S506 If the storage type corresponding to the first to-be-cleaned data table is partition storage, set the cleaning mode of the first to-be-cleaned data table to the partition-clearing method;
  • the partition clearing method is to determine a storage partition of the data table to be cleaned, and delete a data table in the storage partition.
  • Step S508 If the storage type corresponding to the second to-be-cleaned data table is ordinary storage, then set the cleaning mode of the second to-be-cleaned data table to a normal deletion mode.
  • the common deletion method is to determine a table name according to a table attribute of the data table to be cleaned, and use a Drop function to delete the data table to be cleaned of the table name.
  • the implementation code can be: DROP table_name.
  • steps S600-S604 of the data table cleaning method are similar to steps S400-S404 of the first embodiment, except that the method further includes steps S606-S612.
  • the method includes the following steps:
  • step S600 a mapping relationship between a table type and a storage type is set in advance.
  • the table types include ordinary tables and partitioned tables.
  • the table type of the data table can be determined by viewing the table attributes of the data table.
  • the storage types include general storage and partition storage.
  • the storage type corresponding to the ordinary table is ordinary storage
  • the storage type corresponding to the partition table is partition storage
  • Step S602 Initialize and clear the configuration table.
  • the cleaning configuration table is used to store table attributes and cleaning methods of the data table to be cleaned.
  • the table attributes of the data table to be cleaned stored in the cleanup configuration table may include: a table name, a column name, a table type, a creation time, a cleanup time period, a cleanup method, and a table owner.
  • the cleaning method includes a general deletion method and a partition clearing method.
  • step S604 the data table to be cleaned is scanned and determined and written into the cleaning configuration table.
  • Step S606 Perform SQL injection verification on the information for cleaning the configuration table.
  • the SQL injection verification can prevent SQL injection attacks.
  • the SQL injection attack is an attacker inserting a SQL command into an input field of a web form or a query string requested by a page to trick a server into executing a malicious SQL command.
  • user input is used to construct (or influence) dynamic SQL commands or as input parameters to stored procedures.
  • Such forms are particularly vulnerable to SQL injection attacks. If the attacker knows that the application will directly use the content entered in the form to verify the identity of the query, he will try to enter some special SQL string to tamper the query to change its original function and trick the system to grant access.
  • the possible damage caused by the attacker is also different, which is mainly determined by the security permissions of the application to access the database. If the user's account has administrator or other advanced authority, the attacker may perform various operations on the database table, including adding, deleting, or updating data, and may even delete the table directly.
  • SQL injection verification may be performed on the cleanup configuration table by setting a filter string.
  • the filtered strings may include and, exec, insert, select, delete, update, chr, mid, master, or, truncate, char, declare, and join.
  • the implementation code of the filter string in the SQL injection verification may be:
  • step S608 it is determined whether the information of the cleaning configuration table passes SQL injection verification.
  • step S612 when the information of the cleaning configuration table fails the SQL injection check, step S612 is performed, and when the information of the cleaning configuration table passes the SQL injection check, step S610 is performed.
  • step S610 when the information of the cleaning configuration table passes SQL injection verification, the cleaning configuration table is queried to clear the data table to be cleaned from the cleaning configuration table.
  • the database will set a cleaning time period, and the data cleaning period may be set to 1 day, 1 week, or 1 month.
  • the cleaning configuration table is queried, and the data table to be cleaned in the cleaning configuration table is cleared according to the set cleaning method.
  • the access frequency of each data table in the statistical database during the cleaning time period when the time point of the data cleaning cycle is reached, the cleaning configuration table is queried, and the access frequency is higher than a threshold value.
  • the data table to be cleaned is deleted from the cleaning configuration table, and other data tables in the cleaning configuration table are cleared according to a set cleaning method.
  • step S612 when the information of the cleaning configuration table fails the SQL injection verification, the cleaning operation is abandoned, and the existing cleaning configuration table is deleted.
  • an error report will be generated and saved, and then return to step S602 to re-initialize the cleaning configuration table.
  • the data table cleaning method proposed in the present application can preset the mapping relationship between the table type and storage type and initialize the cleaning configuration table, and then periodically scan each data table in the database to determine the data table to be deleted and write it to The cleanup configuration table is finally queried, the information of the cleanup configuration table is checked by SQL injection, and the data table to be cleaned in the cleanup configuration table is cleared after passing the check. Realize the fast cleaning of the data tables in the database, effectively improve the operating performance of the database system, improve the operation and maintenance efficiency, and reduce the operation and maintenance costs.
  • the present application also proposes a computer-readable storage medium storing a data table cleaning system, and the data table cleaning system may be executed by at least one processor, so that the at least one processor Perform the steps of the data table cleaning method as described above.
  • the methods in the above embodiments can be implemented by means of software plus a necessary universal hardware platform, and of course, also by hardware, but in many cases the former is better.
  • Implementation Based on such an understanding, the technical solution of this application that is essentially or contributes to the existing technology can be embodied in the form of a software product that is stored in a storage medium (such as ROM / RAM, magnetic disk, The optical disc) includes several instructions for causing a terminal device (which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.) to execute the methods described in the embodiments of the present application.
  • a terminal device which may be a mobile phone, a computer, a server, an air conditioner, or a network device, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据表清理方法，该方法包括：预先设置表类型和存储类型的映射关系；初始化清理配置表；扫描并确定待清理数据表并写入所述清理配置表；查询所述清理配置表，将所述清理配置表中的所述待清理数据表清除。本申请还提供一种服务器及计算机可读存储介质。本申请提供的数据表清理方法、服务器及计算机可读存储介质能够实现数据库中数据表的快速清理，有效的改善数据库系统的运行性能，提高了运维效率，减少了运维成本。

Description

数据表清理方法、服务器及计算机可读存储介质
本申请要求于2018年5月31日提交中国专利局，申请号为201810548332.1、发明名称为“数据表清理方法、服务器及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理域，尤其涉及一种数据表清理方法、服务器及计算机可读存储介质。
背景技术
在目前的业务系统运行过程中，随着多个项目的实施，承载关键业务的核心业务系统数据库变得日益庞大。随着时间的推移以及业务量的增长，数据库数量不断增加，数据量也日渐臃肿，数据库承载压力越来越大，严重影响了数据库系统运行性能。
另一方面，现有的数据表清理过程中，需要管理人员实时监控数据表空间是否发出警告，在确认数据表空间不足后，需判断是否有扩展存储以增加表空间，或者进一步确认清理对象。然而，面对越来越多的数据系统及日渐提升的数据复杂度，人员管理难度越来越大，管理人员无法完全掌控整个数据系统，对需要清理的数据表也很难确认。因此，如何对数据库数据时效性加强管理，对历史数据表进行有效治理，成为一个尤为重要的问题。
发明内容
有鉴于此，本申请提出一种数据表清理方法、服务器及计算机可读存储介质，以解决如何对数据时效性加强管理，对历史数据进行有效治理的问题。
首先，为实现上述目的，本申请提出一种数据表清理方法，该方法包括步骤：
预先设置表类型和存储类型的映射关系；
建立清理配置表初始化清理配置表；
扫描并确定待清理数据表并写入所述清理配置表定时扫描数据库中每一个数据表，确定本次需要删除的数据表并写入所述清理配置表；及
查询所述清理配置表，将所述清理配置表中的所述待清理数据表清除。
此外，为实现上述目的，本申请还提供一种服务器，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据表清理系统，所述数据表清理系统被所述处理器执行时实现如上述的数据表清理方法的步骤。
进一步地，为实现上述目的，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有数据表清理系统，所述数据表清理系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的数据表清理方 法的步骤。
附图说明
图1是本申请服务器一可选的硬件架构的示意图；
图2是本申请数据表清理系统第一实施例的程序模块示意图；
图3是本申请数据表清理系统第二实施例的程序模块示意图；
图4是本申请数据表清理系统第三实施例的程序模块示意图；
图5是本申请数据表清理方法第一实施例的流程示意图；
图6是本申请数据表清理方法第二实施例的流程示意图。
附图标记：
服务器 2
存储器 11
处理器 12
网络接口 13
数据表清理系统 200
映射模块 201
建立模块 202
扫描模块 203
清除模块 204
校验模块 205
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本申请中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该 特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。
参阅图1所示，是本申请服务器2一可选的硬件架构的示意图。
本实施例中，所述服务器2可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图1仅示出了具有组件11-13的服务器2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述服务器2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述服务器2的内部存储单元，例如该服务器2的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述服务器2的外部存储设备，例如该服务器2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述服务器2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述服务器2的操作系统和各类应用软件，例如数据表清理系统200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述服务器2的总体操作。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的数据表清理系统200等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述服务器2与其他电子设备之间建立通信连接。
至此，己经详细介绍了本申请相关设备的硬件结构和功能。下面，将基于上述介绍提出本申请的各个实施例。
首先，本申请提出一种数据表清理系统200。
参阅图2所示，是本申请数据表清理系统200第一实施例的程序模块图。
本实施例中，所述数据表清理系统200包括一系列的存储于存储器11上的 计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本申请各实施例的数据表清理操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，数据表清理系统200可以被划分为一个或多个模块。例如，在图2中，所述数据表清理系统200可以被分割成映射模块201、建立模块202、扫描模块203、清除模块204。其中：
所述映射模块201，用于预先设置表类型和存储类型的映射关系。
具体地，所述表类型包括普通表和分区表。
在一实施例中，可以通过查看数据表的表属性来判断所述数据表的表类型。
具体的，所述存储类型包括普通存储和分区存储。
在一实施例中，所述普通表对应的存储类型为普通存储，所述分区表对应的存储类型为分区存储。
所述建立模块202，用于初始化清理配置表。
具体地，所述清理配置表用于存储待清理数据表的表属性及清理方式。
在一实施例中，所述清理配置表中存储的待清理数据表的表属性可以包括：表名，列名，表类型，创建时间，清理时间周期，清理方式，表属主。其中，所述清理方式包括普通删除方式和清分区方式。
所述扫描模块203，用于扫描并确定待清理数据表并写入所述清理配置表。
具体地，所述扫描并确定待清理数据表并写入所述清理配置表的步骤具体包括：
确定清理条件；
在一实施例中，所述清理条件为待清理数据表的筛选条件，所述清理条件可以包括存储分区及创建时间段。所述筛选条件通过与维护人员的交互来确定，由维护人员确定待清理数据表的存储分区或创建时间段。
定时扫描数据库中每一个数据表，根据所述每一个数据表的表属性确定对应的存储分区或创建时间；
在一实施例中，每隔一预设时间将对每一个数据表进行扫描，通过查询每一数据表的表属性确定每一数据表的创建时间及表类型，当表类型为分区表时进一步确定对应的存储分区。
将满足所述清理条件的数据表作为所述待清理数据表写入所述清理配置表；
根据所述清理配置表中每一所述待清理数据表的存储类型确定每一所述待清理数据表对应的清理方式，并写入所述清理配置表；
若第一待清理数据表对应的存储类型为分区存储，则将所述第一待清理数据表的清理方式设置为清分区方式。
在本实施例中，所述清分区方式为，确定所述待清理数据表的存储分区，将所述存储分区内的数据表进行删除。
若第二待清理数据表对应的存储类型为普通存储，则将所述第二待清理 数据表的清理方式设置为普通删除方式。
在本实施例中，所述普通删除方式为根据所述待清理数据表的表属性确定表名，利用Drop函数将所述表名的待清理数据表删除。实现代码可以为：DROP TABLE table_name。
所述清除模块204，用于查询所述清理配置表，将所述清理配置表中的待清理数据表清除。
具体地，数据库会设置一个清理时间周期，所述数据清理周期可以设置为1天、1周或1月。
在一实施例中，当到达所述数据清理周期时间点时，查询所述清理配置表，将所述清理配置表中的待清理数据表按照设置的清理方式清除。
在另一实施例中，统计数据库中各个数据表在所述清理时间周期内的访问频率，当到达所述数据清理周期时间点时，查询所述清理配置表，将访问频率高于一阈值的待清理数据表从所述清理配置表中剔除，将所述清理配置表中的其他数据表按照设置的清理方式清除。
参阅图3所示，是本申请数据表清理系统200第二实施例的程序模块图。本实施例中，所述的数据表清理系统200除了包括第一实施例中的所述映射模块201、建立模块202、扫描模块203、清除模块204之外，还包括校验模块205。
所述校验模块205用于，并对所述清理配置表的信息进行SQL注入校验；
具体地，所述SQL注入校验可以防止SQL注入式攻击。所述SQL注入式攻击是攻击者把SQL命令插入到Web表单的输入域或页面请求的查询字符串，欺骗服务器执行恶意的SQL命令。在某些表单中，用户输入的内容直接用来构造(或者影响)动态SQL命令，或作为存储过程的输入参数，这类表单特别容易受到SQL注入式攻击。如果攻击者知道应用会将表单中输入的内容直接用于验证身份的查询，他就会尝试输入某些特殊的SQL字符串篡改查询改变其原来的功能，欺骗系统授予访问权限。系统环境不同，攻击者可能造成的损害也不同，这主要由应用访问数据库的安全权限决定。如果用户的帐户具有管理员或其他比较高级的权限，攻击者就可能对数据库的表执行各种他想要做的操作，包括添加、删除或更新数据，甚至可能直接删除表。
所述校验模块205还用于当通过SQL注入校验时，按照所述清理配置表对待清理数据表进行清除。
在一实施例中，可以通过设置过滤字符串的方式对所述清理配置表进行SQL注入校验。其中，所述过滤的字符串可以包括and、exec、insert、select、delete、update、chr、mid、master、or、truncate、char、declare及join。
在一实施例中，所述SQL注入校验中过滤字符串的实现代码可以为：
Figure PCTCN2018102406-appb-000001
Figure PCTCN2018102406-appb-000002
所述校验模块205还用于当若所述清理配置表的信息未通过SQL注入校验，则放弃此次清理操作，删除现有清理配置表，并使所述建立模块202重新初始化清理配置表。
本申请所提出的服务器2，可以通过预先设置表类型和存储类型的映射关系并初始化清理配置表，然后定时扫描数据库中每一个数据表，确定本次需要删除的数据表并写入所述清理配置表，最后查询所述清理配置表，对所述清理配置表的信息进行SQL注入校验，在通过校验之后将所述清理配置表中的待清理数据表清除。实现了数据库中数据表的快速清理，有效的改善数据库系统的运行性能，提高了运维效率，减少了运维成本。
此外，本申请还提出一种数据表清理方法。
参阅图4所示，是本申请数据表清理方法第一实施例的流程示意图。在本实施例中，根据不同的需求，图4所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S400，预先设置表类型和存储类型的映射关系。
具体地，所述表类型包括普通表和分区表。
在一实施例中，可以通过查看数据表的表属性来判断所述数据表的表类型。
具体的，所述存储类型包括普通存储和分区存储。
在一实施例中，所述普通表对应的存储类型为普通存储，所述分区表对应的存储类型为分区存储。
步骤S402，初始化清理配置表。
具体地，所述清理配置表用于存储待清理数据表的表属性及清理方式。
在一实施例中，所述清理配置表中存储的待清理数据表的表属性可以包括：表名，列名，表类型，创建时间，清理时间周期，清理方式，表属主。其中，所述清理方式包括普通删除方式和清分区方式。
步骤S404，扫描并确定待清理数据表并写入所述清理配置表。
进一步的，所述扫描并确定待清理数据表并写入所述清理配置表的具体步骤将在本申请数据表清理方法的第二实施例(图5)进行详述。
步骤S406，查询所述清理配置表，将所述清理配置表中的待清理数据表清除。
具体地，数据库会设置一个清理时间周期，所述数据清理周期可以设置为1天、1周或1月。
在一实施例中，当到达所述数据清理周期时间点时，查询所述清理配置表，将所述清理配置表中的待清理数据表按照设置的清理方式清除。
在另一实施例中，统计数据库中各个数据表在所述清理时间周期内的访问频率，当到达所述数据清理周期时间点时，查询所述清理配置表，将访问频率高于一阈值的待清理数据表从所述清理配置表中剔除，将所述清理配置表中的其他数据表按照设置的清理方式清除。
如图5所示，是本申请数据表清理方法的第二实施例的流程示意图。在本实施例中，根据不同的需求，图5所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
在本实施例中，所述扫描并确定待清理数据表并写入所述清理配置表的步骤，具体包括：
步骤S500、确定清理条件；
在一实施例中，所述清理条件为待清理数据表的筛选条件，所述清理条件可以包括存储分区及创建时间段。所述筛选条件通过与维护人员的交互来确定，由维护人员确定待清理数据表的存储分区或创建时间段。
步骤S502、定时扫描数据库中每一个数据表，根据所述每一个数据表的表属性确定对应的存储分区或创建时间，将满足所述清理条件的数据表作为所述待清理数据表写入所述清理配置表；
在一实施例中，每隔一预设时间将对每一个数据表进行扫描，通过查询每一数据表的表属性确定每一数据表的创建时间及表类型，当表类型为分区表时进一步确定对应的存储分区。
在另一实施例中，可以通过“information_schema.tables”获取数据表，通过读的方式获取该数据表的文件数据量以及通过“(truncate(DATA_LENGTH/1024+INDEX_LENGTH/1024,0))”、“TABLE_ROWS”获取数据表的实际数据量。根据该数据表的整体文件数据量和实际有效数据的数据量确定是否需要对该数据表进行处理。根据该数据表的整体文件数据量和实际有效数据的数据量可以获得无效数据的数据量，根据无效数据量的大小或者占用的比例进行判断该数据表是否需要处理。当判断需要处理时，将所述数据表写入所述清理配置表。
步骤S504、根据所述清理配置表中每一所述待清理数据表的存储类型确定每一所述待清理数据表对应的清理方式，并写入所述清理配置表；
步骤S506、若第一待清理数据表对应的存储类型为分区存储，则将所述 第一待清理数据表的清理方式设置为清分区方式；
在本实施例中，所述清分区方式为，确定所述待清理数据表的存储分区，将所述存储分区内的数据表进行删除。
步骤S508、若第二待清理数据表对应的存储类型为普通存储，则将所述第二待清理数据表的清理方式设置为普通删除方式。
在本实施例中，所述普通删除方式为根据所述待清理数据表的表属性确定表名，利用Drop函数将所述表名的待清理数据表删除。实现代码可以为：DROP TABLE table_name。
如图6所示，是本申请数据表清理方法的第三实施例的流程示意图。本实施例中，所述数据表清理方法的步骤S600-S604与第一实施例的步骤S400-S404相类似，区别在于该方法还包括步骤S606-S612。
该方法包括以下步骤：
步骤S600，预先设置表类型和存储类型的映射关系。
具体地，所述表类型包括普通表和分区表。
在一实施例中，可以通过查看数据表的表属性来判断所述数据表的表类型。
具体的，所述存储类型包括普通存储和分区存储。
在一实施例中，所述普通表对应的存储类型为普通存储，所述分区表对应的存储类型为分区存储。
步骤S602，初始化清理配置表。
具体地，所述清理配置表用于存储待清理数据表的表属性及清理方式。
在一实施例中，所述清理配置表中存储的待清理数据表的表属性可以包括：表名，列名，表类型，创建时间，清理时间周期，清理方式，表属主。其中，所述清理方式包括普通删除方式和清分区方式。
步骤S604，扫描并确定待清理数据表并写入所述清理配置表。
步骤S606，对所述清理配置表的信息进行SQL注入校验。
具体地，所述SQL注入校验可以防止SQL注入式攻击。所述SQL注入式攻击是攻击者把SQL命令插入到Web表单的输入域或页面请求的查询字符串，欺骗服务器执行恶意的SQL命令。在某些表单中，用户输入的内容直接用来构造(或者影响)动态SQL命令，或作为存储过程的输入参数，这类表单特别容易受到SQL注入式攻击。如果攻击者知道应用会将表单中输入的内容直接用于验证身份的查询，他就会尝试输入某些特殊的SQL字符串篡改查询改变其原来的功能，欺骗系统授予访问权限。系统环境不同，攻击者可能造成的损害也不同，这主要由应用访问数据库的安全权限决定。如果用户的帐户具有管理员或其他比较高级的权限，攻击者就可能对数据库的表执行各种他想要做的操作，包括添加、删除或更新数据，甚至可能直接删除表。
在一实施例中，可以通过设置过滤字符串的方式对所述清理配置表进行SQL注入校验。其中，所述过滤的字符串可以包括and、exec、insert、select、 delete、update、chr、mid、master、or、truncate、char、declare及join。
在一实施例中，所述SQL注入校验中过滤字符串的实现代码可以为：
Figure PCTCN2018102406-appb-000003
步骤S608，判断所述清理配置表的信息是否通过SQL注入校验。
具体的，当所述清理配置表的信息未通过SQL注入校验时，执行步骤S612，当所述清理配置表的信息通过SQL注入校验时，执行步骤S610。
步骤S610，当所述清理配置表的信息通过SQL注入校验时，查询所述清理配置表，将所述清理配置表中的待清理数据表清除。
具体地，数据库会设置一个清理时间周期，所述数据清理周期可以设置为1天、1周或1月。
在一实施例中，当到达所述数据清理周期时间点时，查询所述清理配置表，将所述清理配置表中的待清理数据表按照设置的清理方式清除。
在另一实施例中，统计数据库中各个数据表在所述清理时间周期内的访问频率，当到达所述数据清理周期时间点时，查询所述清理配置表，将访问频率高于一阈值的待清理数据表从所述清理配置表中剔除，将所述清理配置表中的其他数据表按照设置的清理方式清除。
步骤S612，当所述清理配置表的信息未通过SQL注入校验，放弃此次清理操作，并删除现有清理配置表。
在一实施例中，在所述清理配置表的信息未通过SQL注入校验之后，将会生成并保存错误报告，之后将返回步骤S602，重新初始化清理配置表。
本申请所提出的数据表清理方法，可以通过预先设置表类型和存储类型的映射关系并初始化清理配置表，然后定时扫描数据库中每一个数据表，确定本次需要删除的数据表并写入所述清理配置表，最后查询所述清理配置表，对所述清理配置表的信息进行SQL注入校验，在通过校验之后将所述清理配置表中的待清理数据表清除。实现了数据库中数据表的快速清理，有效的改善 数据库系统的运行性能，提高了运维效率，减少了运维成本。
此外，本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有数据表清理系统，所述数据表清理系统可被至少一个处理器执行，以使所述至少一个处理器执行如上所述的数据表清理方法的步骤。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种数据表清理方法，应用于服务器，其特征在于，所述方法包括步骤：
    预先设置表类型和存储类型的映射关系；
    初始化清理配置表；
    扫描并确定待清理数据表并写入所述清理配置表；及
    查询所述清理配置表，将所述清理配置表中的所述待清理数据表清除。
  2. 如权利要求1所述的数据表清理方法，其特征在于，所述表类型包括普通表和分区表，所述存储类型包括普通存储和分区存储，所述普通表对应的存储类型为普通存储，所述分区表对应的存储类型为分区存储。
  3. 如权利要求2所述的数据表清理方法，其特征在于，所述扫描并确定待清理数据表并写入所述清理配置表的步骤具体包括：
    确定清理条件；
    扫描数据库中每一个数据表，根据所述每一个数据表的表属性确定对应的存储分区或创建时间段；
    将满足所述清理条件的数据表作为所述待清理数据表写入所述清理配置表；
    根据所述清理配置表中每一所述待清理数据表的存储类型确定每一所述待清理数据表对应的清理方式，并写入所述清理配置表；
    若第一待清理数据表对应的存储类型为分区存储，则将所述第一待清理数据表的清理方式设置为清分区方式；
    若第二待清理数据表对应的存储类型为普通存储，则将所述第二待清理数据表的清理方式设置为普通删除方式。
  4. 如权利要求1所述的数据表清理方法，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  5. 如权利要求2所述的数据表清理方法，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  6. 如权利要求3所述的数据表清理方法，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  7. 如权利要求4-6任一项所述的数据表清理方法，其特征在于，若所述清理配置表的信息未通过SQL注入校验，则放弃此次清理操作，删除现有清理配置表，并重新初始化清理配置表。
  8. 一种服务器，其特征在于，所述服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的数据表清理系统，所述数据表清理系统被所述处理器执行时实现如下步骤：
    预先设置表类型和存储类型的映射关系；
    建立清理配置表初始化清理配置表；
    扫描并确定待清理数据表并写入所述清理配置表定时扫描数据库中每一个数据表，确定本次需要删除的数据表并写入所述清理配置表；及
    查询所述清理配置表，将所述清理配置表中的所述待清理数据表清除。
  9. 如权利要求8所述的服务器，其特征在于，所述表类型包括普通表和分区表，所述存储类型包括普通存储和分区存储，所述普通表对应的存储类型为普通存储，所述分区表对应的存储类型为分区存储。
  10. 如权利要求9所述的服务器，其特征在于，所述扫描并确定待清理数据表并写入所述清理配置表的步骤具体包括：
    确定清理条件；
    扫描数据库中每一个数据表，根据所述每一个数据表的表属性确定对应的存储分区或创建时间段；
    将满足所述清理条件的数据表作为所述待清理数据表写入所述清理配置表；
    根据所述清理配置表中每一所述待清理数据表的存储类型确定每一所述待清理数据表对应的清理方式，并写入所述清理配置表；
    若第一待清理数据表对应的存储类型为分区存储，则将所述第一待清理数据表的清理方式设置为清分区方式；
    若第二待清理数据表对应的存储类型为普通存储，则将所述第二待清理数据表的清理方式设置为普通删除方式。
  11. 如权利要求8所述的服务器，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  12. 如权利要求9所述的服务器，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  13. 如权利要求10所述的服务器，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  14. 如权利要求11-13任一项所述的服务器，其特征在于，若所述清理配置表的信息未通过SQL注入校验，则放弃此次清理操作，删除现有清理配置表，并重新初始化清理配置表。
  15. 一种计算机可读存储介质，所述计算机可读存储介质存储有数据表清理系统，所述数据表清理系统可被至少一个处理器执行，以使所述至少一个处理器执行如下步骤：
    预先设置表类型和存储类型的映射关系；
    建立清理配置表初始化清理配置表；
    扫描并确定待清理数据表并写入所述清理配置表定时扫描数据库中每一个数据表，确定本次需要删除的数据表并写入所述清理配置表；及
    查询所述清理配置表，将所述清理配置表中的所述待清理数据表清除。
  16. 如权利要求15所述的计算机可读存储介质，其特征在于，所述表类型包括普通表和分区表，所述存储类型包括普通存储和分区存储，所述普通表对应的存储类型为普通存储，所述分区表对应的存储类型为分区存储。
  17. 如权利要求16所述的计算机可读存储介质，其特征在于，所述扫描并确定待清理数据表并写入所述清理配置表的步骤具体包括：
    确定清理条件；
    扫描数据库中每一个数据表，根据所述每一个数据表的表属性确定对应的存储分区或创建时间段；
    将满足所述清理条件的数据表作为所述待清理数据表写入所述清理配置表；
    根据所述清理配置表中每一所述待清理数据表的存储类型确定每一所述待清理数据表对应的清理方式，并写入所述清理配置表；
    若第一待清理数据表对应的存储类型为分区存储，则将所述第一待清理数据表的清理方式设置为清分区方式；
    若第二待清理数据表对应的存储类型为普通存储，则将所述第二待清理数据表的清理方式设置为普通删除方式。
  18. 如权利要求15所述的计算机可读存储介质，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  19. 如权利要求16或17所述的计算机可读存储介质，其特征在于，在所述查询所述清理配置表，将所述清理配置表中的待清理数据表清除的步骤之前还可以包括步骤：
    对所述清理配置表的信息进行SQL注入校验；
    若通过SQL注入校验，则按照所述清理配置表对待清理数据表进行清除。
  20. 如权利要求19所述的计算机可读存储介质，其特征在于，若所述清理配置表的信息未通过SQL注入校验，则放弃此次清理操作，删除现有清理 配置表，并重新初始化清理配置表。
PCT/CN2018/102406 2018-05-31 2018-08-27 数据表清理方法、服务器及计算机可读存储介质 WO2019227721A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810548332.1 2018-05-31
CN201810548332.1A CN108829782B (zh) 2018-05-31 2018-05-31 数据表清理方法、服务器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019227721A1 true WO2019227721A1 (zh) 2019-12-05

Family

ID=64145500

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/102406 WO2019227721A1 (zh) 2018-05-31 2018-08-27 数据表清理方法、服务器及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108829782B (zh)
WO (1) WO2019227721A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299115A (zh) * 2018-11-30 2019-02-01 北京锐安科技有限公司 一种数据存储方法、装置、服务器及存储介质
CN110287183B (zh) * 2019-05-23 2024-02-02 中国平安人寿保险股份有限公司 数据库表水位的处理方法、装置、计算机设备及存储介质
CN110457300B (zh) * 2019-07-15 2024-02-02 中国平安人寿保险股份有限公司 一种公共测试库的清理方法及装置、电子设备
CN110532234A (zh) * 2019-08-30 2019-12-03 杭州迪普科技股份有限公司 一种漏洞扫描数据的存储方法及装置
CN112199364A (zh) * 2020-10-16 2021-01-08 平安国际智慧城市科技股份有限公司 数据清洗方法、装置、电子设备及存储介质
CN112965665B (zh) * 2021-03-09 2023-09-26 华泰证券股份有限公司 一种基于sas和ssd的gp数据库数据存储方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096669A (zh) * 2009-12-14 2011-06-15 深圳速浪数字技术有限公司 一种数据备份方法和数据备份装置
CN105989270A (zh) * 2015-09-25 2016-10-05 武汉安天信息技术有限责任公司 一种基于云计算的安卓数据库安全防护方法及系统
CN106598487A (zh) * 2016-11-21 2017-04-26 深圳市中博睿存科技有限公司 数据销毁方法及装置
CN107862097A (zh) * 2017-12-21 2018-03-30 上海新炬网络技术有限公司 一种基于TimesTen内存库的表数据智能清理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120638B1 (en) * 1999-09-21 2006-10-10 International Business Machines Corporation Method, system, program, and data structure for cleaning a database table
CN104036001B (zh) * 2014-06-13 2017-05-10 上海新炬网络信息技术有限公司 基于热表动态优先调度的数据快速清理方法
CN106557578B (zh) * 2016-11-23 2020-08-04 中国工商银行股份有限公司 历史数据查询方法及系统
CN107203643A (zh) * 2017-06-20 2017-09-26 郑州云海信息技术有限公司 一种删除文件的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096669A (zh) * 2009-12-14 2011-06-15 深圳速浪数字技术有限公司 一种数据备份方法和数据备份装置
CN105989270A (zh) * 2015-09-25 2016-10-05 武汉安天信息技术有限责任公司 一种基于云计算的安卓数据库安全防护方法及系统
CN106598487A (zh) * 2016-11-21 2017-04-26 深圳市中博睿存科技有限公司 数据销毁方法及装置
CN107862097A (zh) * 2017-12-21 2018-03-30 上海新炬网络技术有限公司 一种基于TimesTen内存库的表数据智能清理方法

Also Published As

Publication number Publication date
CN108829782A (zh) 2018-11-16
CN108829782B (zh) 2023-08-25

Similar Documents

Publication Publication Date Title
WO2019227721A1 (zh) 数据表清理方法、服务器及计算机可读存储介质
WO2020224235A1 (zh) 跨链交易的方法、装置、设备及存储介质
US11671262B2 (en) Asynchronously determining relational data integrity using cryptographic data structures
CN109213604B (zh) 一种数据源的管理方法和装置
CN110569147B (zh) 一种基于索引的删除文件恢复方法、终端设备及存储介质
WO2021164194A1 (zh) 一种基于区块链的积分管理方法及相关装置
CN112307444A (zh) 角色创建方法、装置、计算机设备及存储介质
US10664349B2 (en) Method and device for file storage
WO2021184642A1 (zh) 基于区块链的交易方法、装置、电子设备及可读存储介质
RU2665272C1 (ru) Способ и устройство для восстановления дедуплицированных данных
WO2019075966A1 (zh) 数据操作权限隔离方法、应用服务器及计算机可读存储介质
WO2020207008A1 (zh) 一种数据验证方法、装置、电子设备及存储介质
CN114356898A (zh) 数据存储方法、装置、电子设备和存储介质
CN103235918A (zh) 可信文件的收集方法及系统
CN109344163B (zh) 一种数据校验方法、装置和计算机可读介质
CN108646987B (zh) 一种文件卷的管理方法、装置、存储介质及终端
US10311033B2 (en) Alleviation of index hot spots in data sharing environment with remote update and provisional keys
WO2021174882A1 (zh) 数据分片校验方法、装置、计算机设备及可读存储介质
WO2019169771A1 (zh) 电子装置、访问指令信息获取方法及存储介质
CN103761156B (zh) 一种针对文件系统的在线修复方法
CN110263060A (zh) 一种erp电子附件管理方法及计算机设备
CN112394876A (zh) 大文件存储/读取方法、存储/读取装置和计算机设备
CN108241732B (zh) 电子装置、信息处理的方法及存储介质
CN111585897B (zh) 请求路由管理方法、系统、计算机系统及可读存储介质
CN111698227B (zh) 信息同步管理方法、装置、计算机系统及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18921010

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18921010

Country of ref document: EP

Kind code of ref document: A1