WO2020151332A1 - 数据删除方法、装置、计算机设备及存储介质 - Google Patents

数据删除方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020151332A1
WO2020151332A1 PCT/CN2019/118317 CN2019118317W WO2020151332A1 WO 2020151332 A1 WO2020151332 A1 WO 2020151332A1 CN 2019118317 W CN2019118317 W CN 2019118317W WO 2020151332 A1 WO2020151332 A1 WO 2020151332A1
Authority
WO
WIPO (PCT)
Prior art keywords
bloom filter
series data
time series
time
time period
Prior art date
Application number
PCT/CN2019/118317
Other languages
English (en)
French (fr)
Inventor
李红伟
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020151332A1 publication Critical patent/WO2020151332A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Definitions

  • This application relates to the field of data processing technology, and in particular to a data deletion method, device, computer equipment and storage medium.
  • the traditional data query method is usually to store the data in the disk, and then query through the linked list, tree, hash table, etc.
  • the existing Bloom Filter is an algorithm for quickly judging whether an element exists in the set. It has the advantages of high space efficiency and high query efficiency.
  • the time series data Deduplication usually requires the deletion of expired data, and the Bloom filter does not support the deletion operation, which results in the limited use of the Bloom filter.
  • the embodiments of the present application provide a data deletion method, device, computer equipment, and storage medium, which are intended to solve the technical problem that the Bloom filter does not support the deletion operation and the use is restricted.
  • an embodiment of the present application provides a data deletion method, which includes: if it is detected that time series data is written, determining whether the time stamp of the time series data is within the time period corresponding to the current Bloom filter; if If the time stamp of the time series data is not in the time period corresponding to the current bloom filter, a new bloom filter is established according to the next time period corresponding to the time stamp of the time series data, and the next time The time series data in the segment is written into the new bloom filter; judge whether there is an expired bloom filter according to the number of established bloom filters; if there is an expired bloom filter, add The expired Bloom filter is deleted.
  • an embodiment of the present application also provides a data deletion device, which includes: a first determining unit, configured to determine whether the time stamp of the sequential data is in the current bloom filter if the written sequential data is detected Within the time period corresponding to the time-series data; the establishing unit is configured to, if the time-stamp of the time series data is not within the time period corresponding to the current Bloom filter, create a new time period corresponding to the time-stamp of the time series data And write the time series data in the next time period into the new bloom filter; the second judging unit is used to determine the number of bloom filters that have been established It is judged whether there is an expired Bloom filter; the deleting unit is configured to delete the expired Bloom filter if there is an expired Bloom filter.
  • an embodiment of the present application also provides a computer device, which includes a memory and a processor connected to the memory; the memory is used to store a computer program; the processor is used to run the A computer program to perform the following steps: if it is detected that the time series data is written, it is judged whether the time stamp of the time series data is within the time period corresponding to the current Bloom filter; if the time stamp of the time series data is not at the current In the time period corresponding to the bloom filter, create a new bloom filter according to the next time period corresponding to the time stamp of the time series data, and write the time series data in the next time period to all In the new bloom filter; judge whether there is an expired bloom filter according to the number of established bloom filters; if there is an expired bloom filter, delete the expired bloom filter
  • the embodiments of the present application also provide a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor executes the following steps: Detect the written time series data, and determine whether the time stamp of the time series data is within the time period corresponding to the current Bloom filter; if the time stamp of the time series data is not within the time period corresponding to the current Bloom filter Establishing a new bloom filter according to the next time period corresponding to the time stamp of the time series data, and writing the time series data in the next time period into the new bloom filter; Determine whether there is an expired Bloom filter according to the number of established Bloom filters; if there is an expired Bloom filter, delete the expired Bloom filter.
  • FIG. 1 is a schematic flowchart of a data deletion method provided by an embodiment of this application.
  • FIG. 2 is a schematic diagram of a sub-flow of a data deletion method provided by an embodiment of this application;
  • FIG. 3 is a schematic flowchart of a data deletion method provided by another embodiment of this application.
  • FIG. 4 is a schematic diagram of a sub-flow of a data deletion method provided by an embodiment of this application.
  • FIG. 5 is a schematic flowchart of a data deletion method provided by another embodiment of this application.
  • FIG. 6 is a schematic block diagram of a data deletion device provided by an embodiment of this application.
  • FIG. 7 is a schematic block diagram of specific units of a data deletion device provided by an embodiment of the application.
  • FIG. 8 is a schematic block diagram of a data deletion device provided by another embodiment of this application.
  • FIG. 9 is a schematic block diagram of a data deletion device provided by another embodiment of this application.
  • FIG. 10 is a schematic block diagram of a computer device provided by an embodiment of the application.
  • FIG. 1 is a schematic flowchart of a data deletion method provided by an embodiment of this application.
  • the data deletion method is applied to the server and is implemented based on the Bloom filter.
  • the Bloom filter is an algorithm to quickly determine whether an element exists in the set, and has the advantages of high space efficiency and high query efficiency.
  • processing time series data through the bloom filter will cause the expired data to not be deleted, which reduces the space efficiency and query efficiency of the bloom filter. Therefore, a data deletion method proposed in this solution is used to implement the deletion operation of time series data in the Bloom filter.
  • Fig. 1 is a schematic flowchart of a data deletion method provided by an embodiment of the present application. As shown in the figure, the method includes the following steps S110-S140.
  • time series data refers to data recorded in chronological order
  • time period refers to a time interval set according to user requirements, for example, one month, one day, one hour, one minute, etc.
  • the time stamp refers to the time marked when the data is generated.
  • the time stamp is compared with the time period corresponding to the current Bloom filter. Determine whether the current time is within the time period corresponding to the current Long filter.
  • the time stamp of the time series data is compared with the end time of the time period corresponding to the current Rong filter.
  • the time stamp is earlier than the end time, it is determined that the time stamp is within the time period; if the time stamp is later than the end time, Then it is determined that the time mark is not within the time period. For example, if the time stamp of the time series data is 9:00 on August 29, and the time period corresponding to the current bloom filter is August, then the time stamp of the time series data is within the time period corresponding to the current bloom filter ; If the time stamp of the time series data is 1:00 on September 1, and the time period corresponding to the current Bloom filter is August, then the time stamp of the time series data is not in the time period corresponding to the current Bloom filter Inside.
  • the Bloom filter is established according to the time period, and one Bloom filter is established for each time period, and the time series data is written into the corresponding Bloom filter according to the time period.
  • the time stamp of the time series data is not within the time period corresponding to the current bloom filter, it means that the time stamp of the time series data has come to the next time period, then a new bloom is established according to the next time period corresponding to the time stamp Filter, the time series data in the next time period are written to the new Bloom filter. For example, if the current time period is August, and the time stamp of the time series data is September 1, then a new Bloom filter will be established according to the September corresponding to the time stamp, and the time series data of September will be written to the new In the bloom filter.
  • the step S120 may include steps S121-S123.
  • a bit array refers to a data storage method that stores data in binary. In a bit array, if the data exists, its corresponding binary bit is 1; if the data does not exist, its corresponding The binary bit is 0. In this embodiment, in the initial state of the newly created bit array, all positions in the bit array are set to zero, which means that the current bit array is newly created and no data is stored yet.
  • the hash function is a function that can map data of any content to a fixed-length character string. Data with the same content is mapped to obtain the same character string. Therefore, the content formed by the hash function -The index generation relationship can quickly query data.
  • the mapped value is limited to a certain range, the probability of hash collision will increase, and the size of the storage space cannot be expanded indefinitely, resulting in low query efficiency.
  • multiple different hash functions are used for mapping, which can represent the existence relationship of a larger set with less space, which greatly improves the space utilization rate.
  • the preset number refers to the number of hash functions.
  • One hash function can map time series data to a position in the bit array, and multiple different hash functions can map the same time series data to the bit array.
  • the number of hash functions corresponds to the number of positions mapped to the bit array.
  • the optimal preset number of the hash function is calculated from the error rate of the hash function, and will not be repeated here. For example, if the preset time period is one month and the preset number is 3, then the time series data within one month is mapped to the three positions of the newly created bit array through three different hash functions.
  • all these positions on the bit array are changed from 0 to 1, so as to write the time series data into the Bloom filter.
  • the positions on these bit arrays It is the index of time series data, and the written time series data can be quickly searched according to the index.
  • steps S124-S126 are further included.
  • S125 Determine whether the mapped positions in the bit array are all one.
  • query from the Bloom filter is similar to writing the time series data to the Bloom filter.
  • the time series data needs to be mapped through a preset number of hash functions. Obtain the preset number of positions on the bit array. It should be noted that the preset number in this step needs to be the same as the preset number in step S122, and then compare these positions with the corresponding positions on the bit array to determine the bit array Whether the corresponding positions in are all one, if all are one, it is determined that the time series data exists; if not all are one, it is determined that the time series data does not exist.
  • the August login records of customer A are mapped to the position of the bit array through a preset number of hash functions, and a hash function is mapped to a position on the bit array, and then These positions are compared with the bit array of the Bloom filter in August. If these positions mapped on the bit array are all 1, it means that customer A has logged in in the last month; if not all of these positions on the bit array are 1. It means that client A has not logged in in the last month.
  • S130 Determine whether there is an expired bloom filter according to the number of established bloom filters.
  • the step S130 may include steps S131-S132.
  • the preset number is set according to the needs of the user. For example, if the data required by the user is effective for 3 months, the data within 3 months is useful data, and the data 3 months ago It means that useless data has no value. Specifically, the judgment is made based on the comparison between the number of established Bloom filters and the preset number.
  • the number of established bloom filters is greater than the preset number, indicating that useless data with no existing value is currently stored, and it is determined that there are expired bloom filters in the current bloom filters. For example, if the preset number is 3 and the number of established bloom filters is 4, then the number of established bloom filters is greater than the preset number, and it is determined that there is an expired cloth in the current bloom filter. Long filter.
  • the expired bloom filter needs to be deleted, and the expired bloom filter is specifically the earliest established bloom filter .
  • the preset number is 3, and the bloom filters for August, September and October have been established.
  • the number of established bloom filters 4 is greater than If the preset number is 3, then the oldest bloom filter established in August is the expired bloom filter.
  • the expired Bloom filter that is, the Bloom filter in August, is deleted, that is, all positions in the bit array are set to 0, thereby deleting all useless time series data.
  • the step S111 is further included.
  • the time series data is directly written into the current bloom filter. Specifically, first, the time series data is mapped to the position of the current bit array through a preset number of hash functions, and each hash function maps the position of a bit array, and then the positions mapped to the bit array positions are all set Is 1, so that the time series data is written into the current Bloom filter. Compared with the existing Bloom filter application, writing all the time series data into a Bloom filter results in the time series data cannot be deleted, and the space efficiency and query efficiency are low. In this embodiment, the time series data is written by establishing a bloom filter according to the time period.
  • the current bloom filter is written; when the time series data does not belong to the current cloth filter
  • a new bloom filter is created corresponding to the next time period according to the time stamp of the time series data and written into the new bloom filter.
  • the embodiment of the present application shows a data deletion method, by determining whether the time stamp of the time series data is within the time period corresponding to the current Bloom filter if the time series data is detected; if the time of the time series data is If the marker is not in the time period corresponding to the current bloom filter, a new bloom filter is established according to the next time period corresponding to the time marker of the time series data, and the time sequence in the next time period Write data into the new bloom filter; determine whether there is an expired bloom filter according to the number of established bloom filters; if there is an expired bloom filter, replace the expired bloom filter Filter deletion can realize the delete operation of bloom filter, extend bloom filter to time series data, improve space efficiency and query efficiency.
  • FIG. 6 is a schematic block diagram of a data deletion device 200 provided by an embodiment of the present application. As shown in FIG. 6, corresponding to the above data deletion method, the present application also provides a data deletion device 200.
  • the data deletion device 200 includes a unit for executing the above-mentioned data deletion method, and the device may be configured in a server. Specifically, referring to FIG. 6, the data deletion apparatus 200 includes a first judgment unit 210, an establishment unit 220, a second judgment unit 230 and a deletion unit 240.
  • the first determining unit 210 is configured to determine whether the time stamp of the time series data is within the time period corresponding to the current Bloom filter if the written time series data is detected;
  • the establishing unit 220 is configured to, if the time stamp of the time series data is not within the time period corresponding to the current bloom filter, create a new bloom filter according to the next time period corresponding to the time stamp of the time series data, And write the time series data in the next time period into the new bloom filter.
  • the establishment unit 220 includes: a new establishment unit 221, a mapping unit 222 and a setting unit 223.
  • the new creation unit 221 is used to create a new bit array and set all positions in the bit array to zero;
  • the mapping unit 222 is configured to map the time series data in the next time period to the position of the bit array through a preset number of hash functions
  • the setting unit 223 is used to set all the mapped positions in the bit array to one.
  • the data deletion apparatus 200 further includes:
  • the mapping subunit 224 is configured to map the time series data to the position of the bit array through a preset number of hash functions if the query time series data is detected;
  • the judging subunit 225 is used to judge whether the positions mapped to in the bit array are all one;
  • the determining subunit 226 is configured to determine that the time series data exists if the positions mapped to in the bit array are all one.
  • the second determining unit 230 is configured to determine whether there is an expired bloom filter according to the number of established bloom filters.
  • the second judgment unit 230 includes a second judgment subunit 231 and a judgment unit 232.
  • the second judgment subunit 231 is used to judge whether the number of established Bloom filters exceeds a preset number
  • the determining unit 232 is configured to determine that there is an expired bloom filter if the number of established bloom filters exceeds the preset number.
  • the deleting unit 240 is configured to delete the expired Bloom filter if there is an expired Bloom filter.
  • the data deletion apparatus 200 further includes: a writing unit 211.
  • the writing unit 211 is configured to write the time series data into the current bloom filter if the time stamp of the time series data is within the time period corresponding to the current bloom filter.
  • the above-mentioned data deletion apparatus may be implemented in the form of a computer program, and the computer program may run on the computer device shown in FIG. 10.
  • FIG. 10 is a schematic block diagram of a computer device according to an embodiment of the present application.
  • the computer device 500 may be a server, the server may be an independent server, or a server cluster composed of multiple servers.
  • the computer device 500 includes a processor 502, a memory, and a network interface 505 connected through a system bus 501, where the memory may include a nonvolatile storage medium 503 and an internal memory 504.
  • the non-volatile storage medium 503 can store an operating system 5031 and a computer program 5032.
  • the computer program 5032 includes program instructions, and when the program instructions are executed, the processor 502 can execute a data deletion method.
  • the processor 502 is used to provide calculation and control capabilities to support the operation of the entire computer device 500.
  • the internal memory 504 provides an environment for the operation of the computer program 5032 in the non-volatile storage medium 503.
  • the processor 502 can execute a data deletion method.
  • the network interface 505 is used for network communication with other devices.
  • the structure shown in FIG. 10 is only a block diagram of part of the structure related to the solution of the present application, and does not constitute a limitation on the computer device 500 to which the solution of the present application is applied.
  • the specific computer device 500 may include more or fewer components than shown in the figure, or combine certain components, or have a different component arrangement.
  • the processor 502 is configured to run a computer program 5032 stored in the memory to implement the data deletion method in the embodiment of the present application
  • the processor 502 may be a central processing unit (Central Processing Unit, CPU), and the processor 502 may also be other general-purpose processors, digital signal processors (DSPs), Application Specific Integrated Circuit (ASIC), Field-Programmable Gate Array (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor.
  • the computer program includes program instructions, and the computer program can be stored in a storage medium, which is a computer-readable storage medium.
  • the program instructions are executed by at least one processor in the computer system to implement the process steps of the foregoing method embodiments.
  • the storage medium may be a computer-readable storage medium.
  • the storage medium stores a computer program, and when the computer program is executed by the processor, the processor executes the steps of the data deletion method described in the above embodiments.
  • the storage medium may be a U disk, a mobile hard disk, a read-only memory (Read-Only Memory, ROM), a magnetic disk or an optical disk, and other computer-readable storage media that can store program codes.
  • ROM Read-Only Memory
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of each unit is only a logical function division, and there may be other division methods in actual implementation.
  • multiple units or components can be combined or integrated into another system, or some features can be omitted or not implemented.
  • the steps in the method of the embodiment of the present application can be adjusted, merged, and deleted in order according to actual needs.
  • the units in the device in the embodiment of the present application may be combined, divided, and deleted according to actual needs.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the integrated unit is implemented in the form of a software functional unit and sold or used as an independent product, it can be stored in a storage medium.
  • the technical solution of this application is essentially or the part that contributes to the existing technology, or all or part of the technical solution can be embodied in the form of a software product, and the computer software product is stored in a storage medium It includes several instructions to make a computer device (which may be a personal computer, terminal, or network device, etc.) execute all or part of the steps of the method described in each embodiment of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本申请实施例公开了一种数据删除方法、装置、计算机设备及存储介质。本申请应用于大数据中的数据查询领域。所述方法包括：若检测到写入时序数据，判断时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将下一时间段内的时序数据写入到新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将过期的布隆过滤器删除。

Description

数据删除方法、装置、计算机设备及存储介质
本申请要求于2019年01月23日提交中国专利局、申请号为201910064084.8、申请名称为“数据删除方法、装置、计算机设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及数据处理技术领域，尤其涉及一种数据删除方法、装置、计算机设备及存储介质。
背景技术
随着信息与科技的发展，人们的日常生活中每时每刻不停地产生着巨量的数据，数据的价值越来越被重视，数据的处理也愈发重要。传统的数据查询方法，通常是将数据存储到磁盘中，然后通过链表、树以及哈希表等进行查询，然而随着时间的推移数据量的不断增长，需要的存储空间越来越大，查询的时间越来越长，导致空间消耗大，查询效率低。现有的布隆过滤器(Bloom Filter)是一种快速判断某个元素是否存在于集合中的算法，具有空间效率高和查询效率高的优点，但是在时序数据的处理过程中，时序数据的去重通常需要将过期数据删除，而布隆过滤器不支持删除操作，从而导致布隆过滤器的使用受限。
发明内容
本申请实施例提供了一种数据删除方法、装置、计算机设备及存储介质，旨在解决布隆过滤器不支持删除操作而导致使用受限的技术问题。
第一方面，本申请实施例提供了一种数据删除方法，其包括：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过 滤器，将所述过期的布隆过滤器删除。
第二方面，本申请实施例还提供了一种数据删除装置，其包括：第一判断单元，用于若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；建立单元，用于若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；第二判断单元，用于根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；删除单元，用于若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
第三方面，本申请实施例还提供了一种计算机设备，其包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如下步骤：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行以下步骤：若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的数据删除方法的流程示意图；
图2为本申请实施例提供的数据删除方法的子流程示意图；
图3为本申请另一实施例提供的数据删除方法的流程示意图；
图4为本申请实施例提供的数据删除方法的子流程示意图；
图5为本申请另一实施例提供的数据删除方法的流程示意图；
图6为本申请实施例提供的数据删除装置的示意性框图；
图7为本申请实施例提供的数据删除装置的具体单元的示意性框图；
图8为本申请另一实施例提供的数据删除装置的示意性框图；以及
图9为本申请另一实施例提供的数据删除装置的示意性框图；以及
图10为本申请实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本申请实施例提供的数据删除方法的示意性流程图。该数据删除方法应用于服务器中，基于布隆过滤器实现，布隆过滤器是一种快速 判断某个元素是否存在于集合中的算法，具有空间效率高和查询效率高的优点。然而由于布隆过滤器本身的特性不支持删除操作，通过布隆过滤器处理时序数据会导致过期数据无法删除，降低了布隆过滤器空间效率和查询效率。因此，通过本方案所提出的一种数据删除方法以实现时序数据在布隆过滤器中的删除操作。
图1是本申请实施例提供的数据删除方法的流程示意图。如图所示，该方法包括以下步骤S110-S140。
S110、若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内。
在一实施例中，时序数据指的是按照时间顺序记录的数据，时间段指的是根据用户需求设置的时间区间，例如，一个月，一天，一小时以及一分钟等。由于时序数据的特性，其数据本身即存在有时间标记，时间标记指的是数据生成时标记的时刻，在时序数据写入时将时间标记与当前的布隆过滤器对应的时间段进行对比，判断当前时间是否处于当前的隆过滤器对应的时间段内。具体地，将时序数据的时间标记与当前的隆过滤器对应的时间段的结束时间进行对比，若时间标记早于结束时间，则判定时间标记处于时间段内；若时间标记晚于结束时间，则判定时间标记不处于时间段内。例如，若时序数据的时间标记为8月29日9:00，当前的布隆过滤器对应的时间段为8月份，那么该时序数据的时间标记处于当前的布隆过滤器对应的时间段内；若时序数据的时间标记为9月1日1:00，当前的布隆过滤器对应的时间段为8月份，那么该时序数据的时间标记就不处于当前的布隆过滤器对应的时间段内。
S120、若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中。
在一实施例中，布隆过滤器根据时间段建立，每个时间段建立一个布隆过滤器，时序数据根据时间段写入到对应的布隆过滤器中。当时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，说明时序数据的时间标记已来到了下一个时间段，那么则根据时间标记对应的下一个时间段建立新的布隆过滤器，下一个时间段内的时序数据均写入到新的布隆过滤器中。例如，当前时间段为8月份，而时序数据的时间标记为9月1日，那么则根据该时间标记对应 的9月份建立一个新的布隆过滤器，9月份的时序数据均写入到新的布隆过滤器中。
在一实施例中，如图2所示，所述步骤S120可包括步骤S121-S123。
S121、新建位数组并将所述位数组中的所有位置均设置为零。
在一实施例中，位数组指的是一种通过二进制存储数据的数据存储方式，在位数组中，若数据存在，则其相应的二进制位就为1；若数据不存在，则其相应的二进制位就为0。在本实施例中，新建立的位数组初始状态时，将位数组中的所有位置均设为零，即表明当前位数组是新建的，还未存储有数据。
S122、将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上。
在一实施例中，哈希函数是一种可将任意内容的数据映射到一个固定长度的字符串中的函数，相同内容的数据映射得到相同的字符串，因此，通过哈希函数构成的内容-索引的生成关系可以快速查询数据。基于单个哈希函数对数据的查询，当映射后的值限制在一定范围内时哈希冲突的概率会增大，而存储空间的大小又不能无限扩张，从而造成查询效率低下。为了提高空间利用率，采用多个不同的哈希函数来进行映射，可以较少的空间来表示较大集合的存在关系，大大提高了空间利用率。具体地，预设数量指的是哈希函数的数量，一个哈希函数可将时序数据映射到位数组的一个位置上，那么多个不同的哈希函数则可将相同的时序数据映射到位数组的多个位置上，哈希函数的数量对应映射到位数组上位置的数量。其中，哈希函数最优的预设数量由哈希函数的错误率计算得出，在此不再赘述。例如，预设时间段为一个月，预设数量为3，那么将一个月内的时序数据通过3个不同的哈希函数映射到新建的位数组的三个位置上。
S123、将所述位数组中被映射到的位置均设置为一。
在一实施例中，在得到时序数据映射到位数组的位置后，将位数组上的这些位置全部由0变为1，从而将时序数据写入到布隆过滤器中，这些位数组上的位置即为时序数据的索引，根据索引即可实现快速查询所写入的时序数据。
在一实施例中，如图3所示，所述步骤S120之后，还包括步骤S124-S126。
S124、若检测到查询时序数据，将所述时序数据通过预设数量的哈希函数映射到所述位数组的位置上。
S125、判断所述位数组中被映射到的位置是否均为一。
S126、若所述位数组中被映射到的位置均为一，判定存在所述时序数据。
在一实施例中，当检测到查询查询时序数据，从布隆过滤器中查询，与写入时序数据到布隆过滤器相类似，首先需要通过预设数量的哈希函数对时序数据进行映射得到位数组上预设数量的位置，需要注意的是，该步骤的预设数量需与步骤S122步骤中的预设数量相同，然后将这些位置与位数组上对应的位置进行比较，判断位数组中对应的位置是否全部都是一，若全部都是一，判定该时序数据存在；若非全部都是一，判定该时序数据不存在。例如，查询A客户的8月份的登录记录，那么则通过预设数量的哈希函数将8月份的登录记录映射到位数组的位置上，一个哈希函数对应映射到位数组上的一个位置，然后将这些位置与8月份的布隆过滤器的位数组进行对比，若位数组上所映射的这些位置全部都是1，说明A客户最近一个月曾经登录过；若位数组上这些位置并非全部都是1，说明A客户最近一个月未曾登录过。
S130、根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器。
在一实施例中，如图4所示，所述步骤S130可包括步骤S131-S132。
S131、判断已建立的布隆过滤器的数量是否超过预设数量。
在一实施例中，预设数量是根据用户的需求设定的，例如，用户需要的数据实效性为3个月，那么3个月内的数据则为有用的数据，3个月前的数据则为无用数据没有存在的价值。具体地，根据已建立的的布隆过滤器的数量与预设数量进行比较来判断。
S132、若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。
在一实施例中，已建立的布隆过滤器的数量大于预设数量，说明当前存储了没有存在价值的无用数据，判定当前的布隆过滤器中存在过期的布隆过滤器。例如，预设数量为3，已建立的的布隆过滤器的数量有4个，那么已建立的的布隆过滤器的数量大于预设数量，判定当前的布隆过滤器中存在过期的布隆过滤器。
S140、若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
在一实施例中，在得到已建立的布隆过滤器中存在过期的布隆过滤器后，需要将过期的布隆过滤器删除，过期的布隆过滤器具体是最早建立的布隆过滤 器。例如，预设数量为3，已经建立了8月份、9月份以及10月份的布隆过滤器，当11月份建立了新的布隆过滤器，导致已建立的的布隆过滤器的数量4大于预设数量3，那么最早建立的布隆过滤器即8月份的布隆过滤器则为过期的布隆过滤器。具体地，将过期的布隆过滤器即8月份的布隆过滤器进行删除，即将位数组所有位置全部置0，从而将无用的时序数据全部删去。
在一实施例中，如图5所示，所述步骤S110之后，还包括步骤S111。
S111、若所述时序数据的时间标记处于当前的布隆过滤器对应的时间段内，将所述时序数据写入到当前的布隆过滤器中。
在一实施例中，当时序数据的时间标记处于当前的布隆过滤器对应的时间段内，那么则直接将时序数据写入到当前的布隆过滤器中。具体地，首先通过预设数量的哈希函数将时序数据映射到当前的位数组的位置上，每一个哈希函数映射一个位数组的位置，然后将位数组位置中被映射到的位置均置为1，从而将时序数据写入到当前的布隆过滤器中。相对于现有的布隆过滤器应用，将所有的时序数据均写入到一个布隆过滤器中导致不能删除时序数据，空间效率和查询效率低。本实施例通过根据时间段建立布隆过滤器写入时序数据，当时序数据属于当前的布隆过滤器对应的时间段，则写入当前的布隆过滤器；当时序数据不属于当前的布隆过滤器对应的时间段，则根据时序数据的时间标记对应下一个时间段建立新的布隆过滤器，写入到新的布隆过滤器中。当时序数据变为无用数据没有存在的价值时，将整个过期的布隆过滤器删除，从而实现了时序数据在布隆过滤器中的删除操作，且提高了空间效率和查询效率。
本申请实施例展示了一种数据删除方法，通过若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；若存在过期的布隆过滤器，将所述过期的布隆过滤器删除，可实现布隆过滤器的删除操作，扩展布隆过滤器应用到时序数据，提高空间效率和查询效率。
图6是本申请实施例提供的一种数据删除装置200的示意性框图。如图6所示，对应于以上数据删除方法，本申请还提供一种数据删除装置200。该数据 删除装置200包括用于执行上述数据删除方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该数据删除装置200包括第一判断单元210、建立单元220、第二判断单元230以及删除单元240。
第一判断单元210，用于若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；
建立单元220，用于若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中。
在一实施例中，如图7所示，所述建立单元220包括：新建单元221、映射单元222以及设置单元223。
新建单元221，用于新建位数组并将所述位数组中的所有位置均设置为零；
映射单元222，用于将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
设置单元223，用于将所述位数组中被映射到的位置均设置为一。
在一实施例中，如图8所示，所述数据删除装置200还包括：
映射子单元224，用于若检测到查询时序数据，将所述时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
判断子单元225，用于判断所述位数组中被映射到的位置是否均为一；
判定子单元226，用于若所述位数组中被映射到的位置均为一，判定存在所述时序数据。
第二判断单元230，用于根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器。
在一实施例中，如图7所示，所述第二判断单元230：第二判断子单元231以及判定单元232。
第二判断子单元231，用于判断已建立的布隆过滤器的数量是否超过预设数量；
判定单元232，用于若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。
删除单元240，用于若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
在一实施例中，如图9所示，所述数据删除装置200还包括：写入单元211。
写入单元211，用于若所述时序数据的时间标记处于当前的布隆过滤器对应的时间段内，将所述时序数据写入到当前的布隆过滤器中。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述数据删除装置200和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述数据删除装置可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种数据删除方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种数据删除方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本申请实施例的数据删除方法
应当理解，在本申请实施例中，处理器502可以是中央处理单元(Central  Processing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本申请还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，该计算机程序被处理器执行时使处理器执行以上各实施例中所描述的数据删除方法的步骤。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本申请实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各 个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种数据删除方法，包括：
    若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；
    若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的时序数据写入到所述新的布隆过滤器中；
    根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；
    若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
  2. 根据权利要求1所述的数据删除方法，其中，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中，包括：
    新建位数组并将所述位数组中的所有位置均设置为零；
    将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
    将所述位数组中被映射到的位置均设置为一。
  3. 根据权利要求2所述的数据删除方法，其中，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中之后，还包括：
    若检测到查询时序数据，将所述时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
    判断所述位数组中被映射到的位置是否均为一；
    若所述位数组中被映射到的位置均为一，判定存在所述时序数据。
  4. 根据权利要求1所述的数据删除方法，其中，所述根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器，包括：
    判断已建立的布隆过滤器的数量是否超过预设数量；
    若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。
  5. 根据权利要求1所述的数据删除方法，其中，所述判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内之后，还包括：
    若所述时序数据的时间标记处于当前的布隆过滤器对应的时间段内，将所述时序数据写入到当前的布隆过滤器中。
  6. 根据权利要求3所述的数据删除方法，其中，所述预设数量为所述哈希函数的数量，所述哈希函数最优的预设数量由哈希函数的错误率计算得出。
  7. 根据权利要求6所述的数据删除方法，其中，所述预设数量为3。
  8. 一种数据删除装置，包括：
    第一判断单元，用于若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；
    建立单元，用于若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中；
    第二判断单元，用于根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；
    删除单元，用于若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
  9. 根据权利要求8所述的数据删除装置，其中，所述建立单元包括：
    新建单元，用于新建位数组并将所述位数组中的所有位置均设置为零；
    映射单元，用于将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
    设置单元，用于将所述位数组中被映射到的位置均设置为一。
  10. 根据权利要求8所述的数据删除装置，其中，所述第二判断单元，包括：
    第二判断子单元，用于判断已建立的布隆过滤器的数量是否超过预设数量；
    判定单元，用于若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。
  11. 一种计算机设备，包括存储器以及与所述存储器相连的处理器；所述存储器用于存储计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如下步骤：
    若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；
    若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述 下一时间段内的时序数据写入到所述新的布隆过滤器中；
    根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；
    若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
  12. 根据权利要求11所述的计算机设备，其中，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中，包括：
    新建位数组并将所述位数组中的所有位置均设置为零；
    将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
    将所述位数组中被映射到的位置均设置为一。
  13. 根据权利要求12所述的计算机设备，其中，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中之后，还包括：
    若检测到查询时序数据，将所述时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
    判断所述位数组中被映射到的位置是否均为一；
    若所述位数组中被映射到的位置均为一，判定存在所述时序数据。
  14. 根据权利要求11所述的计算机设备，其中，所述根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器，包括：
    判断已建立的布隆过滤器的数量是否超过预设数量；
    若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。
  15. 根据权利要求11所述的计算机设备，其中，所述判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内之后，还包括：
    若所述时序数据的时间标记处于当前的布隆过滤器对应的时间段内，将所述时序数据写入到当前的布隆过滤器中。
  16. 根据权利要求13所述的计算机设备，其中，所述预设数量为所述哈希函数的数量，所述哈希函数最优的预设数量由哈希函数的错误率计算得出。
  17. 根据权利要求16所述的计算机设备，其中，所述预设数量为3。
  18. 一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器执行以下步骤：
    若检测到写入时序数据，判断所述时序数据的时间标记是否处于当前的布隆过滤器对应的时间段内；
    若所述时序数据的时间标记不处于当前的布隆过滤器对应的时间段内，根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的时序数据写入到所述新的布隆过滤器中；
    根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器；
    若存在过期的布隆过滤器，将所述过期的布隆过滤器删除。
  19. 根据权利要求18所述的计算机可读存储介质，其中，所述根据所述时序数据的时间标记对应的下一时间段建立新的布隆过滤器，并将所述下一时间段内的所述时序数据写入到所述新的布隆过滤器中的步骤，包括：
    新建位数组并将所述位数组中的所有位置均设置为零；
    将下一个时间段内的时序数据通过预设数量的哈希函数映射到所述位数组的位置上；
    将所述位数组中被映射到的位置均设置为一。
  20. 根据权利要求18所述的计算机可读存储介质，其中，所述根据已建立的布隆过滤器的数量判断是否存在过期的布隆过滤器的步骤，包括：
    判断已建立的布隆过滤器的数量是否超过预设数量；
    若已建立的布隆过滤器的数量超过预设数量，判定存在过期的布隆过滤器。
PCT/CN2019/118317 2019-01-23 2019-11-14 数据删除方法、装置、计算机设备及存储介质 WO2020151332A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910064084.8 2019-01-23
CN201910064084.8A CN109828721B (zh) 2019-01-23 2019-01-23 数据删除方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020151332A1 true WO2020151332A1 (zh) 2020-07-30

Family

ID=66862145

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/118317 WO2020151332A1 (zh) 2019-01-23 2019-11-14 数据删除方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN109828721B (zh)
WO (1) WO2020151332A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112925629A (zh) * 2021-03-31 2021-06-08 恩亿科(北京)数据科技有限公司 布隆过滤器动态调整方法、系统、电子设备及存储介质
CN113051498A (zh) * 2021-03-22 2021-06-29 全球能源互联网研究院有限公司 一种基于多重布隆过滤的url去重方法及系统
CN113763034A (zh) * 2021-08-06 2021-12-07 郑州阿帕斯数云信息科技有限公司 广告数据的处理方法及装置
CN114786141A (zh) * 2022-04-29 2022-07-22 恒玄科技(上海)股份有限公司 一种蓝牙无线网格网络中的消息过滤方法及装置
CN116258524A (zh) * 2023-03-14 2023-06-13 深圳乐信软件技术有限公司 基于布隆过滤器的广告投放方法、装置、设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828721B (zh) * 2019-01-23 2022-06-28 平安科技（深圳）有限公司 数据删除方法、装置、计算机设备及存储介质
CN110781386A (zh) * 2019-10-10 2020-02-11 支付宝(杭州)信息技术有限公司 信息推荐、布隆过滤器的创建方法及装置
CN110781392B (zh) * 2019-10-22 2022-08-12 深圳墨世科技有限公司 可动态伸缩的过滤方法、装置、计算机设备及存储介质
CN112711684A (zh) * 2019-10-24 2021-04-27 北京国双科技有限公司 重复数据检测方法及装置
CN110990640B (zh) * 2019-11-15 2022-07-05 北京浪潮数据技术有限公司 一种数据判定方法、装置、设备及计算机可读存储介质
CN111611215B (zh) * 2020-04-07 2023-07-11 布比（北京）网络技术有限公司 一种基于区块链的网贷风险数据共享方法及系统
CN111711860B (zh) * 2020-05-14 2022-09-30 北京奇艺世纪科技有限公司 一种视频推荐滤重方法、装置、服务器及存储介质
CN113126929B (zh) * 2021-04-23 2022-04-22 重庆紫光华山智安科技有限公司 一种特征数据去重的方法、系统、介质和终端
CN114048201A (zh) * 2021-11-16 2022-02-15 北京锐安科技有限公司 一种基于分布式流计算引擎Flink的关键字段实时去重方法
CN114827359A (zh) * 2022-05-23 2022-07-29 北京荣达天下信息科技有限公司 语音拦截方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649346A (zh) * 2015-10-30 2017-05-10 北京国双科技有限公司 数据重复性校验方法及装置
CN109255001A (zh) * 2018-08-31 2019-01-22 阿里巴巴集团控股有限公司 接口实例库的维护方法及装置、电子设备
CN109828721A (zh) * 2019-01-23 2019-05-31 平安科技（深圳）有限公司 数据删除方法、装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104281717B (zh) * 2014-10-31 2017-07-21 晶赞广告（上海）有限公司 一种建立海量id映射关系的方法
JP6805816B2 (ja) * 2016-12-27 2020-12-23 富士通株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106649346A (zh) * 2015-10-30 2017-05-10 北京国双科技有限公司 数据重复性校验方法及装置
CN109255001A (zh) * 2018-08-31 2019-01-22 阿里巴巴集团控股有限公司 接口实例库的维护方法及装置、电子设备
CN109828721A (zh) * 2019-01-23 2019-05-31 平安科技（深圳）有限公司 数据删除方法、装置、计算机设备及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113051498A (zh) * 2021-03-22 2021-06-29 全球能源互联网研究院有限公司 一种基于多重布隆过滤的url去重方法及系统
CN113051498B (zh) * 2021-03-22 2024-03-12 全球能源互联网研究院有限公司 一种基于多重布隆过滤的url去重方法及系统
CN112925629A (zh) * 2021-03-31 2021-06-08 恩亿科(北京)数据科技有限公司 布隆过滤器动态调整方法、系统、电子设备及存储介质
CN112925629B (zh) * 2021-03-31 2023-10-20 恩亿科(北京)数据科技有限公司 布隆过滤器动态调整方法、系统、电子设备及存储介质
CN113763034A (zh) * 2021-08-06 2021-12-07 郑州阿帕斯数云信息科技有限公司 广告数据的处理方法及装置
CN113763034B (zh) * 2021-08-06 2024-05-31 郑州阿帕斯数云信息科技有限公司 广告数据的处理方法及装置
CN114786141A (zh) * 2022-04-29 2022-07-22 恒玄科技(上海)股份有限公司 一种蓝牙无线网格网络中的消息过滤方法及装置
CN114786141B (zh) * 2022-04-29 2023-11-21 恒玄科技(上海)股份有限公司 一种蓝牙无线网格网络中的消息过滤方法及装置
CN116258524A (zh) * 2023-03-14 2023-06-13 深圳乐信软件技术有限公司 基于布隆过滤器的广告投放方法、装置、设备及存储介质
CN116258524B (zh) * 2023-03-14 2024-02-02 深圳乐信软件技术有限公司 基于布隆过滤器的广告投放方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN109828721B (zh) 2022-06-28
CN109828721A (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
WO2020151332A1 (zh) 数据删除方法、装置、计算机设备及存储介质
US11645183B1 (en) User interface for correlation of virtual machine information and storage information
WO2019085471A1 (zh) 数据库同步方法、应用服务器及计算机可读存储介质
WO2021068488A1 (zh) 基于区块链的日志处理方法、装置、计算机设备及存储介质
WO2017049965A1 (zh) 数据备份的方法和数据处理系统
JP2012256324A (ja) データ管理方法、および、複合型データ管理システム
WO2020034757A1 (zh) 数据处理方法和装置、存储介质及电子装置
US8396840B1 (en) System and method for targeted consistency improvement in a distributed storage system
WO2015024474A1 (zh) 基于缓存数据多线程处理的电力可靠性指标快速计算方法
WO2017020576A1 (zh) 一种键值存储系统中文件压实的方法和装置
TW200939051A (en) Selecting storage location for file storage based on storage longevity and speed
WO2019149261A1 (zh) 分布式文件系统的文件存储方法及分布式文件系统
CN113961153B (zh) 一种索引数据写入磁盘的方法、装置及终端设备
US10509780B2 (en) Maintaining I/O transaction metadata in log-with-index structure
US10824612B2 (en) Key ticketing system with lock-free concurrency and versioning
WO2015027731A1 (zh) 布隆过滤器生成方法和装置
WO2023011022A1 (zh) 基于区块链的数据处理方法、设备及计算机可读存储介质
CN113342746A (zh) 文件管理系统、文件管理方法、电子设备和存储介质
CN103501319A (zh) 一种低延迟的面向小文件的分布式存储系统
WO2013091167A1 (zh) 日志存储方法及系统
JP2022550401A (ja) データのアップロード方法、システム、装置及び電子機器
CN104123102B (zh) 一种ip硬盘及其数据处理方法
US20200311029A1 (en) Key value store using generation markers
US11558180B2 (en) Key-value store with blockchain properties
WO2021249027A1 (zh) 数据存储方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19911643

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19911643

Country of ref document: EP

Kind code of ref document: A1