WO2017162102A1 - 数据处理方法和装置以及数据表处理方法和装置 - Google Patents
数据处理方法和装置以及数据表处理方法和装置 Download PDFInfo
- Publication number
- WO2017162102A1 WO2017162102A1 PCT/CN2017/077024 CN2017077024W WO2017162102A1 WO 2017162102 A1 WO2017162102 A1 WO 2017162102A1 CN 2017077024 W CN2017077024 W CN 2017077024W WO 2017162102 A1 WO2017162102 A1 WO 2017162102A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- data
- data table
- hash function
- processing method
- functions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
Definitions
- the present invention relates to computer technology, and in particular, to a data processing method and apparatus, and a data table processing method and apparatus.
- the number of independent elements is also called the unique value, thereby predicting the size of the data table.
- the range of elements may be wide, and a single element may occupy more memory, resulting in the inability to accommodate the entire sequence in memory.
- the Flajolet-Martin (FM) algorithm can be used, and the FM algorithm is an algorithm that can better solve the estimation of the unique number of values.
- the algorithm uses a hash function set to perform operations, and estimates the unique value based on the hash value of each hash function in the hash function set.
- the present invention provides a data processing method and apparatus, and a data table processing method and apparatus, which are used to solve the problem of ensuring the execution efficiency while ensuring the accuracy of the unique value while using the FM algorithm for the unique value calculation in the prior art.
- a data processing method comprising:
- the data set is subjected to a unique value calculation using a hash function set that conforms to the number of functions.
- a data processing apparatus comprising:
- a statistics module for counting the number of data in the data set
- a determining module configured to determine the number of functions of the hash function set according to the number of data obtained by the statistics
- a calculation module configured to perform a unique value calculation on the data set by using a hash function set that matches the number of functions based on an FM algorithm.
- a data table processing method for predicting a data table size including:
- the size of the data table is predicted based on the unique number of values.
- a data table processing method for evaluating data table operations including:
- the operation of the data table is evaluated based on the predicted size of the data table to determine the resources required for the operation.
- a data table processing method for performing a data table operation including:
- the operation is performed on the data table based on the evaluation result.
- a data table processing apparatus for predicting a data table size includes:
- a unique value module for processing the data table by using the data processing device of the second aspect to obtain a unique number of values
- a prediction module configured to predict a size of the data table according to the unique number of values.
- a data table processing apparatus for evaluating an operation of a data table, including:
- a prediction module configured to predict a size of the data table by using the data table processing device described in the sixth aspect
- An evaluation module is configured to evaluate an operation of the data table according to the predicted data table size to determine resources required for the operation.
- a data table processing apparatus for performing a data table operation includes:
- An evaluation module configured to use the data table processing apparatus according to the seventh aspect, to evaluate resources required for operation of the data table
- an operation module configured to perform the operation on the data table according to the evaluation result.
- the data processing method and device and the data table processing method and device provided by the embodiments of the present invention by counting the number of data in the data set After that, according to the number of data obtained by the statistics, the number of functions of the hash function set is determined, and then the hash function set conforming to the number of functions is used to calculate the unique value of the data set, thereby making the hash function set
- the scale is matched with the scale of the data set, which balances the execution efficiency and accuracy, and solves the problem that the execution efficiency and accuracy cannot be balanced due to the fixed size of the hash function set in the prior art.
- the size of the data table is predicted according to the calculated unique value, and the resources required for the operation of the data table are evaluated according to the prediction result, and then the operation of the data table is optimized based on the situation of the resource occupation required by the operation.
- the purpose of reducing resource occupation and improving operation efficiency is reduced.
- FIG. 1 is a schematic flowchart of a data processing method according to Embodiment 1 of the present invention.
- FIG. 2 is a schematic flowchart of a data processing method according to Embodiment 2 of the present invention.
- FIG. 3 is a schematic structural diagram of a data processing apparatus according to Embodiment 3 of the present invention.
- FIG. 4 is a schematic structural diagram of another data processing apparatus according to Embodiment 4 of the present invention.
- FIG. 5 is a schematic flowchart of a data table processing method according to Embodiment 5 of the present invention.
- FIG. 6 is a schematic flowchart diagram of another data table processing method according to Embodiment 5 of the present invention.
- FIG. 7 is a schematic flowchart diagram of still another data table processing method according to Embodiment 5 of the present invention.
- FIG. 8 is a schematic structural diagram of a data table processing apparatus 60 according to Embodiment 6 of the present invention.
- FIG. 9 is a schematic structural diagram of a data table processing apparatus 70 according to Embodiment 6 of the present invention.
- FIG. 10 is a schematic structural diagram of a data table processing apparatus 80 according to Embodiment 6 of the present invention.
- FIG. 11 is a schematic structural diagram of another data table processing apparatus 80 according to Embodiment 6 of the present invention.
- FIG. 1 is a schematic flowchart of a data processing method according to Embodiment 1 of the present invention. As shown in FIG. 1, the method includes:
- Step 101 Perform statistics on the number of data in the data set.
- the data is traversed for statistics, and then the number of functions in the hash function set is determined according to the statistical result after traversing the data.
- all the data in the data set may be traversed, and the total number of data included in the data set may be counted, and then the number of functions in the hash function set is determined according to the statistical result.
- the data set referred to here may be a set of all the data included in the same column in each data table.
- the number of functions in the hash function set is continuously adjusted according to the current statistical result.
- the number of functions in the hash function set may be adjusted, and the hash value of the traversed data may be calculated according to the hash function in the adjusted hash function set.
- the unique value is calculated by the FM algorithm according to the hash value of the hash function in the hash function set determined by the last adjustment.
- the data in the data set can be read one by one, thereby counting the number of data that has been read in the data set. After reading a piece of data, it starts to determine the number of functions in the hash function set, and substitutes the read data to calculate the hash function in the determined hash function set. The steps of the function value.
- a unique value may be calculated for data of a column or columns in the data table to be connected, thereby predicting the connection size. This is because in big data processing, each data table usually contains tens of thousands of data records, and the amount of data is large. Therefore, it is necessary to predict large-scale data table connections, which is necessary for large-scale connection. Preparation for the work.
- the data set needs to be traversed twice. Because the data table contains a large amount of data in the scenario where the data table is connected, two traversal operations require more computing resources and computing time. Therefore, when the amount of data included in the data set is large, the second achievable mode is preferred, and the operation efficiency is improved by reducing the number of times of traversing the data in the data set.
- Step 102 Determine the number of functions of the hash function set according to the number of data obtained by the statistics.
- FM is an algorithm for calculating the unique value of high efficiency.
- the size of the hash function set in this algorithm has a very important influence on the accuracy and execution efficiency of the unique value calculation result.
- the size of the hash function set that is too small will result in lower accuracy of the calculation result, but the execution efficiency is higher; on the other hand, the size of the excessive hash function set will lead to higher accuracy of the calculation result, but The execution efficiency is relatively low. It can be seen that the scale of the hash function set of the FM should match the size of the data set.
- matching can be performed in the following manner, for example, the number of data in the data set is N, and the number of functions in the hash function set is H;
- Step 103 Perform a unique value calculation on the data set by using a hash function set that meets the number of functions based on an FM algorithm.
- the function TailZero(x) can calculate the number of consecutive zeros in the binary of a positive integer x, and the hash function H(e) is in the data set.
- the data is hashed and the hash value obtained is:
- the maximum value of the hash function H1 is MAX1, and a series of MAX values Max1, Max2, Max3, ... can be obtained similarly; then, based on the formula that the estimated value of the unique value is equal to the power of MAX of 2, thereby estimating one
- the series estimates are 2Max1, 2Max2, 2Max3..., and finally the estimates for this series are summarized and calculated to obtain the final estimate.
- the number of functions of the hash function set is determined according to the number of data obtained by the statistics, and then the hash function set matching the number of the functions is used.
- the data set performs unique value calculation, so that the size of the hash function set matches the size of the data set, balances the execution efficiency and accuracy, and solves the execution in the prior art due to the fixed size of the hash function set. Problems that cannot be balanced with efficiency and accuracy.
- FIG. 2 is a schematic flowchart of a data processing method according to Embodiment 2 of the present invention. As shown in FIG. 2, the method includes:
- Step 201 Set an initial hash function set in advance.
- the number of functions of the preset initial hash function set may be a maximum value, for example, the number of functions may be preset to 1024.
- Step 202 Read a data in the data set, and count the number of data that has been read.
- Each data in the data set is sequentially read, and steps 202-205 are performed each time one data is read.
- Step 203 Determine the number of functions according to the number of data that has been read.
- the number of functions is determined to be 512;
- the number of functions is determined to be 256;
- the number of functions is determined to be 128;
- the number of functions is determined to be 64.
- Step 204 Determine whether the determined number of functions is less than the number of functions in the current hash function set. If yes, execute step 205, otherwise perform step 206.
- Step 205 Reduce the hash function from the hash function set to the determined number of functions.
- Step 206 Perform hash calculation on the currently read data by using the current hash function set and store the obtained hash value.
- Steps 202-206 are repeated until all data in the data set has been read.
- Step 207 When the hash value calculation of all data in the data set is completed, the unique value is calculated by using an FM algorithm according to the hash value of the finally determined hash function centralized hash function.
- the hash function set In the process of reading the data in the data set, the hash function set is continuously adjusted, and when the unique value is calculated, the hash function set determined by the last adjustment is used as the estimation.
- the hash value of the hash function calculated by the earlier read data is more.
- some hash functions do not exist in the hash function set determined by the last adjustment.
- the invalid hash function value is estimated by using the hash value of the hash function in the hash function set determined by the last adjustment when estimating the unique value.
- the final hash function set retains 64 hash functions H1-H64.
- the hash value of the hash functions H1-H64 is selected from all stored hash values for each data. Further, for each hash function, the maximum value MAX of the bit sequence length of the tail all zeros in the binary representation of the hash value is determined according to each hash value of the hash function. Refer to pre-grouping: H1-H8; H9-H16; H17-H24; H25-H32; H33-H40; H41-H48; H49-H56; H57-H64, calculate the average value of the maximum value MAX in each group, for each The group average takes the median as the estimated value R. It is estimated that the unique value is 2 to the power of R.
- FIG. 3 is a schematic structural diagram of a data processing apparatus according to Embodiment 3 of the present invention. As shown in FIG. 3, the method includes: a statistics module 31, a determining module 32, and a calculating module 33.
- the statistics module 31 is configured to perform statistics on the number of data in the data set.
- the statistic module 31 is specifically configured to use the total number of data included in the statistic data set.
- the determining module 32 is configured to determine the number of functions of the hash function set according to the number of data obtained by the statistics.
- the calculating module 33 is configured to perform a unique value calculation on the data set by using a hash function set that matches the number of functions based on an FM algorithm.
- the data processing device traverses the data for statistics, and then traverses the data to determine the number of functions in the hash function set according to the statistical result. Specifically, before calculating the unique value of the data set, all the data in the data set may be traversed, and the total number of data included in the data set may be counted, and then the number of functions in the hash function set is determined according to the statistical result.
- the data set referred to here may be a set of all the data included in the same column in each data table.
- the number of functions of the hash function set is determined according to the number of data obtained by the statistics, and then the data set is uniquely valued by using a hash function set that matches the number of the functions.
- the number calculation so that the size of the hash function set matches the size of the data set, balances the execution efficiency and accuracy, and solves the problem that the execution efficiency and accuracy due to the fixed size of the hash function set in the prior art cannot be solved. A matter of consideration.
- FIG. 4 is a schematic structural diagram of another data processing apparatus according to Embodiment 4 of the present invention.
- the statistic module 31 is specifically configured to read data in a data set one by one, and count the number of data that has been read in the data set.
- the determining module 32 is specifically configured to gradually reduce the number of functions of the hash function set according to the counted number of read data.
- the data processing apparatus further includes:
- the generating module 34 is configured to discard the hash function in the hash function set, and the number of reserved hash functions is the determined number of functions.
- the calculation module 33 further includes: a hash value unit 331 and a unique value unit 332.
- the hash value unit 331 is configured to calculate a hash value for the read data by using a hash function retained in the hash function set.
- the unique value unit 332 is configured to calculate the unique value by using the hash value of the hash function retained in the hash function set based on the FM algorithm when reading all the data in the data set.
- the number of functions in the hash function set is continuously adjusted according to the current statistical result. Specifically, in the process of traversing the data set, the number of functions in the hash function set may be adjusted, and the hash value of the traversed data may be calculated according to the hash function in the adjusted hash function set. After traversing all the data in the data set, the unique value is calculated by the FM algorithm according to the hash value of the hash function in the hash function set determined by the last adjustment. Specifically, the data in the data set can be read one by one, thereby counting the number of data that has been read in the data set. After reading a piece of data, it starts to determine the number of functions in the hash function set, and substitutes the read data to calculate the hash function in the determined hash function set. The steps of the function value.
- the number of functions in the set of functions in the set of functions is such that when the size of the data set is small, a larger set of hash functions is used to improve the calculation accuracy.
- a smaller-scale hash is used.
- the devices provided in the third embodiment and the fourth embodiment are respectively used to implement the data processing flow provided by FIG. 1 and FIG. 2, and the functions of the functional modules of the data processing device in the third embodiment and the fourth embodiment are described. The related descriptions in the foregoing method embodiments are not described in the third embodiment and the fourth embodiment.
- the number of functions of the hash function set is determined according to the number of data obtained by the statistics, and then the hash function set matching the number of the functions is used.
- the data set performs unique value calculation, so that the size of the hash function set matches the size of the data set, balances the execution efficiency and accuracy, and solves the execution in the prior art due to the fixed size of the hash function set. Problems that cannot be balanced with efficiency and accuracy.
- the fifth embodiment provides a data table processing method for optimizing the operation of the data table, such as a connection operation or a group operation, thereby achieving less resource occupation and improving operation efficiency.
- the resources mentioned here can be resources consumed for performing operations such as CPU or memory.
- FIG. 5 is a schematic flowchart of a data table processing method according to Embodiment 5 of the present invention, which is used to predict a data table size, including:
- Step 501 The data processing method of Embodiment 1 or Embodiment 2 is used to process the data table to obtain a unique value.
- Step 502 Predict the size of the data table according to the unique number of values.
- the data table processing method provided in FIG. 5 can be used to implement the size prediction of the data table, and the required resources can be conveniently allocated to the data table according to the predicted size.
- FIG. 6 is a schematic flowchart of another data table processing method according to Embodiment 5 of the present invention.
- the data table processing method is used to evaluate data table operations. After step 501 in the method provided in FIG. 5, the method further includes:
- Step 503 Evaluate the operation of the data table according to the predicted data table size to determine resources required for the operation.
- the data table A and the data table B may be connected. Based on the data table processing method provided in FIG. 6, the scale may be first predicted for each data table, and then the connection data tables A and B may be The resources required are evaluated to facilitate the allocation of resources.
- FIG. 7 is a schematic flowchart of still another method for processing a data table according to Embodiment 5 of the present invention.
- the processing method is used to perform a data table operation.
- the method further includes:
- Step 504 Perform an operation on the data table according to the evaluation result.
- the execution order of at least two operations performed on the data table is determined, for example, the execution order of the at least two operations may be determined in an order of as few as the occupied resources required for the operation. The at least two operations are then performed in the determined order.
- data table A, data table B, and data table C may be connected.
- the size of each data table may be first predicted, and then the connection data is Tables A and B, the connection data tables A and C, and the resources required to connect the data tables B and C are evaluated to select the connection operation that occupies the least resources.
- two smaller data tables A and B can be connected first, so that a smaller resource occupation is obtained in the connection, and then the larger-sized data table C is connected, so that the total amount of resources occupied is The smallest.
- the order of the data table operation is performed by predicting the size of the data table according to the calculated unique number of values, and evaluating the resources required for the operation of the data table according to the prediction result, and then based on the situation in which the operation requires resources. Optimization, the purpose of reducing the occupation of resources and improving the efficiency of operation in the process of operating the data table.
- FIG. 8 is a schematic structural diagram of a data table processing apparatus 60 according to Embodiment 6 of the present invention.
- the data table processing apparatus 60 is configured to predict a data table size, and includes: a unique value module 61 and a prediction module 62.
- the unique value module 61 is configured to process the data table using the data processing apparatus shown in FIG. 3 or FIG. 4 to obtain a unique number of values.
- the prediction module 62 is configured to predict a size of the data table according to the unique number of values.
- FIG. 9 is a schematic structural diagram of a data table processing apparatus 70 according to Embodiment 6 of the present invention.
- the data table processing apparatus 70 is configured to evaluate a data table operation, and includes: a prediction module 71 and an evaluation module 72.
- the prediction module 71 is configured to predict the size of the data table by using the data table processing device 60 shown in FIG.
- the evaluation module 72 is configured to evaluate the operation of the data table according to the predicted data table size to determine resources required for the operation.
- operations include connection operations and/or group operations.
- FIG. 10 is a schematic structural diagram of a data table processing apparatus 80 according to Embodiment 6 of the present invention, where the data table is located
- the processing device 80 is configured to perform data table operations, including: an evaluation module 81 and an operation module 82.
- the evaluation module 81 is configured to evaluate the resources required for the operation of the data table by using the data table processing device 70 shown in FIG.
- the operation module 82 is configured to perform the operation on the data table according to the evaluation result.
- the operation module 82 includes: a determining unit 821 and an executing unit 822.
- the determining unit 821 is configured to determine an execution order of at least two operations performed on the data table according to the evaluation result.
- the determining unit 821 is specifically configured to determine an execution order of the at least two operations in an order that occupies less resources in an operation.
- the executing unit 822 is configured to perform the at least two operations in the determined order.
- the realization is realized.
- the use of resources is reduced, and the operation efficiency is improved.
- the aforementioned program can be stored in a computer readable storage medium.
- the program when executed, performs the steps including the foregoing method embodiments; and the foregoing storage medium includes various media that can store program codes, such as a ROM, a RAM, a magnetic disk, or an optical disk.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种数据处理方法和装置以及数据表处理方法和装置，对数据集的数据个数进行统计（101），根据统计所获得的数据个数，确定哈希函数集的函数个数（102），基于FM算法，采用符合所述函数个数的哈希函数集对数据集进行唯一值数计算（103），从而使得哈希函数集的规模与数据集的规模相匹配，平衡了执行效率和准确度，解决了现有技术中由于哈希函数集的规模固定所导致的执行效率和准确度无法兼顾的问题。同时，通过根据所计算出的唯一值数对数据表的规模进行预测，并根据预测结果评估数据表操作所需占用的资源，进而基于操作所需占用资源的情况，对数据表操作进行优化，实现了在对数据表进行操作的过程中，减少资源的占用，提高操作效率的目的。
Description
本申请要求2016年3月25日递交的申请号为201610180081.7、发明名称为“数据处理方法和装置以及数据表处理方法和装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
本发明涉及计算机技术，尤其涉及一种数据处理方法和装置以及数据表处理方法和装置。
在实际应用中，尤其是在进行数据表连接操作之前，经常需要统计不重复出现的对象或者事件个数，即独立元素数目也称唯一值数，从而预测数据表的规模。对于较小的数据量，可以首先在内存中对序列进行排序，然后扫描有序序列统计独立元素数目。但是在处理数据流序列时，由于序列非常长，元素取值范围可能比较广，单个元素占用内存可能比较多，导致内存中无法容纳整个序列。
针对这种情况，可以采用Flajolet-Martin(简称FM)算法，FM算法是一种能够较好地解决估算唯一值数的算法。该算法中采用哈希函数集进行运算，基于哈希函数集中各哈希函数的哈希值估算唯一值数。
但现有技术在应用FM算法计算数据表中某一列的唯一值数的过程中，针对不同规模的数据集，采用相同的哈希函数集，导致当数据集的规模较大时，往往唯一值数计算过程执行效率低，执行时间过长；当数据集的规模较小时，唯一值数的准确度又较低。
发明内容
本发明提供一种数据处理方法和装置以及数据表处理方法和装置，用于解决现有技术中采用FM算法进行唯一值数计算时，无法在保证执行效率的同时保证唯一值数的准确度。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，提供了一种数据处理方法，包括：
对数据集的数据个数进行统计；
根据统计所获得的数据个数，确定哈希函数集的函数个数；
基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算。
第二方面，提供了一种数据处理装置，包括：
统计模块，用于对数据集的数据个数进行统计；
确定模块，用于根据统计所获得的数据个数，确定哈希函数集的函数个数；
计算模块，用于基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算。
第三方面，提供了一种用于预测数据表规模的数据表处理方法，包括：
采用第一所述的数据处理方法，对数据表进行处理，以获得唯一值数；
根据所述唯一值数预测所述数据表的规模。
第四方面，提供了一种用于评估数据表操作的数据表处理方法，包括：
采用第三方面所述的数据表处理方法，对数据表的规模进行预测；
根据所预测出的数据表规模，对所述数据表的操作进行评估，以确定所述操作所需占用的资源。
第五方面，提供了一种用于执行数据表操作的数据表处理方法，包括：
采用第四方面所述的数据表处理方法，对数据表的操作所需占用的资源进行评估；
根据评估结果，对所述数据表执行所述操作。
第六方面，提供了一种用于预测数据表规模的数据表处理装置，包括：
唯一值模块，用于利用第二方面所述的数据处理装置，对数据表进行处理，以获得唯一值数；
预测模块，用于根据所述唯一值数预测所述数据表的规模。
第七方面，提供了一种评估数据表操作的数据表处理装置，包括：
预测模块，用于利用第六方面所述的数据表处理装置，对数据表的规模进行预测；
评估模块，用于根据所预测出的数据表规模，对所述数据表的操作进行评估，以确定所述操作所需占用的资源。
第八方面，提供了一种用于执行数据表操作的数据表处理装置，包括：
评估模块，用于利用第七方面所述的数据表处理装置，对数据表的操作所需占用的资源进行评估；
操作模块，用于根据评估结果，对所述数据表执行所述操作。本发明实施例提供的数据处理方法和装置以及数据表处理方法和装置，通过对数据集的数据个数进行统计之
后，根据统计所获得的数据个数，确定哈希函数集的函数个数，进而采用符合所述函数个数的哈希函数集对数据集进行唯一值数计算，从而使得哈希函数集的规模与数据集的规模相匹配，平衡了执行效率和准确度，解决了现有技术中由于哈希函数集的规模固定所导致的执行效率和准确度无法兼顾的问题。同时，根据所计算出的唯一值数对数据表的规模进行预测，并根据预测结果评估数据表操作所需占用的资源，进而基于操作所需占用资源的情况，对数据表操作进行优化，实现了在对数据表进行操作的过程中，减少资源的占用，提高操作效率的目的。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例一提供的一种数据处理方法的流程示意图；
图2为本发明实施例二所提供的一种数据处理方法的流程示意图；
图3为本发明实施例三所提供的一种数据处理装置的结构示意图；
图4为本发明实施例四提供的另一种数据处理装置的结构示意图；
图5为本发明实施例五提供的一种数据表处理方法的流程示意图；
图6为本发明实施例五提供的另一种数据表处理方法的流程示意图；
图7为本发明实施例五提供的又一种数据表处理方法的流程示意图；
图8为本发明实施例六提供的一种数据表处理装置60的结构示意图；
图9为本发明实施例六提供的一种数据表处理装置70的结构示意图；
图10为本发明实施例六提供的一种数据表处理装置80的结构示意图；
图11为本发明实施例六提供的另一种数据表处理装置80的结构示意图。
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例
所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
下面结合附图对本发明实施例提供的数据处理方法和装置以及数据表处理方法和装置进行详细描述。
实施例一
图1为本发明实施例一提供的一种数据处理方法的流程示意图，如图1所示，包括：
步骤101、对数据集的数据个数进行统计。
作为一种可能的实现方式，遍历数据进行统计，进而遍历数据之后根据统计结果确定哈希函数集中的函数个数。具体来说，可以在对数据集计算唯一值数之前，遍历数据集中的全部数据，统计数据集中所包含的全部数据个数，进而根据统计结果确定哈希函数集中的函数个数。这里所说的数据集可以是各个数据表中同一列中所包含的全部数据所构成的集合。在对数据集计算唯一值数时，再次遍历数据集中的全部数据，基于所确定的哈希函数计算全部数据的哈希值，基于FM算法对哈希值进行处理，估算出唯一值数。
作为另一种可能的实现方式，在遍历数据的过程中，根据当前统计结果不断调整哈希函数集中的函数个数。具体来说，可以在遍历数据集的过程中，对哈希函数集中的函数个数进行调整，以及根据调整后的哈希函数集中的哈希函数，计算已遍历数据的哈希值。遍历数据集中的全部数据之后，根据最后一次调整所确定的哈希函数集中的哈希函数的哈希值，采用FM算法计算唯一值数。具体来说，可以逐条读取数据集中的数据，从而统计数据集中已读取的数据个数。在读取到一条数据之后，便开始对所读取到的数据进行后续的确定哈希函数集中的函数个数，以及代入所读取的数据，计算所确定的哈希函数集中各哈希函数的函数值的步骤。
在对多个数据表进行数据表连接的应用场景中，可以针对待连接的数据表中某一列或某几列的数据计算唯一值数，从而预测连接规模。这是由于在大数据处理中，每个数据表中通常包含了数以万计条数据记录，数据量较大，因此，需要对大规模的数据表连接进行预测，便于进行大规模连接所必须的准备工作。
在第一种可实现方式中，需要遍历两次数据集，由于在数据表连接的场景中，数据表所包含的数据量较大，两次遍历需要占用较多的计算资源和计算时间。因此，在数据集中所包含的数据量较大时，优选第二种可实现方式，通过减少遍历数据集中数据的次数，提高了运算效率。
步骤102、根据统计所获得的数据个数，确定哈希函数集的函数个数。
FM是种高效率计算唯一值数的算法，该算法中的哈希函数集规模对唯一值数计算结果的准确度和执行效率有着极重要的影响。一方面，过小的哈希函数集规模导致计算结果的准确度会比较低，但执行效率比较高；另一方面，过大的哈希函数集规模导致计算结果的准确度会比较高，但执行效率比较低。可见，FM的哈希函数集规模应当与数据集的规模相匹配。
在实际应用中，可以采用如下方式进行匹配，例如：记数据集中的数据个数为N，哈希函数集中的函数个数为H；
N＜100,000时，H＝1024；
100,000≤N＜1,000,000时，H＝512；
1,000,000≤N＜10,000,000时，H＝256；
10,000,000≤N＜100,000,000时，H＝128；
N≥100,000,000时，H＝64。
步骤103、基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算。
在实际应用中，为了减小误差，提高精度，我们通常采用一系列的哈希函数H1，H2，H3……，分别对数据集中的全部数据进行计算获得哈希值，进而根据FM算法，需要针对每一个哈希函数，统计该哈希函数的哈希值二进制表示中尾部全0的比特序列长度的最大值MAX。
举例来说，给定数据集{e1,e2,e3,e2}，函数TailZero(x)能够计算正整数x的二进制中末尾连续的0的个数，哈希函数H(e)对数据集中的数据进行哈希运算，获得的哈希值为：
H(e1)＝2＝(0010)2，TailZero(H(e1))＝1
H(e2)＝8＝(1000)2，TailZero(H(e2))＝3
H(e3)＝10＝(1010)2，TailZero(H(e3))＝1
则，MAX＝MAX(1，3，1)＝3。
进而记哈希函数H1的最大值为MAX1，相似的可以获得一系列的MAX值Max1，Max2，Max3……；然后，根据唯一值数的估计值等于2的MAX次幂的公式，从而估算一系列的估计值2Max1，2Max2，2Max3……，最后针对这一系列的估计值汇总并计算获得最终的估计值。具体来说，可以首先设计A×B个互不相同的哈希函数，分成A组，
每组B个哈希函数；然后利用每组中的B个哈希函数计算出B个估计值；接着求出B个估计值的算术平均数为该组的估计值；最后选取各组的估计值的中位数作为最终的估计值。
本实施例中，通过对数据集的数据个数进行统计之后，根据统计所获得的数据个数，确定哈希函数集的函数个数，进而采用符合所述函数个数的哈希函数集对数据集进行唯一值数计算，从而使得哈希函数集的规模与数据集的规模相匹配，平衡了执行效率和准确度，解决了现有技术中由于哈希函数集的规模固定所导致的执行效率和准确度无法兼顾的问题。
实施例二
为了清楚说明上一实施例中所提及的在遍历数据的过程中，根据当前统计结果不断调整哈希函数集中的函数个数的实现方式，本实施例提供了一种具体的执行流程，图2为本发明实施例二所提供的一种数据处理方法的流程示意图，如图2所示，包括：
步骤201、预先设置初始哈希函数集。
具体的，预先设置的初始哈希函数集的函数个数可以为最大值，例如：可以预先设置函数个数为1024个。
步骤202、读取数据集中的一个数据，统计已读取的数据个数。
依次读取数据集中的各个数据，每读取一个数据执行步骤202-205。
步骤203、根据已读取的数据个数确定函数个数。
例如：
已读取的数据个数达到100,000时，确定函数个数为512；
已读取的数据个数达到1,000,000时，确定函数个数为256；
已读取的数据个数达到10,000,000时，确定函数个数为128；
已读取的数据个数达到100,000,000时，确定函数个数为64。
可见，在读取数据集中的数据的过程中，随着读取到的数据增多，不断减少哈希函数集中的函数个数，实现了当数据集的规模较小时，采用较大规模的哈希函数集，从而提高计算准确度，当数据集的规模较大时，采用较小规模的哈希函数集，从而提高计算效率。通过这一方式，使得哈希函数集规模与数据集的规模相匹配。
步骤204、判断所确定出的函数个数是否少于当前哈希函数集中的函数个数，若是则执行步骤205，否则执行步骤206。
步骤205、从哈希函数集中减少哈希函数至所确定出的函数个数。
步骤206、采用当前哈希函数集对当前所读取的数据进行哈希计算并存储所获得的哈希值。
重复执行步骤202-206直至数据集中的全部数据读取完毕。
步骤207、当数据集中全部数据的哈希值计算完成，根据最终确定出的哈希函数集中哈希函数的哈希值，采用FM算法计算唯一值数。
在读取数据集中的数据的过程中，不断调整了哈希函数集，在计算唯一值数时，以最后一次调整所确定的哈希函数集为准进行估算。越早读取的数据所计算出的哈希函数的哈希值越多，在这些哈希函数的哈希值中，有些哈希函数不存在于最后一次调整所确定的哈希函数集中，是无效的哈希函数值，在估算唯一值数时，采用最后一次调整所确定的哈希函数集中的哈希函数的哈希值进行估算。
例如：最终哈希函数集中保留了64个哈希函数H1-H64。
针对每一个数据从所存储的全部哈希值中，选择哈希函数H1-H64的哈希值。进而对每一个哈希函数，根据该哈希函数的各哈希值，确定哈希值二进制表示中尾部全0的比特序列长度的最大值MAX。参照预先分组：H1-H8；H9-H16；H17-H24；H25-H32；H33-H40；H41-H48；H49-H56；H57-H64，计算每一组中最大值MAX的平均值，对各组平均值取中位数作为估计值R。估计唯一值数为2的R次幂。
实施例三
图3为本发明实施例三所提供的一种数据处理装置的结构示意图，如图3所示，包括：统计模块31、确定模块32和计算模块33。
统计模块31，用于对数据集的数据个数进行统计。
具体的，统计模块31具体用于统计数据集所包含的全部数据个数。
确定模块32，用于根据统计所获得的数据个数，确定哈希函数集的函数个数。
计算模块33，用于基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算。
数据处理装置遍历数据进行统计，进而遍历数据之后根据统计结果确定哈希函数集中的函数个数。具体来说，可以在对数据集计算唯一值数之前，遍历数据集中的全部数据，统计数据集中所包含的全部数据个数，进而根据统计结果确定哈希函数集中的函数个数。这里所说的数据集可以是各个数据表中同一列中所包含的全部数据所构成的集合。
在对数据集计算唯一值数时，再次遍历数据集中的全部数据，基于所确定的哈希函数计算全部数据的哈希值，基于FM算法对哈希值进行处理，估算出唯一值数。通过对数据集的数据个数进行统计之后，根据统计所获得的数据个数，确定哈希函数集的函数个数，进而采用符合所述函数个数的哈希函数集对数据集进行唯一值数计算，从而使得哈希函数集的规模与数据集的规模相匹配，平衡了执行效率和准确度，解决了现有技术中由于哈希函数集的规模固定所导致的执行效率和准确度无法兼顾的问题。
实施例四
图4为本发明实施例四提供的另一种数据处理装置的结构示意图。
本实施例所提供的装置中，统计模块31具体用于逐条读取数据集中的数据，统计数据集中已读取的数据个数。
确定模块32，具体用于随所统计的已读取的数据个数增长，逐步减少哈希函数集的函数个数。
如图4所示，在上一实施例的基础上，数据处理装置进一步包括：
生成模块34，用于对所述哈希函数集中的哈希函数进行舍弃，保留的哈希函数个数为所确定出的函数个数。
计算模块33，进一步包括：哈希值单元331和唯一值数单元332。
哈希值单元331，用于采用所述哈希函数集中所保留的哈希函数对所读取的数据计算哈希值。
唯一值数单元332，用于当读取所述数据集中的全部数据时，基于FM算法，采用所述哈希函数集中所保留的哈希函数的哈希值计算唯一值数。
在遍历数据的过程中，根据当前统计结果不断调整哈希函数集中的函数个数。具体来说，可以在遍历数据集的过程中，对哈希函数集中的函数个数进行调整，以及根据调整后的哈希函数集中的哈希函数，计算已遍历数据的哈希值。遍历数据集中的全部数据之后，根据最后一次调整所确定的哈希函数集中的哈希函数的哈希值，采用FM算法计算唯一值数。具体来说，可以逐条读取数据集中的数据，从而统计数据集中已读取的数据个数。在读取到一条数据之后，便开始对所读取到的数据进行后续的确定哈希函数集中的函数个数，以及代入所读取的数据，计算所确定的哈希函数集中各哈希函数的函数值的步骤。
可见，通过在读取数据集中的数据的过程中，随着读取到的数据增多，不断减少哈
希函数集中的函数个数，实现了当数据集的规模较小时，采用较大规模的哈希函数集，从而提高计算准确度，当数据集的规模较大时，采用较小规模的哈希函数集，从而提高计算效率。通过这一方式，使得哈希函数集规模与数据集的规模相匹配。
需要说明的是，实施例三和实施例四所提供的装置分别用于实现图1和图2所提供的数据处理流程，实施例三和实施例四中数据处理装置的各功能模块的功能参见前述方法实施例中相关描述，实施例三和实施例四中不再赘述。
本实施例中，通过对数据集的数据个数进行统计之后，根据统计所获得的数据个数，确定哈希函数集的函数个数，进而采用符合所述函数个数的哈希函数集对数据集进行唯一值数计算，从而使得哈希函数集的规模与数据集的规模相匹配，平衡了执行效率和准确度，解决了现有技术中由于哈希函数集的规模固定所导致的执行效率和准确度无法兼顾的问题。
实施例五
在实施例一或二的基础上，实施例五提供了数据表处理方法，用以优化数据表的操作，如连接操作或分组操作，从而实现较少的资源占用，提高操作效率。其中，这里所说的资源可以为CPU或者内存等执行操作所需消耗的资源。
图5为本发明实施例五提供的一种数据表处理方法的流程示意图，用于预测数据表规模，包括：
步骤501、采用实施例一或者实施例二的数据处理方法，对数据表进行处理，以获得唯一值数。
步骤502、根据唯一值数预测数据表的规模。
在一种可能的应用场景中，可以采用图5所提供的数据表处理方法，实现对于数据表的规模预测，根据所预测出的规模可以便于对数据表分配所需的资源。
图6为本发明实施例五提供的另一种数据表处理方法的流程示意图，该数据表处理方法用于评估数据表操作，在图5所提供的方法中的步骤501之后，进一步包括：
步骤503、根据所预测出的数据表规模，对数据表的操作进行评估，以确定操作所需占用的资源。
在一种可能的应用场景中，可以对数据表A和数据表B进行连接操作，基于图6所提供的数据表处理方法，可以首先对各数据表预测规模，进而对连接数据表A和B所需占用的资源进行评估，从而便于进行资源的分配。
图7为本发明实施例五提供的又一种数据表处理方法的流程示意图，该处理方法用于执行数据表操作，在图6所提供的方法中的步骤503之后，进一步包括：
步骤504、根据评估结果，对数据表执行操作。
具体的，根据评估结果，确定针对数据表所进行的至少两个操作的执行顺序，例如可以按照操作所需占用资源由少至多的顺序，确定至少两个操作的执行顺序。进而按所确定出的顺序，执行该至少两个操作。
在一种可能的应用场景中，可以对数据表A、数据表B和数据表C进行连接操作，基于图6所提供的数据表处理方法，可以首先对各数据表预测规模，进而对连接数据表A和B、连接数据表A和C，以及连接数据表B和C这三种操作所需占用的资源进行评估，从中选择占用资源最少的连接操作。根据评估结果，可以首先连接两个规模较小的数据表A和B，从而在本次连接中获得较小的资源占用，进而连接规模较大的数据表C，这样使得所占用的资源总量最小。
可见，通过根据所计算出的唯一值数对数据表的规模进行预测，并根据预测结果评估数据表操作所需占用的资源，进而基于操作所需占用资源的情况，对数据表操作的顺序进行优化，实现了在对数据表进行操作的过程中，减少资源的占用，提高操作效率的目的。
实施例六
图8为本发明实施例六提供的一种数据表处理装置60的结构示意图，该数据表处理装置60用于预测数据表规模，包括：唯一值模块61和预测模块62。
唯一值模块61，用于利用图3或图4所示的数据处理装置，对数据表进行处理，以获得唯一值数。
预测模块62，用于根据所述唯一值数预测所述数据表的规模。
图9为本发明实施例六提供的一种数据表处理装置70的结构示意图，该数据表处理装置70用于评估数据表操作，包括：预测模块71和评估模块72。
预测模块71，用于利用图8所示的数据表处理装置60，对数据表的规模进行预测。
评估模块72，用于根据所预测出的数据表规模，对所述数据表的操作进行评估，以确定所述操作所需占用的资源。
其中，操作包括连接操作和/或分组操作。
图10为本发明实施例六提供的一种数据表处理装置80的结构示意图，该数据表处
理装置80用于执行数据表操作，包括：评估模块81和操作模块82。
评估模块81，用于利用图9所示的数据表处理装置70，对数据表的操作所需占用的资源进行评估。
操作模块82，用于根据评估结果，对所述数据表执行所述操作。
具体的，作为一种可能的实现方式，如图11所示，操作模块82包括：确定单元821和执行单元822。
确定单元821，用于根据评估结果，确定针对所述数据表所进行的至少两个操作的执行顺序。
具体的，确定单元821具体用于按照操作所需占用资源由少至多的顺序，确定所述至少两个操作的执行顺序。
执行单元822，用于按所确定出的顺序，执行所述至少两个操作。
通过根据所计算出的唯一值数对数据表的规模进行预测，并根据预测结果评估数据表操作所需占用的资源，进而基于操作所需占用资源的情况，对数据表操作进行优化，实现了在对数据表进行操作的过程中，减少资源的占用，提高操作效率的目的。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (24)
- 一种数据处理方法，其特征在于，包括：对数据集的数据个数进行统计；根据统计所获得的数据个数，确定哈希函数集的函数个数；基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算。
- 根据权利要求1所述的数据处理方法，其特征在于，所述对数据集的数据个数进行统计，包括：统计所述数据集所包含的全部数据个数。
- 根据权利要求1所述的数据处理方法，其特征在于，所述对数据集的数据个数进行统计，包括：逐条读取所述数据集中的数据，统计所述数据集中已读取的数据个数。
- 根据权利要求3所述的数据处理方法，其特征在于，所述根据统计所获得的数据个数，确定哈希函数集的函数个数包括：随所统计的已读取的数据个数增长，逐步减少哈希函数集的函数个数。
- 根据权利要求4所述的数据处理方法，其特征在于，所述基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算之前，包括：对所述哈希函数集中的哈希函数进行舍弃，保留的哈希函数个数为所确定出的函数个数。
- 根据权利要求5所述的数据处理方法，其特征在于，所述基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算，包括：采用所述哈希函数集中所保留的哈希函数对所读取的数据计算哈希值；当读取所述数据集中的全部数据时，基于FM算法，采用所述哈希函数集中所保留的哈希函数的哈希值计算唯一值数。
- 一种数据处理装置，其特征在于，包括：统计模块，用于对数据集的数据个数进行统计；确定模块，用于根据统计所获得的数据个数，确定哈希函数集的函数个数；计算模块，用于基于FM算法，采用符合所述函数个数的哈希函数集对所述数据集进行唯一值数计算。
- 根据权利要求7所述的数据处理装置，其特征在于，所述统计模块，具体用于统计所述数据集所包含的全部数据个数。
- 根据权利要求7所述的数据处理装置，其特征在于，所述统计模块，具体用于逐条读取所述数据集中的数据，统计所述数据集中已读取的数据个数。
- 根据权利要求9所述的数据处理装置，其特征在于，所述确定模块，具体用于随所统计的已读取的数据个数增长，逐步减少哈希函数集的函数个数。
- 根据权利要求10所述的数据处理装置，其特征在于，所述装置包括：生成模块，用于对所述哈希函数集中的哈希函数进行舍弃，保留的哈希函数个数为所确定出的函数个数。
- 根据权利要求11所述的数据处理装置，其特征在于，所述计算模块，包括：哈希值单元，用于采用所述哈希函数集中所保留的哈希函数对所读取的数据计算哈希值；唯一值数单元，用于当读取所述数据集中的全部数据时，基于FM算法，采用所述哈希函数集中所保留的哈希函数的哈希值计算唯一值数。
- 一种用于预测数据表规模的数据表处理方法，其特征在于，包括：采用权利要求1-6任一项所述的数据处理方法，对数据表进行处理，以获得唯一值数；根据所述唯一值数预测所述数据表的规模。
- 一种用于评估数据表操作的数据表处理方法，其特征在于，包括：采用权利要求13所述的数据表处理方法，对数据表的规模进行预测；根据所预测出的数据表规模，对所述数据表的操作进行评估，以确定所述操作所需占用的资源。
- 根据权利要求14所述的数据表处理方法，其特征在于，所述操作包括连接操作和/或分组操作。
- 一种用于执行数据表操作的数据表处理方法，其特征在于，包括：采用权利要求14或15所述的数据表处理方法，对数据表的操作所需占用的资源进行评估；根据评估结果，对所述数据表执行所述操作。
- 根据权利要求16所述的数据表处理方法，所述根据评估结果，对所述数据表执 行所述操作，包括：根据评估结果，确定针对所述数据表所进行的至少两个操作的执行顺序；按所确定出的顺序，执行所述至少两个操作。
- 根据权利要求17所述的数据表处理方法，所述根据评估结果，确定针对所述数据表所进行的至少两个操作的执行顺序，包括：按照操作所需占用资源由少至多的顺序，确定所述至少两个操作的执行顺序。
- 一种用于预测数据表规模的数据表处理装置，其特征在于，包括：唯一值模块，用于利用权利要求7-12任一项所述的数据处理装置，对数据表进行处理，以获得唯一值数；预测模块，用于根据所述唯一值数预测所述数据表的规模。
- 一种用于评估数据表操作的数据表处理装置，其特征在于，包括：预测模块，用于利用权利要求19所述的数据表处理装置，对数据表的规模进行预测；评估模块，用于根据所预测出的数据表规模，对所述数据表的操作进行评估，以确定所述操作所需占用的资源。
- 根据权利要求20所述的数据表处理装置，其特征在于，所述操作包括连接操作和/或分组操作。
- 一种用于执行数据表操作的数据表处理装置，其特征在于，包括：评估模块，用于利用权利要求20或21所述的数据表处理装置，对数据表的操作所需占用的资源进行评估；操作模块，用于根据评估结果，对所述数据表执行所述操作。
- 根据权利要求22所述的数据表处理装置，所述操作模块，包括：确定单元，用于根据评估结果，确定针对所述数据表所进行的至少两个操作的执行顺序；执行单元，用于按所确定出的顺序，执行所述至少两个操作。
- 根据权利要求23所述的数据表处理装置，所述确定单元，具体用于按照操作所需占用资源由少至多的顺序，确定所述至少两个操作的执行顺序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610180081.7A CN107229663B (zh) | 2016-03-25 | 2016-03-25 | 数据处理方法和装置以及数据表处理方法和装置 |
| CN201610180081.7 | 2016-03-25 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017162102A1 true WO2017162102A1 (zh) | 2017-09-28 |
Family
ID=59899283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2017/077024 Ceased WO2017162102A1 (zh) | 2016-03-25 | 2017-03-17 | 数据处理方法和装置以及数据表处理方法和装置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN107229663B (zh) |
| TW (1) | TWI746517B (zh) |
| WO (1) | WO2017162102A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116957095A (zh) * | 2022-04-15 | 2023-10-27 | 北京邮电大学 | 一种模型应用次数的估计方法和估计装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060074826A1 (en) * | 2004-09-14 | 2006-04-06 | Heumann John M | Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers |
| CN101901248A (zh) * | 2010-04-07 | 2010-12-01 | 北京星网锐捷网络技术有限公司 | 一种布隆过滤器的生成、更新以及查询元素方法和装置 |
| CN102546293A (zh) * | 2011-12-20 | 2012-07-04 | 东南大学 | 基于哈希比特串复用的高速网络流量网络地址测量方法 |
| CN102968467A (zh) * | 2012-11-10 | 2013-03-13 | 华中科技大学 | 一种多层Bloom Filter的优化方法及查询方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU3002000A (en) | 1999-06-08 | 2000-12-28 | Brio Technology, Inc. | Method and apparatus for data access to heterogeneous data sources |
| US8165221B2 (en) * | 2006-04-28 | 2012-04-24 | Netapp, Inc. | System and method for sampling based elimination of duplicate data |
| CN102609441B (zh) * | 2011-12-27 | 2014-06-25 | 中国科学院计算技术研究所 | 基于分布熵的局部敏感哈希高维索引方法 |
| JP6028567B2 (ja) * | 2012-12-28 | 2016-11-16 | 富士通株式会社 | データ格納プログラム、データ検索プログラム、データ格納装置、データ検索装置、データ格納方法及びデータ検索方法 |
| CN104424220B (zh) * | 2013-08-23 | 2018-07-13 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
| US9256549B2 (en) * | 2014-01-17 | 2016-02-09 | Netapp, Inc. | Set-associative hash table organization for efficient storage and retrieval of data in a storage system |
| CN105205052B (zh) * | 2014-05-30 | 2019-01-25 | 华为技术有限公司 | 一种数据挖掘方法及装置 |
| US10459886B2 (en) * | 2014-08-06 | 2019-10-29 | Quest Software Inc. | Client-side deduplication with local chunk caching |
-
2016
- 2016-03-25 CN CN201610180081.7A patent/CN107229663B/zh active Active
-
2017
- 2017-02-17 TW TW106105362A patent/TWI746517B/zh not_active IP Right Cessation
- 2017-03-17 WO PCT/CN2017/077024 patent/WO2017162102A1/zh not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060074826A1 (en) * | 2004-09-14 | 2006-04-06 | Heumann John M | Methods and apparatus for detecting temporal process variation and for managing and predicting performance of automatic classifiers |
| CN101901248A (zh) * | 2010-04-07 | 2010-12-01 | 北京星网锐捷网络技术有限公司 | 一种布隆过滤器的生成、更新以及查询元素方法和装置 |
| CN102546293A (zh) * | 2011-12-20 | 2012-07-04 | 东南大学 | 基于哈希比特串复用的高速网络流量网络地址测量方法 |
| CN102968467A (zh) * | 2012-11-10 | 2013-03-13 | 华中科技大学 | 一种多层Bloom Filter的优化方法及查询方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107229663B (zh) | 2022-05-27 |
| TWI746517B (zh) | 2021-11-21 |
| TW201737057A (zh) | 2017-10-16 |
| CN107229663A (zh) | 2017-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA2939959A1 (en) | Parallel decision tree processor architecture | |
| WO2017162086A1 (zh) | 任务调度方法和装置 | |
| CN101799748A (zh) | 一种确定数据样本类别的方法及其系统 | |
| CN111860810A (zh) | 一种基于fpga的神经网络运算方法、装置及设备 | |
| CN112101765A (zh) | 一种配电网运行指标数据异常数据处理方法及系统 | |
| US20150262063A1 (en) | Decision tree processors | |
| CN116366538A (zh) | 动态网络下的路径更新及等价路径规划方法及相关装置 | |
| CN108463813B (zh) | 一种进行数据处理的方法和装置 | |
| CN106802787B (zh) | 基于GPU排序的MapReduce优化方法 | |
| WO2017162102A1 (zh) | 数据处理方法和装置以及数据表处理方法和装置 | |
| CN112417041B (zh) | 参数配置方法、装置、电子设备以及存储介质 | |
| CN112182805B (zh) | 机械产品可靠性确定方法及系统、终端、存储介质 | |
| CN103942195B (zh) | 一种数据处理系统以及数据处理方法 | |
| WO2024078096A1 (zh) | 针对网络流问题的处理方法和装置 | |
| CN112948413A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN108984101B (zh) | 在分布式存储系统中确定事件之间关系的方法及装置 | |
| CN105205627B (zh) | 电网电力运营方案确定方法及系统 | |
| CN110084362A (zh) | 一种面向神经网络的对数量化装置及方法 | |
| CN115564636A (zh) | 基于计算精度的卷积神经网络流水并行实现方法及系统 | |
| CN115238465A (zh) | 电磁暂态仿真中列降阶模型的执行时间计算方法和装置 | |
| CN106709221A (zh) | 一种基于概率统计的新能源出力离散概率序列生成方法 | |
| CN115982414B (zh) | 一种图数据处理与增量存储方法、装置及计算机设备 | |
| US9218445B2 (en) | Implementing enhanced physical design quality using historical placement analytics | |
| CN121144404B (zh) | 一种数据库字段自动检测与转换方法、设备及介质 | |
| CN115630692B (zh) | 一种计算精度的调整方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17769379 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 17769379 Country of ref document: EP Kind code of ref document: A1 |