WO2019148672A1 - 一种数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

一种数据处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
WO2019148672A1
WO2019148672A1 PCT/CN2018/084322 CN2018084322W WO2019148672A1 WO 2019148672 A1 WO2019148672 A1 WO 2019148672A1 CN 2018084322 W CN2018084322 W CN 2018084322W WO 2019148672 A1 WO2019148672 A1 WO 2019148672A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
data table
hash
customer
customer tag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/084322
Other languages
English (en)
French (fr)
Inventor
邢方山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2019148672A1 publication Critical patent/WO2019148672A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables

Definitions

  • the present application relates to the field of information processing technologies, and in particular, to a data processing method, apparatus, device, and computer readable storage medium.
  • the general method is to write a stored procedure.
  • the hash value after hashing of each data has a random distribution characteristic in the consistency hash ring, that is, the distribution of the hash value after the data hash on the consistent hash ring may be sparse. In this way, if the storage node is saved in a clockwise direction to save the data, the data storage is not uniform. In addition, when the number of storage nodes does not exceed 10, the storage node is mapped to the consistent hash ring according to the consistency hash algorithm. The mapping of the storage nodes on the consistent hash ring is not necessarily uniform. Thus, even if the hash value of the data is evenly distributed on the consistent hash ring, the data stored by the storage node that ultimately saves the data is saved. The amount is not necessarily uniform.
  • the embodiment of the present application provides a data processing method, apparatus, device, and computer readable storage medium, which can uniformly store large amounts of data into respective data tables.
  • an embodiment of the present application provides a data processing method, where the method includes:
  • the embodiment of the present application further provides a data processing apparatus, where the data processing apparatus includes a unit for implementing the data processing method according to the first aspect.
  • the embodiment of the present application further provides a data processing device, where the data processing device includes a memory, and a processor connected to the memory, where the memory is used to store a computer program that implements a data processing method;
  • the processor is operative to execute a computer program stored in the memory to perform the method of the first aspect described above.
  • an embodiment of the present application provides a computer readable storage medium, where the one or more computer programs are stored, and the one or more computer programs can be processed by one or more The apparatus is executed to implement the method described in the first aspect above.
  • a large amount of customer tag data can be uniformly stored into each data table by means of hash table.
  • FIG. 1 is a schematic flowchart of a data processing method according to an embodiment of the present application.
  • FIG. 2 is a schematic diagram of a sub-flow of a data processing method according to an embodiment of the present application
  • FIG. 3 is a schematic diagram of another sub-flow of a data processing method according to an embodiment of the present application.
  • FIG. 4 is a schematic diagram of mapping of client tag data and data tables in a consistent hash ring according to an embodiment of the present application
  • FIG. 5 is a schematic diagram of another sub-flow of a data processing method according to an embodiment of the present application.
  • FIG. 6 is another schematic flowchart of a data processing method according to an embodiment of the present application.
  • FIG. 7 is a schematic block diagram of a data processing apparatus according to an embodiment of the present application.
  • FIG. 8 is a schematic block diagram showing a subunit structure of a data processing apparatus according to an embodiment of the present application.
  • FIG. 9 is a schematic block diagram showing another subunit structure of a data processing apparatus according to an embodiment of the present application.
  • FIG. 10 is a schematic block diagram showing another subunit structure of a data processing apparatus according to an embodiment of the present application.
  • FIG. 11 is another schematic block diagram of a data processing apparatus according to an embodiment of the present disclosure.
  • FIG. 12 is a schematic block diagram showing the structure of a data processing device according to an embodiment of the present application.
  • FIG. 1 is a schematic flowchart diagram of a data processing method according to an embodiment of the present application. The method includes steps S101-S106.
  • the consistency hash ring is a digital space loop formed by the number 0 ⁇ (2 ⁇ 32)-1 being connected end to end. Each number represents the spatial value of the consistent hash ring, that is, the spatial position. Construct a consistent hash ring and establish a mapping relationship between the data table and the consistent hash ring, that is, the data table is associated with the spatial value on the consistent hash ring to make a certain point on the consistent hash ring Or a number represents a data table.
  • the step of uniformly mapping the data table to the consistent hash ring in step S102 includes sub-steps S1021-S1022.
  • the consistency hash ring is equally divided according to the number of the data table, and the number of aliquots is equal to the number of the data tables.
  • S1022 Acquire the space of all the bisectors of the consistency hash ring. The value is mapped to each spatial table as a spatial position of the consistent hash ring.
  • the data table is not mapped to the consistency hash ring by using a hash algorithm, so as to avoid the mapping relationship determined by the hash processing when the number of data tables is small, the data table cannot be consistent.
  • Uniform distribution on the Greek ring and directly divide the consistent hash ring into equal parts, taking the aliquot as the mapping of the data table, and the spatial value of the aliquot is the spatial position of each data table mapped in the consistent hash ring. It can effectively ensure that all data tables are evenly distributed on the consistent hash ring.
  • Each of the customer label data has field information that can uniquely identify the customer label data.
  • the field information is the primary key field.
  • the customer information included in each customer label data has customer basic information and personality. Field information such as hobbies, marital status, customer number, customer type, etc., the customer number can uniquely identify the customer label data, so the customer number is the primary key field of the customer label data.
  • S104 Perform hash processing on the primary key field by using a consistent hash algorithm to obtain a hash value of the corresponding client label data, where the hash value is equal to a spatial value on the consistent hash ring.
  • each customer tag data that is, the customer number
  • the primary key field of each customer tag data is hashed by a consistent hash algorithm, and the customer tag data is mapped to the consistent hash ring, and the customer number of each customer tag data is unique. Therefore, the hash value of the client tag data obtained by hashing the client number is also unique, and the hash value obtained by the consistency hash algorithm is in the space of the consistent hash ring 0 ⁇ (2 ⁇ 32)-1 Within the range, therefore a hash value is equal to a spatial value on the consistent hash ring.
  • S105 Determine a data table for storing corresponding customer tag data according to the hash value.
  • the customer tag data can be represented by the spatial value of the consistent hash ring.
  • the data table is also represented by the spatial value of the consistent hash ring. Therefore, the relationship between the two spatial values can be used to determine the data table in which the customer tag data is saved. which one.
  • step S105 includes sub-steps S1051a-S1053a.
  • the relative position ratio gi(y) ((hash(i)-space position (y))/hash ring space total value) 2 , where gi(y) represents the hash value of the i-th customer tag data and the The relative position ratio of the y data tables in the spatial position of the consistent hash ring, hash(i) represents the hash value of the i-th customer tag data (ie, the i-th customer tag data mapping is in the consistent hash ring) Spatial value), the spatial position (y) represents the spatial position of the yth data table in the hash ring (ie, the spatial value of the yth data table mapped in the consistent hash ring), the total hash space The value is 2 23 .
  • the data table corresponding to the minimum relative position ratio is searched as a data table storing the corresponding customer tag data.
  • the data table is three, which are A1, A2, and A3, with black dots indicating the mapping positions of the three data tables on the consistent hash ring, and white dots indicating the consistency of the customer tag data in the hash.
  • the mapping position on the ring that is, the black point closest to the white point is obtained as the data table for storing the customer tag data corresponding to the white point.
  • the hash of the client tag data is mapped to the consistency hash ring by the consistency hash algorithm.
  • the data table is uniformly mapped.
  • the customer tag data is stored in the nearest data table (the closest distance is for the spatial position of the mapping in the consistent hash ring), which helps to ensure that the data is evenly stored in each In the data list.
  • step S105 includes sub-steps S1051b-S1055b.
  • S1051b Calculate a relative position ratio between a hash value corresponding to the customer tag data and a spatial position of each data table.
  • the relative position ratio is explained as above.
  • S1053b Determine whether the stored data amount of the data table reaches a preset number.
  • the system After creating the data table, the system will name each data table.
  • the spatial location of the data table and the table name are one-to-one correspondence.
  • the space location and the table name are saved in the treeMap, and then the spatial location of the specific customer tag data is determined.
  • the data table is queried by several table names corresponding to the spatial locations, thereby storing the customer tag data in the data table.
  • the data table is uniformly mapped in the consistency hash ring, and the customer tag data is saved in the nearest data table according to the positional relationship between the data and the data table, thereby ensuring uniform data.
  • the amount of data stored in the data table is basically the same.
  • FIG. 6 is another schematic flowchart of a data processing method according to an embodiment of the present application, where the method includes steps S201-S211.
  • the naming combination and serial number of the data table for example, the table name of the named data table is Table 1, Table 2, Table 3, ..., or A1, A2, A3, ..., and the like.
  • S202 Construct a consistent hash ring, and uniformly map the data table to the consistent hash ring.
  • S203. Acquire a primary key field of each of the customer label data.
  • S204: Perform hash processing on the primary key field by using a consistent hash algorithm to obtain a hash value of the corresponding client label data, where the hash value is equal to a spatial value on the consistent hash ring.
  • S205. Determine a data table for storing corresponding customer tag data according to the hash value.
  • S206 Save the customer tag data in the data table.
  • the steps S202-S206 of the embodiment of the present application are the same as the steps S102-S106 of the above embodiment, and the specific description can refer to the above embodiment.
  • S207 Receive instruction information for querying customer tag data, where the instruction information includes a primary key field of the client tag data.
  • the customer tag data is saved for the later data query.
  • the user can query the customer tag data of a customer through the primary key field, that is, the customer number.
  • S208 Perform hash processing on the primary key field by using the consistency hash algorithm to obtain a hash value of the client label data.
  • S209 Search for a spatial location closest to the hash value from spatial locations of all the data tables. The hash processing of the client number when querying data is the same as the hashing process when saving data, and the hash values obtained in the two cases are the same.
  • S210 Obtain a data table corresponding to a spatial location closest to the hash value, and query, in the data table, client tag data corresponding to the primary key field. S211. If the customer tag data is not queried in the data table, query the remaining data tables according to the sequence numbers in the table name of the data table until the client tag data is queried. Because the customer tag data is preferentially stored in the data table corresponding to the spatial location closest to the corresponding hash value, the data table is preferentially queried, and when there is no customer tag data to be queried in the data table, the data table is used.
  • the serial number is the standard from the next data table to query the data table until the customer tag data is queried. For example, there are five data tables A1, A2, A3, A4, and A5.
  • the priority data table is A3, but in A3, the corresponding customer tag data is found. Therefore, A4, A5, A1, and A2 are sequentially queried. Until the corresponding customer tag data is queried.
  • the method for storing data according to the hash table is used to query the data, so as to prevent a query error after the client tag data is not queried in one data table.
  • FIG. 7 is a schematic block diagram of a data processing apparatus 100 according to an embodiment of the present application.
  • the data processing apparatus 100 includes a calculation unit 101, a creation unit 102, a construction unit 103, a mapping unit 104, an acquisition unit 105, a hash unit 106, a determination unit 107, and a storage unit 108.
  • the calculating unit 101 is configured to calculate, according to the quantity of the received customer tag data, the number of data tables required for saving the customer tag data; the creating unit 102 is configured to create a corresponding number of data tables; and the building unit 103 is configured to construct a consistent a mapping unit 104 is configured to uniformly map the data table to the consistency hash ring; the first obtaining unit 105 is configured to acquire a primary key field of each of the client tag data; the hash unit 106 And hashing the primary key field by using a consistent hash algorithm to obtain a hash value of the corresponding client tag data, where the hash value is equal to a spatial value on the consistent hash ring; determining unit 107 And a data table for storing corresponding customer tag data according to the hash value; the saving unit 108 is configured to save the customer tag data in the data table.
  • the mapping unit 104 includes:
  • the equal molecular unit 1041 is configured to divide the consistency hash ring into equal parts according to the number of the data tables, and the number of equal parts is equal to the number of the data tables.
  • the mapping sub-unit 1042 is configured to obtain spatial values of all the halved points of the consistent hash ring, and map each spatial value as a spatial table of each of the consistency hash rings.
  • the determining unit 107 includes:
  • the calculating subunit 1071 is configured to calculate a relative position ratio between a hash value corresponding to the customer tag data and a spatial position of each data table.
  • the obtaining subunit 1072 is configured to obtain a data table corresponding to the smallest relative position ratio.
  • the first determining subunit 1073 is configured to determine that the data table is a data table for storing the customer tag data.
  • the determining unit 107 includes:
  • a calculating subunit 1071 configured to calculate a relative position ratio between a hash value corresponding to the customer tag data and a spatial location of each data table
  • the obtaining subunit 1072 is configured to obtain a data table corresponding to the smallest relative position ratio.
  • the determining subunit 1074 is configured to determine whether the stored data amount of the data table reaches a preset number.
  • a second determining subunit 1075 configured to determine, if the amount of stored data of the data table does not reach a preset number, the data table is a data table for storing the customer label data, if the data table is stored If the amount of data reaches a preset number, the data table corresponding to the smaller relative position ratio is obtained from the data table whose stored data amount does not reach the preset number, and the data table is determined to be data for storing the customer label data. table.
  • the data processing apparatus 100 further includes a naming unit 109, a receiving unit 110, a searching unit 111, a second obtaining unit 112, and a query unit 113.
  • the naming unit 109 is configured to use the serial number to name the data table after the creating unit 102 creates a corresponding number of data tables; the receiving unit 110 is configured to receive instruction information for querying the customer tag data, where the instruction information includes a primary key field of the customer tag data. .
  • the hash unit 106 is further configured to: perform hash processing on the primary key field in the instruction information by using the consistency hash algorithm to obtain a hash value of the client label data.
  • the searching unit 111 is configured to search for a spatial location closest to the hash value from the spatial locations of all the data tables; the second obtaining unit 112 is configured to acquire data corresponding to the spatial location closest to the hash value.
  • the query unit 113 is configured to query, in the data table, the customer label data corresponding to the primary key field, and if the customer label data is not queried in the data table, according to the table name of the data table The serial number sequentially queries the remaining data tables until the customer tag data is queried.
  • the above data processing apparatus 100 can be implemented in the form of a computer program that can be run on a computer device as shown in FIG.
  • FIG. 12 is a schematic block diagram showing the structure of a data processing device according to an embodiment of the present application.
  • the device may be a terminal or a server, wherein the terminal may be a communication-enabled electronic device such as a smart phone, a tablet computer, a notebook computer, a desktop computer, a personal digital assistant, and a wearable device.
  • the server can be a standalone server or a server cluster consisting of multiple servers.
  • the device is a computer device 200 comprising a processor 202, a memory and a network interface 205 connected by a system bus 201, wherein the memory may comprise a non-volatile storage medium 203 and an internal memory 204.
  • the non-volatile storage medium 203 of the computer device 200 can store an operating system 2031 and a computer program 2032 that, when executed, can cause the processor 202 to perform a data processing method.
  • the processor 202 of the computer device 200 is used to provide computing and control capabilities to support the operation of the entire computer device 200.
  • the internal memory 204 provides an environment for the operation of the computer program 2032 in the non-volatile storage medium 203.
  • the network interface 205 of the computer device 200 is used to perform network communications, such as transmitting assigned tasks, receiving data, and the like. All embodiments of the data processing method described above may be implemented when processor 202 runs computer program 2032 in non-volatile storage medium 203.
  • the embodiment of the data processing device shown in FIG. 12 does not constitute a limitation on the specific configuration of the data processing device.
  • the data processing device may include more or less than the illustration. Parts, or combine some parts, or different parts.
  • the data processing device may include only a memory and a processor. In such an embodiment, the structure and function of the memory and the processor are the same as those of the embodiment shown in FIG. 12, and details are not described herein again.
  • the application further provides a computer readable storage medium storing one or more computer programs, the one or more computer programs being executable by one or more processors, All of the embodiments of the data processing method described above can be implemented by one or more programs being executed by one or more processors.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本申请实施例提供一种数据处理方法、装置、设备及计算机可读存储介质。该方法包括：根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表；构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；获取每条所述客户标签数据的主键字段；利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；根据所述哈希值确定用于存储对应的客户标签数据的数据表；将所述客户标签数据保存在所述数据表中。本申请实施例通过哈希分表的方式可以将大量的客户标签数据均匀地存储到每个数据表中。

Description

一种数据处理方法、装置、设备及计算机可读存储介质
本申请要求于2018年01月31日提交中国专利局、申请号为201810093886.7、申请名称为“一种数据处理方法、装置、设备及计算机可读存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及信息处理技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。
背景技术
项目中经常遇到大批量数据(几亿至十几亿不等)需要写入数据库的情况，一般的方法是写存储过程。
目前存在一种批量存储大量数据的方法，通过一致性哈希算法将存储节点映射到一致性哈希环上，根据每条数据的哈希值在一致性哈希环上按顺时针方向寻找存储该数据的存储节点，最终将数据写入到对应的存储节点。
每条数据哈希后的哈希值在一致性哈希环是具有随机分布的特性，也就是说，数据哈希后的哈希值在一致性哈希环上的分布可能会出现疏密情况，这样再按照顺时针方向寻找存储节点来保存数据的话，容易导致数据存储不均匀；另外，当存储节点的数量不超过10时，根据一致性哈希算法将存储节点映射到一致性哈希环上，存储节点在一致性哈希环上的映射也不一定是均匀的，如此，即使数据的哈希值在一致性哈希环上是均匀分布的，最终保存数据的存储节点保存到的数据量也不一定是均匀的。
发明内容
本申请实施例提供了一种数据处理方法、装置、设备及计算机可读存储介质，能够均匀地将大批量数据存储到各个数据表中。
第一方面，本申请实施例提供了一种数据处理方法，该方法包括：
根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的 数据表的数量，并创建相应数量的数据表；构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；获取每条所述客户标签数据的主键字段；利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；根据所述哈希值确定用于存储对应的客户标签数据的数据表；将所述客户标签数据保存在所述数据表中。
第二方面，本申请实施例还提供了一种数据处理装置，所述数据处理装置包括用于实现第一方面所述的数据处理方法的单元。
第三方面，本申请实施例还提供了一种数据处理设备，所述数据处理设备包括存储器，以及与所述存储器相连的处理器；所述存储器用于存储实现数据处理方法的计算机程序；所述处理器用于运行所述存储器中存储的计算机程序，以执行如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现上述第一方面所述的方法。
本申请实施例通过哈希分表的方式可以将大量的客户标签数据均匀地存储到每个数据表中。
附图说明
图1是本申请实施例提供的一种数据处理方法的流程示意图；
图2是本申请实施例提供的一种数据处理方法的子流程示意图；
图3是本申请实施例提供的一种数据处理方法的另一子流程示意图；
图4是本申请实施例提供的客户标签数据和数据表在一致性哈希环的映射示意图；
图5是本申请实施例提供的一种数据处理方法的另一子流程示意图；
图6是本申请实施例提供的一种数据处理方法的另一流程示意图；
图7是本申请实施例提供的一种数据处理装置的示意性框图；
图8是本申请实施例提供的一种数据处理装置的子单元结构示意性框图；
图9是本申请实施例提供的一种数据处理装置的另一子单元结构示意性框图；
图10是本申请实施例提供的一种数据处理装置的另一子单元结构示意性 框图；
图11是本申请实施例提供的一种数据处理装置的另一示意性框图；
图12是本申请实施例提供的一种数据处理设备的组成结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1为本申请实施例提供的一种数据处理方法的流程示意图。该方法包括步骤S101～S106。
S101，根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表。
在本申请实施例中，客户标签数据来源于Hadoop平台，因也无需要，需要将Hadoop平台中的客户标签数据需要导入到数据库中，在数据库中创建数据表来存储客户标签数据，每一个数据表存储的数据量有限，数据表的数量与客户标签数据的数量有关，例如，每个数据表可存储6000万条客户标签数据，则数据表的数量＝客户标签数据的数量/6000万，若有余数则向上取整为表个数。
S102，构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环。
一致性哈希环为一个数字空间环，由数字0～(2^32)-1首尾相连形成，每一个数字表示在该一致性哈希环的空间值，即空间位置。构建一致性哈希环，并建立数据表与一致性哈希环之间的映射关系，即将数据表与一致性哈希环上的空间值对应起来，使一致性哈希环上的某一个点或某一个数字代表一个数据表。
在本申请实施例中，如图2所示，步骤S102中的将所述数据表均匀地映射至所述一致性哈希环的步骤，包括子步骤S1021-S1022。
S1021，根据所述数据表的数量将所述一致性哈希环进行等分，等分数量与所述数据表的数量相等；S1022，获取所述一致性哈希环的所有等分点的空间值，将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
在本申请实施例中，不通过哈希算法将数据表映射至一致性哈希环上，是为了避免当数据表数量较少时经哈希处理确定的映射关系无法使数据表在一致性哈希环上均匀分布，而直接将一致性哈希环进行等分，取等分点作为数据表 的映射，等分点的空间值即为各个数据表映射在一致性哈希环的空间位置，可以有效地保证所有数据表在一致性哈希环上均匀分布。
S103，获取每条所述客户标签数据的主键字段。
每条客户标签数据都有可以唯一标识该条客户标签数据的字段信息，该字段信息即为主键字段，在本申请实施例中中，每一条客户标签数据包括的客户信息有客户基本信息、性格、爱好、婚姻状态、客户号、客户类型等字段信息，客户号可以唯一标识该条客户标签数据，因此客户号为该客户标签数据的主键字段。
S104，利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值。
对每一条客户标签数据的主键字段，即客户号，利用一致性哈希算法进行哈希处理，将客户标签数据映射到该一致性哈希环尚，每条客户标签数据的客户号是唯一的，因此对客户号进行哈希得到的客户标签数据的哈希值也是唯一，利用一致性哈希算法得到的哈希值的范围在一致性哈希环的空间0～(2^32)-1范围内，因此一个哈希值等于一致性哈希环上的一个空间值。
S105，根据所述哈希值确定用于存储对应的客户标签数据的数据表。
客户标签数据可以用一致性哈希环的空间值表示，数据表也用一致性哈希环的空间值表示，因此，可以通过这两个空间值的关系来确定保存客户标签数据的数据表为哪一个。
在本申请实施例中，如图3所示，步骤S105包括子步骤S1051a-S1053a。
S1051a，计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比。
相对位置比gi(y)＝((hash(i)-空间位置(y))/哈希环空间总值) 2，其中，gi(y)表示第i条客户标签数据的哈希值与第y个数据表在一致性哈希环的空间位置的相对位置比，hash(i)表示第i条客户标签数据的哈希值(即该第i条客户标签数据映射在一致性哈希环中的空间值)，空间位置(y)表示第y个数据表在哈希环中的空间位置(即该第y个数据表映射在一致性哈希环中的空间值)，哈希环空间总值为2 23。
S1052a，获取最小的相对位置比对应的数据表。
S1053a，确定所述数据表为用于存储所述客户标签数据的数据表。
通过计算每条客户标签数据的哈希值与各个数据表在一致性哈希环上的空间位置的相对位置比，寻找最小相对位置比对应的数据表作为存储对应客户标 签数据的数据表。例如图4，假设数据表为三个，分别为A1、A2和A3，用黑点表示该三个数据表在一致性哈希环上的映射位置，白点表示客户标签数据在一致性哈希环上的映射位置，即获取白点最接近的黑点作为存储该白点对应的客户标签数据作为数据表。
通过一致性哈希算法将客户标签数据哈希映射在一致性哈希环，客户标签数据越多，客户标签数据在一致性哈希环上分布越均匀，本申请实施例中，数据表均匀映射在一致性哈希环上，将客户标签数据保存在距离最近的数据表中(距离最近，是针对映射在一致性哈希环的空间位置而言)，这样有利于保证数据均匀的保存在每个数据列表中。
然而，即使客户标签数据在一致性哈希环上分布是接近均匀的，但是当数据量不足够大时，映射不可能完全均匀，那么会存在这样一种情况，在数据分布相对稀疏的地方，数据表存储的数据较少，而在数据分布相比密集的地方，数据表存储的数据则较多，造成每个数据存储的数据量差异大，因此，可以设置每个数据表存储的数据量具有一个预设值，当距离最近的数据表存储数据量满的时候，存在另一次近而存储量未满的数据表中，这样可以保证每个数据表最终存储的数据量基本是一样的。具体地，在其他实施例中，如图5所示，步骤S105包括子步骤S1051b-S1055b。
S1051b，计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比。相对位置比的解释同上。
S1052b，获取最小的相对位置比对应的数据表。
S1053b，判断所述数据表的存储数据量是否达到预设数量。
S1054b，若否，则确定所述数据表为用于存储所述客户标签数据的数据表。
S1055b，若是，则从存储数据量未达到预设数量的数据表中获取具有较小的相对位置比对应的数据表，确定所述数据表为用于存储所述客户标签数据的数据表。
通过以上子步骤可以实现每个数据表均匀地存储客户标签数据。
S106，将所述客户标签数据保存在所述数据表中。
在创建数据表后系统会给每个数据表命名，数据表的空间位置和表名是一一对应的，将空间位置和表名保存在treeMap中，则确定保存具体客户标签数据的空间位置后，通过空间位置对应的表名几个查询到该数据表，从而将客户标 签数据保存在数据表中。
本申请实施例的数据处理方法，数据表是均匀映射在一致性哈希环中，根据数据与数据表的位置关系将客户标签数据保存在距离最近的数据表中，这样有利于保证数据均匀的保存在每个数据列表中；根据数据与数据表的位置关系，以及数据表的存储量关系，当数据表存储满数据之后，将所述存储到较近位置的数据表，有利于保证每个数据表存储的数据量基本是一致的。
图6是本申请实施例提供的一种数据处理方法的另一流程示意图，该方法包括步骤S201-S211。
S201，根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表，利用序号为所述数据表命名。
在本申请实施例中，数据表的命名结合和序号，例如命名数据表的表名为表1、表2、表3，……，或A1、A2、A3，……，等。
S202，构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环。S203，获取每条所述客户标签数据的主键字段。S204，利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值。S205，根据所述哈希值确定用于存储对应的客户标签数据的数据表。S206，将所述客户标签数据保存在所述数据表中。
本申请实施例的步骤S202-S206与上述实施例的步骤S102-S106相同，具体描述可参考上述实施例。
S207，接收查询客户标签数据的指令信息，所述指令信息包括客户标签数据的主键字段。保存客户标签数据主要是为了后期的数据查询需要，用户可通过主键字段，即客户号来查询某个客户的客户标签数据。
S208，通过所述一致性哈希算法对所述主键字段进行哈希处理得到所述客户标签数据的哈希值。S209，从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置。查询数据时对客户号进行的哈希处理与保存数据时进行的哈希处理的方法相同，两种情形得到的哈希值是一致的。
S210，获取与所述哈希值最接近的空间位置对应的数据表，在所述数据表中查询所述主键字段对应的客户标签数据。S211，若在所述数据表中未查询到所述客户标签数据，则根据所述数据表的表名中的序号依次查询剩余的数据表，直至查询到所述客户标签数据。因为客户标签数据是优先保存在与对应的哈希 值最接近的空间位置对应的数据表中，因此优先查询该数据表，当该数据表中不存在需要查询的客户标签数据时，以数据表的序号为标准从下一个数据表开始一个一个查询数据表，直至查询到该客户标签数据。例如，有五个数据表A1、A2、A3、A4和A5，优先确定的数据表为A3，但在A3中为查到对应的客户标签数据，因此，依次查询A4、A5、A1和A2，直至查询到对应的客户标签数据。
本申请实施例的数据处理方法，对应哈希分表保存数据的方法来查询数据，防止在一个数据表中查询不到客户标签数据后而产生查询错误的情况。
图7为本申请实施例提供的一种数据处理装置100的示意性框图。该数据处理装置100包括计算单元101、创建单元102、构建单元103、映射单元104、获取单元105、哈希单元106、确定单元107和保存单元108。
计算单元101用于根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量；创建单元102用于创建相应数量的数据表；构建单元103用于构建一致性哈希环；映射单元104用于将所述数据表均匀地映射至所述一致性哈希环；第一获取单元105用于获取每条所述客户标签数据的主键字段；哈希单元106用于利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；确定单元107用于根据所述哈希值确定用于存储对应的客户标签数据的数据表；保存单元108用于将所述客户标签数据保存在所述数据表中。
在本申请实施例中，如图8所示，所述映射单元104包括：
等分子单元1041，用于根据所述数据表的数量将所述一致性哈希环进行等分，等分数量与所述数据表的数量相等。
映射子单元1042，用于获取所述一致性哈希环的所有等分点的空间值，将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
在本申请实施例中，如图9所示，所述确定单元107包括：
计算子单元1071，用于计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比。
获取子单元1072，用于获取最小的相对位置比对应的数据表。
第一确定子单元1073，用于确定所述数据表为用于存储所述客户标签数据的数据表。
在其他申请实施例中，如图10所示，所述确定单元107包括：
计算子单元1071，用于计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
获取子单元1072，用于获取最小的相对位置比对应的数据表。
判断子单元1074，用于判断所述数据表的存储数据量是否达到预设数量。
第二确定子单元1075，用于若所述数据表的存储数据量未达到预设数量，则确定所述数据表为用于存储所述客户标签数据的数据表，若所述数据表的存储数据量达到预设数量，则从存储数据量未达到预设数量的数据表中获取具有较小的相对位置比对应的数据表，确定所述数据表为用于存储所述客户标签数据的数据表。
如图11所示，所述数据处理装置100还包括命名单元109、接收单元110、搜索单元111、第二获取单元112和查询单元113。
命名单元109用于在创建单元102创建相应数量的数据表之后利用序号为所述数据表命名；接收单元110用于接收查询客户标签数据的指令信息，所述指令信息包括客户标签数据的主键字段。
所述哈希单元106还用于：通过所述一致性哈希算法对所述指令信息中的主键字段进行哈希处理得到所述客户标签数据的哈希值。
搜索单元111用于从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置；第二获取单元112用于获取与所述哈希值最接近的空间位置对应的数据表；查询单元113用于在所述数据表中查询所述主键字段对应的客户标签数据，若在所述数据表中未查询到所述客户标签数据，则根据所述数据表的表名中的序号依次查询剩余的数据表，直至查询到所述客户标签数据。
数据处理装置100各个单元的具体描述可参考上述方法实施例，本申请实施例不做赘述。上述数据处理装置100可以实现为一种计算机程序的形式，计算机程序可以在如图12所示的计算机设备上运行。
图12为本申请实施例提供的一种数据处理设备的组成结构示意性框图。该设备可以是终端，也可以是服务器，其中，终端可以是智能手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等具有通信功能的电子设备。服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
该设备为一种计算机设备200，包括通过系统总线201连接的处理器202、存储器和网络接口205，其中，存储器可以包括非易失性存储介质203和内存储器204。该计算机设备200的非易失性存储介质203可存储操作系统2031和 计算机程序2032，该计算机程序2032被执行时，可使得处理器202执行一种数据处理方法。该计算机设备200的处理器202用于提供计算和控制能力，支撑整个计算机设备200的运行。该内存储器204为非易失性存储介质203中的计算机程序2032的运行提供环境。计算机设备200的网络接口205用于进行网络通信，如发送分配的任务、接收数据等。处理器202运行非易失性存储介质203中的计算机程序2032时可实现上述数据处理方法的所有实施例。
本领域技术人员可以理解，图12中示出的数据处理设备的实施例并不构成对数据处理设备具体构成的限定，在其他实施例中，数据处理设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，数据处理设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图12所示实施例一致，在此不再赘述。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，当所述一个或者一个以上程序被一个或者一个以上的处理器执行，可实现上述数据处理方法的所有实施例。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (20)

  1. 一种数据处理方法，其特征在于，包括：
    根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表；
    构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；
    获取每条所述客户标签数据的主键字段；
    利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；
    根据所述哈希值确定用于存储对应的客户标签数据的数据表；
    将所述客户标签数据保存在所述数据表中。
  2. 根据权利要求1所述的数据处理方法，其特征在于，所述将所述数据表均匀地映射至所述一致性哈希环，包括：
    根据所述数据表的数量将所述一致性哈希环进行等分，等分数量与所述数据表的数量相等；
    获取所述一致性哈希环的所有等分点的空间值，将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
  3. 根据权利要求2所述的数据处理方法，其特征在于，所述根据所述哈希值确定用于存储对应的客户标签数据的数据表，包括：
    计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取最小的相对位置比对应的数据表；
    确定所述数据表为用于存储所述客户标签数据的数据表。
  4. 根据权利要求2所述的数据处理方法，其特征在于，所述根据所述哈希值确定用于存储对应的客户标签数据的数据表，包括：
    计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取最小的相对位置比对应的数据表；
    判断所述数据表的存储数据量是否达到预设数量；
    若所述数据表的存储数据量未达到预设数量，则确定所述数据表为用于存储所述客户标签数据的数据表；
    若所述数据表的存储数据量达到预设数量，则从存储数据量未达到预设数 量的数据表中获取具有较小的相对位置比对应的数据表，确定所述数据表为用于存储所述客户标签数据的数据表。
  5. 根据权利要求1所述的数据处理方法，其特征在于，所述创建相应数量的数据表之后，还包括：
    利用序号为所述数据表命名；
    所述将所述客户标签数据保存在所述数据表中之后，还包括：
    接收查询客户标签数据的指令信息，所述指令信息包括客户标签数据的主键字段；
    通过所述一致性哈希算法对所述主键字段进行哈希处理得到所述客户标签数据的哈希值；
    从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置；
    获取与所述哈希值最接近的空间位置对应的数据表，在所述数据表中查询所述主键字段对应的客户标签数据；
    若在所述数据表中未查询到所述客户标签数据，则根据所述数据表的表名中的序号依次查询剩余的数据表，直至查询到所述客户标签数据。
  6. 一种数据处理装置，其特征在于，包括：
    计算单元，用于根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量；
    创建单元，用于创建相应数量的数据表；
    构建单元，用于构建一致性哈希环；
    映射单元，用于将所述数据表均匀地映射至所述一致性哈希环；
    获取单元，用于获取每条所述客户标签数据的主键字段；
    哈希单元，用于利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；
    确定单元，用于根据所述哈希值确定用于存储对应的客户标签数据的数据表；
    保存单元，用于将所述客户标签数据保存在所述数据表中。
  7. 根据权利要求6所述的数据处理装置，其特征在于，所述映射单元包括：
    等分子单元，用于根据所述数据表的数量将所述一致性哈希环进行等分，等分数量与所述数据表的数量相等；
    映射子单元，用于获取所述一致性哈希环的所有等分点的空间值，将各个 空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
  8. 根据权利要求7所述的数据处理装置，其特征在于，所述确定单元包括：
    计算子单元，用于计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取子单元，用于获取最小的相对位置比对应的数据表；
    确定子单元，用于确定所述数据表为用于存储所述客户标签数据的数据表。
  9. 根据权利要求7所述的数据处理装置，其特征在于，所述确定单元包括：
    计算子单元，用于计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取子单元，用于获取最小的相对位置比对应的数据表；
    判断子单元，用于判断所述数据表的存储数据量是否达到预设数量；
    第二确定子单元，用于若所述数据表的存储数据量未达到预设数量，则确定所述数据表为用于存储所述客户标签数据的数据表，若所述数据表的存储数据量达到预设数量，则从存储数据量未达到预设数量的数据表中获取具有较小的相对位置比对应的数据表，确定所述数据表为用于存储所述客户标签数据的数据表。
  10. 根据权利要求6所述的数据处理装置，其特征在于，还包括命名单元、接收单元、搜索单元、第二获取单元和查询单元；
    所述命名单元用于在所述创建单元创建相应数量的数据表之后利用序号为所述数据表命名；
    所述接收单元用于接收查询客户标签数据的指令信息，所述指令信息包括客户标签数据的主键字段；
    所述哈希单元还用于：通过所述一致性哈希算法对所述指令信息中的主键字段进行哈希处理得到所述客户标签数据的哈希值；
    所述搜索单元用于从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置；
    所述第二获取单元用于获取与所述哈希值最接近的空间位置对应的数据表；
    所述查询单元用于在所述数据表中查询所述主键字段对应的客户标签数据，若在所述数据表中未查询到所述客户标签数据，则根据所述数据表的表名中的序号依次查询剩余的数据表，直至查询到所述客户标签数据。
  11. 一种数据处理设备，其特征在于，所述数据处理设备包括存储器，以及 与所述存储器相连的处理器；
    所述存储器，用于存储实现数据处理方法的计算机程序；
    所述处理器，用于运行所述存储器中存储的计算机程序，以执行以下步骤：
    根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表；
    构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；
    获取每条所述客户标签数据的主键字段；
    利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；
    根据所述哈希值确定用于存储对应的客户标签数据的数据表；
    将所述客户标签数据保存在所述数据表中。
  12. 根据权利要求11所述的数据处理设备，其特征在于，所述处理器在执行所述将所述数据表均匀地映射至所述一致性哈希环的步骤时，具体执行以下步骤：
    根据所述数据表的数量将所述一致性哈希环进行等分，等分数量与所述数据表的数量相等；
    获取所述一致性哈希环的所有等分点的空间值，将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
  13. 根据权利要求12所述的数据处理设备，其特征在于，所述处理器在执行所述根据所述哈希值确定用于存储对应的客户标签数据的数据表的步骤时，具体执行以下步骤：
    计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取最小的相对位置比对应的数据表；
    确定所述数据表为用于存储所述客户标签数据的数据表。
  14. 根据权利要求12所述的数据处理设备，其特征在于，所述处理器在执行所述根据所述哈希值确定用于存储对应的客户标签数据的数据表的步骤时，具体执行以下步骤：
    计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取最小的相对位置比对应的数据表；
    判断所述数据表的存储数据量是否达到预设数量；
    若所述数据表的存储数据量未达到预设数量，则确定所述数据表为用于存储所述客户标签数据的数据表；
    若所述数据表的存储数据量达到预设数量，则从存储数据量未达到预设数量的数据表中获取具有较小的相对位置比对应的数据表，确定所述数据表为用于存储所述客户标签数据的数据表。
  15. 根据权利要求11所述的数据处理设备，其特征在于，所述处理器在执行所述创建相应数量的数据表的步骤之后，还执行以下步骤：
    利用序号为所述数据表命名；
    所述处理器在执行所述将所述客户标签数据保存在所述数据表中的步骤之后，还执行以下步骤：
    接收查询客户标签数据的指令信息，所述指令信息包括客户标签数据的主键字段；
    通过所述一致性哈希算法对所述主键字段进行哈希处理得到所述客户标签数据的哈希值；
    从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置；
    获取与所述哈希值最接近的空间位置对应的数据表，在所述数据表中查询所述主键字段对应的客户标签数据；
    若在所述数据表中未查询到所述客户标签数据，则根据所述数据表的表名中的序号依次查询剩余的数据表，直至查询到所述客户标签数据。
  16. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序可被一个或者一个以上的处理器执行，以实现以下步骤：
    根据接收到的客户标签数据的数量计算所需用于保存所述客户标签数据的数据表的数量，并创建相应数量的数据表；
    构建一致性哈希环，将所述数据表均匀地映射至所述一致性哈希环；
    获取每条所述客户标签数据的主键字段；
    利用一致性哈希算法对所述主键字段进行哈希处理得到对应客户标签数据的哈希值，一个所述哈希值等于所述一致性哈希环上的一个空间值；
    根据所述哈希值确定用于存储对应的客户标签数据的数据表；
    将所述客户标签数据保存在所述数据表中。
  17. 根据权利要求16所述的计算机可读存储介质，其特征在于，所述将所述数据表均匀地映射至所述一致性哈希环的步骤包括：
    根据所述数据表的数量将所述一致性哈希环进行等分，等分数量与所述数据表的数量相等；
    获取所述一致性哈希环的所有等分点的空间值，将各个空间值分别作为各个数据表映射在所述一致性哈希环的空间位置。
  18. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述根据所述哈希值确定用于存储对应的客户标签数据的数据表的步骤包括：
    计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取最小的相对位置比对应的数据表；
    确定所述数据表为用于存储所述客户标签数据的数据表。
  19. 根据权利要求17所述的计算机可读存储介质，其特征在于，所述根据所述哈希值确定用于存储对应的客户标签数据的数据表的步骤包括：
    计算所述客户标签数据对应的哈希值与各个数据表的空间位置之间的相对位置比；
    获取最小的相对位置比对应的数据表；
    判断所述数据表的存储数据量是否达到预设数量；
    若所述数据表的存储数据量未达到预设数量，则确定所述数据表为用于存储所述客户标签数据的数据表；
    若所述数据表的存储数据量达到预设数量，则从存储数据量未达到预设数量的数据表中获取具有较小的相对位置比对应的数据表，确定所述数据表为用于存储所述客户标签数据的数据表。
  20. 根据权利要求16所述的计算机可读存储介质，其特征在于，在实现所述创建相应数量的数据表的步骤之后，还实现以下步骤：
    利用序号为所述数据表命名；
    在实现所述将所述客户标签数据保存在所述数据表中的步骤之后，还实现以下步骤：
    接收查询客户标签数据的指令信息，所述指令信息包括客户标签数据的主键字段；
    通过所述一致性哈希算法对所述主键字段进行哈希处理得到所述客户标签数据的哈希值；
    从所有所述数据表的空间位置中搜索与所述哈希值最接近的空间位置；
    获取与所述哈希值最接近的空间位置对应的数据表，在所述数据表中查询 所述主键字段对应的客户标签数据；
    若在所述数据表中未查询到所述客户标签数据，则根据所述数据表的表名中的序号依次查询剩余的数据表，直至查询到所述客户标签数据。
PCT/CN2018/084322 2018-01-31 2018-04-25 一种数据处理方法、装置、设备及计算机可读存储介质 Ceased WO2019148672A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810093886.7 2018-01-31
CN201810093886.7A CN108345659B (zh) 2018-01-31 2018-01-31 一种数据处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2019148672A1 true WO2019148672A1 (zh) 2019-08-08

Family

ID=62961731

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/084322 Ceased WO2019148672A1 (zh) 2018-01-31 2018-04-25 一种数据处理方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108345659B (zh)
WO (1) WO2019148672A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120850336A (zh) * 2025-07-07 2025-10-28 北京日月臻科技有限公司 一种线上推广平台的用户数据保护方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189790A (zh) * 2018-08-23 2019-01-11 平安科技（深圳）有限公司 数据管理方法、装置、计算机设备及存储介质
CN109542901B (zh) * 2018-11-12 2020-09-18 北京懿医云科技有限公司 数据处理方法、装置、计算机可读存储介质及电子设备
CN110519408A (zh) * 2019-08-23 2019-11-29 赛尔网络有限公司 一种ip归属地查询方法、装置、电子设备及存储介质
CN111125093B (zh) * 2019-11-19 2023-09-15 贝壳技术有限公司 一种基于哈希存储的数据处理方法及装置
CN111177255A (zh) * 2019-12-05 2020-05-19 中国铁道科学研究院集团有限公司电子计算技术研究所 一种数据一致性检测方法、装置、存储介质和服务器
CN111125139B (zh) * 2019-12-26 2022-04-22 北京浪潮数据技术有限公司 一种多控制器的任务处理方法及相关装置
CN113204556A (zh) * 2021-05-21 2021-08-03 山东英信计算机技术有限公司 基于低位哈希标签的存储方法、系统、终端及存储介质
CN116049314A (zh) * 2023-02-06 2023-05-02 北京奇艺世纪科技有限公司 一种数据获取方法、装置、电子设备及存储介质
CN115878331A (zh) * 2023-02-09 2023-03-31 苏州浪潮智能科技有限公司 一种数据分配方法、装置、设备及计算机可读存储介质
CN118708771B (zh) * 2024-08-30 2024-11-15 浙江有数数智科技有限公司 一种基于哈希算法的数据同步方法、装置、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117273A1 (en) * 2011-11-03 2013-05-09 Electronics And Telecommunications Research Institute Forensic index method and apparatus by distributed processing
CN105893466A (zh) * 2016-03-28 2016-08-24 中国建设银行股份有限公司 一种应用于数据库的数据处理方法及系统
CN106897409A (zh) * 2017-02-16 2017-06-27 北京致远互联软件股份有限公司 数据分库存储方法及装置
US20170206254A1 (en) * 2013-04-25 2017-07-20 Denso Corporation Data retrieval apparatus, data retrieval program, and data retrieval method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8572091B1 (en) * 2011-06-27 2013-10-29 Amazon Technologies, Inc. System and method for partitioning and indexing table data using a composite primary key
US10719498B2 (en) * 2015-12-10 2020-07-21 Microsoft Technology Licensing, Llc Enhanced management capabilities for collectable data structures
CN106250226B (zh) * 2016-08-02 2019-06-18 福建省华渔教育科技有限公司 基于一致性哈希算法的任务调度方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130117273A1 (en) * 2011-11-03 2013-05-09 Electronics And Telecommunications Research Institute Forensic index method and apparatus by distributed processing
US20170206254A1 (en) * 2013-04-25 2017-07-20 Denso Corporation Data retrieval apparatus, data retrieval program, and data retrieval method
CN105893466A (zh) * 2016-03-28 2016-08-24 中国建设银行股份有限公司 一种应用于数据库的数据处理方法及系统
CN106897409A (zh) * 2017-02-16 2017-06-27 北京致远互联软件股份有限公司 数据分库存储方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120850336A (zh) * 2025-07-07 2025-10-28 北京日月臻科技有限公司 一种线上推广平台的用户数据保护方法及系统

Also Published As

Publication number Publication date
CN108345659B (zh) 2020-11-24
CN108345659A (zh) 2018-07-31

Similar Documents

Publication Publication Date Title
WO2019148672A1 (zh) 一种数据处理方法、装置、设备及计算机可读存储介质
CN110737658B (zh) 数据分片存储方法、装置、终端及可读存储介质
US11030247B2 (en) Layered graph data structure
TWI717866B (zh) 跨鏈存證方法及接取方法、裝置、電子設備
US9712340B2 (en) Using a shared data store for peer discovery
CN111723073B (zh) 数据存储处理方法、装置、处理系统以及存储介质
CN104090897B (zh) 访问元数据的方法、服务器及系统
WO2019200714A1 (zh) 服务器连接方法、计算机可读存储介质、终端设备及装置
US8751442B2 (en) Synchronization associated duplicate data resolution
CN111949648B (zh) 内存缓存数据系统和数据索引方法
US11233878B2 (en) Data processing method, apparatus, and client device
US10013449B1 (en) Validating and non-validating secondary indexes for a table in a non-relational data store
US9588785B2 (en) General property hierarchy systems and methods for web applications
CN106933854A (zh) 短链接处理方法、装置及服务器
CN114840487A (zh) 分布式文件系统的元数据管理方法和装置
CN106933891A (zh) 访问分布式数据库的方法和分布式数据服务的装置
CN105488050A (zh) 一种数据库多索引方法、装置及系统
CN110837499B (zh) 数据访问处理方法、装置、电子设备和存储介质
CN107704202A (zh) 一种数据快速读写的方法和装置
CN111209120A (zh) 微服务的数据同步方法、装置及计算机可读存储介质
CN109145053B (zh) 数据处理方法和装置、客户端、服务器
CN107918617A (zh) 数据查询方法和装置
CN113742334B (zh) 数据处理方法和装置
CN103530345A (zh) 短文本特征扩展及拟合特征库构建方法、装置
US20080250121A1 (en) Facilitating configuration of multiple instances of an application on a server cluster

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 16.11.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18903168

Country of ref document: EP

Kind code of ref document: A1